Low-Rank Matrix Aided Automatic Texture Inpainting of Building Facades from UAV Images
-
摘要:
无人机数据采集过程中,受飞行高度、扫描视场角的限制,数据中的建筑物立面纹理存在遮挡问题,进而导致数据缺失。当前大量待修复数据都是采用人工勾选方式进行修复,人力成本高,时间消耗大。因此,从建筑物立面纹理低秩性和遮挡区域稀疏性切入,将建筑物立面纹理修复问题化为低秩矩阵补全问题,提出了一种低秩矩阵重建辅助的建筑物立面纹理自动修复算法。首先,利用鲁棒主成分分析自动完成立面纹理稀疏遮挡区域粗提取;然后,结合遮挡区域的先验条件填充精化得到稀疏区域,作为矩阵补全的约束条件;最后,在矩阵补全模型的基础上,采用非凸秩近似函数截断Schatten-p范数替代核范数,同时又引入总变分算子来解决建筑物立面纹理遮挡区域修复问题。仿真实验和真实数据结果表明:在建筑物低秩纹理修复中,所提算法的分割效果不亚于人工标记,修复效果优于现有算法,能自动提取出待修复区域,实现了人力解放和修复效果的双提升。
Abstract:ObjectiveLimited by flight height and scanning angle, the building façade texture is inevitably obscured resulting in missing unmanned aerial vehicle (UAV) data. However, in the face of a large amount of data, the current inpainting methods that need to manually select the target region appear time-consuming and labor-intensive. Therefore, we propose an automatic inpainting algorithm based on low-rank matrix reconstruction for facade texture, starting from the low-rank property of the building and the sparsity of occlusion, and modeling facade texture repairing as solving a low-rank matrix completion problem.
MethodsFirst, a robust principal component analysis algorithm is utilized to automatically complete the coarse extraction of the sparse occlusion of the façade texture. Second, the sparse region obtained by filling and refining with a priori conditions of the occlusion is used as a constraint for matrix completion. Finally, on the basis of the matrix completion, by adding the truncated Schatten p-norm and the total variation operator to correctly repair the occlusion of the façade.
ResultsThe result shows that our segmentation is as good as the manual marking, inpainting outperforms many state-of-the-art approaches.
ConclusionsOur method can automatically and accurately extract the target region, achieving the double improvement of the manpower liberation and the performance.
-
地貌晕渲法是在平面地图上刻画地貌的常用方法,相比等高线法与分层设色法,其表示的地貌立体感强、直观易读,并且使地图更具艺术性与观赏性。目前,地貌晕渲图多采用人机交互的方式使用计算机软件半自动生成,被称为解析晕渲或计算机晕渲。软件通过光照模型计算数字高程模型(digital elevation model,DEM)中每个像元的受光量并赋予特定的灰度或色彩值从而完成晕渲图制作,这种制作方式高效快速、科学客观,但也带来了晕渲效果单一、缺乏艺术表现力等问题。虽然可以通过人机交互的方式对晕渲图设色、光照的高度角、方向角,以及地表平面与高程的伸缩比例等进行设置来获得不同的地貌晕渲效果,但整体情况仍然差强人意。
不少学者尝试了多种方法以获得更好的解析晕渲效果:文献[1]采用交互式人机协同方法对晕渲图灰度值进行优化;文献[2]尝试变化晕渲笔调和变比例调整高程的方法提升晕渲立体效果;文献[3]根据局部地形特点,采用不同的灰度值计算模型制作晕渲并进行融合;文献[4]提出了在设定范围自动变换光源方位角以及根据地面点高程值调整光源高度角的方法来优化晕渲效果;文献[5]将坡度与山脊、山谷指数结合制作红色晕渲图,使晕渲图不仅具有独特的风格,还能让用图者更加容易地从中获取到地形的坡度、凹凸情况;文献[6]将同一区域多幅不同光照方向的晕渲图结合到一起,改善了晕渲图的明暗对比,增强了局部地形细节的显示效果;文献[7]采用对数法制作晕渲图,使读图者不仅能从晕渲图中获取更多的地形细节信息,同时也能更容易地读取地形构造线;文献[8]对DEM进行拉普拉斯运算制作纹理晕渲,这种晕渲从视觉风格上看类似于具有“立体感”的DEM,在保留较多地形细节的同时,能够更直观反映地形的结构特征,并且这种晕渲既能单独使用以展现地形三维特征,又能与传统地貌晕渲结合以提升地形表现效果;文献[9]应用新的光照模型使得山体阴影更加柔和、明暗对比更加逼真,从而提升晕渲的整体视觉效果;文献[10]提出一种根据DEM自动生成岩石效果的方法,并应用于晕渲图的山体刻画,不仅可获得独特的艺术效果,而且还能更容易地获取地形坡度与坡向信息。这些研究虽然在一定程度上提高了晕渲图的表现效果,但在艺术性与观赏性等方面与手工晕渲图相比仍然有较大的差距。
手工绘制晕渲图时,制图人员假设特定光源照射地表,然后根据光影在地面上的分布规律,使用铅笔、喷笔或毛笔等绘图工具用不同色调的浓淡表示地貌光影变化,从而使读图者在二维平面上获得地貌的三维立体效果。这种绘制过程类似于绘画等艺术创作形式,极大地依赖于个人能力、经验、技巧以及对制图区域地形特征的理解,因此,会形成因人而异的晕渲图风格与效果,如图1所示。在众多优秀的手工晕渲图作品中,瑞士手工晕渲图独树一帜,是业内公认的特色鲜明的优秀晕渲作品,被称为“瑞士风格”晕渲[11]。
手工晕渲图作品风格多样,表现效果出色,但绘制难度很大,不仅对制图者的要求非常高,并且耗时长,很难满足当前地图快速制作的需求。深度学习技术的不断发展和应用为晕渲图效果的提升提供了新的研究思路,即利用神经网络模型学习输入数据的特征,再用训练出的网络模型生成晕渲图。文献[12]尝试在制作晕渲图时应用神经风格迁移,即通过图像编辑软件将从绘画作品中学习到的风格应用于解析晕渲,采用该方法得到的晕渲图虽存在一定程度的地形要素变形问题,但具有较强的艺术风格,极大地提高了晕渲的表现效果;文献[13]采用“晕渲-DEM图像对”训练U‑Net模型以生成晕渲,其成果得到了多位制图专家的认可,认为训练后的模型所生成的晕渲图不仅艺术风格接近用于训练的图片,而且还具有明显的地貌综合效果,极大地提高了晕渲的表现力。由此可见,深度学习模型的应用是晕渲效果和艺术性提升的有效途径。尽管文献[13]的实验仍存在不足,如所采用模型无法处理与样本像元尺寸差距较大的DEM等,但借助其研究思路,采用深度学习领域其他高性能的网络有望解决存在的问题,进一步提升地貌晕渲生成能力。
残差网络(residual network,ResNet)[14]是比较具有代表性的高性能网络之一。ResNet通过残差结构的应用有效地缓解了模型训练中出现的梯度消失问题,因此不少网络采用残差结构以提升网络性能,如ResUNet[15]等。考虑相关研究中U‑Net模型的表现及残差结构的优势,本文将残差结构和U‑Net结合,将ResUNet模型用于晕渲图的制作。首先通过对手工晕渲图与相应DEM数据进行图像处理与分割制作训练数据集,设计构建DEM-晕渲ResUNet(DEM to hill-shading ResUNet,D2H-ResUNet)模型,并采用“晕渲-DEM图像对”样本对模型进行训练,最后使用训练模型实现任意区域基于DEM数据的晕渲图制作。
1 D2H-ResUNet模型
1.1 U‑Net及残差网络
U‑Net[16]是一种特殊的编解码深度神经网络(encoder-decoder deep neural network,E-DDNN)。经典E-DDNN先通过卷积运算和下采样进行编码以提取目标深层特征,而后通过上采样和卷积运算对特征进行解码以得到输出结果。在此基础上,U‑Net在同一阶段的编码和解码间添加了跳跃连接,有效融合原始图像浅层特征和多尺度深层特征,从而能精准定位边界,实现精确分割。U‑Net最初针对医学影像分割任务而提出,后续研究证明其在地理栅格图像分割方面也具有优势[17]。
理论上,网络越深的深度学习模型性能越好。然而一味地增加网络深度,会出现梯度消失问题,使网络难以优化。为此,文献[14]提出了残差网络。残差网络由多个残差块堆积而成。图2(a)为一个普通的2层神经网络,设x为输入,H(x)为输出,假设该网络为恒等映射,则:
H (x )=x (1) 图2(b)为具有残差结构的2层神经网络,该网络在普通神经网络的基础上加入了快捷连接(图2(b)中的“⊕”),该网络中F(x)表示快捷连接之前的输出,F(x)+x为最终输出。假设该网络同样为恒等映射,则:
F (x )+x=x (2) 由等式变换可得F(x)+x=H(x),即F(x)=H(x)-x,F(x)即为残差。残差结构的设计使网络中权重层的拟合对象由原始映射H(x)变为残差映射F(x),而后者较前者更简单,更容易学习。另外,快捷连接使得特征信息能够由深层反向传回浅层,有效缓解梯度消失问题。当前许多深度学习模型都通过加入残差结构来提升模型性能。
1.2 D2H-ResUNet模型网络结构
分析已有研究中U‑Net的表现及残差结构的优势,本文将残差结构和U‑Net结合,设计了D2H-ResUNet模型用于晕渲图的生成,模型网络结构如图3所示。模型主要包括编码和解码两个过程:编码过程中,使用卷积运算逐层提取特征,其中步长为2的卷积运算可以在提取特征的同时调整特征图尺寸,因此省略了U‑Net中原有的池化下采样;解码过程中,先采用步长为2×2的反卷积运算进行上采样以还原特征图尺寸,再将反卷积结果与编码阶段对应特征图相连,之后对其进行卷积运算以逐步解码。此外,模型引入了残差结构。所采用的残差结构按照文献[18]提出的方法,将批量归一化层[19]和激活层放置于权重层之前;若残差结构中两分支通道数不一样,则先在快捷连接部分采用1×1卷积运算进行通道数调整,之后再进行特征图相加。除输出层外,该模型中所有卷积层均采用ReLU函数激活;输出层由Sigmoid激活函数激活。
2 晕渲图制作方法
2.1 D2H-ResUNet模型晕渲图生成流程
基于D2H-ResUNet模型的晕渲图制作流程
如图4所示。首先对手工晕渲图和对应区域的DEM数据进行预处理,即统一坐标系、重采样栅格图像并进行归一化;其次进行图像分割,并确定晕渲切片与DEM切片的对应关系,构建“晕渲‑DEM图像对”作为训练集;然后使用训练数据集对D2H-ResUNet模型进行训练,计算最优模型参数;最后对制图区域DEM进行归一化、分割处理,将得到的DEM切片集输入模型以得到晕渲切片集,然后对切片集进行拼接即可得到完整的晕渲图。
2.2 样本数据预处理与训练集构建
瑞士国家测绘局制作了大量十分精美的晕渲图。本文采用瑞士国家测绘局经过地理配准的“瑞士风格”手工晕渲产品和对应地理区域90 m分辨率的DEM数据(美国国家航空航天局航天飞机雷达地形测绘使命获取,见图5)进行训练集的构建。数据区域大小为316 km×452 km,涵盖瑞士及其周边地区,区域高程范围为12~4 471 m。
构建“晕渲-DEM图像对”训练集时,首先对DEM进行投影转换,将其由WGS84地理坐标系转换为手工晕渲图的CH1903+/LV95 LN02投影坐标系;其次,对DEM数据和手工晕渲图进行重采样处理,使其像元大小相等;然后对重采样后的DEM数据进行归一化处理;随后,以256×256像素大小对图像进行分块;最后,舍弃未能进行完整切割的切片,按照切片对应关系建立图像对,得到200对“晕渲-DEM图像对”作为训练集。训练集构建过程中的处理不改变数据原有格式,均为GeoTiff格式。
为了使模型具有较好的泛化能力,一般需要用大量样本对深度学习模型进行训练。若在数据采集阶段难以通过扩大采集范围的方式增加样本数据量,还可以对样本数据自身进行数据增强以扩大样本量。由于高质量的手工晕渲相对缺乏,本文尝试对样本进行镜像、旋转等处理,但实验结果表明,通过这种方式虽然增加了样本数量,但明显降低了网络所生成晕渲的效果。因此,本文最终采用200对“晕渲-DEM图像对”作为实验数据,并将其全部用于训练而不划分验证集。
2.3 模型训练
模型训练的硬件环境为Ubuntu18.04系统,64 GB内存,6 GB显存的Quadro A2000显卡。使用PyTorch 1.10深度学习开源库和Python 3.9进行模型构建和训练。
在对模型进行训练时,将均方误差作为损失函数,采用文献[20]提出的方法进行权重初始化,并选择Adam优化器[21]优化训练;顾及实验条件,每次采用4对图像对训练网络,每次训练都对模型全部参数进行一次更新;训练迭代次数设置为1 000次。在训练过程中用样本DEM生成的晕渲切片如图6所示,可以看出,模型生成的晕渲效果不断优化并逐渐接近样本晕渲效果。由于深度学习训练过程存在过拟合的风险,用训练样本DEM生成的晕渲效果好不能代表模型在实际应用中也能取得好的效果,所以本文在实验与分析部分采用训练集范围以外区域DEM生成晕渲。
2.4 晕渲生成与拼接处理
在利用训练后的模型生成晕渲时,输入模型的DEM需进行归一化处理。由于模型卷积层卷积核的参数不受输入图片尺寸的影响,因而可以根据硬件条件调整输入DEM尺寸为2的其他次方,如512×512、1 024×1 024等。若生成晕渲区域范围过大,则可先对DEM进行切片处理,以切片为单位输入模型进行晕渲生成后再将输出结果进行拼接。模型在渲染切片边缘时无法充分“考虑”边缘以外区域的地形信息,故每块晕渲切片仅选取中心区域作为最终输出切片,如图7(a)所示,A(红色框)和B(蓝色框)分别为虚点线所围晕渲切片和虚线所围晕渲切片的中心区域。为了避免最终的晕渲图出现明显的拼接痕迹,在对DEM进行切片时需保证相邻切片的中心区域之间有重叠,拼接时采用阿尔法混合技术对重叠区域进行处理。如图7(b)所示,假设切片A和切片B(均为最终输出切片)相互重叠,其中A为左边的切片,则重叠区域第j行、第i个像元值的计算公式为:
(3) 式中,
为混合后的像元值; 、 分别为切片A、B重叠区域第j行、第 个像元对应的像元值; 为重叠区域宽度(单位为像素数)。上下重叠的切片采用同样的方式进行拼接。实验结果表明,当DEM切片大小为256×256像素时,选取中心区域大小为156×156像素,重叠区域宽度为20像素可以满足要求。 3 晕渲图效果对比实验与分析
由于晕渲图的特殊性,既没有标准的参考图像进行对比计算,也没有确定的指标可以对晕渲质量进行衡量,因此,不同于常见深度学习研究对实验结果采用量化评价的方式,本文采用对比实验对本文方法制作的晕渲图进行分析。
3.1 与ArcMap生成的晕渲图的比较
ArcMap是目前常用的晕渲图制作软件,分别采用本文方法和ArcMap中晕渲工具制作晕渲图,结果如图8所示。实验数据选取中国中部区域(经度范围:112.096°E—112.999°E;纬度范围:35.397
N— ;高程范围:446~1 534 m)90 m分辨率DEM,ArcMap的参数设置为:方位角315°,高度角45°,z因子3。 由图8可以看出,两幅晕渲的风格与效果有明显差异,本文方法生成的晕渲图山体明暗变化层次感好、山体综合程度大幅提高,非常类似手工晕渲图的整体效果,即训练样本晕渲图所具备的瑞士风格。这表明深度学习模型成功地从样本中学会并应用了瑞士风格,从而较大程度提高了晕渲图的艺术性和表现效果。本文方法生成的晕渲在保留了主要地形结构的前提下较好地减少了破碎的地形细节,具有明显的地貌综合效果,使读图者能更加快速地了解区域的主要地形特征。此外,山脊走向信息更容易获取,尤其是一些相对高程较低山脊以及山体走向与光照方向大致平行的山脊,如图8(b)中左上角区域山脉。显然,晕渲图生成过程中模型模拟了手工绘制晕渲的做法,对光照进行局部调整,进而改善了山脊两侧的明暗对比度,而解析晕渲只能采用固定的光源。另外,手工晕渲图对微小地貌的夸大表示方法也得到了较好的继承,如图8(b)右侧的破碎地貌区域。
将两幅晕渲图调整透明度后叠加,对晕渲图地形要素的位置准确性进行检查。可以发现,制图区域主要地形吻合良好,本文方法生成的晕渲图中山脊、山谷、山体范围的空间分布与解析晕渲能够精确对准,没有错误的地形要素,从而验证了本文方法生成晕渲图的几何准确性。
3.2 不同地貌类型区域的晕渲图生成
为了验证本文模型对不同区域、不同地貌类型的适应性,从《中华人民共和国地貌图集》[22]中选取了5块中国境内具有典型地貌特征的区域进行实验。各实验区详情见表1,各实验区90 m分辨率的DEM以及基于DEM采用本文方法和ArcMap晕渲工具生成的晕渲图如图9所示。
表 1 实验区域详情Table 1. Details of Test Area区域 主要地貌类型 经度范围 纬度范围 高程范围/m 成因 形态 区域1 冰川地貌 极高山、高山 2 883~6 811 区域2 流水地貌 低山、丘陵、台地 60~1 517 区域3 黄土地貌 低山、丘陵、台地 1 023~1 828 区域4 喀斯特、流水地貌 中山、低山 162~2 191 区域5 风成地貌 丘陵 1 146~1 736 如图9所示,对于不同地貌类型,本文方法生成的晕渲均具有与常规解析晕渲明显不同的效果与风格,这种瑞士风格极大地提高了晕渲的艺术性和地貌表现效果。
从地貌综合角度来看,本文方法生成的晕渲图多数具有良好的综合效果,降低了图面的整体复杂度,减轻了视觉负担,有利于用图人员快速获取区域地形特征,尤其以区域2所代表的地形切割破碎、构造线模糊地区最为突出。而地貌综合也并未影响到区域典型地貌特征的刻画,从晕渲图中能清晰获得各区域地形的总体特征:区域1为新疆昆仑山脉西段,地形陡峻、峡谷深切;区域2为福建东南丘陵,地形破碎、构造不明显;区域3为黄土高原,沟壑纵横、沟谷众多;区域4为四川盆地东部褶皱山地带,岭谷平行、间隔分布;区域5为内蒙古高原西南边缘沙漠,沙丘翼角彼此相连。
除具有地貌综合效果外,本文方法生成的晕渲图中山脊两侧的明暗对比更加清晰,明暗层次渐变细节丰富,使得地形相较于解析晕渲更加明显突出、表现力更强。以区域4为例,其中几条较大的东北-西南走向的山脉,在解析晕渲中阳面与阴面的灰度接近,无法较好地体现山体的立体感,而本文方法生成的晕渲则较好地避免了这个问题。
就局部区域而言,如区域3中左下部分,地貌综合导致黄土地貌在表现沟谷狭窄、沟谷深切入地形的特征时有所减弱,黄土塬区域也不如解析晕渲表现效果好。究其原因,应该与样本的局限性有关。本文所用样本主要为瑞士区域,地形以高原山地为主,地势高峻,阿尔卑斯山脉占瑞士国土面积一半以上,其他地貌类型有限。由于样本地貌类型不包含黄土地貌,模型无法进行有效学习,导致黄土地貌地形特征被弱化,晕渲效果相对较差。虽然存在着一定的样本局限性,但经过实验,本文的网络模型在艺术效果、地貌综合能力、地形刻画、明暗对比度调整等方面对多数地貌类型具有较强的适应性。
3.3 与U‑Net网络的效果对比
为了验证本文模型对不同分辨率DEM的适应性,将不同分辨率DEM[23]输入D2H-ResUNet模型、文献[13]采用的U‑Net模型,并对输出的晕渲进行对比分析。图10、图11分别为两种方法采用像元尺寸小于训练尺寸和大于训练尺寸的DEM所生成的晕渲。虽然整体效果非常接近,但仍然有许多细节上的差异。
如图10所示,当DEM像元尺寸小于训练尺寸时,相较于D2H-ResUNet模型,U‑Net模型生成的晕渲损失了较多地形信息,当地势起伏平缓以及像元尺寸小时,对比尤为明显;从整体色调来看,U‑Net模型生成的晕渲明暗对比过于强烈,阳坡面过于明亮且缺乏灰度值渐变,降低了整体视觉效果;清晰度方面,U‑Net模型生成的晕渲有所欠缺,尤其是在陡峭山脊处。因此,当像元尺寸小于训练尺寸时,本文采用的D2H-ResUNet模型所生成的晕渲图具有更好的效果。
如图11所示,当DEM像元尺寸大于训练尺寸时,随着像元尺寸的不断增大,U‑Net模型生成的晕渲效果下降迅速,当像元尺寸为250 m时,尽管U‑Net模型生成的晕渲依然存在地形信息损失、清晰度不够的问题,但晕渲效果仍相对较好;像元尺寸增大到500 m时,部分区域(中部山区)开始出现失败的渲染效果;当像元尺寸进一步增大,几乎所有区域内的地形都无法成功刻画,极大地降低了晕渲效果。而本文所采用的模型并未出现类似的情况,即使在2 000 m像元大小时,依然能成功刻画地形,说明本文采用的D2H-ResUNet模型对不同分辨率DEM的适应性更强。
通常,在小比例尺晕渲图制作时,DEM分辨率过高会导致晕渲图地形细节过多,干扰其他要素表达;而DEM重采样的方法虽然可以获得一
定的地貌综合效果,但难以顾及区域地形特点,此外,重采样后DEM像素数还可能无法满足成图要求。因此,本文模型生成的晕渲图较好地解决了小比例尺晕渲图的制作问题。
4 结 语
针对当前计算机地貌晕渲图制作中地貌综合效果差、地貌表现力与手工晕渲图差距较大的问题,本文提出了一种基于深度学习的晕渲图生成方法,构建了一个由DEM数据向高质量晕渲图转换的D2H-ResUNet模型。首先对手工晕渲图和对应DEM数据进行重采样、归一化和图像分割,以构建深度学习模型训练集,然后采用“晕渲-DEM图像对”训练D2H-ResUNet模型,最后采用该模型进行制图区域晕渲图的制作。实验结果表明:采用本文方法生成的晕渲图具有明显的手工晕渲效果,提高了晕渲的艺术性和地貌表现力,不仅获得了较好的地貌综合效果,对山体的明暗层次刻画也更加细腻,晕渲的整体效果得到明显提升;模型对多种地貌类型区域具有较好的适应性;与U‑Net模型相比,D2H-ResUNet模型生成的晕渲图视觉效果更优,对不同分辨率DEM的适应性更强,尤其有利于解决当前小比例尺晕渲图制作时的地貌综合问题。
http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20220399 -
表 1 仿真实验修复结果对比
Table 1 Comparison of Inpainting Results
算法 棋盘格 指示牌 树木 旗帜 SSIM SSIM SSIM SSIM 块匹配 0.333 7 0.727 6 0.050 7 0.957 9 0.071 2 0.954 9 0.178 9 0.829 6 部分卷积 0.449 9 0.755 5 0.041 5 0.971 3 0.107 9 0.753 2 0.166 8 0.821 0 MC 0 1 0.004 8 0.999 2 0.002 3 0.998 0 0.020 0 0.994 9 RPCA-MC 0 1 0.004 0 0.999 3 0.013 4 0.997 1 0.012 9 0.996 7 -
[1] 陈军,刘建军,田海波.实景三维中国建设的基本定位与技术路径[J]. 武汉大学学报(信息科学版), 2022, 47(10): 1568-1575. CHEN Jun, LIU Jianjun, TIAN Haibo. Basic Directions and Technological Path for Building 3D Realistic Geospatial Scene in China[J]. Geomatics and Information Science of Wuhan University, 2022, 47(10): 1568-1575.
[2] OTSU N.A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1):62-66.
[3] 张建廷, 张立民. 结合光谱和纹理的高分辨率遥感图像分水岭分割[J]. 武汉大学学报(信息科学版), 2017, 42(4): 449-455. ZHANG Jianting, ZHANG Limin. A Watershed Algorithm Combining Spectral and Texture Information for High Resolution Remote Sensing Image Segmentation[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4):449-455.
[4] ACHANTA R, SHAJI A, SMITH K, et al. SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(11):2274-2282.
[5] TANG M, GORELICK L, VEKSLER O, et al. GrabCut in One Cut[C]//IEEE International Conference on Computer Vision, New York,USA, 2013.
[6] 张红英,彭启琮.数字图像修复技术综述[J].中国图象图形学报,2007(1):1-10. ZHANG Hongying, PENG Qicong. A Survey on Digital Image Inpainting[J]. Journal of Image and Graphics, 2007(1):1-10.
[7] CRIMINISI A, PÉREZ P, TOYAMA K. Object Removal by Exemplar-Based Inpainting[C]//2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Madison, WI, USA, 2003.
[8] BARNES C, SHECHTMAN E, FINKELSTEIN A, et al. PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing[J]. ACM Transactions on Graphics, 2009, 28(3): 24.
[9] LIU G, REDA F A, SHIH K J, et al. Image Inpainting for Irregular Holes Using Partial Convolutions[C]//European Conference on Computer Vision, Munich, Germany, 2018.
[10] 彭义刚,索津莉,戴琼海,等.从压缩传感到低秩矩阵恢复:理论与应用[J].自动化学报,2013,39(7):981-994. PENG Yigang, SUO Jinli, DAI Qionghai, et al. From Compressed Sensing to Low-Rank Matrix Recovery: Theory and Applications[J].Acta Automatica Sinica,2013,39(7):981-994.
[11] WRIGHT J, GANESH A, RAO S, et al. Robust Principal Component Analysis: Exact Recovery of Corrupted Low-Rank Matrices via Convex Optimization[C]//Conference and Workshop on Neural Information Processing Systems, Vancouver, Canada, 2009.
[12] SHEN B, HU W, ZHANG Y, et al. Image Inpainting via Sparse Representation[C]//IEEE International Conference on Acoustics, Speech and Signal Processing, Taibei, Taiwan, China, 2009.
[13] CANDÈS E J, RECHT B. Exact Matrix Completion via Convex Optimization[J]. Foundations of Computational mathematics, 2009, 9(6): 717-772.
[14] ZHANG D, HU Y, YE J, et al. Matrix Completion by Truncated Nuclear Norm Regularization[C]//IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2012.
[15] HU Z, WANG Y, SU R, et al. Moving Object Detection Based on Non-Convex RPCA with Segmentation Constraint[J]. IEEE Access, 2020,8:41026-41036.
[16] ZHANG Z, GANESH A, LIANG X, et al. TILT: Transform Invariant Low-Rank Textures[J]. International Journal of Computer Vision, 2012, 99(1): 1-24.
[17] BOYD S, PARIKH N, HU E C, et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations & Trends in Machine Learning, 2010, 3(1):1-122.
[18] CAO F, CHEN J, YE H, et al. Recovering Low-Rank and Sparse Matrix Based on the Truncated Nuclear Norm[J]. Neural Networks, 2017, 85: 10-20.
[19] NIE F, WANG H, CAI X, et al. Robust Matrix Completion via Joint Schatten p-norm and Lp-norm Minimization[C]//The 12th International Conferen‑ce on Data Mining, Brussels, Belgium, 2012.
[20] FENG L, SUN H, SUN Q, et al. Image Compressive Sensing via Truncated Schatten-p Norm Regularization[J]. Signal Processing: Image Communication, 2016, 47: 28-41.
[21] 梁霄.基于低秩矩阵优化的纹理图像修复[J].中国科技论文,2016, 11(20):2330-2336. LIANG Xiao. Low Rank Texture Repairing by Convex Optimization[J].China Science Paper,2016,11(20):2330-2336.
[22] ZUO W,MENG D,ZHANG L,et al.A Generalized Iterated Shrinkage Algorithm for Non-convex Sparse Coding[C]//IEEE International Conference on Computer Vision, Sydney, Australia, 2013.
[23] WANG Z, BOVIK A C, SHEIKH H R, et al. Image Quality Assessment: from Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[24] HU Y, ZHANG D, YE J, et al. Fast and Accurate Matrix Completion via Truncated Nuclear Norm Regularization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(9): 2117-2130.