Sparse Point Cloud Guided Digital Surface Model Generation for Aerial Images
-
摘要:
密集匹配是生成数字表面模型的核心步骤，但在纹理缺乏、视差断裂和光照不一致等区域容易匹配失败。为了提高密集匹配结果的精度，提出一种稀疏点云引导(sparse point cloud guidance, SPCG)的航空影像数字表面模型生成方法，旨在利用空三加密的稀疏点云约束影像的密集匹配。首先，通过稀疏点云引导的方式，选择具有良好几何配置、高重叠度和高覆盖率的立体影像对；然后，利用最近邻聚类和金字塔传播方法，扩充稀疏点云的数量；进一步，采用改进的高斯函数优化扩展点的匹配代价，以提高密集匹配结果的准确性；最后，将多个密集匹配点云融合，生成数字表面模型。模拟立体影像和真实航空立体影像的实验表明，SPCG方法优化的半全局匹配显著提升了原始半全局匹配算法的匹配准确性，具体数值表现如下：半全局匹配生成的视差图与真实视差的差值大于1、2或3个像素的百分比分别为46.72%、32.83%或27.32%，而SPCG方法优化的半全局匹配相比于半全局匹配分别下降了7.67%、9.75%或10.28%。此外，相比于高斯方法优化的半全局匹配和深度学习方法金字塔立体匹配网络，SPCG方法优化的半全局匹配具有最高的匹配精度。多视航空影像实验结果表明，SPCG方法准确生成了整个测区的数字表面模型，并且在定性和定量两个方面均优于采用卓越SURE软件生成的数字表面模型。
Abstract:ObjectivesDigital surface model is of great significance in the fields of real-life 3D modeling, smart city construction, natural resources management, geoscience research, and hydrology and water resources management. However, dense matching, as a core step in generating digital surface models, is prone to matching failures in regions with a lack of texture, disparity gap and inconsistent illumination. The sparse point cloud data with high accuracy and extensive coverage after aerial triangulation, which can be used as a priori information to improve the accuracy of dense matching results.
MethodsFirst, this paper proposes a sparse point cloud guidance (SPCG) method for generating digital surface models of aerial images. The method aims to constrain the dense matching of images using sparse point cloud encrypted by aerial triangulation. The sparse point cloud guidance first selects stereo image pairs with good geometric configurations, high overlap, and extensive coverage. Then, the number of sparse points is extended by using the closest proximity clustering and pyramid propagation methods. Additionally, the matching cost of the extended points is optimized by using the improved Gaussian function to enhance the accuracy of the dense matching results. Finally, the sparse point cloud is fused with the dense matching point cloud to generate the digital surface model.
ResultsExperiments on simulated stereo images and real aerial stereo images show that the optimized semi-global matching by the SPCG method in this paper significantly improves the matching accuracy of the original semi-global matching algorithm and outperforms the semi-global matching optimized by the Gaussian method and the deep learning method, pyramid stereo matching network. Numerically, the percentages of disparity maps generated by semi-global matching with greater than 1, 2, or 3 pixels difference from the true disparities are 46.72%, 32.83%, or 27.32%, respectively, whereas the SPCG method decreases by 7.67%, 9.75%, or 10.28%, respectively, compared to the former. The experimental results of the multiview aerial images show that the SPCG method accurately generates the digital surface model of the whole survey area, and it is better than the digital surface model generated by the superior SURE software in both qualitative and quantitative aspects.
ConclusionsCompared to the original dense matching, sparse point cloud-guided dense matching improves the matching accuracy in difficult matching regions such as weak textures, repetitive textures and depth discontinuities. In turn, high precision and high density point clouds are generated. A complete digital surface model is generated by the fusion of the densely matched point clouds.
-
Keywords:
- aerial image /
- sparse point cloud /
- semi-global matching /
- disparity map /
- digital surface model
-
敦煌壁画素有“墙上博物馆”的美誉，具有极高的历史和文化价值。但是，敦煌壁画历经千年，正承受着脱落、起甲、变色等多种病害的威胁，图 1(a)所示即为一幅破损壁画。传统的人力手工修复都是不可逆的操作，具有一定风险。而数字化的壁画修复由于不需要对原始作品进行直接处理，并且能按艺术需求对修复结果进行调整，让无损修复成为可能，也提高了修复的灵活度，已广泛应用于现代文物修复工作中。
图像修复作为计算机视觉和图像处理领域中重要的主题之一，其概念由Bertalmio等[1]提出。目前图像修复主要分为基于几何学和图像块的修复方法两大类。几何学的修复[1-4]包括变分或偏微分方程[1]的各向异性扩散[2]、曲率[3]、全变分最小化[4]等，适合完成线和小区域的修复，但在重建大面积区域时，会出现边缘模糊。而基于图像块的修复源于纹理合成[4]思想，包括样例法、混合法，能量方程法以及稀疏表示法等；文献[5-6]提出了经典样例法的理论基础，之后，更多样例改进算法被提出[7-13]，而改进主要集中于置信因子项[7-10]、数据项[11]、优先权函数[12]以及搜索空间[13]等。文献[14]则将BV-G模型运用到图像修复，给出了混合法的思路；文献[15]提出结构指导下的多尺度全局优化修复算法。能量方程法[16]则通过最小化全局能量方程来重构图像缺失部位。Aharon等[17]提出稀疏表示能自适应地选择最优基，从而估计出目标图像。根据上述理论，相当一部分基于稀疏表示的图像修复算法[18-20]被提出；文献[18]提出稀疏表示框架下领域嵌入式修复算法；文献[19]提出秩最小化修复算法；文献[20]将在线字典学习应用于彩色图像复原中，对大片纹理和边缘缺失的图像具有较好的修复效果。但该类方法存在一个普遍问题，如果缺失区域所需的信息不能在图像已知区域中找到，则通常无法得到令人满意的修复结果。
近年来，很多专家学者致力于数字化的敦煌壁画修复[21-24]，通过改进上述方法取得了一些有意义的成果，但修复效果一般。原因在于：①没有将线描图作为结构区域的修复指引；②依赖于传统方法中先结构后纹理的修复策略。为了更好地解决上述问题，本文针对破损的敦煌壁画，根据对应的线描图(图 1(b))，利用人机交互的方式[21]将破损图像中破损区域缺失的结构信息补全；并采用一种先纹理后结构的修复策略，通过全局随机抽取和结构复杂度排序选出破损边界上的待修复块。在修复阶段，通过局部纹理和结构上的连续性约束，建立稀疏表示模型，由待候选块的稀疏线性组合估计待修复块，实现破损壁画的修复。
1 壁画修复算法介绍
本文算法步骤如下：①给出预处理后带结构信息的壁画图像I待修复区域；②将待修复边界$\partial \mathit{\Omega} $以p点为中心的待填充块分为结构块集合S和纹理块集合T；③如果$T \ne \emptyset $，随机在T中选取一待修复纹理块ΨT，利用全局搜索找到K个SSD(sum of squared difference)准则下的待候选块; ④建立约束方程，求解得到稀疏表示模型中K个待候选块的线性组合去填充ΨT，之后更新置信因子项C(s)、$\partial \mathit{\Omega} $、S和T，重复步骤②至④，直到$T= \emptyset $; ⑤如果$T= \emptyset $, $S \ne \emptyset $，计算S中每一个Ψs的优先权; ⑥选择优先权最大的块Ψm作为当前待修复块，之后再进行步骤③至④，直到$S = \emptyset $，结束整个修复过程。
1.1 待修复敦煌壁画图像预处理
在进行破损敦煌壁画修复之前，需要对原图预处理。首先，在资深敦煌壁画修复工作人员的指导下，在破损区域处填充绿色掩模，这样能准确地识别出待修复区；之后根据对应的手工线描图，利用人机交互法在绿色掩模处添加破损区域里缺失的结构信息，则可得到带有辅助结构信息的待修复敦煌壁画I。
为了更好地解释本文算法，将上述预处理后带有辅助结构信息的壁画I替换为另一张完好的壁画来做示意图，该示意图选自文献[9]敦煌660数据集。本文对该示意图做相同的预处理，记为Id。如图 2所示，第一排左图为原图，第二排Ωc为Id中已知区域，绿色掩模共有3处，记为Ω1、Ω2和Ω3，其中在Ω3区域里添加了黑色线条作为结构辅助信息，红色为待修复区域的边界，分别记为Ω1、Ω2和Ω3；第一排右图中白色边界为通过数学形态学提取的破损边界。
1.2 待修复块的选择策略
本文提出一种新的待修复块的选择策略，首先将所有以p点为中心的待填充块Ψp分为纹理块和结构块。对于纹理块，采取全局随机抽取的方式选出ΨT，而对于结构块，本文定义了一种块结构复杂度(patch structure complexity，PSC)，将结构复杂度较低的Ψs作为优先修复对象。
1) 分类及修复顺序
通过分析预处理后的敦煌图像Id，选出Ψp，并判断Ψp中有无辅助结构信息，若有，则归入结构块集合S={Ψs}s=1M，如图 3中Ψ2所示；若没有，则放入纹理块集合T={Ψt}t=1N，如图 3中Ψ1所示。根据辅助结构信息将待修复图像块分为两类，先修复较为简单的纹理块，提高纹理区域修复成功率的同时也减少了结构块的数目，降低结构区域的修复难度。
2) 纹理块的全局随机抽取
通过上述对待修复块的分类，决定了破损区域的修复顺序，即先纹理，再结构。纹理修复时，传统的样例法需要计算边界上所有待修复块的优先权，从而决定修复顺序，而本文算法中，充分利用Ψt不含辅助结构信息的特点，在不计算每个Ψt优先权值的情况下，采取一种全局随机抽取的方式选出待修复的Ψt，在不影响修复结果的情况下，提高了算法的实时性，详细的实验结果在§2给出。
3) 结构复杂度的块优先权
在修复结构区域时，需要从结构集合S={Ψs}s=1M中找出最容易修复的Ψs，这样的Ψs需满足最少辅助结构信息和最多已知信息的特点。块结构复杂度PSC(s)定义为：
$$ {\rm{PSC}}\left( s \right) = \frac{1}{2}\exp \left( { - \frac{{\sum\limits_{s \in {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_s} \cap {\mathit{\Omega }^c}} {A\left( s \right)} }}{{\left| {{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_s}} \right|}}} \right) $$ (1) 式中，$\sum\limits_{s \in {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_s} \cap {\mathit{\Omega} ^c}} {} A(s)$和|Ψs|分别为Ψs中含有的辅助结构像素个数和总的像素个数。之后，将得到的上述块结构复杂度PSC(s)和置信因子项C(s)相乘，得到最终的结构块优先权函数P(s)：
$$ P\left( s \right) = {\rm{PSC}}\left( s \right) \cdot C\left( s \right) $$ (2) 式(2)中置信项由Criminisi等[6]算法中定义，为避免C(s)出现“下降效应”[8]，对其做正则化处理：
$$ C\left( s \right) = \left( {1 - \omega } \right)C\left( s \right) + \omega $$ (3) 式中，正则项ω=0.2。
1.3 建立基于稀疏表示的修复模型
如图 4(a)所示，待修复块为Ψp，$ {\mathit{\boldsymbol{\bar E}}}$和E分别为提取Ψp中已知和破损区域的逻辑矩阵，{Ψci}i=1H为SSD准则下利用全局搜索出的前H(10~50)个与EΨp最相似的待候选块集合，Ψp则通过H个Ψci的线性组合去估计：
$$ {{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} = \sum\limits_{i = 1}^H {{\alpha _{{c_i}}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{c_i}}}} $$ (4) 式中，${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $为Ψp的线性表示；Ψp中的破损信息通过估计出的${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $去填充：
$$ \mathit{\boldsymbol{E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_p} = \mathit{\boldsymbol{E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $$ (5) 假设Ψp可以由向量${\mathit{\boldsymbol{\alpha }}_c} = ({\alpha _{{c_1}}}\;\;{\alpha _{{c_2}}} \ldots {\rm{ }}{\alpha _{{c_i}}}) $稀疏表示，即稀疏解αc可通过稀疏表示模型下L0范数最小化约束求得。${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $的两个重要约束条件为：
1) 系数向量αc之和为1，即：
$$ \sum\limits_{i = 1}^H {{\alpha _{{c_i}}}} = 1 $$ (6) 当αc中只有一个非零元素时，模型才会退化成传统样例法[5]。
2) ${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $局部连续性约束，一方面，Ψp和${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $需在已知信息上相似：
$$ \left\| {\mathit{\boldsymbol{\bar E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} = \mathit{\boldsymbol{\bar E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_p}} \right\|_2^2 < \varepsilon $$ (7) 式中，ε为容忍度。另一方面，如图 4(b)所示，待修复块为Ψp，W(q)为以p点为中心、比Ψp尺寸大很多的邻域窗口，qj属于集合：
$$ {\mathit{\boldsymbol{W}}_s}\left( q \right) = \left\{ {{q_j}:{q_j} \in \mathit{\boldsymbol{W}}\left( q \right)\;且\;{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}} \subset {\mathit{\Omega }^c}} \right\} $$ (8) Ψp和${\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_{_j}}}} $的相似性度量定义为：
$$ {\omega _{p,{q_j}}} = \frac{1}{{Z\left( p \right)}}\exp \left( { - \frac{{d\left( {\mathit{\boldsymbol{\bar E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_p},\mathit{\boldsymbol{\bar E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}}} \right)}}{{{\sigma ^2}}}} \right) $$ (9) 式中，d(·, ·)为SSD准则；σ在本算法中设为5；Z(p)为归一化系数，使得：
$$ \sum\limits_{{q_j} \in {\mathit{\boldsymbol{W}}_s}\left( q \right)} {{\omega _{p,{q_j}}}} = 1 $$ (10) Ψp和${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $除了要与已知信息相似外，填充进Ψp中的新像素$ \mathit{\boldsymbol{E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p}$应和邻域保持连续：
$$ \beta \left\| {\mathit{\boldsymbol{E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} - \mathit{\boldsymbol{E}}\sum\limits_{{q_j} \in {\mathit{\boldsymbol{W}}_s}\left( q \right)} {{\omega _{p,{q_j}}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}}} } \right\|_2^2 < \varepsilon $$ (11) 式中，ε为容忍度；β为平衡系数，设为0.8。
将式(7)和式(11)变为如下形式：
$$ \varphi = \left\| {\mathit{\boldsymbol{D}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} - {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_T}} \right\|_2^2 < \varepsilon $$ (12) 式中，
$$ \mathit{\boldsymbol{D}} = \left[ \begin{array}{l} {\mathit{\boldsymbol{\bar E}}}\\ \sqrt \beta \mathit{\boldsymbol{E}} \end{array} \right],{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_T} = \left[ {\begin{array}{*{20}{c}} {\mathit{\boldsymbol{\bar E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p}}\\ {\sqrt \beta \mathit{\boldsymbol{E}}\sum\limits_{{q_j} \in {\mathit{\boldsymbol{W}}_s}\left( q \right)} {{\omega _{p,{q_j}}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}}} } \end{array}} \right] $$ (13) 建立稀疏表示模型：
$$ \begin{array}{*{20}{c}} {\min \left\{ {{{\left\| {{\mathit{\boldsymbol{\alpha }}_c}} \right\|}_0}} \right\},使得\left\| {\mathit{\boldsymbol{D}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} - {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_T}} \right\|_2^2 < \varepsilon ,}\\ {\sum\limits_{i = 1}^H {{\alpha _{{c_i}}}} = 1} \end{array} $$ (14) 上述稀疏表示模型的目的是为了求得L0范数最小化约束下的稀疏解αc，即为了选择一些非零候选块去稀疏表示Ψp，具体αc的求解过程见文献[11]。
2 实验结果和分析
为了验证本文算法的有效性，本文以Xu等[7]算法为对比算法，将其结果与本文算法进行分析比较。算法中所涉及的壁画数据图 1由敦煌研究院提供，图 5(a)来自文献[25]敦煌660数据集。本算法中的重要参数取值为：待修复块大小取5×5，待候选块个数和平衡参数β分别为25和0.8。
![]()
图 5 不同算法下敦煌壁画修复结果Figure 5. Comparisons of Inpainting Results of Different Algorithms on Dunhuang Mural Images2.1 破损壁画修复结果比较
图 5(a)至5(d)分别为5张壁画原始图像[25]、对应的辅助结构信息版本、Xu等[7]算法修复结果和本文算法的修复结果。表 1给出了两种算法中的峰值信噪比(peak signal to noise ratio，PSNR)值和算法运行时间。
表 1 破损壁画修复图的PSNR值和修复时间Table 1. Comparisons of PSNR and Inpainting Time on Inpainting Mural Images图像 Xu等[7]算法 本文算法 PSNR t/s PSNR t/s 北凉-272-1s 25.94 3 727.39 28.14 594.65 北魏-435-1b 29.34 13 114.62 30.63 1 090.86 北周-290-1c 26.17 5 421.43 27.91 645.23 北周-299-a 26.37 3 718.14 27.52 706.24 西魏-249-r 30.77 3 735.54 32.02 206.46 均值 27.72 5 943.42 29.24 648.69 从修复结果上看, Xu等[7]算法没有出现结构不连续性的现象，但会出现纹理不连续，原因在于定义的块结构稀疏度不能很好地衡量纹理块的置信度，即不能很好地决定块填充顺序。本文提出的算法能很好地解决Xu等[7]算法在修复时出现的问题，最终得到较好的修复结果，主要原因有以下几点:①提出了先纹理后结构的由易而难的修复策略，降低了各个阶段修复的错误率；②定义了一种全新的块结构复杂度和块优先权函数，提高了结构区域的修复准确率；③稀疏表示模型下求解的待候选块的线性组合较好地估计出待修复块。从表 1可看出，本文修复算法具有最大的PSNR值，且平均PSNR值也达到了29.24，远高于Xu算法的27.72。表 1中同样记录了Xu等[7]和本文算法在修复图 5(b)中5幅壁画所花费的时间，不难看出，Xu等[7]算法由于计算了所有待候选块的优先权函数值，所以用时较长。结果证明, 本文算法无论在修复结果上还是时间上都有优势。
2.2 破损壁画修复结果比较
图 6(a)、6(e)为两张壁画原始图像，图 6(b)、6(f)分别为其对应的辅助结构信息版本，图 6(c)、6(g)和6(d)、6(h)分别为Xu等[7]算法和本文算法修复结果。
![]()
图 6 不同算法下破损敦煌壁画修复结果Figure 6. Comparisons of Inpainting Results of Different Algorithms on Damaged Dunhuang Mural ImagesXu等[7]算法在修复图 6(f)时，出现了较为严重的纹理不连续、结构错误延伸等现象，原因和§2.1提到的相同。而本文算法能基本解决Xu等[7]算法修复时的问题，并且得到较好的修复结果。唯一不足的是在修复图 6(f)时，左上角出现了纹理的不连续现象，这是今后需要改进的地方。
3 结语
本文提出了一种线描图指引下基于稀疏表示模型的壁画修复算法。利用稀疏表示模型求解候选块的线性组合，运用结构复杂度排序和全局随机抽取策略分别提高修复的准确性和效率。实验结果表明，本文算法对敦煌壁画破损图像修复具有较好效果。在未来的工作中，将致力于完成对破损区域和与之相对应的线描图的自动配准，从而代替人机交互式的手工配准工作。另外，还需要设计一种图像修复的评价标准，更好地描述修复结果的好坏。
致谢: 感谢武汉大学毛庆洲教授和武汉珞珈伊云光电技术有限公司提供的MT1500激光雷达数据。 -
![]()
图 1 稀疏点云引导的航空影像DSM生成流程图
Figure 1. Flowchart of Sparse Point Cloud Guided Digital Surface Model Generation for Aerial Images
![]()
图 6 稀疏点云引导前、后密集匹配点云对比图
Figure 6. Comparison of Dense Matching Point Cloud Before and After Sparse Point Cloud Guidance
![]()
图 9 不同软件生成数字表面模型的误差图
Figure 9. Error Plots of Digital Surface Models Generated by Different Softwares
表 1 模拟数据的精度评估
Table 1 Accuracy Assessment of Simulated Data
方法 大于1个像素/% 大于2个像素/% 大于3个像素/% 平均误差/像素 半全局匹配 29.16 15.10 9.94 3.42 高斯方法 28.52 14.06 8.88 3.02 SPCG方法 25.25 10.94 6.53 2.23 
下载: 导出CSV
表 2 航空影像数据的精度评估
Table 2 Accuracy Assessment of Aerial Image Data
方法 大于1个像素/% 大于2个像素/% 大于3个像素/% 平均误差/像素 半全局匹配 46.72 32.83 27.32 5.67 高斯方法 39.09 23.49 17.73 3.52 PSMNet 74.49 45.14 28.34 4.04 SPCG方法 39.05 23.08 17.04 3.24
下载: 导出CSV
表 3 不同像对选择方法的对比
Table 3 Comparison of Different Image Pair Selection Methods
方法 覆盖率/% 像对数量/个 全立体像对 100.00 33 411 固定航高的立体像对选择 96.82 1 314 稀疏点云引导的立体像对选择 96.89 1 035
下载: 导出CSV
表 4 数字表面模型精度对比/m
Table 4 Comparison of the Accuracy of Digital Surface Models/m
方法 平均值 中误差 SURE -1.08 1.14 SPCG方法 -0.57 0.71
下载: 导出CSV
-
[1] 张永军, 万一, 史文中, 等. 多源卫星影像的摄影测量遥感智能处理技术框架与初步实践[J]. 测绘学报, 2021, 50(8): 1068-1083. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202108009.htm Zhang Yongjun, Wan Yi, Shi Wenzhong, et al. Technical Framework and Preliminary Practices of Photogrammetric Remote Sensing Intelligent Processing of Multi-source Satellite Images[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8): 1068-1083. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202108009.htm
[2] 汤国安. 我国数字高程模型与数字地形分析研究进展[J]. 地理学报, 2014, 69(9): 1305-1325. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXB201409007.htm Tang Guoan. Progress of DEM and Digital Terrain Analysis in China[J]. Acta Geographica Sinica, 2014, 69(9): 1305-1325. https://www.cnki.com.cn/Article/CJFDTOTAL-DLXB201409007.htm
[3] 杨钰琪, 陈驰, 杨必胜, 等. 基于UAV影像密集匹配点云多层次分割的建筑物层高变化检测[J]. 武汉大学学报(信息科学版), 2021, 46(4): 489-496. doi: 10.13203/j.whugis20190030 Yang Yuqi, Chen Chi, Yang Bisheng, et al. 3D Change Detection of Buildings Based on Multi-level Segmentation of Dense Matching Point Clouds from UAV Images[J]. Geomatics and Information Science of Wuhan University, 2021, 46(4): 489-496. doi: 10.13203/j.whugis20190030
[4] Gong K, Fritsch D. A Detailed Study About Digital Surface Model Generation Using High Resolution Satellite Stereo Imagery[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, 3: 69-76.
[5] 张永军, 张祖勋, 龚健雅. 天空地多源遥感数据的广义摄影测量学[J]. 测绘学报, 2021, 50(1): 1-11. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202101001.htm Zhang Yongjun, Zhang Zuxun, Gong Jianya. Generalized Photogrammetry of Spaceborne, Airborne and Terrestrial Multi-source Remote Sensing Datasets[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(1): 1-11. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202101001.htm
[6] 纪松, 张永生, 杨喆, 等. 半全局约束下的多基线立体影像MVLL匹配方法[J]. 武汉大学学报(信息科学版), 2023, 48(1): 155-164. doi: 10.13203/j.whugis20200478 Ji Song, Zhang Yongsheng, Yang Zhe, et al. MVLL Match Method for Multi-baseline Stereo Imagery Based on Semi-global Constraint[J]. Geomatics and Information Science of Wuhan University, 2023, 48(1): 155-164. doi: 10.13203/j.whugis20200478
[7] Remondino F, Spera M G, Nocerino E, et al. State of the Art in High Density Image Matching[J]. Photogram Rec, 2014, 29 (146): 144-166.
[8] Zhang Y, Zou S, Liu X, et al. LiDAR-Guided Stereo Matching with a Spatial Consistency Constraint[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 183: 164-177. https://www.sciencedirect.com/science/article/pii/S0924271621002951
[9] 陈武, 姜三, 李清泉, 等. 无人机影像增量式运动恢复结构研究进展[J]. 武汉大学学报(信息科学版), 2022, 47(10): 1662-1674. doi: 10.13203/j.whugis20220130 Chen Wu, Jiang San, Li Qingquan, et al. Recent Research of Incremental Structure from Motion for Unmanned Aerial Vehicle Images[J]. Geomatics and Information Science of Wuhan University, 2022, 47(10): 1662-1674. doi: 10.13203/j.whugis20220130
[10] Qi Y, Su W, Xu Q, et al. Sparse Prior Guided Deep Multi-view Stereo[J]. Computers & Graphics, 2022, 107: 1-9.
[11] Pilzer A, Hou Y X, Loppi N, et al. Expansion of Visual Hints for Improved Generalization in Stereo Matching[C]//2023 IEEE Winter Conference on Applications of Computer Vision, Waikoloa, HI, USA, 2023.
[12] 陈智君, 李浩, 周弈, 等. 区域生长的半全局密集匹配算法[J]. 测绘科学, 2017, 42(5): 12-16, 24. https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201705003.htm Chen Zhijun, Li Hao, Zhou Yi, et al. Semi-global Dense Matching Method Based on Region Growing[J]. Science of Surveying and Mapping, 2017, 42(5): 12-16, 24. https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201705003.htm
[13] Poggi M, Pallotti D, Tosi F, et al. Guided Stereo Matching[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 2019.
[14] Zou S, Liu X, Huang X, et al. Edge-Preserving Stereo Matching Using LiDAR Points and Image Line Features[J]. IEEE Geoscience and Remote Sensing Letters, 2023, 20: 1-5. https://ieeexplore.ieee.org/document/10024831/authors
[15] Zhou Y, Song Y, Lu J. Stereo Image Dense Matching by Integrating Sift and SGM Algorithm[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2018, 42: 3.
[16] Xu Z, Li Y, Zhu S, et al. Expanding Sparse LiDAR Depth and Guiding Stereo Matching for Robust Dense Depth Estimation[J]. IEEE Robotics and Automation Letters, 2023, 8(3): 1479-1486. https://ieeexplore.ieee.org/document/10026457
[17] Hartmann W, Havlena M, Schindler K. Recent Developments in Large-scale Tie-point Matching[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 115: 47-62. https://www.sciencedirect.com/science/article/pii/S0924271615002063
[18] 黄旭. LiDAR点云约束下的多视影像密集匹配与融合方法研究[D]. 武汉: 武汉大学, 2016. Huang Xu. LiDAR Data Constrained Multi-view Dense Matchhig and Point Clouds Fusion[D]. Wuhan: Wuhan University, 2016.
[19] Stathopoulou E K, Remondino F. A Survey on Conventional and Learning‐based Methods for Multi‐view Stereo[J]. The Photogrammetric Record, 2023, DOI: 10.1111/phor.12456.
[20] Hirschmuller H. Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 30(2): 328-341.
[21] Chang J R, Chen Y S. Pyramid Stereo Matching Network[C]//IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018.
[22] Wu T, Vallet B, Pierrot-Deseilligny M, et al. A New Stereo Dense Matching Benchmark Dataset for Deep Learning[J]. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2021, 43: 405-412.
[23] Rothermel M, Wenzel K, Fritsch D, et al. SURE: Photogrammetric Surface Reconstruction from Imagery[C]//Proceedings LC3D Workshop, Berlin, Germany, 2012.
-
期刊类型引用(17)
1. 王真言，蒋胜丞，宋奇鸿，刘波，毕秀丽，肖斌. 基于Transformer的文物图像修复方法. 计算机研究与发展. 2024(03): 748-761 . 
百度学术
2. 张乐，余映，革浩. 基于快速傅里叶卷积与特征修剪坐标注意力的壁画修复. 计算机科学. 2024(S1): 338-346 . 百度学术
3. 冉娅琴，张乾. 基于RDE-GAN算法的多阶段壁画图像修复. 湖北民族大学学报(自然科学版). 2024(02): 219-225 . 百度学术
4. 殷婕，曾子明，孙守强. 基于深度学习和哈希方法的敦煌壁画移动视觉搜索研究. 现代情报. 2023(05): 35-45+78 . 百度学术
5. 陈永，陈锦，陶美风. 结构引导的渐进式生成对抗壁画修复. 北京航空航天大学学报. 2023(06): 1247-1259 . 百度学术
6. 齐云飞. 云南白沙壁画修复的数字化方法研究. 天工. 2023(34): 46-48 . 百度学术
7. 陆焱，胡玉荣，郭竞. 基于稀疏表示的对抗网络图像聚焦形貌修复. 计算机仿真. 2021(03): 126-130+258 . 百度学术
8. 陈永，陶美风. 敦煌壁画数字化修复方法综述. 软件导刊. 2021(05): 237-242 . 百度学术
9. 马贡喆. 数字图像修复技术在文物保护中的应用分析. 文物鉴定与鉴赏. 2021(19): 106-108 . 百度学术
10. 周玮. 徽州彩画多尺度高分辨率生成修复方法. 长春师范大学学报. 2021(12): 170-174+177 . 百度学术
11. 陈永，艾亚鹏，郭红光. 改进曲率驱动模型的敦煌壁画修复算法. 计算机辅助设计与图形学学报. 2020(05): 787-796 . 百度学术
12. 杨挺，王双双，盆海波，王兆霞. 基于改进SOM的壁画图像裂缝自动识别与修复. 天津大学学报(自然科学与工程技术版). 2020(09): 932-938 . 百度学术
13. 陈永，艾亚鹏，陈锦. 基于信息熵和结构特性的敦煌壁画修复算法. 激光与光电子学进展. 2020(12): 243-252 . 百度学术
14. 蒋超，雷桐，俞琳，王园园，吴天祥. 西安韩森寨元代墓室壁画数字化修复方法. 科学技术与工程. 2020(31): 12922-12926 . 百度学术
15. 蒋超，汪家杰，俞琳. 一种纺织文物图样数字化修复方法研究. 丝绸. 2019(11): 21-25 . 百度学术
16. 姚晓峰，须文波，武利秀. 基于深度神经网络的激光图像修复. 激光杂志. 2019(11): 76-79 . 百度学术
17. 覃阳，肖化. 自适应非负矩阵分解的人脸识别方法研究. 软件导刊. 2019(12): 73-77 . 百度学术
其他类型引用(18)
计量
- 文章访问数: 349
- HTML全文浏览量: 71
- PDF下载量: 93
- 被引次数: 35
