数字表面模型（digital surface model，DSM）在实景三维建模、智慧城市建设、自然资源管理、水文与水资源监测和地球科学研究等领域发挥着关键的作用^[1-3]。其优势在于可准确表示空间信息位置，为后续相关地理数据的可靠性和精确性分析奠定了基础，对实现人类-社会-自然系统的可持续发展和服务相关管理部门的决策具有重要的应用价值^[4]。航空影像、卫星影像、激光雷达数据以及地面测量数据为DSM的生成提供了多样化的数据源，但这些数据在空间分辨率、访问周期和数据可获得性等方面存在不同的优缺点^[5]。基于航空影像的数字表面模型生成具有响应速度快、生产周期短、分辨率较高等优势，因此是构建DSM常用的方法之一^[6]。

密集匹配是基于影像生成数字表面模型的核心步骤^[7]。然而，影像密集匹配在纹理缺乏、视差断裂以及光照不一致等区域容易出现匹配失败现象^[8]。通过空中三角测量，获取航空影像的精确内外方位元素是摄影测量处理的重要任务^[9]。空三加密的稀疏点云具有精度高、可靠性高和大范围覆盖等优势，已被证实可以提高密集匹配结果的精度^[10-11]。稀疏可靠点可用于密集匹配的很多方面，例如缩小视差搜索范围^[12]、优化匹配代价^[13]、调整正则化参数^[14]以及改变代价聚合权重^[15]。当稀疏点云较为密集时，应用上述策略可以显著改善密集匹配结果^[16]。但是空三加密的稀疏点云通常较为稀疏，导致密集匹配的精度提升非常有限。

因此，本文提出了稀疏点云引导（sparse point cloud guidance，SPCG）的航空影像数字表面模型生成方法，以解决空三加密的稀疏点云在密集匹配中精度提升有限的问题。首先，基于稀疏点云引导选择几何配置良好、重叠度高和覆盖率高的立体像对；然后，利用最邻近聚类和金字塔传播显著扩展稀疏点的数量；进一步，通过优化稀疏点及其扩展点的代价矩阵，以提升密集匹配结果的精度；最后融合多个密集匹配点云，生成DSM。

1 稀疏点云引导的DSM生成方法

本文提出了一种稀疏点云引导的DSM生成方法。该方法将空中三角测量加密的稀疏点云应用于DSM生成的全过程，包括3个主要步骤：稀疏点云引导的立体像对选择、稀疏点云引导的密集匹配和密集匹配点云融合。全流程如图 1所示。

图  1  稀疏点云引导的航空影像DSM生成流程图

Figure  1.  Flowchart of Sparse Point Cloud Guided Digital Surface Model Generation for Aerial Images

下载: 全尺寸图片 幻灯片

1.1   稀疏点云引导的立体像对选择

立体像对选择是多视立体影像密集匹配中的重要环节。在这个过程中，需要选择一组具有空间重叠区域的图像对，以便进行后续的密集匹配^[17]。立体像对选择会修剪没有空间重叠区域的图像对，并消除不必要的匹配对，以提高计算效率。选择的准则包括图像对成像几何配置、覆盖率和避免冗余匹配等因素。通过基于稀疏点云引导选择合适的立体像对，可以加快后续的密集匹配过程，实现更快速、更准确的密集点云生成。

交会角是图像对成像几何配置的重要参考指标^[18]。如果影像之间的交会角过小，虽然匹配质量很高，但是交会精度很低，也无法生成高精度点云。因此交会角过小的立体像对也是不合格像对。在传统的航空摄影测量中，当已知相对飞行高度时，可以通过已知的内外方位元素计算交会角。然而，随着智慧城市、地理国情监测等应用的海量数据需求，低空无人机摄影和地面近景摄影被广泛采用，此时相对飞行高度信息通常不可知。本文采用空三连接点和影像内外方位元素的方法，不仅可以得到精确的相对飞行高度，还可以精确计算连接点的交会角。根据稀疏点计算每个立体像对的平均交会角，并去除交会角过小的立体像对。因此，本文采用稀疏点计算交会角的方法，能够适应卫星、航空、低空、倾斜甚至近景影像等各种不同的数据情况。

减少冗余匹配并保证较高的覆盖率是实现最优立体选择的核心思想^[19]。已知相机的姿态，可以计算相对于指定高程平面的图像足迹，并根据它们的足迹是否相交来选择具有空间重叠的图像对。然而，当地形或地物高程起伏较大时，全测区固定高程平面的图像足迹与真实的图像足迹偏差很大。因此，具有粗略地形信息的稀疏点云为获取可靠的图像足迹提供了条件。本文提出了一种稀疏点云引导的立体像对选择策略。首先对整体区域进行栅格化，每个栅格中记录该栅格被像对覆盖的次数。之后计算栅格坐标与实际坐标之间的转换关系，并遍历所有像对。对每个像对，统计像对覆盖范围内稀疏点云的平均高程，找到像对中两张影像覆盖的重叠区域。计算选中该像对后，像对覆盖次数大于给定的重叠度阈值的栅格数目增量。若其与重叠区域栅格数目总数之比大于给定阈值，则选择该像对。遍历所有像对后结束。

1.2   稀疏点云引导的密集匹配

1.2.1   稀疏点的扩展

空三点云的准确性较高，高精度的高程先验信息有助于提升密集匹配结果的精度。然而，空三点云通常过于稀疏，导致提升密集匹配结果的精度非常有限。因此如何扩展稀疏性成为一个亟待解决的问题。

扩展稀疏点的目的是增加稀疏点云的密度，从而提高密集匹配结果的准确性。首先，将空三稀疏点转换成每个立体像对所对应的匹配点，这些匹配点在文中称之为稀疏点云。为了保证稀疏点云的准确性，文中使用的稀疏点云来自于空中三角测量的输出结果。由于采用三度及以上重叠的物方点，即同名点至少出现在3张影像上，这种约束能够使稀疏点云几乎不存在粗差问题。即使稀疏点云仍存在粗差，可以通过上层金字塔匹配结果进行剔除，即上层金字塔影像的密集匹配结果应与稀疏匹配的结果相一致，不一致的稀疏匹配结果应被剔除。然后，根据稀疏点周围像素的灰度和深度信息对稀疏点进行扩展。具体过程如下：

1）遍历图像上的每个像素，计算每个像素到所有稀疏点的距离，根据最小距离确定每个像素的最邻近稀疏点和每个像素距离最邻近稀疏点的距离，如图 2所示。

图  2  稀疏点扩展示意图

Figure  2.  Schematic of Sparse Point Expansion

下载: 全尺寸图片 幻灯片

2）将具有相同最邻近稀疏点的像素进行聚类。这些像素需要满足两个条件：一是像素点与最邻近稀疏点的灰度值差异小于灰度阈值$ {\tau }_{1} $；二是像素点离最邻近稀疏点的距离小于距离阈值$ {\tau }_{2} $。通过这样的聚类过程，可以确保每个像素至多属于一个稀疏点的聚类。

3）将像素点由上层金字塔视差图传播得到的视差与最邻近稀疏点的视差进行比较。只有当视差差值小于视差阈值$ {\tau }_{3} $的像素才会被纳入扩展区域。此时，扩展区域内像素的视差为对应于上层金字塔影像的视差除以金字塔影像缩放因子。

如图 3（a）所示，稀疏点的密度非常低。经过上述扩展过程，最终扩展点的数量显著增加，如图 3（b）所示。因此，稀疏点扩展可以显著增加有效像素（即具有先验视差的像素）的密度，并为后续的密集匹配提供更多可靠的特征点，从而提高密集匹配的精度和完整性。

图  3  稀疏点扩展前后对比图

Figure  3.  Comparison Before and After Sparse Point Expansion

下载: 全尺寸图片 幻灯片

1.2.2   基于稀疏点及其扩展点的代价矩阵优化

影像密集匹配通常包括以下关键步骤：匹配代价计算、代价聚合、视差计算和视差优化。匹配代价可通过计算匹配点在左右影像上的特征描述之间的距离得到：

式中，$ C(x, y, d) $表示当前像素$ (x, y) $以$ d $为视差时的匹配代价；$ L(x, y) $和$ R(x+d, y) $分别代表匹配点在参考图像和待匹配图像的特征描述；Dist表示匹配点特征描述之间的相似度度量，如汉明距离。代价矩阵存储了参考图像中每个像素与待匹配图像在视差范围内的所有像素的匹配代价，其尺寸为H×W×D，其中H×W表示参考图像的分辨率，D表示最大视差搜索范围^[8]。代价矩阵在匹配代价计算、代价聚合和视差计算过程中起关键作用，直接影响密集匹配的结果。本文中整个图像的代价矩阵缩写为F。

基于稀疏点的高保真性，优化稀疏点所在像素的匹配代价是提高匹配精度的有效方法。高斯增强函数是一种优秀的方法，它充分考虑到视差d越接近真实视差，d的置信度就越高^[13]。因此，高斯增强函数用于优化稀疏点视差搜索范围内所有视差的匹配代价。在更新稀疏点的代价矩阵时，应减少稀疏点计算出的视差d_m及其邻域视差对应的匹配代价，并增加视差搜索范围内其他视差的匹配代价。上述方法通过选择高度为k，标准误差为$ \delta $的高斯函数，从初始代价矩阵F产生增强的代价矩阵G：

由于扩展点的视差是由金字塔视差图传递得到的，其可靠性低于稀疏点。已知扩展点的视差值为d_y，且该扩展点最邻近稀疏点的视差为d_m。考虑到金字塔视差传播的不准确性，扩展点的视差倾向于[d_min，d_max]。因此，针对扩展点使用改进高斯函数来优化代价矩阵：

式中，

改进的高斯函数将d′设置为一个区间函数，而不是固定值d_m，这能够有效地保证最终的视差倾向于[d_min，d_max]。

基于稀疏点及其扩展点优化代价矩阵后，通过应用动态规划算法，对水平、垂直和4个对角线方向上的代价进行最优路径聚合，将视差计算问题建模为最小化能量的问题^[20]。其中，单个路径的代价聚合公式为：

式中，等式右侧的第1项表示像素点p具有视差值d时的匹配代价；第2项表示像素p在路径r方向上前一个像素代价累积的最小值；第3项则用于限制数值大小；P₁和P₂分别是用于衡量当前像素p和路径r方向上前一个像素的视差差异为1和大于1的惩罚参数^[20]。总的匹配代价是所有r方向的匹配代价之和：

遍历每个像素p处最小代价对应的视差值，形成整幅图像的视差图。

1.3   点云融合

根据稀疏点云可以计算出测区的大致范围，并根据DSM的分辨率生成二维网格。通过使用影像的内外方位元素和密集匹配的结果，可以确定影像中匹配点对应的地面点。在这个过程中，根据地面点的平面坐标确定其在DSM二维网格中的位置，并根据其高程值赋予相应位置的DSM二维网格。当单个网格存在多个地面点时，最终的高程值通过多个地面点的高程中间值确定。然而，由于可能存在错误匹配等原因，DSM可能会出现明显的空洞。为解决这个问题，可以采用DSM内插方法填补空洞位置的高程信息，从而获得完整的DSM。

2 实验结果与分析

密集匹配是整个DSM生成的核心过程。实验中，首先在多个立体像对数据集上验证了特征匹配引导的密集匹配可行性，然后在多视航空影像上验证了稀疏点云引导的数字表面模型生成方法全流程的可行性。实验中所有设置参数均为固定值。之前的研究表明，高斯函数中k和c的推荐值分别为10和1^[13]。经验设置和实验验证，将由稀疏点计算扩展点的灰度阈值$ {\tau }_{1} $设置为16，距离阈值$ {\tau }_{2} $设置为12，视差阈值$ {\tau }_{3} $设置为4。上述方法均在VS 2017下实现，实验平台处理器为Intel Xeon Gold 6258R CPU 2.7 GHz，显卡为RTX 3090，操作系统为Windows10 X64。

2.1   特征匹配引导的密集匹配

特征匹配用于在不同图像之间寻找相对应的特征点，通常用于图像识别、图像拼接、密集匹配等应用。密集匹配采用半全局匹配算法，该算法用于估计两幅立体图像之间的像素位移或视差，从而获得场景中物体的三维深度信息^[20]。半全局匹配算法融合了全局优化和局部匹配的思想，通过计算每个像素与其周围像素的匹配代价，并利用动态规划的方法在多个方向上累积这些代价，得到一致的视差图。由于半全局匹配算法兼顾了全局和局部的一致性，并且具有高度并行计算的特点，因此在实时或近实时的立体匹配任务中表现优异。

图 4展示了半全局匹配^[20]、高斯方法优化的半全局匹配（以下简称高斯方法）^[13]和本文方法优化的半全局匹配（以下简称SPCG方法）在明德立体数据集上生成的视差图。视差图中，每个像素存储了匹配点在左核线影像与右核线影像列坐标的差值，这些差值被映射到从蓝色到红色的伪彩色，表示从小到大的有效视差。如图 4（b）所示，半全局匹配基本恢复了物体的三维形状，但在物体边界产生了较多的错误匹配。在特征匹配结果的引导下，高斯方法减少了错误匹配，如图 4（c）所示。与高斯方法相比，SPCG方法的错误匹配最少，并且在所有对比方法中，与真实视差最为接近。

图  4  模拟数据的实验对比结果

Figure  4.  Results Comparison of Simulated Data

下载: 全尺寸图片 幻灯片

本文进一步评估了上述3种方法在明德数据集上的匹配精度。离群点百分比是常用的精度指标，定义为密集匹配视差图中有效视差和真实视差之间绝对差大于1、2或3个像素的数量除以真实视差总数量的百分比。平均误差是密集匹配视差图中有效视差和真实视差之间绝对差的平均值。如表 1所示，高斯方法和SPCG方法在所有指标上均明显优于原始半全局匹配，其中SPCG方法效果最好。从数值上看，SPCG方法在离群值数量和平均误差上都比原始半全局匹配低得多：离群值大于2个像素的数量从15.10%减少到10.94%，平均误差从3.42个像素减少到2.23个像素。综上所述，SPCG方法显著提高了半全局匹配算法的匹配准确性，并且优于高斯方法。

表  1  模拟数据的精度评估

Table  1.  Accuracy Assessment of Simulated Data

方法	大于1个像素/%	大于2个像素/%	大于3个像素/%	平均误差/像素
半全局匹配	29.16	15.10	9.94	3.42
高斯方法	28.52	14.06	8.88	3.02
SPCG方法	25.25	10.94	6.53	2.23

下载: 导出CSV 

| 显示表格

进一步对比半全局匹配、高斯方法、金字塔立体匹配网络（pyramid stereo matching network，PSMNet）^[21]以及SPCG方法在Vaihingen基准数据集生成的视差图^[22]。PSMNet利用影像的全局上下文信息，可以有效减少匹配不确定区域的错误匹配。验证数据集包含117个分辨率为1 024×1 024的航空影像立体像对和相应的真实视差图。视差搜索范围均为0~192。图 5展示了部分航空影像数据的实验对比结果。如图 5（b）所示，半全局匹配基本恢复了物体的三维形状，但在物体边界产生了明显的匹配错误。PSMNet生成的视差图同样恢复了物体的三维形状，并在物体边缘有着较为准确的匹配结果。在特征匹配结果的引导下，高斯方法和SPCG方法均改进了半全局匹配的匹配结果，SPCG方法相比于高斯方法的匹配错误更少，如图 5（b）、5（c）和5（e）所示。对比PSMNet和SPCG方法生成的视差图，PSMNet的视差图更为平滑，但在局部区域有显著的匹配错误，如图 5（d）和5（e）所示。

图  5  航空影像数据的实验对比结果

Figure  5.  Experimental Comparison Results of Aerial Image Data

下载: 全尺寸图片 幻灯片

进一步评估上述4种方法在Vaihingen基准数据集上的匹配精度。如表 2所示，高斯方法和SPCG方法在所有指标上均明显优于原始半全局匹配和PSMNet，其中SPCG方法的精度最高。从数值上看，半全局匹配生成的视差图与真实视差的差值大于1、2或3个像素的百分比分别为46.72%、32.83%或27.32%，而SPCG方法相比于前者分别下降了7.67%、9.75%或10.28%。SPCG方法在离群值数量和平均误差上均比原始半全局匹配低得多。综上所述，SPCG方法显著提高了半全局匹配算法的匹配准确性，并且优于高斯方法。

表  2  航空影像数据的精度评估

Table  2.  Accuracy Assessment of Aerial Image Data

方法	大于1个像素/%	大于2个像素/%	大于3个像素/%	平均误差/像素
半全局匹配	46.72	32.83	27.32	5.67
高斯方法	39.09	23.49	17.73	3.52
PSMNet	74.49	45.14	28.34	4.04
SPCG方法	39.05	23.08	17.04	3.24

下载: 导出CSV 

| 显示表格

图 6是在相同视角下，稀疏点云引导前、后点云的垂直俯视图。图 6（a）显示稀疏点云引导前的点云在弱纹理、重复纹理和深度不连续等困难匹配区域出现了较多的空洞（白色区域），而稀疏点云引导后的点云在上述区域的空洞显著减少，如图 6（b）所示。因此，相比于原始密集匹配，稀疏点云引导的密集匹配可以提高在弱纹理、重复纹理和深度不连续等困难匹配区域的匹配准确性，从而生成高精度和高密度的点云。

图  6  稀疏点云引导前、后密集匹配点云对比图

Figure  6.  Comparison of Dense Matching Point Cloud Before and After Sparse Point Cloud Guidance

下载: 全尺寸图片 幻灯片

2.2   多视航空影像的数字表面模型生成

多视航空影像数据集位于武汉大学，为下视影像，包含了建筑、树木、草地和道路等地物。摄影航高为250 m，总共采集了259张影像，影像分辨率为0.067 m，航向重叠为80%、旁向重叠为60%。影像分布如图 7所示。

图  7  影像分布图

Figure  7.  Images Distribution

下载: 全尺寸图片 幻灯片

表 3列出了3种不同的像对选择方法的覆盖率和最终选择的立体像对数量。覆盖率是指最终选择的立体像对中包含空三加密点云的数量除以空三加密点云的总数量。全立体像对方法是使用数据集中所有可用的像对进行立体匹配。它的覆盖率在3个对比方法中最高，达到100%，同时它的像对数也是最高的，共有33 411个像对。固定航高的立体像对选择方法是使用固定航高计算像对的足迹。它的覆盖率为96.82%，总共有1 314个像对用于立体匹配。稀疏点云引导的立体像对选择方法是利用稀疏点云信息来引导像对的选择，它根据像对内分布的稀疏点云确定平均航高，进而得到更准确的像对地面足迹。它的覆盖率为96.89%，总共有1 035个像对用于立体匹配。综上，相比于固定航高的立体像对选择，稀疏点云引导的立体像对选择方法在保证覆盖率的前提下，具有减少立体像对数量和生成更为准确的优点。

表  3  不同像对选择方法的对比

Table  3.  Comparison of Different Image Pair Selection Methods

方法	覆盖率/%	像对数量/个
全立体像对	100.00	33 411
固定航高的立体像对选择	96.82	1 314
稀疏点云引导的立体像对选择	96.89	1 035

下载: 导出CSV 

| 显示表格

图 8展示了SURE^[23]和SPCG方法生成的DSM，其中不同颜色对应不同的高程值。DSM的高程用伪彩色进行渲染，高程值从小到大映射成从蓝色到红色的伪彩色。SURE软件利用稀疏点云、航空影像等数据源，通过优化半全局匹配算法和不确定性建模等方式生成高精度的DSM。从整个测区的DSM可以看出，基于SURE和SPCG方法生成的DSM均较为完整地反映了建筑、树木、草地和道路等的高程值，而且没有明显的粗差。观察局部DSM可以发现，相比于SURE生成的DSM，SPCG方法生成的DSM的平滑性更好。

图  8  数字表面模型的对比图

Figure  8.  Comparison of Digital Surface Models

下载: 全尺寸图片 幻灯片

图 9定量描述了不同软件生成的DSM与机载激光点云之间的差异，不同的颜色代表不同的误差水平，其中图 9（a）为所选对比区域。如图 9（b）、9（c）所示，SURE和SPCG生成DSM的误差图在大部分区域均处于-1~1 m之间，并且SPCG相比于SURE生成DSM的准确性更好。表 4是使用位于平坦区域24个均匀分布的高程控制点评估的DSM平均值和均方根误差，SPCG方法生成的DSM的平均值和均方根误差均优于SURE。

图  9  不同软件生成数字表面模型的误差图

Figure  9.  Error Plots of Digital Surface Models Generated by Different Softwares

下载: 全尺寸图片 幻灯片

表  4  数字表面模型精度对比/m

Table  4.  Comparison of the Accuracy of Digital Surface Models/m

方法	平均值	中误差
SURE	-1.08	1.14
SPCG方法	-0.57	0.71

下载: 导出CSV 

| 显示表格

3 结语

为解决空三加密的稀疏点云在密集匹配中精度提升受限制的问题，本文提出了稀疏点云引导的航空影像数字表面模型生成方法。模拟立体影像和真实航空立体影像的实验表明，SPCG方法显著提高了半全局匹配算法的匹配准确性，并优于高斯方法引导的半全局匹配和深度学习方法PSMNet。具体数值表现如下：半全局匹配生成的视差图与真实视差的差值大于1、2或3个像素的百分比分别为46.72%、32.83%或27.32%，而SPCG方法优化的半全局匹配在所有对比方法的匹配精度最高，并且相比于半全局匹配分别下降了7.67%、9.75%或10.28%。多视航空影像的实验结果表明，稀疏点云引导的立体像对选择方法在保证覆盖率的前提下，能够显著减少立体像对数量。在弱纹理、重复纹理和深度不连续等困难匹配区域，稀疏点云引导的密集匹配相比于原始密集匹配的匹配准确性显著提高，这有助于生成高精度和高密度的点云。最终通过密集匹配点云的融合，生成完整的DSM。本文提出的SPCG方法仅针对半全局匹配算法进行了优化，然而该方法理论上可以优化更多的密集匹配方法，在后续研究中将进行拓展和实验验证。