车载移动测量系统在数据采集过程中，常常会受扫描视角及地物自身遮挡等的影响，获取的点云数据不完整。因此，对点云缺失数据进行修复、填补等增强处理成为点云数据信息提取的重要步骤。

点云数据增强方法主要分为两类:一类是利用扫描数据中空洞与空洞周围点存在的关系进行填补增强; 另一类则是多源数据互补的增强方法。在利用点云自身数据进行填补增强研究中，计算机图形，计算机视觉及虚拟现实等研究领域常用曲面拟合、内插等数据合成算法对点云数据空洞进行填补^[1-7]，如Frueh等^[1]提出利用空洞点云附近的建筑物水平或竖直结构边缘的扫描点，采用线性内插方法实现点云数据空洞填补。蔡香玉等^[6]利用径向基函数(radial basis function, RBF)神经网络对点云数据构建插值模型，利用该模型对缺失空洞区域进行修复。另外, 有一些研究利用点云数据自身满足的重复、对称等属性来进行点云空洞数据填补^[8-11]，如Becker等^[10-11]提出由分布均匀、可视性好的点云数据归纳出建筑物立面形状语法，并利用规则的传播推导点云缺失区域建筑物立面几何结构。上述方法大都是基于空洞点云数据满足某种假设条件，数据填补的正确性较难保证。基于多源数据的点云填补方法，充分利用不同数据源间的互补性，以弥补单一视角、单一平台带来的数据缺失^[12-16]。李海亮等^[13]利用数码相机补摄缺失区域的影像数据。李永强等^[14]提出了基于机载和车载LiDAR(light detection and ranging)数据融合的建筑物立面点云空洞修复方法。Zhang等^[15]提出结合机载LiDAR数据和智能手机影像的完整城市建筑物建模方法。

车载移动测量系统中，由于采集数据视角不完全重合，激光扫描仪获取不到点云的区域，而相机有可能采集到该区域的影像数据。考虑到点云和影像数据具有互补性，本文提出了利用全景影像进行车载街景点云数据缺失区域增强的方法。具体方法为：首先对车载点云数据进行分类，对感兴趣的目标逐一进行点云缺失区域检测与提取; 然后，利用全景影像密集匹配生成点云数据对缺失区域进行填补，以达到点云数据增强的目的。本文的贡献主要为：

1) 在点云数据分类与目标提取中，提出了结合DBSCAN(density-based spatial clustering of applications with noise)分割聚簇和目标典型特征的分类方法，该分类方法是基于过分割的点簇基础上的，相对于基于单点的分类，其计算效率和可靠性均得到较好的保证。

2) 点云缺失填补方面，提出了基于全景影像局部仿射变换的区域增长密集匹配方法，用于生成空洞区域真实的三维点数据。该方法很好顾及了全景影像匹配存在的变形、遮挡、弱纹理等难点问题，取得了较好的点云填补增强效果。

1 方法提出

1.1   点云缺失区域提取

车载点云缺失区域提取的目的是确定需要增强的点云数据空间范围，因此需要先对点云数据进行分类，提取感兴趣目标的点云数据，然后分析该目标的点云数据是否存在缺失，以及提取相应的缺失区域边界。

1) 本文采用基于密度DBSCAN的车载点云数据聚类方法^[17]。该方法由核心对象和所有密度可达对象共同构成一个聚簇，可以检测出空间集合中任意形状的聚簇，特别适合于车载点云这样含有噪声或者空间密度分布不均的数据的聚类。经过DBSCAN聚类后，点云数据分割成不同点簇，还需进一步对点簇的类别进行判定。本文主要针对城市街景中的主要景观建筑物、电力线、电线杆及路灯和树木4种目标进行识别。在分析4种目标点云数据在高程差、XOY平面投影面积、XOY平面投影密度、法向量及维数信息等方面特点的基础上，归纳其对应的典型特征，见表 1。对应点簇而言，高程差为点簇的z坐标最大值与最小值之差，将点簇中的点按照z坐标从大到小排序，该序列中5%和95%对应点的z坐标值为点簇的z坐标最大和最小值。XOY平面投影密度为点簇的点数与XOY平面投影最小外接矩形面积之比。法向量为点簇中所有点的法向量方向峰值，每一个点的法向量为该点邻域点集拟合平面的法向量。对于空间任一点，利用PCA(principal component analysis)^[18]算法计算其对应的维数，分别用一维、二维及三维点描述空间点的线性、平面性及点状属性。统计点簇中一维、二维及三维点的数目，数目最多点的维数信息则为点簇的维数信息。

表  1  城市景观点云数据的典型特征

Table  1.  Typical Characteristics of Urban Landscape Point Cloud Data

目标	高程差	XOY平面投影	XOY平面投影密度	法向量	维数信息
建筑物	最大	线形，长宽比大	最大	平行地面	面状
电力线	最小	线形，长宽比大	最小	各异	线状
电线杆	中间	点形	中间	各异	线状
树木	中间	似矩形，长宽比小	中间	各异	体状

下载: 导出CSV 

| 显示表格

分析表 1可以发现，利用高程差和维数信息就可以识别点簇的目标类型。计算任一点簇p的高程差pH和维数信息pD={1D，2D，3D}，如果 pD=2D，p标记为建筑物; 如果pD=3D，p标记为树木; 如果pD=1D & & pH < T，T为高程差阈值, p标记为电力线; 如果pD=1D & & pH > T, p标记为电线杆。对标记过类别的点簇进行区域增长，可以获得同类别的单体数据，后续的点云缺失检测与填补均是逐个单体目标进行处理。

2) 点云缺失区域检测与边缘提取。本文主要通过构建三角网对点云区域进行缺失区域检测与边缘提取，具体步骤如下：对单体点云构建不规则三角网(triangulated irregular network，TIN)，判断TIN的所有三角形边长是否大于给定阈值，如果大于，则保留该三角形的3个顶点信息。

1.2   点云数据缺失填补

本文以车载移动测量系统获取的同步序列全景影像为数据源，进行密集匹配形成空洞区域的点云数据，完成缺失区域点云填补。主要包括最优匹配影像对选择、密集匹配生成三维点及点云融合处理。

1) 最优匹配影像对选择。车载移动测量系统获取的序列影像为遮挡问题提供了数据补充，不同视角的影像其存在的遮挡不一样，寻找最佳匹配影像的原则是点云空洞区域在影像上的投影没有产生自遮挡和被遮挡，且为正投影。可通过判断点云缺失区域投影的边缘点最小包围盒的长宽比，识别影像是否存在自遮挡。当点云缺失区域对应的影像区域存在被遮挡时，如存在位于目标前方的物体遮挡等，该影像区域的信息量与序列全景影像中未被遮挡的同等影像区域存在一定的差异，可采用图像熵进行被遮挡影像的剔除。

2) 密集匹配生成三维点。全景影像整体形变大，生成的核线影像也受外方位元素精度的影响，上下视差较大，不能有效地将匹配范围缩小至一维搜索，且城市街景的全景影像中建筑物纹理重复性强，导致匹配容易产生错误。针对上述问题，本文提出了一种基于局部仿射变换下的全景影像密集匹配方法。

当已知缺失区域边缘点在匹配影像对的投影时，只需要针对该投影区域外扩一定范围的矩形区域进行密集匹配则可提供点云填补的数据。全景影像的局部区域形变可近似为仿射变换，可通过仿射变换对局部影像进行纠正。

种子点的分布及质量直接影响密集匹配的结果，为了防止匹配误差的传播及弱纹理区域种子点缺失的问题，将影像块划分网格，确保每个网格中有种子点。种子点匹配的过程是先采用计算效率高的特征点检测算子FAST(features from accelerated segment test)算法提取特征点，并计算出其特征点主方向后，利用尺度不变特征变换(scale-invariant feature transform，SIFT)描述子进行特征描述，然后对特征点匹配进行范围约束进行Brute Force匹配^[19]，得到最终的同名种子点。在种子点基础上进行密集匹配点的区域增长，采用零均值归一化积相关算法(zero normalized cross correlation，ZNCC)作为相似性测度^[20]，在匹配代价最小且视差值小于阈值的约束下，利用八邻域连通性准则对误差最小的种子点优先匹配增长。

有了密集匹配点集，利用全景影像前方交会^[21]得到相应的空间点集，全景平面像点(m, n)和物方点(X, Y, Z)的关系如下：

式中，

$ \left[\begin{array}{l} \bar{X} \\ \bar{Y} \\ \bar{Z} \end{array}\right]=R\left[\begin{array}{l} X \\ Y \\ Z \end{array}\right]+T ;[\bar{X}, \bar{Y}, \bar{Z}]$为物点在全景球的局部坐标系下的坐标; R、T 分别为摄影测量坐标系与全景球局部坐标系之间的旋转、平移矩阵，由全景影像的姿态角和位置确定。

3) 点云融合处理。为了得到缺失区域的完整填补数据，影像密集匹配区域一般会大于缺失区域的影像区域，生成的点云数据直接用于填补可能会产生填补区域点云密度高于原始点云的平均密度，因此需要对叠加后的填补区域点云数据进行抽稀处理。本文采用对填补后的点云数据构TIN，判断TIN相邻面片间的法向量偏差进行抽稀处理。设定法向量偏差阈值，当偏差大于阈值时，保留该点^[22]。

2 实验与分析

实验数据为车载移动测量系统沿道路采集的城市街区点云数据及序列全景影像。如图 1所示，数据主要包含建筑物面、电力线、电线杆、树木、路灯及交通标志杆等。

图  1  点云和序列全景影像(部分)

Figure  1.  Point Clouds and Panoramic Images(Part)

下载: 全尺寸图片 幻灯片

2.1   点云缺失区域提取实验

采用DBSCAN算法进行分割，最大邻域半径为0.6 m，高密度区MinPts=450，低密度区MinPts=50。利用目标典型特征进行识别，数据中的建筑物面、电力线、树木及电线杆均被识别出来，结果如图 2所示。

图  2  点云数据分类(建筑物、电线杆、电力线和树木)

Figure  2.  Point Cloud Data Classification (Buildings, Poles, Power Lines and Trees)

下载: 全尺寸图片 幻灯片

本实验以建筑物立面为例，利用TIN检测漏洞区域，设定检测边长阈值为0.3 m。通过区域增长算法，得到每个缺失区域的边缘点集，结果如图 3所示。图 3中红色为由自身结构遮挡或透射产生的空洞，绿色为前景对后景物体的遮挡空洞。

图  3  建筑物缺失区域检测

Figure  3.  Building Missing Data Region Detection

下载: 全尺寸图片 幻灯片

从放大的局部图(图 3右)可以看出，墙面上空洞区域边缘提取结果准确，对空洞的检测效果良好。

2.2   车载点云缺失区域数据填补实验

根据本文方法得到密集匹配点云，建筑物面填补密度为0.1 m，数据增强结果如图 4所示。

图  4  缺失区域填补结果

Figure  4.  Filling of Missing Data Region

下载: 全尺寸图片 幻灯片

对比图 4和图 3可以看出，绝大部分空洞通过填补后点云密度接近原始点云数据。其中，图 3中31个缺失区域中有26个完成填补，5个未被填补，分析这5个缺失区域的影像数据，发现均被遮挡。

2.3   点云填补方法有效性验证

为了验证本文方法的有效性，设计了相应的实验数据和方案，首先从原始的点云数据中挖去部分点云信息，形成缺失空洞区域; 然后，利用本文的点云填补方法进行填补，将填补结果与对应的原始数据进行对比。

图 5为填补数据与原始区域点云数据对比。对墙面缺失区域采用RANSAC(random sample consensus)平面拟合，具体的平面参数见表 2，填补点云与建筑物原始点云平面拟合参数基本一致，验证了本文填补方法对于平面区域的有效性。

图  5  填补数据(左)与原始数据(右)对比图

Figure  5.  Comparison of Filling Data (Left) and the Original Data (Right)

下载: 全尺寸图片 幻灯片

表  2  缺失区域平面拟合参数

Table  2.  Plane Fitting Parameters for Missing Data Region

点云平面	A	B	C	D
建筑物点云平面	-2.464 35	1.093 98	0.026 017 9	1
填补点云平面	-2.464 41	1.094 00	0.026 000 3	1

下载: 导出CSV 

| 显示表格

对非墙面缺失区域，统计原始点云和填补点云在垂直建筑物面方向的点云分布直方图，如图 6所示。填补点云在深度方向上与原始点云分布一致，有两个峰值，且两峰值与原始数据峰值的距离差均约为0.05 m，表明本文点云填补算法对于窗户等非墙面区域同样有效。

图  6  点云深度值分布直方图

Figure  6.  Distribution Histogram of Point Cloud Depth

下载: 全尺寸图片 幻灯片

3 结语

针对车载扫描点云数据存在缺失的情况，本文提出了一种结合全景影像的车载街景点云数据增强方法。实验结果表明，该方法能够实现分类别的单体点云数据缺失区域检测与填补，在点云数据分类过程中以过分割的点簇为基础，保证了点云数据分类与单体识别的准确性。另外，在缺失区域点云填补中，通过最优影像对的局部仿射变换纠正，减弱了全景影像形变大及街景重复纹理对匹配的影响; 采用的基于格网种子点提取与控制策略保证了弱纹理区域的影像密集匹配实现，进一步确保了点云填补的可靠性。本文的方法还不能解决点云和对应影像同时为遮挡区域的数据填补问题，进一步的研究也将结合不同高度平台数据采集系统获取更多角度的目标数据，提高方法的普适性。