快速检索        
  武汉大学学报·信息科学版  2019, Vol. 44 Issue (5): 731-736, 764

文章信息

文学东, 陈为民, 谢洪, 闫利
WEN Xuedong, CHEN Weimin, XIE Hong, YAN Li
一种融合多源特征的建筑物三维模型重建方法
A Method for Building Model Reconstruction Based on Multi-source Feature Fusion
武汉大学学报·信息科学版, 2019, 44(5): 731-736, 764
Geomatics and Information Science of Wuhan University, 2019, 44(5): 731-736, 764
http://dx.doi.org/10.13203/j.whugis20180320

文章历史

收稿日期: 2018-08-24
一种融合多源特征的建筑物三维模型重建方法
文学东1,2 , 陈为民2 , 谢洪1 , 闫利1     
1. 武汉大学测绘学院, 湖北 武汉, 430079;
2. 宁波市自然资源和规划局, 浙江 宁波, 315042
摘要:以激光点云数据和倾斜多视影像为研究对象,提出了一种结合机载点云、地面点云及倾斜多视纹理的融合多源特征的建筑物三维模型重建方法。该方法结合点云面元以及影像边界特征,利用倾斜影像的线特征对顶面及立面模型进行边界规则约束,实现了面元自动拓扑重建;通过交互编辑完成不同复杂程度的建筑模型重建,并对模型进行纹理映射。实验结果表明,该方法能够有效提升城市建筑物三维模型重建的效率和边界精度,为利用多源数据的空地联合建筑物三维精细重建提供了一套切实可行的解决方案。
关键词激光点云    倾斜多视影像    三维重建    特征融合    
A Method for Building Model Reconstruction Based on Multi-source Feature Fusion
WEN Xuedong1,2 , CHEN Weimin2 , XIE Hong1 , YAN Li1     
1. School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China;
2. Ningbo Bureau of Natural Resources and Planning, Ningbo 315042, China
Abstract: Taking laser point cloud data and multi-view airborne oblique images as studying objects, an approach by integrating multi-source feature from airborne point cloud, ground laser point cloud and multiview airborne oblique images is proposed for building model reconstruction. Based on the combination of planar surface from point cloud segmentation and edge line extracted from images, the shape of the roof and façade model is refined utilizing the image lines as boundary constraints.Then the reconstruction process is implemented through the automatic topological optimization, necessary interactive editing and the final texture mapping. Compared with the manual and automatic reconstruction methods, the experiment result shows that this method can effectively improve the reliability of 3D model reconstruction of urban buildings, and provides a feasible solution for detailed building reconstruction using multi-source data.
Key words: laser point cloud    multi-view oblique image    3D reconstruction    feature fusion    

建筑物三维模型作为地理空间信息数据的重要组成部分,在数字城市建设、能源需求评估、文化遗产保护和灾害应急管理等领域有着广泛应用[1-2]。传统方法利用摄影测量手段提取建筑物三维轮廓模型,影像获取过程易受阴影、遮挡、投影误差等因素影响,导致重建模型几何精度较低,难以满足建筑物三维精细模型的重建要求[3-5]。而基于倾斜多视影像的场景重建是近年发展起来的新技术,其自动化程度和模型细节层次较高,但重建结果为场景一体化实景模型[6-9],无法提供独立建筑或其他兴趣目标的单体语义描述信息,复杂结构区域也容易丢失细节,从而限制了其在城市精细化管理等相关领域的应用。

激光雷达技术作为一种主动式遥感成像方式,可直接获取空间目标尤其是建筑目标顶面及立面的高精度、多细节的三维点云信息及部分属性特性,也因此成为近年用于高精度建筑模型室内外重建的主流技术手段之一[10-15]。但由于其离散采样的本质,导致难以直接从点云中获得较高精度的建筑轮廓边界约束。

因此,为实现建筑物精细模型高可信度自动化重建,本文以机载和地面激光点云数据、倾斜多视影像两类典型数据源为基础,融合点云的表面高精度表达和影像的精细轮廓,提出了一种结合机载点云顶面模型、地面点云立面模型及倾斜多视纹理的融合多源特征的建筑物精细模型重建方法。本文在多源数据融合配准的基础上,首先利用法向量聚类分割的方法提取机载点云中的建筑顶面区域,并根据该区域标识对应地面点云中的立面区域以及影像中的建筑区域,以提高后期点云面元分割及影像线特征提取的效率;然后基于随机采样一致性(random sample consensus,RANSAC)算法提取点云中的平面基元,利用从影像中提取的直线特征作为约束,对平面边界进行优化获取建筑物的准确主体轮廓;最后采用细节拓扑交互编辑及纹理映射的方法获取建筑物的精细模型。

1 机载点云的建筑物目标分割

针对机载点云的建筑物目标分割,为了获取点云中的建筑顶面基元以及少量存在的建筑立面,本文采用了利用法向量约束的欧氏空间聚类方法。该算法主要包括如下两个过程。

1)滤出建筑物区域的地面点。本文引入布料拟合滤波(cloth simulation filter,CSF)算法对地面点进行提取[16]。该方法假设一块具有刚性参数的布面覆盖在倒置的点云表面,对节点进行重力沉降、交叉检查、内引力位移等一系列操作生成拟合地表面,最后通过比较初始激光扫描点和拟合表面节点的高差分离地面点。该方法滤波参数设置简单,滤波精度较高,而且能够减少人工干预。

2)提取建筑物顶面和立面区域点云。首先计算法向量与竖直方向的角度,利用夹角阈值分割出非地面点云中的水平点云与立面点云,然后利用欧氏空间聚类方法将分割后的点云进行聚类得到类簇。由于植被点云的法向量不规律特性,植被区域的类簇呈现点数及面积较小的特性,通过设置简单的类簇点个数或面积阈值即可进一步地滤波植被区域,剩余的类簇标识为建筑物顶面和立面点云。

2 建筑物点云平面基元提取与影像线特征提取 2.1 建筑物点云平面基元提取

建筑物点云平面基元提取是建筑物目标自动重建中的重要环节,为提高效率,本文设计的提取方法在两个方面进行了改进。

1)引入机载点云中所提取的顶面和立面点云区域约束。首先根据顶面和立面点云区域构建建筑物区域的近似包围盒,然后利用该包围盒区域直接从地面点云中提取对应建筑物区域的点云数据,将平面基元提取限制在对应的建筑物局部区域,在提取过程中能够有效避免复杂和高密度地面点云引起的提取效率和鲁棒性低的问题。

2)在平面基元提取过程中,将机载和地面的建筑物区域融合点云作为处理对象,引入RANSAC方法进行高精度平面提取。首先根据法向量对待提取点云进行聚类,然后取各聚类点云法向量均值和重心作为RANSAC初始值,以提高迭代收敛速度。由于各类簇的提取过程独立,可以采用并行的方法进一步提高效率。

在点云平面分割基础上,利用Alpha Shapes方法来提取平面区域的轮廓边界[17],即完成平面基元提取过程。

2.2 影像线特征提取

建筑物点云平面基元具有较高的表面精度,但由于点云本身的离散特性、噪声或者遮挡等因素影响,其边界往往会呈现锯齿状或者存在局部缺失。而倾斜影像则具有更高的分辨率和丰富的细节信息,尤其是建筑物顶面和立面的边缘信息精度较高,能够为点云平面基元提供良好约束与补充。

倾斜影像特征提取主要包括影像选择和立体线特征匹配两个方面。针对影像选择,由于建筑墙面在不同影像中的位置是任意的,越接近正射成像的影像,其对边缘的表现能力越好,因此本文将点云中提取的平面基元作为物方约束,然后通过建筑物平面的法线向量与多视倾斜影像的主光轴形成的夹角来获取成像角度较好的影像,最后通过面元投影面积来遴选用于下一步立体直线特征提取的立体像对,如图 1所示,P1P2P3表示点云分割平面的外包盒L1在影像S1S2S3上的成像投影,N1表示该分割平面的法向量,O1O2O3分别表示对应于影像S1S2S3的像主点位置。

图 1 点云边界及影像选择 Fig. 1 Demonstration of the Extracted Edge from Point Cloud and the Selection of Images

针对立体线特征提取,本文采用基于边缘绘制直线检测算子(edge drawing line,EDLine)提取直线特征[18],采用直线区域描述符(line band descriptor,LBD)对直线进行描述[19],利用几何属性和局部相似性约束对待匹配线特征进行筛选,得到候选匹配直线特征对,构建邻接矩阵关系图和一致性迭代得到最终的同名匹配线段。

3 拓扑自动构建与边界约束优化

在拓扑自动构建与边界约束优化流程中,主要包括影像线特征投影、基元拓扑图构建、轮廓优化与规则化处理3个阶段。

3.1 影像线特征投影

影像上提取的轮廓主要包括建筑主体外轮廓以及窗户阳台等局部细节轮廓。由于立体匹配线段与点云的精度存在差异,需要将从影像提取出的立体线段特征投影到分割平面上,从而建立平面分割基元的边界约束。

影像线特征投影的示意图如图 2所示,a1b1表示立体相对交会的边界特征,a1xb1x表示沿平面法向量N1方向投影到分割平面的边界线。在投影过程中,主要是将线段沿平面法向量投影到平面上。为剔除影像线匹配过程中的误匹配情况,需要判断该线段到待投影平面边界的最小距离,以及该线段方向与投影平面的法向量是否近似垂直。在投影完毕后,还需要将距离较近且具有统一方向的投影线段特征进行合并。

图 2 影像线特征到分割平面投影 Fig. 2 Projection of Image Line Feature to Segmented Plane
3.2 平面基元拓扑描述与图构建

平面基元拓扑描述是在建筑物平面分割基础上,根据平面的相邻边界构建拓扑关系矩阵,对两面相交或三面相交的平面进行交线或交点的边界处理。为了建立区域邻接图(region adjacent graph,RAG),首先需要根据分割平面的相邻关系构建相邻矩阵,该矩阵为对角元素为0的对称矩阵,将矩阵中所有非零元素提取出来并转换为图结构即得到RAG图,图中的边界表示两平面具有相交关系,如图 3所示。判断分割平面的相邻关系的方法流程如下。

图 3 分割平面RAG结构 Fig. 3 RAG of Segmented Planes

1)建筑物分割后的平面基元的边界表现为依次两两相连的边界小线段,对于待判断的平面a与平面b,首先计算二者法向量的夹角,若夹角小于设定度数(根据经验一般设定为10°),则说明两平面共面不相邻。

2)遍历平面a中的边界小线段,计算每条小线段的两个顶点到平面b的距离d1d2,以及小线段的长度dL, 若d1d2均小于设定的距离阈值d,而且该线段端点沿平面b方向的投影点在平面b的范围内,则说明该条小线段满足距离相近的条件,将其计入邻近边界线段集合S

3)对平面a中所有边界小线段处理完毕后,统计邻近边界线段集合中所有小线段的长度之和L,若LTLTL为设定的长度阈值),则表明平面ab具有空间相邻关系。

3.3 交边与轮廓优化

交边处理是在RAG图构建的基础上,根据图中的边界以及对应的平面计算两平面的交线。交线主要考虑两种情况:边界相互相交以及只有一边相交(见图 4(a))。交线的端点由相交平面中离交线的边界点的距离来判断交线线段的端点(见图 4(b))。

图 4 交边与轮廓优化示意图 Fig. 4 Demonstration of Boundary Intersection and Optimization

轮廓优化主要是针对建筑平面基元的边界进行优化处理。在优化过程中,将边界划分为3类分别进行优化,即相交轮廓边界、非相交外轮廓边界以及非相交内轮廓边界,如图 4(c)所示,b1b2b3表示非相交外轮廓边界,b4表示相交轮廓边界,c1c2c3c4表示非相交内轮廓边界。

4 交互编辑及高精度纹理映射

通过§2、§3的重建过程能够完成屋顶及室内外主立面提取、窗户轮廓检测与规则化、立面交边等处理,但局部仍然存在拓扑错误或模型缺失等问题,需要人工交互编辑后处理来完成进一步的拓扑检查、交互编辑重建等工作,同时需要依赖人工先验知识或影像等辅助信息来扫描空洞区域和调整模型几何局部等。在得到建筑目标的几何白模型之后,根据倾斜影像采用交互手动或者是自动的方法进行纹理映射,最终可得到建筑目标精细模型。

5 三维重建实验与分析 5.1 实验数据

实验区域选定中国浙江省宁波市某商住小区,采用瑞典AHAB公司的蝠蝙机载激光雷达测量系统获得建筑物的顶部点云数据,点云密度约为8个/m2,其高程精度为7.8 cm;采用RIEGL公司VZ-400扫描仪,100 m处平均间隔约为5 cm,主要采集该区域内典型高层建筑的高密度立面数据;倾斜多视影像为AMC1050航摄仪10镜头相机采集,飞行航高约为500 m,影像分辨率为5 cm,总共拍摄149×10张影像。基于Visual Studio平台采用C++实现了本文相关点云分割、影像线特征提取等算法,算法运行平台为Win7 64位系统,主要硬件配置为Intel Core I7及8 GB内存,显卡为Nvidia GeForce GTX 1060。

5.2 实验结果与分析

根据本文重建流程,首先针对机载点云数据在地面点云滤波基础上进行法向量聚类分割提取建筑顶面区域,其中针对地面点云滤波的CSF方法中的分辨率阈值设置为0.5 m,地面邻近距离阈值为1.0 m,在建筑立面分割算法中的法向量夹角阈值为30°,聚类距离阈值设置为1 m,聚类类簇个数阈值为200(聚类距离阈值可根据经验按照平均点密度的3倍来设置,聚类类簇个数按照屋顶最小面积来设置,法向量夹角阈值根据实验区的屋顶倾斜程度来设置,一般不超过30°)。建筑目标的分割结果如图 5(a)所示(红色区域表示人工建筑区域)。在重建实验过程中,取分割后的某主体建筑区域作为待重建目标(图 5(a)中黄色框线内),根据该区域的位置沿垂直方向提取对应地面三维激光扫描点云中的立面区域(图 5(b)所示)。

图 5 点云建筑分割结果 Fig. 5 Building Segmentation Results from Point Cloud

以此为基础将两类点云利用结合法向量聚类的RANSAC平面分割方法进行点云平面基元分割,法向量聚类的角度阈值为10°,点邻域阈值设置为5 cm,聚类簇的点个数阈值设置为500,阈值设置原则参照机载雷达聚类设置原则。

在倾斜多视影像的线特征提取过程中,提取参数阈值按照文献[19]中的建议根据经验来设置,建筑区域中屋顶面以及某立面的线匹配结果如图 6(a)6(b)所示。从线特征匹配结果来看,屋顶区域和建筑立面的边界特征提取均较为完整,但建筑立面的线特征匹配错误率较高,造成内部窗户边界提取得并不完整。其原因主要在于建筑立面纹理相似性较高使得线特征描述子具有强相关性,导致在匹配过程中出现误匹配,后续可以利用物方平面作为约束来提供线特征匹配的位置初始值。

图 6 分割平面对应多视影像的线特征匹配及投影结果 Fig. 6 Results of Line Feature Registration and Projection from Corresponding Images

将线特征投影到对应分割平面的局部结果如图 6(c)6(d)所示,投影过程中设置待投影线特征到分割平面边界的最小距离阈值设置为1 m,与对应分割平面的角度阈值设置为75°。平面轮廓的优化结果如图 7(a)所示,其中图 7(b)图 7(c)表示经过联合影像投影轮廓的边界优化处理后消除了目标建筑顶部及底部(图 7(a)中矩形框区域)边界锯齿问题并提高了边界表示精度,图 7(d)表示内轮廓的优化结果。图 7(e)表示在轮廓优化基础上的交互三维精细编辑重建结果。

图 7 平面轮廓优化与编辑重建结果 Fig. 7 Results of Boundary Optimization andInteractive Model Edit

为了进一步分析验证本文方法的建模效率和精度指标,进行3组对比实验。实验1采用本文的融合多源特征三维重建方法,实验2采用融合点云基于3DMAX(版本为2011 Win64位)进行完全手工重建实验,实验3采用多视倾斜影像利用Smart3D(版本为4.4.8 Win64位)进行建筑实景模型重建实验,并采集了目标建筑区域的28个建筑物窗户及边界角点进行平面及高程精度检查,中误差计算公式为:$M = \pm {\left({{\Delta ^2}/n} \right)^{\frac{1}{2}}}$(见表 1)。

表 1 3种不同重建方法的相关指标统计 Tab. 1 Statistics of Relevant Indicators Based on Different Reconstruction Methods
重建方法 自动化程度 重建耗时 重建精度/cm
平面精度 高程精度
融合多源特征
三维重建方法
半自动 机载点云分割耗时:2 min
平面基元提取耗时:6 min
影像线特征提取耗时:2 min
拓扑构建耗时:1 min
后续交互编辑耗时:47 min
11.8 10.9
点云手动3DMAX方法 全手动 3.5 h 12.6 16.7
倾斜实景重建方法 全自动 6 h 15.8 13.3

从对比实验中的重建效果来看,由于融合多源特征的三维重建方法引入了影像边界特征作为建筑物主要轮廓的顶部及底部边界约束,其平面精度和高程精度明显优于其他两种方法,尤其是高程精度明显提升。从重建效率对比来看,倾斜实景重建方法因为需要对倾斜影像进行密集匹配及格网重建而导致耗时较长,点云手动3DMAX方法因为需要人工从复杂点云中采集边界特征信息而导致耗时较长,同时点云数据中存在的遮挡或不清晰等情况会对建筑细部建模造成一定困扰,而融合多源特征的三维重建方法准确提取了建筑物的主轮廓以及局部线特征信息,为后期交互编辑中提供了可靠清晰的参考。

总而言之,从实验结果来看,融合多源特征的三维重建方法能够实现建筑目标主体轮廓的自动化快速重建,自动地提取部分立面窗户轮廓信息。同时,结合倾斜多视影像的线特征,能够有效提高建筑物三维重建的建筑边界精度,为后续精细交互重建提供了准确的参考框架信息。

6 结语

本文立足于解决空地多传感器多源信息支撑下的城市场景可靠重建这一问题,提出了一种联合机载激光点云、地面激光点云以及倾斜摄影等多源数据的城市建筑三维重建方法,充分发挥各类数据的点、线、面特征优势,为后续的精细重建交互编辑提供了高精度的模型框架基准。进一步的研究需要引入多尺度的平面及曲面分割与拓展现有基元拓扑处理规则,提高重建算法对拓扑复杂建筑的适应性和自动化程度。

参考文献
[1]
Huang Ronggang, Yang Bisheng, Li Jianping, et al. Building Points Detection from Airborne LiDAR Point Clouds Using Topological Relationship Graph Within Each Object Region[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 475-481. (黄荣刚, 杨必胜, 李健平, 等. 利用目标区域拓扑关系图提取建筑物点云[J]. 武汉大学学报·信息科学版, 2017, 42(4): 475-481. )
[2]
Vosselman G, Maas H. Airborne and Terrestrial Laser Scanning[M]. UK: Whittles Publishing, 2010.
[3]
Suveg I, Vosselman G. Reconstruction of 3D Building Models from Aerial Images and Maps[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2004(58): 202-224.
[4]
Halla N, Kada M. An Update on Automatic 3D Building Reconstruction[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(6): 570-580. DOI:10.1016/j.isprsjprs.2010.09.006
[5]
Jiang Wanshou. Research on Multi-view Matching of Aerial Images and Automatic Extraction of Regular Buildings[M]. Wuhan: Wuhan University, 2004. (江万寿. 航空影像多视匹配与规则建筑物自动提取方法研究[M]. 武汉: 武汉大学, 2004. )
[6]
Wang Jingxue, Zhu Qing, Wang Weixi. Multi-view Image Dense Matching Method Based on Multi-matching Primitive Ensemble[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(5): 691-698. (王竞雪, 朱庆, 王伟玺. 多匹配基元集成的多视影像密集匹配方法[J]. 测绘学报, 2013, 42(5): 691-698. )
[7]
Haala N, Rothermel M, Cavegn S.Extracting 3D Urban Models from Oblique Aerial Images[C].Urban Remote Sensing Event, Lausanne, Switzerland, 2015
[8]
Rupnik E, Nex F, Remondino F. Oblique Multi-camera Systems-Orientation and Dense Matching Issues[J]. ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014(1): 107-114.
[9]
Rupnik E, Nex F, Toschi I, et al. Aerial Multi-camera Systems:Accuracy and Block Triangulation Issues[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015(101): 233-246.
[10]
Brenne R C. Building Reconstruction from Images and Laser Scanning[J]. International Journal of Applied Earth Observation and Geoinformation, 2005, 6(3): 187-198.
[11]
Rottensteine R F, Briese C. Automatic Generation of Building Models from LiDAR Data and the Integration of Aerial Images[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2003, 34(3/W13): 174-180.
[12]
Nakagawa M, Shibasaki R.Integrating High Resolution Airborne Linear CCD (TLS) Imagery and LiDAR Data[C].The 2nd GRSS/ISPRS Joint Workshop on Remote Sensing and Data Fusion over Urban Areas, Berlin, Germany, 2003
[13]
Pu S, Vosselman G. Knowledge Based Reconstruction of Building Models from Terrestrial Laser Scanning[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2009, 64(6): 575-584. DOI:10.1016/j.isprsjprs.2009.04.001
[14]
Nan L L, Sharf A, Zhang H, et al. SmartBoxes for Interactive Urban Reconstruction[J]. ACM Transactions on Graphics, 2010, 29(4): 1-10.
[15]
Konstantinos K, Nikos P. Large-Scale Building Reconstruction Through Information Fusion and 3-D Priors[J]. IEEE Transactions on Geosciences and Remote Sensing, 2010, 48(5): 2283-2296. DOI:10.1109/TGRS.2009.2039220
[16]
Zhang W, Qi J, Wan P, et al. An Easy-to-Use Airborne LiDAR Data Filtering Method Based on Cloth Simulation[J]. Remote Sensing, 2016, 8(6): 501-522. DOI:10.3390/rs8060501
[17]
Akkiraju N, Edelsbrunner H, Facello M, et al.Alpha Shapes: Definition and Software[C].The 1st International Computational Geometry Software Workshop, Minneapolis, America, 1995
[18]
Zhang L L, Reinhard K. An Efficient and Robust Line Segment Matching Approach Based on LBD Descriptor and Pairwise Geometric Consistency[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 794-805. DOI:10.1016/j.jvcir.2013.05.006
[19]
Akinlar C, EdlinesT C. A Real-Time Line Segment Detector with a False Detection Control[J]. Pattern Recognition Letters, 2011, 32: 1633-1642. DOI:10.1016/j.patrec.2011.06.001