留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

结合全景影像的车载街景点云数据增强方法

刘亚文 张颖 陈泉

刘亚文, 张颖, 陈泉. 结合全景影像的车载街景点云数据增强方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332
引用本文: 刘亚文, 张颖, 陈泉. 结合全景影像的车载街景点云数据增强方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332
LIU Yawen, ZHANG Ying, CHEN Quan. Vehicle Point Cloud Data Enhancement Method Combined with Panoramic Image[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332
Citation: LIU Yawen, ZHANG Ying, CHEN Quan. Vehicle Point Cloud Data Enhancement Method Combined with Panoramic Image[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332

结合全景影像的车载街景点云数据增强方法

doi: 10.13203/j.whugis20180332
基金项目: 

中央高校基本科研业务费专项资金 2042014Kf0294

详细信息
    作者简介:

    刘亚文,博士,教授,主要从事摄影测量、计算机视觉理论与方法研究。liuyawen@whu.edu.cn

    通讯作者: 陈泉,工程师。qchen@ whu.edu.cn
  • 中图分类号: P208

Vehicle Point Cloud Data Enhancement Method Combined with Panoramic Image

Funds: 

Fundamental Research Funds for the Central Universities 2042014Kf0294

More Information
    Author Bio:

    LIU Yawen, PhD, professor, specializes in the theories and methods of Photogrammetry and Computer Vision. E-mail: liuyawen@whu.edu.cn

    Corresponding author: CHEN Quan, engineer. E-mail: qchen@ whu.edu.cn
  • 摘要: 提出了一种结合全景影像的车载街景点云数据增强方法,首先结合基于密度的聚类方法DBSCAN(density-based spatial clustering of applications with noise)分割算法和地物典型特征实现点云数据的分类及单体目标提取; 然后对单体目标点云,通过构不规则三角网(triangulated irregular network, TIN),逐一进行缺失区域检测及相应边缘提取; 最后提出了基于全景影像局部仿射变换的区域增长密集匹配方法,用于生成缺失空洞区域的真实三维点,实现点云数据的增强。实验表明,该方法能够实现车载街景点云数据缺失区域的填补,且点云增强的结果真实、可靠。
  • 图  1  点云和序列全景影像(部分)

    Figure  1.  Point Clouds and Panoramic Images(Part)

    图  2  点云数据分类(建筑物、电线杆、电力线和树木)

    Figure  2.  Point Cloud Data Classification (Buildings, Poles, Power Lines and Trees)

    图  3  建筑物缺失区域检测

    Figure  3.  Building Missing Data Region Detection

    图  4  缺失区域填补结果

    Figure  4.  Filling of Missing Data Region

    图  5  填补数据(左)与原始数据(右)对比图

    Figure  5.  Comparison of Filling Data (Left) and the Original Data (Right)

    图  6  点云深度值分布直方图

    Figure  6.  Distribution Histogram of Point Cloud Depth

    表  1  城市景观点云数据的典型特征

    Table  1.   Typical Characteristics of Urban Landscape Point Cloud Data

    目标 高程差 XOY平面投影 XOY平面投影密度 法向量 维数信息
    建筑物 最大 线形,长宽比大 最大 平行地面 面状
    电力线 最小 线形,长宽比大 最小 各异 线状
    电线杆 中间 点形 中间 各异 线状
    树木 中间 似矩形,长宽比小 中间 各异 体状
    下载: 导出CSV

    表  2  缺失区域平面拟合参数

    Table  2.   Plane Fitting Parameters for Missing Data Region

    点云平面 A B C D
    建筑物点云平面 -2.464 35 1.093 98 0.026 017 9 1
    填补点云平面 -2.464 41 1.094 00 0.026 000 3 1
    下载: 导出CSV
  • [1] Frueh C, Jain S, Zakhor A. Data Processing Algorithms for Generating Textured 3D Building Façade Meshes from Laser Scans and Camera Images[J]. International Journal of Computer Vision, 2005, 61(2):159-184 doi:  10.1023/B:VISI.0000043756.03810.dd
    [2] Hanh T, Ngo M, Lee W S. Feature-First Hole Filling Strategy for 3D Meshes[J]. Communications in Computer and Information Science, 2013(274):53-68
    [3] Wang J N, Oliveira M M. Filling Holes on Locally Smooth Surfaces Reconstructed from Point Clouds[J]. Image and Vision Computing, 2007, 25(1) :103-113 doi:  10.1016/j.imavis.2005.12.006
    [4] 李根, 陈志杨, 张三元, 等.网格曲面中复杂孔洞的自动修补算法[J].浙江大学学报(工学版), 2007, 41(3):407-411 doi:  10.3785/j.issn.1008-973X.2007.03.008

    Li Gen, Chen Zhiyang, Zhang Sanyuan, et al. Automatic Repairing Algorithm for Complex Holes of Triangular Mesh Surfaces[J]. Journal of Zhejiang University(Engineering Science), 2007, 41(3):407 -411 doi:  10.3785/j.issn.1008-973X.2007.03.008
    [5] 蒋刚.基于SVM和空间投影的点云空洞修补方法[J].计算机工程, 2009, 35(22): 269-271 doi:  10.3969/j.issn.1000-3428.2009.22.093

    Jiang Gang. Point Cloud Hole Filling Method Based on SVM and Space Projection[J]. Computer Engineering, 2009, 35(22): 269-271 doi:  10.3969/j.issn.1000-3428.2009.22.093
    [6] 蔡香玉, 杨林, 吕海洋.基于径向基函数神经网络的机载LiDAR点云空洞填补方法[J].南京师范大学学报(工程技术版), 2017, 17(3):57-62 doi:  10.3969/j.issn.1672-1292.2017.03.009

    Cai Xiangyu, Yang Lin, Lü Haiyang. Filling Method of Airborne LiDAR Point Cloud Hole Based on the Radial Basis Function Neural Network[J]. Journal of Nanjing Normal University(Engineering and Technology Edition), 2017, 17(3):57-62 doi:  10.3969/j.issn.1672-1292.2017.03.009
    [7] 胡志胜.三维激光扫描点云边界检测和空洞修补技术研究[D].北京: 中国矿业大学, 2016

    Hu Zhisheng. Research on Boundary Detection and Hole Repairing Based on 3D Laser Scanning Point Cloud[D]. Beijing: China University of Mining and Technology, 2016
    [8] Sharf A, Alexa M, Cohen-or D. Context-Based Surface Completion[J]. ACM Trans Graph, 2004, 23(3): 878-887 doi:  10.1145/1015706.1015814
    [9] Friedman S, Stamos I. Online Facade Reconstruction from Dominant Frequencies in Structured Point Clouds[C]. Computer Vision and Pattern Recognition Workshop, IEEE Computer Society Conference, Piscataway, US, 2012
    [10] Becker S, Haala N. Grammar Supported Facade Reconstruction from Mobile LiDAR Mapping[C]. CMRT09 IAPRS, Paris, France 2009
    [11] Becker S, Haala N, Fritsch D. Quality Dependent Reconstruction of Building Facades[C]. QuaCon2009, LNCS 5786, Stuttgart, Gemany, 2009
    [12] 杨必胜, 李健平.轻小型低成本无人机激光扫描系统研制与实践[J].武汉大学学报·信息科学版, 2018, 43(12): 1 972-1 978 doi:  10.13203/j.whugis20180265

    Yang Bisheng, Li Jianping. Implementation of a Low-Cost Mini-UAV Laser Scanning System[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1 972-1 978 doi:  10.13203/j.whugis20180265
    [13] 李海亮, 邓非, 李刚.摄影测量激光点云空洞修补[J].测绘科学, 2010 (5): 101-102 http://d.old.wanfangdata.com.cn/Periodical/chkx201005031

    Li Hailiang, Deng Fei, Li Gang. Repairing Holes of Laser Scanning Point Cloud Based on Photogrammetry[J]. Science of Surveying and Mapping, 2010 (5): 101-102 http://d.old.wanfangdata.com.cn/Periodical/chkx201005031
    [14] 李永强, 牛路标, 李立雪, 等. LiDAR点云的建筑物立面空洞修复[J].测绘科学, 2017, 42(10): 191-195, 206 http://d.old.wanfangdata.com.cn/Periodical/chkx201710033

    Li Yongqiang, Niu Lubiao, Li Lixue, et al. Hole Filling of Building Façade Based on LiDAR Point Cloud[J]. Science of Surveying and Mapping, 2017, 42(10): 191-195, 206 http://d.old.wanfangdata.com.cn/Periodical/chkx201710033
    [15] Zhang S M, Shan J, Zhang Z C, et al. Integrating Smartphone Images and Airborne LiDAR Data for Complete Urban Building Modelling[C]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISPRS Congress, Prague, Czech Republic, 2016
    [16] Yan F, Sharf A, Lin W, et al. Proactive 3D Scanning of Inaccessible Parts[J]. ACM Transactions on Graphics, 2014, 33(4):157 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=6779080d97dff2d5e6f1c3c468c40bca
    [17] 唐云龙.基于车载激光点云数据的典型地物分类与提取[D].北京: 北京工业大学, 2015

    Tang Yunlong. A Typical Classification Method Based on Vehicle Laser Point Cloud[D]. Beijing: Beijing University of Technology, 2015
    [18] Demantké J, Mallet C, David N, et al. Dimensiona-lity Based Scale Selection in 3D LiDAR Point Clouds[C]. ISPRS Workshop, Laser Scanning, Calgary, Canada, 2011
    [19] 李春葆, 尹为民, 蒋晶珏, 等.数据结构教程[M]. 5版.北京:清华大学出版社, 2017

    Li Chunbao, Yin Weimin, Jiang Jingjue, et al. Data Structur Ttorial[M]. 5th ed. Beijing:Tsinghua University Press, 2017
    [20] 熊伟, 杨红雨, 袁学东.基于异构多核构架的双目散斑3维重建[J].工程科学与技术, 2017, 49(增刊1):153-161

    Xiong Wei, Yang Hongyu, Yuan Xuedong. 3D Reconstruction Method with Binocular Speckle Based on Heterogeneous Multi-core Processor[J]. Advanced Engineering Sciences, 2017, 49(Sup.1):153-161
    [21] 曾凡洋, 钟若飞, 宋杨, 等.车载全景影像核线匹配和空间前方交会[J].遥感学报, 2014, 18(6): 1 230-1 236 http://d.old.wanfangdata.com.cn/Periodical/ygxb201406011

    Zeng Fanyang, Zhong Ruofei, Song Yang, et al. Vehicle Panoramic Image Matching Based on Epipolar Geometry and Space Forward Intersection[J]. Journal of Remote Sensing, 2014, 18(6):1 230- 1 236 http://d.old.wanfangdata.com.cn/Periodical/ygxb201406011
    [22] 陈驰, 杨必胜, 田茂, 等.车载MMS激光点云与序列全景影像自动配准方法[J].测绘学报, 2018, 47(2):215-224 http://d.old.wanfangdata.com.cn/Periodical/chxb201802010

    Chen Chi, Yang Bisheng, Tian Mao, et al. Automatic Registration of Vehicle-borne Mobile Mapping Laser Point Cloud Sequent Panoramas[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(2):215-224 http://d.old.wanfangdata.com.cn/Periodical/chxb201802010
  • [1] 郑翔天, 杨晓琳, 何秀凤, 马海涛, 于正兴, 任贵文, 张浩, 张劲松.  点云辅助GB-InSAR影像与地形数据应急变形监测方法 . 武汉大学学报 ● 信息科学版, 2022, 47(7): 1081-1092. doi: 10.13203/j.whugis20200280
    [2] 米晓新, 杨必胜, 董震.  车载激光点云道路场景可视域快速计算与应用 . 武汉大学学报 ● 信息科学版, 2020, 45(2): 258-264. doi: 10.13203/j.whugis20180380
    [3] 盛庆红, 张斌, 肖晖, 陈姝文, 王青, 柳建峰.  直线簇约束下的地面LiDAR点云配准方法 . 武汉大学学报 ● 信息科学版, 2018, 43(3): 406-412. doi: 10.13203/j.whugis20150292
    [4] 张蕊, 李广云, 王力, 李明磊, 周阳林.  车载LiDAR点云混合索引新方法 . 武汉大学学报 ● 信息科学版, 2018, 43(7): 993-999. doi: 10.13203/j.whugis20160441
    [5] 闫利, 胡晓斌, 谢洪.  车载LiDAR海量点云数据管理与可视化研究 . 武汉大学学报 ● 信息科学版, 2017, 42(8): 1131-1136. doi: 10.13203/j.whugis20150386
    [6] 刘如飞, 卢秀山, 岳国伟, 田茂义.  一种车载激光点云数据中道路自动提取方法 . 武汉大学学报 ● 信息科学版, 2017, 42(2): 250-256. doi: 10.13203/j.whugis20140959
    [7] 陈驰, 麦晓明, 宋爽, 彭向阳, 徐文学, 王珂.  机载激光点云数据中电力线自动提取方法 . 武汉大学学报 ● 信息科学版, 2015, 40(12): 1600-1605. doi: 10.13203/j.whugis20130573
    [8] 陈 驰, 王 珂, 徐文学, 彭向阳, 麦晓明, 杨必胜.  海量车载激光扫描点云数据的快速可视化方法 . 武汉大学学报 ● 信息科学版, 2015, 40(9): 1163-1168. doi: 10.13203/j .whu g is20130693
    [9] 卢秀山, 刘如飞, 田茂义, 刘冰.  利用改进的数学形态法进行车载激光点云地面滤波 . 武汉大学学报 ● 信息科学版, 2014, 39(5): 514-519. doi: 10.13203/j.whugis20130020
    [10] 张正鹏, 江万寿, 张靖.  车载立方体全景影像匹配点的粗差检测方法 . 武汉大学学报 ● 信息科学版, 2014, 39(10): 1208-1213.
    [11] 方芳, 程效军.  海量散乱点云快速压缩算法 . 武汉大学学报 ● 信息科学版, 2013, 38(11): 1353-1357.
    [12] 胡举, 杨辽, 沈金祥, 吴小波.  一种基于分割的机载LiDAR点云数据滤波 . 武汉大学学报 ● 信息科学版, 2012, 37(3): 318-321.
    [13] 曾齐红, 毛建华, 李先华, 刘学锋.  机载LiDAR点云数据的建筑物重建研究 . 武汉大学学报 ● 信息科学版, 2011, 36(3): 321-324.
    [14] 余洁, 穆超, 冯延明, 窦延娟.  机载LiDAR点云数据中电力线的提取方法研究 . 武汉大学学报 ● 信息科学版, 2011, 36(11): 1275-1279.
    [15] 隋立春, 张熠斌, 张硕, 陈卫.  基于渐进三角网的机载LiDAR点云数据滤波 . 武汉大学学报 ● 信息科学版, 2011, 36(10): 1159-1163.
    [16] 钟良, 马洪超, 管海燕, 刘鹏飞.  利用安置角检校进行机载LiDAR点云数据与同步影像快速配准 . 武汉大学学报 ● 信息科学版, 2011, 36(9): 1035-1038.
    [17] 王宗跃, 马洪超, 徐宏根, 彭检贵.  基于LiDAR点云数据的水体轮廓线提取方法研究 . 武汉大学学报 ● 信息科学版, 2010, 35(4): 432-435.
    [18] 王宗跃, 马洪超, 徐宏根, 邬建伟.  LiDAR点云数据的分布式组织及其并行获取方法 . 武汉大学学报 ● 信息科学版, 2009, 34(8): 936-939.
    [19] 刘亚文, 宋守东.  利用航空影像、点云数据和矢量图进行简单房屋三维重建方法研究 . 武汉大学学报 ● 信息科学版, 2009, 34(8): 894-897.
    [20] 黄先锋, 陶闯, 江万寿, 龚健雅.  机载激光雷达点云数据的实时渲染 . 武汉大学学报 ● 信息科学版, 2005, 30(11): 975-978.
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  1084
  • HTML全文浏览量:  332
  • PDF下载量:  54
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-02-10
  • 刊出日期:  2020-07-30

结合全景影像的车载街景点云数据增强方法

doi: 10.13203/j.whugis20180332
    基金项目:

    中央高校基本科研业务费专项资金 2042014Kf0294

    作者简介:

    刘亚文,博士,教授,主要从事摄影测量、计算机视觉理论与方法研究。liuyawen@whu.edu.cn

    通讯作者: 陈泉,工程师。qchen@ whu.edu.cn
  • 中图分类号: P208

摘要: 提出了一种结合全景影像的车载街景点云数据增强方法,首先结合基于密度的聚类方法DBSCAN(density-based spatial clustering of applications with noise)分割算法和地物典型特征实现点云数据的分类及单体目标提取; 然后对单体目标点云,通过构不规则三角网(triangulated irregular network, TIN),逐一进行缺失区域检测及相应边缘提取; 最后提出了基于全景影像局部仿射变换的区域增长密集匹配方法,用于生成缺失空洞区域的真实三维点,实现点云数据的增强。实验表明,该方法能够实现车载街景点云数据缺失区域的填补,且点云增强的结果真实、可靠。

English Abstract

刘亚文, 张颖, 陈泉. 结合全景影像的车载街景点云数据增强方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332
引用本文: 刘亚文, 张颖, 陈泉. 结合全景影像的车载街景点云数据增强方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332
LIU Yawen, ZHANG Ying, CHEN Quan. Vehicle Point Cloud Data Enhancement Method Combined with Panoramic Image[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332
Citation: LIU Yawen, ZHANG Ying, CHEN Quan. Vehicle Point Cloud Data Enhancement Method Combined with Panoramic Image[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1015-1020. doi: 10.13203/j.whugis20180332
  • 车载移动测量系统在数据采集过程中,常常会受扫描视角及地物自身遮挡等的影响,获取的点云数据不完整。因此,对点云缺失数据进行修复、填补等增强处理成为点云数据信息提取的重要步骤。

    点云数据增强方法主要分为两类:一类是利用扫描数据中空洞与空洞周围点存在的关系进行填补增强; 另一类则是多源数据互补的增强方法。在利用点云自身数据进行填补增强研究中,计算机图形,计算机视觉及虚拟现实等研究领域常用曲面拟合、内插等数据合成算法对点云数据空洞进行填补[1-7],如Frueh等[1]提出利用空洞点云附近的建筑物水平或竖直结构边缘的扫描点,采用线性内插方法实现点云数据空洞填补。蔡香玉等[6]利用径向基函数(radial basis function, RBF)神经网络对点云数据构建插值模型,利用该模型对缺失空洞区域进行修复。另外, 有一些研究利用点云数据自身满足的重复、对称等属性来进行点云空洞数据填补[8-11],如Becker等[10-11]提出由分布均匀、可视性好的点云数据归纳出建筑物立面形状语法,并利用规则的传播推导点云缺失区域建筑物立面几何结构。上述方法大都是基于空洞点云数据满足某种假设条件,数据填补的正确性较难保证。基于多源数据的点云填补方法,充分利用不同数据源间的互补性,以弥补单一视角、单一平台带来的数据缺失[12-16]。李海亮等[13]利用数码相机补摄缺失区域的影像数据。李永强等[14]提出了基于机载和车载LiDAR(light detection and ranging)数据融合的建筑物立面点云空洞修复方法。Zhang等[15]提出结合机载LiDAR数据和智能手机影像的完整城市建筑物建模方法。

    车载移动测量系统中,由于采集数据视角不完全重合,激光扫描仪获取不到点云的区域,而相机有可能采集到该区域的影像数据。考虑到点云和影像数据具有互补性,本文提出了利用全景影像进行车载街景点云数据缺失区域增强的方法。具体方法为:首先对车载点云数据进行分类,对感兴趣的目标逐一进行点云缺失区域检测与提取; 然后,利用全景影像密集匹配生成点云数据对缺失区域进行填补,以达到点云数据增强的目的。本文的贡献主要为:

    1) 在点云数据分类与目标提取中,提出了结合DBSCAN(density-based spatial clustering of applications with noise)分割聚簇和目标典型特征的分类方法,该分类方法是基于过分割的点簇基础上的,相对于基于单点的分类,其计算效率和可靠性均得到较好的保证。

    2) 点云缺失填补方面,提出了基于全景影像局部仿射变换的区域增长密集匹配方法,用于生成空洞区域真实的三维点数据。该方法很好顾及了全景影像匹配存在的变形、遮挡、弱纹理等难点问题,取得了较好的点云填补增强效果。

    • 车载点云缺失区域提取的目的是确定需要增强的点云数据空间范围,因此需要先对点云数据进行分类,提取感兴趣目标的点云数据,然后分析该目标的点云数据是否存在缺失,以及提取相应的缺失区域边界。

      1) 本文采用基于密度DBSCAN的车载点云数据聚类方法[17]。该方法由核心对象和所有密度可达对象共同构成一个聚簇,可以检测出空间集合中任意形状的聚簇,特别适合于车载点云这样含有噪声或者空间密度分布不均的数据的聚类。经过DBSCAN聚类后,点云数据分割成不同点簇,还需进一步对点簇的类别进行判定。本文主要针对城市街景中的主要景观建筑物、电力线、电线杆及路灯和树木4种目标进行识别。在分析4种目标点云数据在高程差、XOY平面投影面积、XOY平面投影密度、法向量及维数信息等方面特点的基础上,归纳其对应的典型特征,见表 1。对应点簇而言,高程差为点簇的z坐标最大值与最小值之差,将点簇中的点按照z坐标从大到小排序,该序列中5%和95%对应点的z坐标值为点簇的z坐标最大和最小值。XOY平面投影密度为点簇的点数与XOY平面投影最小外接矩形面积之比。法向量为点簇中所有点的法向量方向峰值,每一个点的法向量为该点邻域点集拟合平面的法向量。对于空间任一点,利用PCA(principal component analysis)[18]算法计算其对应的维数,分别用一维、二维及三维点描述空间点的线性、平面性及点状属性。统计点簇中一维、二维及三维点的数目,数目最多点的维数信息则为点簇的维数信息。

      表 1  城市景观点云数据的典型特征

      Table 1.  Typical Characteristics of Urban Landscape Point Cloud Data

      目标 高程差 XOY平面投影 XOY平面投影密度 法向量 维数信息
      建筑物 最大 线形,长宽比大 最大 平行地面 面状
      电力线 最小 线形,长宽比大 最小 各异 线状
      电线杆 中间 点形 中间 各异 线状
      树木 中间 似矩形,长宽比小 中间 各异 体状

      分析表 1可以发现,利用高程差和维数信息就可以识别点簇的目标类型。计算任一点簇p的高程差pH和维数信息pD={1D,2D,3D},如果 pD=2D,p标记为建筑物; 如果pD=3D,p标记为树木; 如果pD=1D & & pH < TT为高程差阈值, p标记为电力线; 如果pD=1D & & pH > T, p标记为电线杆。对标记过类别的点簇进行区域增长,可以获得同类别的单体数据,后续的点云缺失检测与填补均是逐个单体目标进行处理。

      2) 点云缺失区域检测与边缘提取。本文主要通过构建三角网对点云区域进行缺失区域检测与边缘提取,具体步骤如下:对单体点云构建不规则三角网(triangulated irregular network,TIN),判断TIN的所有三角形边长是否大于给定阈值,如果大于,则保留该三角形的3个顶点信息。

    • 本文以车载移动测量系统获取的同步序列全景影像为数据源,进行密集匹配形成空洞区域的点云数据,完成缺失区域点云填补。主要包括最优匹配影像对选择、密集匹配生成三维点及点云融合处理。

      1) 最优匹配影像对选择。车载移动测量系统获取的序列影像为遮挡问题提供了数据补充,不同视角的影像其存在的遮挡不一样,寻找最佳匹配影像的原则是点云空洞区域在影像上的投影没有产生自遮挡和被遮挡,且为正投影。可通过判断点云缺失区域投影的边缘点最小包围盒的长宽比,识别影像是否存在自遮挡。当点云缺失区域对应的影像区域存在被遮挡时,如存在位于目标前方的物体遮挡等,该影像区域的信息量与序列全景影像中未被遮挡的同等影像区域存在一定的差异,可采用图像熵进行被遮挡影像的剔除。

      2) 密集匹配生成三维点。全景影像整体形变大,生成的核线影像也受外方位元素精度的影响,上下视差较大,不能有效地将匹配范围缩小至一维搜索,且城市街景的全景影像中建筑物纹理重复性强,导致匹配容易产生错误。针对上述问题,本文提出了一种基于局部仿射变换下的全景影像密集匹配方法。

      当已知缺失区域边缘点在匹配影像对的投影时,只需要针对该投影区域外扩一定范围的矩形区域进行密集匹配则可提供点云填补的数据。全景影像的局部区域形变可近似为仿射变换,可通过仿射变换对局部影像进行纠正。

      种子点的分布及质量直接影响密集匹配的结果,为了防止匹配误差的传播及弱纹理区域种子点缺失的问题,将影像块划分网格,确保每个网格中有种子点。种子点匹配的过程是先采用计算效率高的特征点检测算子FAST(features from accelerated segment test)算法提取特征点,并计算出其特征点主方向后,利用尺度不变特征变换(scale-invariant feature transform,SIFT)描述子进行特征描述,然后对特征点匹配进行范围约束进行Brute Force匹配[19],得到最终的同名种子点。在种子点基础上进行密集匹配点的区域增长,采用零均值归一化积相关算法(zero normalized cross correlation,ZNCC)作为相似性测度[20],在匹配代价最小且视差值小于阈值的约束下,利用八邻域连通性准则对误差最小的种子点优先匹配增长。

      有了密集匹配点集,利用全景影像前方交会[21]得到相应的空间点集,全景平面像点(m, n)和物方点(X, Y, Z)的关系如下:

      $$ \left\{\begin{array}{l} m=\frac{W}{2 \pi} \tan ^{-1}\left(\frac{\bar{X}}{\bar{Y}}\right)+W / 2 \\ n=\frac{H}{2}-\frac{H}{\pi} \tan ^{-1}\left(\frac{\bar{Z}}{\sqrt{\bar{X}^{2}+\bar{Y}^{2}}}\right) \end{array}\right. $$ (1)

      式中,

      $ \left[\begin{array}{l} \bar{X} \\ \bar{Y} \\ \bar{Z} \end{array}\right]=R\left[\begin{array}{l} X \\ Y \\ Z \end{array}\right]+T ;[\bar{X}, \bar{Y}, \bar{Z}]$为物点在全景球的局部坐标系下的坐标; RT 分别为摄影测量坐标系与全景球局部坐标系之间的旋转、平移矩阵,由全景影像的姿态角和位置确定。

      3) 点云融合处理。为了得到缺失区域的完整填补数据,影像密集匹配区域一般会大于缺失区域的影像区域,生成的点云数据直接用于填补可能会产生填补区域点云密度高于原始点云的平均密度,因此需要对叠加后的填补区域点云数据进行抽稀处理。本文采用对填补后的点云数据构TIN,判断TIN相邻面片间的法向量偏差进行抽稀处理。设定法向量偏差阈值,当偏差大于阈值时,保留该点[22]

    • 实验数据为车载移动测量系统沿道路采集的城市街区点云数据及序列全景影像。如图 1所示,数据主要包含建筑物面、电力线、电线杆、树木、路灯及交通标志杆等。

      图  1  点云和序列全景影像(部分)

      Figure 1.  Point Clouds and Panoramic Images(Part)

    • 采用DBSCAN算法进行分割,最大邻域半径为0.6 m,高密度区MinPts=450,低密度区MinPts=50。利用目标典型特征进行识别,数据中的建筑物面、电力线、树木及电线杆均被识别出来,结果如图 2所示。

      图  2  点云数据分类(建筑物、电线杆、电力线和树木)

      Figure 2.  Point Cloud Data Classification (Buildings, Poles, Power Lines and Trees)

      本实验以建筑物立面为例,利用TIN检测漏洞区域,设定检测边长阈值为0.3 m。通过区域增长算法,得到每个缺失区域的边缘点集,结果如图 3所示。图 3中红色为由自身结构遮挡或透射产生的空洞,绿色为前景对后景物体的遮挡空洞。

      图  3  建筑物缺失区域检测

      Figure 3.  Building Missing Data Region Detection

      从放大的局部图(图 3右)可以看出,墙面上空洞区域边缘提取结果准确,对空洞的检测效果良好。

    • 根据本文方法得到密集匹配点云,建筑物面填补密度为0.1 m,数据增强结果如图 4所示。

      图  4  缺失区域填补结果

      Figure 4.  Filling of Missing Data Region

      对比图 4图 3可以看出,绝大部分空洞通过填补后点云密度接近原始点云数据。其中,图 3中31个缺失区域中有26个完成填补,5个未被填补,分析这5个缺失区域的影像数据,发现均被遮挡。

    • 为了验证本文方法的有效性,设计了相应的实验数据和方案,首先从原始的点云数据中挖去部分点云信息,形成缺失空洞区域; 然后,利用本文的点云填补方法进行填补,将填补结果与对应的原始数据进行对比。

      图 5为填补数据与原始区域点云数据对比。对墙面缺失区域采用RANSAC(random sample consensus)平面拟合,具体的平面参数见表 2,填补点云与建筑物原始点云平面拟合参数基本一致,验证了本文填补方法对于平面区域的有效性。

      图  5  填补数据(左)与原始数据(右)对比图

      Figure 5.  Comparison of Filling Data (Left) and the Original Data (Right)

      表 2  缺失区域平面拟合参数

      Table 2.  Plane Fitting Parameters for Missing Data Region

      点云平面 A B C D
      建筑物点云平面 -2.464 35 1.093 98 0.026 017 9 1
      填补点云平面 -2.464 41 1.094 00 0.026 000 3 1

      对非墙面缺失区域,统计原始点云和填补点云在垂直建筑物面方向的点云分布直方图,如图 6所示。填补点云在深度方向上与原始点云分布一致,有两个峰值,且两峰值与原始数据峰值的距离差均约为0.05 m,表明本文点云填补算法对于窗户等非墙面区域同样有效。

      图  6  点云深度值分布直方图

      Figure 6.  Distribution Histogram of Point Cloud Depth

    • 针对车载扫描点云数据存在缺失的情况,本文提出了一种结合全景影像的车载街景点云数据增强方法。实验结果表明,该方法能够实现分类别的单体点云数据缺失区域检测与填补,在点云数据分类过程中以过分割的点簇为基础,保证了点云数据分类与单体识别的准确性。另外,在缺失区域点云填补中,通过最优影像对的局部仿射变换纠正,减弱了全景影像形变大及街景重复纹理对匹配的影响; 采用的基于格网种子点提取与控制策略保证了弱纹理区域的影像密集匹配实现,进一步确保了点云填补的可靠性。本文的方法还不能解决点云和对应影像同时为遮挡区域的数据填补问题,进一步的研究也将结合不同高度平台数据采集系统获取更多角度的目标数据,提高方法的普适性。

参考文献 (22)

目录

    /

    返回文章
    返回