Message Board

Respected readers, authors and reviewers, you can add comments to this page on any questions about the contribution, review,        editing and publication of this journal. We will give you an answer as soon as possible. Thank you for your support!

Name
E-mail
Phone
Title
Content
Verification Code
Volume 47 Issue 8
Aug.  2022
Turn off MathJax
Article Contents

LIU Weiyu, WAN Yi, ZHANG Yongjun, YAO Yongxiang, LIU Xinyi, SHI Lisong. An Efficient Matching Method of LiDAR Depth Map and Aerial Image Based on Phase Mean Convolution[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1309-1317. doi: 10.13203/j.whugis20210524
Citation: LIU Weiyu, WAN Yi, ZHANG Yongjun, YAO Yongxiang, LIU Xinyi, SHI Lisong. An Efficient Matching Method of LiDAR Depth Map and Aerial Image Based on Phase Mean Convolution[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1309-1317. doi: 10.13203/j.whugis20210524

An Efficient Matching Method of LiDAR Depth Map and Aerial Image Based on Phase Mean Convolution

doi: 10.13203/j.whugis20210524
Funds:

Basic Research Strengthening Program of China 173 Program

the National Natural Science Foundation of China 42030102

the National Natural Science Foundation of China 41871368

the National Natural Science Foundation of China 42001406

More Information
  • Author Bio:

    LIU Weiyu, postgraduate, specializes in multi-modal image matching, and bundle adjustment. E-mail: liuwy0225@whu.edu.cn

  • Corresponding author: ZHANG Yongjun, PhD, professor. E-mail: zhangyj@whu.edu.cn
  • Received Date: 2021-09-24
  • Publish Date: 2022-08-05
  •   Objectives  Multi-source image matching is primarily disturbed by nonlinear intensity difference, contrast difference and inconspicuous regional structure features, while the significant differences of texture features result in lack of part structure seriously between light detection and ranging(LiDAR)depth map and aerial image, and this problem causes a mutation in the phase extremum, which further increases the difficulty of matching.  Methods  In this paper, a method of efficient matching of LiDAR depth map and aerial image based on phase mean convolution is proposed. In the image feature matching stage, a histogram of phase mean energy convolution(HPMEC) is established, which extended the phase consistency model in order to solve a mean convolution sequence and phase maximum label map by constructing phase mean energy convolution equation. Then the nearest neighbor matching algorithm was completed the initial match and marginalizing sample consensus plus was used to remove outliers. Based on the thread pool parallel strategy, the images were matched by dividing the overlapping grid. Multiple sets of LiDAR depth map and aerial image with different types of ground coverage are used to as dataset to experiment with position scale orientation-scale invariant feature transform (PSO-SIFT), Log-Gabor histogram descriptor (LGHD), radiation-variation insensitive feature transform (RIFT) and histogram of absolute phase consistency gradients (HAPCG) methods respectively.  Results  The results show that the performance of HPMEC method is superior to the other four methods in the matching of LiDAR depth map and aerial image, the average running time is 13.3 times of PSO-SIFT, 10.9 times of LGHD, 10.4 times of HAPCG and 7.0 times of RIFT, at the same time the average correct matching points are significantly higher than the other four methods, the root mean square error is lightly better than the other four methods within 1.9 pixels.  Conclusions  The proposed HPMEC method could achieve efficient and robust matching between LiDAR depth map and aerial image.
  • [1] Jung J, Sohn G. A Line-Based Progressive Refinement of 3D Rooftop Models Using Airborne LiDAR Data with Single View Imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 149: 157-175 doi:  10.1016/j.isprsjprs.2019.01.003
    [2] Huang R Y, Zheng S Y, Hu K. Registration of Aerial Optical Images with LiDAR Data Using the Closest Point Principle and Collinearity Equations[J]. Sensors, 2018, 18(6): 1770 doi:  10.3390/s18061770
    [3] Peng S B, Zhang L. Automatic Registration of Optical Images with Airborne LiDAR Point Cloud in Urban Scenes Based on Line-Point Similarity Invariant and Extended Collinearity Equations[J]. Sensors (Basel, Switzerland), 2019, 19(5): 1086 doi:  10.3390/s19051086
    [4] Parmehr E G, Fraser C S, Zhang C S. Automatic Parameter Selection for Intensity-Based Registration of Imagery to LiDAR Data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(12): 7032-7043 doi:  10.1109/TGRS.2016.2594294
    [5] 吴军, 饶云, 胡彦君, 等. "针孔"模拟成像下的单航空影像与LiDAR点云配准[J]. 遥感学报, 2016, 20(1): 80-93 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201601009.htm

    Wu Jun, Rao Yun, Hu Yanjun, et al. Automatic Registration of Single Aerial Image with LiDAR Data Based on "Pin-Hole" Imaging Simulation and Iterative Computation[J]. Journal of Remote Sensing, 2016, 20(1): 80-93 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201601009.htm
    [6] Chen J, Tian J, Lee N, et al. A Partial Intensity Invariant Feature Descriptor for Multimodal Retinal Image Registration[J]. IEEE Transactions on BioMedical Engineering, 2010, 57(7): 1707-1718 doi:  10.1109/TBME.2010.2042169
    [7] Dellinger F, Delon J, Gousseau Y, et al. SAR-SIFT: A SIFT-Like Algorithm for SAR Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(1): 453-466 doi:  10.1109/TGRS.2014.2323552
    [8] Ma W P, Wen Z L, Wu Y, et al. Remote Sensing Image Registration with Modified SIFT and Enhanced Feature Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(1): 3-7 doi:  10.1109/LGRS.2016.2600858
    [9] Aguilera C, Barrera F, Lumbreras F, et al. Multispectral Image Feature Points[J]. Sensors, 2012, 12(9): 12661-12672 doi:  10.3390/s120912661
    [10] Aguilera C A, Sappa A D, Toledo R. LGHD: A Feature Descriptor for Matching Across Non-linear Intensity Variations[C]//IEEE International Conference on Image Processing, Quebec City, Canada, 2015
    [11] Ye Y X, Shan J, Bruzzone L, et al. Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5): 2941-2958 doi:  10.1109/TGRS.2017.2656380
    [12] Li J Y, Hu Q W, Ai M Y. RIFT: Multi-Modal Image Matching Based on Radiation-Variation Insensitive Feature Transform[J]. IEEE Transactions on Image Processing, 2020, 29: 3296-3310 doi:  10.1109/TIP.2019.2959244
    [13] 姚永祥, 张永军, 万一, 等. 顾及各向异性加权力矩与绝对相位方向的异源影像匹配[J]. 武汉大学学报·信息科学版, 2021, 46(11): 1727-1736 doi:  10.13203/j.whugis20200702

    Yao Yongxiang, Zhang Yongjun, Wan Yi, et al. Heterologous Images Matching Considering Anisotropic Weighted Moment and Absolute Phase Orientation[J]. Geomatics and Information Science of Wuhan University, 2021, 46(11): 1727-1736 doi:  10.13203/j.whugis20200702
    [14] Yang Z Q, Dan T T, Yang Y. Multi-Temporal Remote Sensing Image Registration Using Deep Convolutional Features[J]. IEEE Access, 2018, 6: 38544-38555 doi:  10.1109/ACCESS.2018.2853100
    [15] 南轲, 齐华, 叶沅鑫. 深度卷积特征表达的多模态遥感影像模板匹配方法[J]. 测绘学报, 2019, 48(6): 727-736 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201906008.htm

    Ke Nan, Qi Hua, Ye Yuanxin. A Template Matching Method of Multimodal Remote Sensing Images Based on Deep Convolutional Feature Representation[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(6): 727-736 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201906008.htm
    [16] Yu K, Zheng X, Fang B, et al. Multimodal Urban Remote Sensing Image Registration via Roadcross Triangular Feature[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 4441-4451 doi:  10.1109/JSTARS.2021.3073573
    [17] 王广帅, 万一, 张永军. 交叉点结构特征约束的机载LiDAR点云与多视角航空影像配准[J]. 地球信息科学学报, 2020, 22(9): 1868-1877 https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX202009012.htm

    Wang Guangshuai, Wan Yi, Zhang Yongjun. Registration of Airborne LiDAR Data and Multi-view Aerial Images Constrained by Junction Structure Features[J]. Journal of GeoInformation Science, 2020, 22(9): 1868-1877 https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX202009012.htm
    [18] Katz S, Tal A. On the Visibility of Point Clouds[C]// IEEE International Conference on Computer Vision, Santiago, Chile, 2015
    [19] 张永军, 张祖勋, 龚健雅. 天空地多源遥感数据的广义摄影测量学[J]. 测绘学报, 2021, 50(1): 1-11 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202101001.htm

    Zhang Yongjun, Zhang Zuxun, Gong Jianya. Generalized Photogrammetry of Spaceborne, Airborne and Terrestrial Multi-source Remote Sensing Datasets[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(1): 1-11 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202101001.htm
    [20] Shi J B. Good Features to Track[C]//IEEE Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 1994
    [21] Fischer S, Šroubek F, Perrinet L, et al. Self-Invertible 2D Log-Gabor Wavelets[J]. International Journal of Computer Vision, 2007, 75(2): 231-246 http://staff.utia.cas.cz/sroubekf/papers/gabor_07.pdf
    [22] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, CA, USA, 2005
    [23] Baráth D, Noskova J, Ivashechkin M, et al. MAGSAC++, a Fast, Reliable and Accurate Robust Estimator[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020
    [24] Shoshany B. A C++17 Thread Pool for High-Performance Scientific Computing[J]. arXiv, DOI: 10.5281/zenodo.4742687
    [25] 赵明衍, 戴晨光, 狄亚南, 等. 一种POS数据辅助多视角倾斜航空影像匹配方法[J]. 测绘科学技术学报, 2016, 33(4): 431-435 doi:  10.3969/j.issn.1673-6338.2016.04.020

    Zhao Mingyan, Dai Chenguang, Di Yanan, et al. A POS Supported Matching Method for Multi-View Oblique Aerial Images[J]. Journal of Geomatics Science and Technology, 2016, 33(4): 431-435 doi:  10.3969/j.issn.1673-6338.2016.04.020
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(6)  / Tables(1)

Article Metrics

Article views(277) PDF downloads(36) Cited by()

Related
Proportional views

An Efficient Matching Method of LiDAR Depth Map and Aerial Image Based on Phase Mean Convolution

doi: 10.13203/j.whugis20210524
Funds:

Basic Research Strengthening Program of China 173 Program

the National Natural Science Foundation of China 42030102

the National Natural Science Foundation of China 41871368

the National Natural Science Foundation of China 42001406

  • Author Bio:

  • Corresponding author: ZHANG Yongjun, PhD, professor. E-mail: zhangyj@whu.edu.cn

Abstract:   Objectives  Multi-source image matching is primarily disturbed by nonlinear intensity difference, contrast difference and inconspicuous regional structure features, while the significant differences of texture features result in lack of part structure seriously between light detection and ranging(LiDAR)depth map and aerial image, and this problem causes a mutation in the phase extremum, which further increases the difficulty of matching.  Methods  In this paper, a method of efficient matching of LiDAR depth map and aerial image based on phase mean convolution is proposed. In the image feature matching stage, a histogram of phase mean energy convolution(HPMEC) is established, which extended the phase consistency model in order to solve a mean convolution sequence and phase maximum label map by constructing phase mean energy convolution equation. Then the nearest neighbor matching algorithm was completed the initial match and marginalizing sample consensus plus was used to remove outliers. Based on the thread pool parallel strategy, the images were matched by dividing the overlapping grid. Multiple sets of LiDAR depth map and aerial image with different types of ground coverage are used to as dataset to experiment with position scale orientation-scale invariant feature transform (PSO-SIFT), Log-Gabor histogram descriptor (LGHD), radiation-variation insensitive feature transform (RIFT) and histogram of absolute phase consistency gradients (HAPCG) methods respectively.  Results  The results show that the performance of HPMEC method is superior to the other four methods in the matching of LiDAR depth map and aerial image, the average running time is 13.3 times of PSO-SIFT, 10.9 times of LGHD, 10.4 times of HAPCG and 7.0 times of RIFT, at the same time the average correct matching points are significantly higher than the other four methods, the root mean square error is lightly better than the other four methods within 1.9 pixels.  Conclusions  The proposed HPMEC method could achieve efficient and robust matching between LiDAR depth map and aerial image.

LIU Weiyu, WAN Yi, ZHANG Yongjun, YAO Yongxiang, LIU Xinyi, SHI Lisong. An Efficient Matching Method of LiDAR Depth Map and Aerial Image Based on Phase Mean Convolution[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1309-1317. doi: 10.13203/j.whugis20210524
Citation: LIU Weiyu, WAN Yi, ZHANG Yongjun, YAO Yongxiang, LIU Xinyi, SHI Lisong. An Efficient Matching Method of LiDAR Depth Map and Aerial Image Based on Phase Mean Convolution[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1309-1317. doi: 10.13203/j.whugis20210524
  • 机载激光雷达(light detection and ranging,LiDAR)点云与航空影像数据的融合使用是城市三维重建的主要技术手段[1],而数据配准是联合两种数据的关键。但LiDAR数据与航空影像数据在成像原理、结构成分和地理参考都存在较大差异,导致两者之间的空间配准依然面临问题。

    常见的点云和影像配准方法主要有以下3种:(1)影像基于多视几何原理生成摄影测量点云和LiDAR点云配准[2],但该方法对摄影测量点云质量与影像初始定位精度要求较高,容易陷入局部最优解;(2)利用点云与影像分别提取特征进行匹配[3],但该方法要求点云与影像场景中具有较为丰富的结构信息;(3)将点云转成深度图像,再与影像进行匹配[4],该方法将三维与二维匹配问题转成了二维匹配问题,但转换关系复杂,匹配难度大。LiDAR深度图与航空影像属于多模态匹配问题,现有的匹配方法大致分为基于相似性测度的方法和基于影像特征的方法两种。以互信息为代表的相似性测度匹配方法[5]可以较好地评价点云强度图与航空影像间的相似关系,该类方法通过定义相似性指标,不断迭代优化光学影像外方位元素,使两类影像间的相似性达到最大,从而完成两者的匹配。然而这类方法存在计算复杂度高、影像姿态信息精度要求较高和容易陷入局部最优解等问题。基于影像梯度特征的匹配方法,如局部强度不变描述、合成孔径雷达-尺度不变特征转换和位置尺度方向-尺度不变特征转换(position scale orientation- scale invariant feature transform,PSO-SIFT)[6-8]都对梯度方向描述符进行改进,以提高多模态影像匹配的能力,但影像梯度特征对非线性强度差异非常敏感,导致算法匹配性能不稳定。

    有学者通过提取影像的形状和结构特征实现多模态匹配,受边缘直方图描述符[9]的启发,Log-Gabor直方图描述(Log-Gabor histogram descriptor,LGHD)[10]使用多方向多尺度的Log-Gabor滤波器代替空间滤波器提取影像特征。相位一致性直方图[11]利用Log-Gabor奇对称滤波器计算的相位振幅和方向进行描述符构建,但相位一致性方向直方图(histogram of orientated phase congruency,HOPC)需要精确的地理参考。辐射变化强度特征转换(radiation-variation insensitive feature transform,RIFT)[12]利用相位一致性信息计算最大索引图提取描述子,但是RIFT不支持尺度差异下的多模态影像匹配。绝对相位一致性梯度直方图(histogram of absolute phase consistency gradients,HAPCG)[13]通过扩展相位一致性模型,构造绝对相位梯度方向来替代梯度特征完成描述子提取,但HAPCG无法应对影像间的大旋转问题。上述方法在不同程度上提升了多模态影像的匹配能力,但LiDAR深度图与航空影像间存在的非线性强度差异、结构缺失和大尺寸影像匹配等问题仍面临困难。近年来将深度学习应用于多模态匹配领域的研究得到快速发展[14-16],该类方法大多使用卷积神经网络训练特征描述子,从而获取高层次特征来完成匹配。利用深度学习进行多模态影像匹配的研究,由于样本采集难度较大,真实场景复杂多变,导致训练有效模型并投入工程应用中较为困难,因此在多模态匹配中,其泛化能力仍有待提高。

    上述方法主要是为了解决多模态影像间存在的非线性强度差异与对比度差异导致的匹配困难问题,没有充分考虑到LiDAR深度图中由于部分结构特征缺失造成的相位极值突变对匹配结果的影响,同时没有充分发掘大尺寸影像在匹配效率方面的潜力。因此,本文对相位一致性模型进行了扩展,利用奇偶对称滤波器生成多尺度多方向能量振幅,对每个方向的多尺度能量进行均匀卷积,并且结合方向梯度直方图描述框架提出了一种相位均匀能量卷积直方图(histogram of phase mean energy convolution,HPMEC)方法,能够很好地解决影像间非线性强度差异、对比度差异和结构缺失问题。由于经过中心投影生成的LiDAR深度图与航空影像间存在位移差异,同时为了大幅度提高影像匹配效率,本文通过划分重叠格网将每个格网对应的两种影像的图像块单元组成匹配任务队列,使用多线程并行处理任务队列中的匹配任务来提高匹配效率。

  • 本文提出的HPMEC方法流程如图 1所示,包括4个步骤:(1)中心投影深度图构建,首先利用点云滤波去除异常值与噪声,然后使用广义隐藏点消隐算法获取无遮挡点云,通过中心投影生成初始LiDAR深度图,最后利用反距离权重插值方法构建稠密LiDAR深度图。(2)相位均匀卷积匹配,首先采用Shi-Tomasi算法提取特征点,然后对相位一致性模型中Log-Gabor滤波器生成的多尺度多方向能量振幅进行相位均匀能量卷积,求解相位最大标签图,并联合方向梯度直方图描述框架生成HPMEC描述子。(3)特征匹配与粗差剔除,采用最近邻匹配方法完成初始匹配,并借助快速边缘化样本共识剔除粗差。(4)并行分块匹配策略优化,首先根据影像特征邻域窗口的大小对影像进行重叠格网划分,建立匹配任务队列进行并行分块匹配,然后利用分块影像偏移关系还原匹配点集全局坐标,并再次进行粗差剔除得到正确匹配点集,最后将匹配点中的深度图像点映射到三维空间中作为物方控制点,并通过航空影像控制平差的方式实现点云与倾斜影像的高精度配准。

    Figure 1.  Flowchart of HPMEC Method

  • LiDAR深度图与航空影像之间存在尺度与旋转差异,而HPMEC描述符不具备旋转与尺度不变性。因此,本文在已知相机内方位元素与航空影像低精度初始POS(position and orientation system)的前提下,通过对点云进行中心投影以消除影像间的尺度与位移差异。处理步骤如下:(1)对点云进行预处理,采用文献[17]的点云滤波和墙面剔除方法滤除点云噪声值,提高建筑物区域边缘结构特征;(2)不可视点云去除,使用广义隐藏点消隐方法[18]去除不可视点云,以保证LiDAR深度图能够正确表示真实地表;(3)点云中心投影,利用共线条件方程[19]对点云进行中心投影生成LiDAR深度图,在中心投影的过程中,LiDAR深度图像素值由对应点云的高程值进行填充;(4)深度图插值优化,由于点云的平均点间距明显低于航空影像的地面分辨率,导致LiDAR深度图中结构离散化,严重影响后续特征匹配,因此本文使用反距离权重插值方法对其进行补全,并将点云数据的高程值线性变换到灰度图像范围内,以得到最终的LiDAR深度图。

  • 特征点提取是匹配中的重要环节,由于LiDAR深度图结构稀疏,纹理信息不丰富,本文采用具有较好特征提取能力的Shi-Tomasi方法[20]来完成特征点的提取,该方法可以较好地提取出丰富的特征点,有益于LiDAR深度图与航空影像的匹配。

  • 相位均匀能量卷积直方图描述子流程图如图 2所示,主要分为两个步骤:(1)相位均匀能量卷积,通过Log-Gabor奇偶对称滤波器生成多尺度多方向能量振幅,进行相位均匀能量卷积,得到相位最大标签图;(2)定向特征向量描述,将相位最大标签图作为影像结构特征,结合方向梯度直方图描述框架解算特征向量,生成HPMEC描述子。

    Figure 2.  Construction Flowchart of Phase Mean Energy Convolution Histogram Descriptor

    1)相位均匀能量卷积

    相比于传统的梯度提取器,Log-Gabor小波滤波器[21]对非线性强度差异不敏感,能够提取影像中多尺度结构信息。点云密度相比于航空影像较低,点云扫描时部分区域覆盖不全,LiDAR深度图中部分结构特征存在缺失。因此,本文对每一方向的不同尺度Log-Gabor卷积层幅值进行均匀能量卷积,从而得到更稳健的特征结构信息。由此设计了一种相位均匀能量卷积序列提取影像相似性结构特征。

    Log-Gabor滤波器是一种频率域滤波器,能够有效地提取影像中多尺度的地物结构信息,其计算如下:

    式中,(α,θ)为Log-Polar坐标;st分别为Log-Gabor滤波器的尺度、方向,s=1, 2nst=1,2…nt,且ns=4nt=6(αs,θst)为Log-Gabor滤波器的中心频率;σασθ分别为αθ的带宽。

    利用快速傅里叶逆变换将Log-Gabor滤波器转换到空间域中,滤波器的实部与虚部分别为偶对称小波滤波器与奇对称小波滤波器,利用两种滤波器对影像的空间域信号进行卷积,可以获取相应的相位一致性能量,计算如下:

    式中,est(x,y)ost(x,y)分别为偶对称小波器Gsteven和奇对称小波器Gstodd在小波尺度为s、方向为t(x,y)处的响应能量;I(x,y)为原始影像像素值。计算在小波尺度为s、方向为t的幅值成分Ast为:

    Log-Gabor滤波器通过对每一方向进行多尺度小波变换以提取多尺度下的影像结构特征,然而LiDAR深度图由于部分结构特征缺失造成的相位极值突变会错误地描述影像特征信息,因此本文首先对相位一致性模型进行扩展,通过求平均值的方式对多尺度幅值成分进行均匀化,然后通过高斯卷积优化相位均匀能量卷积方向特征。相位均匀能量卷积函数的数学定义如下:

    式中,AGt(x,y)为相位均匀能量卷积方向特征;At(x,y)为相位均匀能量特征;G(s,t)为高斯核函数;kσ分别为高斯核模板半径与标准差,k=7σ=1.5

    将Log-Gabor滤波器计算的相位均匀能量卷积层按照方向角度的大小依次排列得到Log-Gabor卷积序列,即多通道Log-Gabor卷积图{At(x,y)|t=1, 2nt},其中nt为小波方向个数,At表示某一方向的均匀卷积层;相位最大标签图各像素值为对应像素在nt维卷积序列中最大值所对应的通道tmax值。重复上述步骤,即可获得相位最大标签图。

    2)定向特征向量描述

    本文选取以特征点为中心的正方形区域作为模板窗口,计算模板窗口内每个像素对应的相位最大标签特征,生成相位均匀能量卷积直方图。根据方向梯度直方图描述子结构[22]将模板窗口等分为7×7个元胞,对每个元胞内像素的相位均匀能量卷积方向特征标签进行统计,构成元胞直方图向量,最后累积所有元胞的直方图向量,经过L2范数归一化后生成294维特征向量的HPMEC描述子。

  • 完成HPMEC描述子构建后,需要衡量特征之间的相似性。本文采用最近邻匹配方法计算LiDAR深度图与航空影像间的初始匹配点集,计算HPMEC描述子间欧氏距离的最近邻与次近邻距离比率dratio,如果dratio低于给定阈值,则认为是正确初始匹配点对。

    为了剔除初始匹配点集中的误匹配点对,本文采用快速边缘化样本共识[23]进行粗差剔除,该方法直接边缘化噪声,使用迭代重定权最小二乘方法快速估计最优模型。本文将每次迭代中匹配点的权重定义为内点残差的边缘密度,计算如下:

    式中,r为同名点的残差;w(r)表示匹配点权重;σmax表示最大噪声水平;C(n)为常量,n为残差欧氏空间维度;Γ()为一个GAMMA函数;kχ2分布0.01上分位数的平方根,取值为k=3.64

    根据得到的最优变换模型计算初始匹配点集中待配准影像点到参考影像上的投影点坐标,将投影点与参考点欧氏距离小于误差阈值的匹配点集作为最终的匹配结果。

  • 影像匹配效率一般随影像尺寸的增大而降低,随着计算机硬件的快速迭代,基于多核处理器的线性池[24]技术可以快速并行处理计算任务。经过中心投影方法生成的LiDAR深度图与航空影像间存在位移差异,受重叠区域分块匹配[25]的启发,本文设计了一种基于线程池的影像并行分块匹配策略,主要包含影像重叠分块、并行分块匹配和全局粗差剔除3个步骤。

    1)影像重叠分块

    中心透视投影计算大幅度减弱了LiDAR深度图与航空影像间的旋转与尺度差异。因此两种影像划分的图像块均有较大的重叠区域,同时考虑到图像块边缘宽度为特征点邻域窗口长度的区域内无匹配同名点,影像应保证相邻图像块间存在重叠,将影像划分为M×N个子块,MN计算如下:

    式中,W为影像宽度;H为影像高度;L为图像块宽度(文中设置为500);P为特征点模板窗口大小。

    2)并行分块匹配

    将图像块对应影像与位置偏移记录为匹配块任务,所有匹配块任务组成匹配任务队列,并依次提交进入线程池中,线程池将匹配块任务分配给空闲线程,再利用本文特征匹配方法进行特征点提取与描述、最近邻匹配和粗差剔除,最终生成初始块匹配同名点集。

    3)全局粗差剔除

    将所有匹配块任务生成的初始块匹配同名点集根据位置偏移信息恢复全局影像坐标,使用相同的粗差剔除方法生成正确匹配点集。

  • 将HPMEC匹配方法与PSO-SIFT、LGHD、RIFT和HAPCG等性能较好的方法进行比较实验,并采用成功率(success rate,SR)、正确同名点匹配数量(number of correct matches,NCM)、均方根误差(root mean square error,RMSE)和运行时间(run time,RT)4种指标衡量方法的匹配性能。设置本文方法的子块内最大特征点数为5 000,邻域窗口设置为90像素,其他4种匹配方法的参数也相应调整到最优阶段。采用仿射变换作为评估模型,将匹配误差在3像素内的匹配对作为正确匹配,同时正确匹配对的数量不能低于20对。本文方法在Visual Studio 2017下实现,实验平台处理器是Intel© Core© i5-10600 KF CPU@4.10 GHz,主存32 GB,Windows 10 X64操作系统。

  • 使用§1.1提出的LiDAR深度图构造方法生成40组具有不同地物特征的LiDAR深度影像,根据影像中建筑物与植被的占比情况,匹配场景主要分为建筑物覆盖区、建筑物植被混合区和植被覆盖区的航空影像及深度图,如图 3所示。点云数据与航空影像数据由无人机同时获取,每张航空影像对应相机内参和初始外方位元素信息已知,影像尺寸大小为1 988×1 326像素。

    Figure 3.  Dataset of Aerial Imagery and LiDAR Depth Map

  • 采用影像初始POS信息对点云进行中心投影,可以保证LiDAR深度图与航空影像间的旋转平移差异较小,降低了匹配难度。本文对3种不同地物覆盖类型的LiDAR深度图插值优化前后的结构特征进行分析对比,结果如图 4所示。

    Figure 4.  Comparison of LiDAR Depth Maps Before and After Interpolated Optimization

    图 4可知,受LiDAR线阵扫描的影响,初始LiDAR深度图中存在的结构离散与结构缺失严重影响了后续特征匹配。插值优化后的LiDAR深度图提高了地物结构的完整性,有助于后续结构特征的提取。

    为了验证HPMEC方法的匹配性能,与PSO-SIFT、LGHD、RIFT、HAPCG 4种先进的方法进行了对比实验,结果如图 5所示。

    Figure 5.  Comparison of Matching Results Using Five Methods

    图 5可知,5种方法在城市区域中建筑物较为密集的场景下,点云深度图与航空影像较容易成功匹配,其NCM均在400对以上。在建筑物植被混合场景下,PSO-SIFT匹配失败;LGHD虽然匹配成功,但是NCM不足60对,对特征结构不显著的区域效果较差。而RIFT、HAPCG以及HPMEC方法在建筑物与植被混合场景中都能得到较好的结果。在植被覆盖区,PSO-SIFT仅能匹配到不足30对的NCM,且随着场景中植被覆盖占比的增大,性能降低。LGHD过分依赖建筑物的结构特征,其适用性受到限制。RIFT、HAPCG、HPMEC 3种方法效果较好,且HPMEC效果最佳。

    RMSE作为评估匹配方法精度的重要指标,其值越小,相应的匹配精度越高,计算如下:

    式中,n为正确匹配对数量;(xi,yi)为参考影像特征点坐标;(xiT,yiT)为相应待匹配影像特征点坐标。

    图 6分别统计了5种方法在40组LiDAR深度图与航空影像匹配中的NCM、RMSE和RT。为便于对比分析,将匹配失败的影像对的NCM设为0,RMSE设为2.5像素,RT设为0 s。

    Figure 6.  RMSE/NCM/RT Statistical Results of Forty Groups of Image Data Using Five Methods

    图 6可知,PSO-SIFT的匹配性能最差,在大多数影像中匹配失败,匹配时间最长,而获取的正确匹配点数相对较少,由此表明基于梯度特征的多模态匹配方法在LiDAR深度图与航空影像匹配上并不稳定。LGHD略优于PSO-SIFT,在大部分影像上能够正确匹配,但大部分正确的NCM低于100对,运行效率相比于PSO-SIFT、HAPCG,有着轻微提升。HAPCG、HPMEC能够在全部影像上匹配成功,虽然HAPCG方法在部分影像上的RMSE表现较好,但大部分影像匹配获取的NCM低于100对,运行效率较低的原因在于构建力矩图提取特征点阶段耗时较多。RIFT获取的正确匹配点较多,且运行效率优于LGHD,但其RMSE较大,影响了匹配性能。相比于其他4种方法,HPMEC能够在大部分影像上获取最多的正确匹配点数,同时相应的RMSE最小,匹配运行时间最优。

    表 1定量统计了5种方法在40组影像中的平均SR、平均NCM、平均RMSE和平均RT,综合评估HPMEC方法的性能,最优值加粗表示。

    方法 平均SR/% 平均NCM/点数 平均RMSE/像素 平均RT/s
    PSO-SIFT 20 158.75 2.024 77.35
    LGHD 77.5 76.32 1.938 63.63
    RIFT 100 250.03 1.969 40.70
    HAPCG 100 144.33 1.906 72.30
    HPMEC 100 273.95 1.863 5.82

    Table 1.  Quantitative Matching Results of Forty Groups Images in Five Methods

    表 1可知,RIFT、HAPCG、HPMEC的SR均为100%,HPMEC的平均NCM、平均RMSE和平均RT分别为273.95、1.863和5.82,平均NCM与平均RMSE均优于其他4种方法,其中平均RT显著优于其他4种方法,运行效率分别是PSO-SIFT的13.3倍、LGHD的10.9倍、HAPCG的10.4倍和RIFT的7.0倍。综上所述,HPMEC能在存在结构缺失和非线性强度差异的LiDAR深度图与航空影像中实现高效率、准确的匹配。

  • 在点云与影像配准中,本文采用了将点云转换为深度图与倾斜影像进行匹配的策略。为了解决深度图与倾斜影像之间非线性强度差异、对比度差异和结构部分缺失等因素造成的匹配问题,突破LiDAR深度图与航空影像匹配的技术瓶颈,本文提出了一种LiDAR深度图与航空影像的高效匹配方法。该方法利用影像的多尺度多方向相位能量构建了HPMEC,设计了分块并行匹配策略以大幅度提高匹配效率。并将HPMEC与PSO-SIFT、LGHD、RIFT和HAPCG在40组典型的LiDAR深度图与航空影像数据集中进行了实验分析。结果表明:

    1)HPMEC方法相比于其他4种方法,提出的相位均匀能量卷积直方图描述子更适用于LiDAR深度图与航空影像的匹配,能够获取更多的正确匹配点,并且匹配精度较好。

    2)HPMEC方法可以实现高效率匹配,平均RT是PSO-SIFT的13.3倍、LGHD的10.9倍、HAPCG的10.4倍和RIFT的7.0倍,在LiDAR深度图与航空影像匹配中表现优异。

Reference (25)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return