留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

联合对数极坐标描述与位置尺度特征的无人机影像匹配算法

姚永祥 段平 李佳 王云川

姚永祥, 段平, 李佳, 王云川. 联合对数极坐标描述与位置尺度特征的无人机影像匹配算法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
引用本文: 姚永祥, 段平, 李佳, 王云川. 联合对数极坐标描述与位置尺度特征的无人机影像匹配算法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
YAO Yongxiang, DUAN Ping, LI Jia, WANG Yunchuan. A UAV Image Matching Algorithm Considering log-Polar Description and Position Scale Distance Feature[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
Citation: YAO Yongxiang, DUAN Ping, LI Jia, WANG Yunchuan. A UAV Image Matching Algorithm Considering log-Polar Description and Position Scale Distance Feature[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362

联合对数极坐标描述与位置尺度特征的无人机影像匹配算法

doi: 10.13203/j.whugis20200362
基金项目: 

国家自然科学基金 41961061

云南省基础研究计划 202001AT070057

云南省教育厅科学研究基金 2018JS148

详细信息
    作者简介:

    姚永祥,博士生,研究方向为航空摄影测量、影像几何配准。yaoyongxiang@whu.edu.cn

    通讯作者: 段平,博士,副教授。dpgiser@163.com
  • 中图分类号: P237

A UAV Image Matching Algorithm Considering log-Polar Description and Position Scale Distance Feature

Funds: 

The National Natural Science Foundation of China 41961061

Yunnan Fundamental Research Projects 202001AT070057

Science Foundation of Yunnan Provincial Department of Education Project 2018JS148

More Information
    Author Bio:

    YAO Yongxiang, PhD candidate, specializes in aerial photogrammetry, and geometry registration of image. E-mail: yaoyongxiang@whu.edu.cn

    Corresponding author: DUAN Ping, PhD, associate professor. E-mail: dpgiser@163.com
  • 摘要: 针对无人机(unmanned aerial vehicle, UAV)影像提取的同名点数量较少,从而影响影像间位姿信息的计算,导致影像拼接错位、平差解算不严密甚至失败等问题,提出了一种联合对数极坐标描述与位置尺度特征的匹配算法。首先,建立高斯多尺度影像集合进行特征点提取;其次,采用对数极坐标进行描述子构建,建立适合UAV影像特征的描述子;然后,通过位置和尺度约束的距离匹配函数进行特征匹配;最后,通过模式搜索和快速样本共识方法剔除粗差后完成同名点提取。将四旋翼UAV获取的影像作为实验数据,与SIFT(scale invariant feature transform)算法和SAR-SIFT(synthetic aperture radar-SIFT)算法进行了影像匹配的对比实验。结果表明,所提算法可以较好地提取UAV影像的同名点对。
  • 图  1  UAV影像匹配流程图

    Figure  1.  Flowchart of UAV Image Matching

    图  2  对数极坐标描述子

    Figure  2.  log-Polar Descriptor

    图  3  研究区

    Figure  3.  Research Area

    图  4  3种匹配算法的结果对比

    Figure  4.  Comparison of the Results of the Three Matching Algorithms

    表  1  3种算法针对不同影像类型的初始匹配准确率/%

    Table  1.   Initial Matching Accuracy of Three Algorithms Under Different Image Types/%

    算法 位移差异 尺度差异 光照差异 大旋转差异 小旋转差异 大交会角差异
    SIFT 66.55 17.55 58.62 62.53 69.55 68.08
    SAR-SIFT 77.35 24.15 63.69 77.68 77.35 70.91
    本文算法 81.22 37.43 68.02 78.56 81.35 78.95
    下载: 导出CSV

    表  2  3种算法针对不同影像类型在各个匹配阶段时间消耗对比/s

    Table  2.   Comparison of Time Consumption of Three Algorithms at Different Matching Stages Under Different Image Types/s

    影像类型 算法 特征点提取 描述子构建 匹配阶段 总体耗时
    位移差异 SIFT 1.241 1 0.742 7 7.733 6 11.176
    SAR-SIFT 0.717 7 25.049 0 4.231 8 31.791
    本文算法 1.065 2 1.580 0 23.963 6 27.381
    尺度差异 SIFT 1.667 9 1.010 7 3.935 4 8.004
    SAR-SIFT 0.861 7 68.435 9 1.963 4 73.339
    本文算法 1.567 9 2.151 4 11.119 7 15.791
    光照差异 SIFT 1.181 2 0.721 9 8.937 5 12.333
    SAR-SIFT 0.730 3 25.280 0 4.791 1 32.560
    本文算法 1.025 3 1.438 3 22.007 7 25.253
    大旋转差异 SIFT 1.433 0 0.919 4 11.872 0 15.647
    SAR-SIFT 0.837 3 35.905 4 8.186 6 46.741
    本文算法 1.414 3 1.831 0 35.186 4 39.241
    小旋转差异 SIFT 1.046 0 0.693 6 7.244 7 10.435
    SAR-SIFT 0.587 3 17.407 7 3.079 1 22.887
    本文算法 0.888 9 1.3963 4 17.079 9 20.139
    大交会角差异 SIFT 1.240 2 0.677 8 6.809 5 10.158
    SAR-SIFT 0.818 9 32.119 5 6.956 8 41.699
    本文算法 0.938 0 1.458 0 17.819 4 20.981
    下载: 导出CSV

    表  3  3种算法的同名点数量和均方根误差

    Table  3.   Number of Eponymous Points and Root Mean Square Error of the Three Algorithms

    影像类型 精度 SIFT SAR-SIFT 本文算法
    位移差异 同名点数量 284 251 360
    RMSE/像素 1.926 2.742 1.890
    尺度差异 同名点数量 176 94 227
    RMSE/像素 1.193 1.316 1.797
    光照差异 同名点数量 218 144 259
    RMSE/像素 2.608 2.762 2.068
    大旋转差异 同名点数量 180 274 307
    RMSE/像素 2.025 2.757 1.964
    小旋转差异 同名点数量 259 212 318
    RMSE/像素 2.427 2.799 1.879
    大交会角 同名点数量 157 145 209
    RMSE/像素 2.366 2.313 1.936
    下载: 导出CSV
  • [1] Senthilnath J, Omkar S N, Mani V, et al. Multiobjective Discrete Particle Swarm Optimization for Multisensor Image Alignment[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(5): 1095-1099 doi:  10.1109/LGRS.2012.2230432
    [2] Mikolajczyk K, Schmid C. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630 doi:  10.1109/TPAMI.2005.188
    [3] 李欣,杨宇辉,杨博,等. 利用方向相位特征进行多源遥感影像匹配[J]. 武汉大学学报·信息科学版, 2020, 45(4): 488-494 doi:  10.13203/j.whugis20180445

    Li Xin, Yang Yuhui, Yang Bo, et al. A Multi-source Remote Sensing Image Matching Method Using Directional Phase Feature[J]. Geomatics and Information Science of Wuhan University, 2020, 45(4): 488-494 doi:  10.13203/j.whugis20180445
    [4] 张卡,盛业华,管忠诚,等. 基于NSCT的立体影像匹配相似性测度计算[J]. 武汉大学学报·信息科学版, 2015, 40(4): 457-461 doi:  10.13203/j.whugis20130346

    Zhang Ka, Sheng Yehua, Guan Zhongcheng, et al. NSCT Based Computation of Similarity Measure for Stereo Image Matching[J]. Geomatics and Information Science of Wuhan University, 2015, 40(4): 457-461 doi:  10.13203/j.whugis20130346
    [5] Chen H M, Arora M K, Varshney P K. Mutual Information-Based Image Registration for Remote Sensing Data[J]. International Journal of Remote Sensing, 2003, 24(18): 3701-3706 doi:  10.1080/0143116031000117047
    [6] Gong M G, Zhao S M, Jiao L C, et al. A Novel Coarse-to-Fine Scheme for Automatic Image Registration Based on SIFT and Mutual Information[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(7): 4328-4338 doi:  10.1109/TGRS.2013.2281391
    [7] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110 doi:  10.1023/B:VISI.0000029664.99615.94
    [8] Bay H, Ess A, Tuytelaars T, et al. Speeded-up Robust Features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359 doi:  10.1016/j.cviu.2007.09.014
    [9] 李佳,段平,姚永祥,等. 加速分割特征优化的图像配准方法[J]. 激光与光电子学进展, 2019, 56(1): 138-144 https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201901017.htm

    Li Jia, Duan Ping, Yao Yongxiang, et al. Image Registration Method Based on Accelerated Segmentation Feature Optimization[J]. Laser & Optoelectronics Progress, 2019, 56(1): 138-144 https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201901017.htm
    [10] 张卡,盛业华,付素霞,等. 基于物方定位一致性约束的光学航空影像多视铅垂线轨迹匹配[J]. 光学精密工程, 2018, 26(7): 1784-1793 https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201807025.htm

    Zhang Ka, Sheng Yehua, Fu Suxia, et al. Multi-view VLL Matching Algorithm for Optical Aerial Images Based on Constraint of Object Space Positioning Consistency[J]. Optics and Precision Engineering, 2018, 26(7): 1784-1793 https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201807025.htm
    [11] 耿娟,何成龙,刘宪鑫. 基于CSIFT特性的无人机影像匹配[J]. 国土资源遥感, 2016, 28(1): 93-100 https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201601015.htm

    Geng Juan, He Chenglong, Liu Xianxin. UAV Image Matching Based on CSIFT Feature[J]. Remote Sensing for Land & Resources, 2016, 28(1): 93-100 https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201601015.htm
    [12] 鲁萍萍,梅雪. 基于降维与聚类的无人机航拍图拼接配准算法[J]. 计算机应用与软件, 2018, 35(6): 220-225 doi:  10.3969/j.issn.1000-386x.2018.06.040

    Lu Pingping, Mei Xue. Aerial Image Stitching Registration Algorithm for UAV Based on Dimensionality Reduction and Clustering[J]. Computer Applications and Software, 2018, 35(6): 220-225 doi:  10.3969/j.issn.1000-386x.2018.06.040
    [13] 张永军,熊小东,王梦秋,等. 机载激光雷达点云与定位定姿系统数据辅助的航空影像自动匹配方法[J]. 测绘学报, 2014, 43(4): 380-388 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201404010.htm

    Zhang Yongjun, Xiong Xiaodong, Wang Mengqiu, et al. A New Aerial Image Matching Method Using Airborne LiDAR Point Cloud and POS Data[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(4): 380-388 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201404010.htm
    [14] Wan Y, Zhang Y J, Liu X Y. An A-Contrario Method of Mismatch Detection for Two-View Pushbroom Satellite Images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 153: 123-136
    [15] 詹总谦,李一挥,王陈东,等. 顾及局部相对几何变形改正的影像匹配和空三逐步精化方法[J]. 武汉大学学报·信息科学版, 2018, 43(11): 1620-1627 http://ch.whu.edu.cn/cn/search

    Zhan Zongqian, Li Yihui, Wang Chendong, et al. A Stepwise Refinement Method for Image Matching and Aerotriangulation Using Correction of Local Relative Geometric Distortion[J]. Geomatics and Information Science of Wuhan University, 2018, 43(11): 1620-1627 http://ch.whu.edu.cn/cn/search
    [16] Kupfer B, Netanyahu N S, Shimshoni I. An Efficient SIFT-Based Mode-Seeking Algorithm for Sub-Pixel Registration of Remotely Sensed Images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(2): 379-383
    [17] Wu Y, Ma W P, Gong M G, et al. A Novel Point-Matching Algorithm Based on Fast Sample Consensus for Image Registration[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(1): 43-47
    [18] Ma W P, Wen Z L, Wu Y, et al. Remote Sensing Image Registration with Modified SIFT and Enhanced Feature Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(1): 3-7
    [19] Chum O, Matas J, Kittler J. Pattern Recognition[M]//Berlin, Heidelberg: Springer, 2003
    [20] Mikolajczyk K, Schmid C. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630
  • [1] 罗亦泳, 姚宜斌, 黄城, 张静影.  基于改进VMD的变形特征提取与分析 . 武汉大学学报 ● 信息科学版, 2020, 45(4): 612-619. doi: 10.13203/j.whugis20180286
    [2] 张春森, 胡艳, 于振, 崔卫红, 吴蓉蓉.  全连接条件随机场高分辨率遥感影像面状地物交互提取 . 武汉大学学报 ● 信息科学版, 2020, 45(10): 1594-1601. doi: 10.13203/j.whugis20190137
    [3] 李帆, 夏吉喆, 黄赵, 李晓明, 李清泉.  顾及停留位置特征提取的个人位置预测方法 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1970-1980. doi: 10.13203/j.whugis20200068
    [4] 张瑞倩, 邵振峰, Aleksei Portnov, 汪家明.  多尺度空洞卷积的无人机影像目标检测方法 . 武汉大学学报 ● 信息科学版, 2020, 45(6): 895-903. doi: 10.13203/j.whugis20200253
    [5] 陈铁桥, 柳稼航, 朱锋, 王一豪, 刘佳, 陈杰.  适用于遥感分类的多邻域粗糙集加权特征提取方法 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 311-317. doi: 10.13203/j.whugis20150290
    [6] 李鹏飞, 孙开敏, 李德仁, 王玮.  无人机影像应急并行处理负载均衡方法 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 268-274. doi: 10.13203/j.whugis20130095
    [7] 李鹏飞, 孙开敏, 李德仁, 王玮.  无人机影像应急并行处理负载均衡方法 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 268-274. doi: 10.13203/j.whugis20170022
    [8] 詹总谦, 李一挥, 王陈东, 郑莉.  顾及局部相对几何变形改正的影像匹配和空三逐步精化方法 . 武汉大学学报 ● 信息科学版, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
    [9] 杨楠, 邵振峰, 郭丙轩, 彭哲, 黄蕾.  基于非固定初始面元的无人机影像点云优化算法 . 武汉大学学报 ● 信息科学版, 2016, 41(8): 1013-1020. doi: 10.13203/j.whugis20140750
    [10] 何培培, 万幼川, 高贤君, 秦家鑫.  基于彩色信息尺度不变特征的街景影像匹配 . 武汉大学学报 ● 信息科学版, 2014, 39(7): 867-872.
    [11] 林宗坚, 任超锋, 姚娜, 解斐斐.  一种航空影像阴影补偿方法 . 武汉大学学报 ● 信息科学版, 2013, 38(4): 431-435.
    [12] 万 雪, 张祖勋, 柯 涛.  一种利用零交叉点理论的改进SIFT特征提取算法 . 武汉大学学报 ● 信息科学版, 2013, 38(3): 270-273.
    [13] 陈敏, 邵振峰.  一种稳健的高效角点特征提取变换 . 武汉大学学报 ● 信息科学版, 2013, 38(12): 1142-1147.
    [14] 林娜, 杨武年, 王斌.  高光谱遥感影像核最小噪声分离变换特征提取 . 武汉大学学报 ● 信息科学版, 2013, 38(8): 988-992.
    [15] 唐朝伟, 肖健, 邵艳清, 苗光胜.  一种改进的SIFT描述子及其性能分析 . 武汉大学学报 ● 信息科学版, 2012, 37(1): 11-16.
    [16] 张剑清, 苏国中, 郑顺义, 钟良.  基于线扩散函数的高精度轮廓特征提取算法 . 武汉大学学报 ● 信息科学版, 2006, 31(2): 95-98.
    [17] 李新双, 张良培, 李平湘, 吴波.  基于小波分量特征值匹配的高光谱影像分类 . 武汉大学学报 ● 信息科学版, 2006, 31(3): 274-277.
    [18] 李必军, 方志祥, 任娟.  从激光扫描数据中进行建筑物特征提取研究 . 武汉大学学报 ● 信息科学版, 2003, 28(1): 65-70.
    [19] 江万寿, 郑顺义, 张祖勋, 张剑清.  航空影像特征匹配研究 . 武汉大学学报 ● 信息科学版, 2003, 28(5): 510-513.
    [20] 张祖勋, 张剑清, 胡翔云.  基于物方空间几何约束最小二乘匹配的建筑物半自动提取方法 . 武汉大学学报 ● 信息科学版, 2001, 26(4): 290-295.
  • 加载中
图(4) / 表(3)
计量
  • 文章访问数:  78
  • HTML全文浏览量:  33
  • PDF下载量:  22
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-07-19
  • 刊出日期:  2022-08-05

联合对数极坐标描述与位置尺度特征的无人机影像匹配算法

doi: 10.13203/j.whugis20200362
    基金项目:

    国家自然科学基金 41961061

    云南省基础研究计划 202001AT070057

    云南省教育厅科学研究基金 2018JS148

    作者简介:

    姚永祥,博士生,研究方向为航空摄影测量、影像几何配准。yaoyongxiang@whu.edu.cn

    通讯作者: 段平,博士,副教授。dpgiser@163.com
  • 中图分类号: P237

摘要: 针对无人机(unmanned aerial vehicle, UAV)影像提取的同名点数量较少,从而影响影像间位姿信息的计算,导致影像拼接错位、平差解算不严密甚至失败等问题,提出了一种联合对数极坐标描述与位置尺度特征的匹配算法。首先,建立高斯多尺度影像集合进行特征点提取;其次,采用对数极坐标进行描述子构建,建立适合UAV影像特征的描述子;然后,通过位置和尺度约束的距离匹配函数进行特征匹配;最后,通过模式搜索和快速样本共识方法剔除粗差后完成同名点提取。将四旋翼UAV获取的影像作为实验数据,与SIFT(scale invariant feature transform)算法和SAR-SIFT(synthetic aperture radar-SIFT)算法进行了影像匹配的对比实验。结果表明,所提算法可以较好地提取UAV影像的同名点对。

English Abstract

姚永祥, 段平, 李佳, 王云川. 联合对数极坐标描述与位置尺度特征的无人机影像匹配算法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
引用本文: 姚永祥, 段平, 李佳, 王云川. 联合对数极坐标描述与位置尺度特征的无人机影像匹配算法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
YAO Yongxiang, DUAN Ping, LI Jia, WANG Yunchuan. A UAV Image Matching Algorithm Considering log-Polar Description and Position Scale Distance Feature[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
Citation: YAO Yongxiang, DUAN Ping, LI Jia, WANG Yunchuan. A UAV Image Matching Algorithm Considering log-Polar Description and Position Scale Distance Feature[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
  • 影像匹配是对两幅或多幅具有一定重叠区域的影像寻找同一特征点的过程[1]。无人机(unmanned aerial vehicle, UAV)影像图幅小、影像姿态不稳健,导致影像匹配过程存在无序匹配的情况,且匹配的同名点对数量较少,而影像匹配结果质量会对后续图像处理产生较大的影响。

    针对影像匹配,国内外专家学者展开了大量探索,主要集中在影像区域与影像特征两个方面[2-3]。基于影像区域匹配的方法通过像素强度之间的相似性来判断影像之间的对齐关系,例如相似性度量[4]、互信息[5]、像素强度和梯度强度[6]等,当图像的显著特征较少时,区域匹配方法可以得到较好的性能,但存在计算复杂度高、图像失真和强度变化等问题,可能是由图像噪声、图像亮度和不同传感器成像差异等引起。因此该方法对图像的尺寸、图像旋转以及遮挡等都较为敏感,其应用受到了限制。基于影像特征的方法,例如尺度不变特征变换(scale invariant feature transform, SIFT)[7]、加速稳健特征(speeded up robust features, SURF)[8]、快速特征点提取和描述(oriented fast and rotated brief, ORB)[9]、多视铅垂线轨迹匹配[10]等,从尺度稳健性、搜索方式、粗点剔除等角度对影像匹配进行了研究,丰富了影像匹配的方法,较好地降低了遥感影像的匹配难度。但上述算法主要研究影像的同名点提取的精度和效率,较少关注同名点的数量。

    匹配精度和效率对空中三角测量的结果影响较大,但UAV影像的同名点数量将直接影响空中三角测量、图像拼接及镶嵌融合等处理的结果,尤其当同名点数量较少时会导致空中三角测量错位甚至失败。对此,文献[11]利用几何代数优化SIFT算法;文献[12]利用降维与聚类改进SURF算法;还可以利用描述子检测、降维及增强鲁棒性等方法来优化UAV影像匹配效率。上述方法所提取的同名点对数量有所提升,但依然不够充足,且一定程度上增加了算法复杂度。为此,有学者利用薄板样条函数结合SIFT算法、点云辅助匹配[13]、仿射尺度不变特征匹配方法[14-15], 提出了模式搜索匹配[16]、快速样本共识匹配[17]、遥感影像增强特征匹配[18]等方法,这些方法可以提取足够多的同名点,但受局部区域差异、影像重叠率低或影像仿射变换小及影像光照差异等不同方面的制约。综上所述,目前在UAV影像匹配研究中,对UAV影像提取的特征点描述方面仍存有欠缺,当描述符不能鲁棒地实现特征描述时,会增加同名点的提取难度,且对UAV影像提取的特征点周边区域的位置与尺度等信息利用不充分,影响同名点提取。因此,本文提出了一种改进的UAV影像匹配算法,首先通过构建适合UAV影像的对数极坐标描述子来描述特征信息;然后充分考虑影像特征的位置和尺度建立更加稳健的距离匹配函数,增加同名点的数量。

    • 本文算法流程如图 1所示,主要包括4个方面:(1)UAV影像多尺度特征点提取,通过Sobel算子进行滤波处理计算影像的梯度和主方向,提取影像特征点;(2)构建对数极坐标描述子,利用提取的特征点生成对数极坐标网格并计算梯度位置方向直方图(gradient location and orientation histogram, GLOH), 确定对数极坐标的维度;(3)添加位置尺度约束的欧氏距离匹配;(4)影像粗差剔除,首先计算特征点在位置和尺度方面的偏移量,然后结合欧氏距离组成新的匹配函数,最后利用模式搜索(mode seeking, MS)和快速样本共识(fast sample consensus, FSC)算法进行粗差剔除。

      图  1  UAV影像匹配流程图

      Figure 1.  Flowchart of UAV Image Matching

    • UAV影像关键点的提取是进行影像匹配的基础。首先利用高斯影像金字塔建立影像多尺度空间;然后利用SIFT算法计算梯度方向,提取描述符,从而获取特征点。主要步骤如下:

      1)尺度空间构建

      建立UAV影像的高斯矩阵,采用Sobel滤波差分计算高斯尺度空间的梯度幅度,计算如下:

      Gσ1=(Gx,σ0)2+(Gy,σ0)2 ]]>

      式中, Gσ1为一阶高斯尺度空间的梯度幅度图像;σ是高斯尺度空间的尺度;Gx,σ0Gy,σ0分别表示Gσ1经过Sobel差分后的水平和垂直方向导数。二阶梯度方向Rσ2和大小计算如下:

      Rσ2=arctanGy,σ1Gx,σ1Gσ2=(Gx,σ1)2+(Gy,σ1)2 ]]>

      式中, Gx,σ1Gy,σ1分别表示Gσ2的水平和垂直导数,经Sobel计算得到;Gσ2为二阶高斯尺度空间的梯度幅度图像。

      2)特征点提取与方向检测

      当某点在尺度空间本层及上下层26个邻域内的值最大或最小时,认为此点是相应尺度下的特征点[7]。利用式(2)计算的特征点梯度进行方向分配和描述符提取。

    • 为确定特征点之间的对应关系,需要对提取的特征点进行描述,而描述子的构建对同名点的提取影响较大。对数极坐标描述子具有灵活多样、描述信息丰富等特点,其组成的圆形邻域可根据影像特点确定描述子维度数,使特征点的描述更为稳健。因此,本文在对数极坐标描述子的基础上构建了一个210维的对数极坐标描述子来实现UAV影像的特征描述,便于后续提取更多的同名点对。

      完成特征点提取后,构建特征描述子。其中, GLOH[18]是一种通过改变位置网格的描述符,可以用于计算影像直方图。该方法采用笛卡尔坐标和对数极坐标定位网格生成圆形邻域,如图 2所示。其中, Pxi, yi)表示第i个关键点的位置,圆形半径设置为12σ, 内部的两个同心圆形区域半径与该圆形区域半径的比率在一定范围内可以取得最佳描述效果,由文献[18]可知,当R3/R1R2/R1分别为0.25和0.73时,每个圆形邻域内像素点在计算特征分量时能相对均匀地落在不同邻域内,从而保证描述子的可靠性。对两个外层圆形区域10等分,一共得到21个子区。再按照36°一个方向的原则计算每个扇区内的特征点维度数目,共计10个维度。最终累计获得每个特征维度为210维(21×10)的对数极坐标描述子。为了降低计算复杂度设置阈值,当某一维分量的值大于该阈值时,则将该阈值赋值给此分量(本文将该阈值设置为0.2)。

      图  2  对数极坐标描述子

      Figure 2.  log-Polar Descriptor

      对极坐标描述子进一步量化, 210维描述子特性向量的分量可以表示为D={V1, V2V210}。其中该描述子特性向量分量的数学表达式如下:

      DiT=(2n+1)×d,iTSDiT=D1T,D2TDiT ]]>

      式中, SDiT表示全部特征点的描述子集合;DiT表示第i个特征点的描述子;n表示每个圆形邻域划分的格网数目;d表示每个特征点的方向维度;T表示特征点的个数。

    • 确定特征点之间的对应关系是进行UAV影像匹配的核心。欧氏距离匹配的核心是计算两个特征点之间的距离,距离最小的两个点即是正确匹配。虽然在UAV影像中可获得较为精确的对应关系,但是由于影像位置偏移和尺度变换等差异使得很多特征点都不能找到正确对应关系,导致匹配到的同名点稀疏或不足。因此,本文提出了基于位置尺度欧氏距离的函数计算匹配对。首先构建位置尺度欧氏距离函数,然后利用MS和FSC算法剔除粗差确定正确的匹配关系,以此提取更多同名点对。

      通过距离函数寻找特征点之间的对应关系是匹配的关键。利用每个关键点的位置和尺度等信息建立匹配距离函数确立特征匹配关系。构建距离函数的步骤如下:

      1)特征点位置变换误差计算。两个特征点的集合p=p1,p2pMp'=p1',p2'pN'分别从原始UAV影像及相邻UAV影像中获取, (xi, yi)和si分别表示参考图像中关键点pi的位置和尺度;(xi', yi')和si'分别表示待匹配影像中关键点pi'的位置和尺度。则pipi'的位置变换误差的计算如下:

      ep(pi,pi')=(xi,yi)-T((xi',yi'),μ) ]]>

      式中, T((xi',yi'),μ)为相似性变换模型;μ为变换模型参数。同时,利用不同图层之间的比例关系计算特征点pip´i的比例误差,计算如下:

      es(pi,pi')=1-Sr'si'si ]]>

      式中, Sr'表示参考影像和待匹配影像之间的比例直方图。

      2)位置尺度欧氏函数距离构建。定义位置尺度欧氏距离(position scale Euclidean distance, PSED)的计算如下:

      PSED(pi,pi')=(1+ep(pi,pi'))(1+es(pi,pi'))de(pi,pi') ]]>

      式中, depi, pi')表示对应于关键点pipi'的描述符的欧几里德距离。在点对正确匹配的情况下, PSED大多为最小值。

      3)初始匹配。关键点由最近邻的欧几里德距离与相应描述符次近邻的欧氏距离之间的比率进行匹配。首先获得匹配对集合Ps, 并构建尺度、水平移位和垂直移位的直方图。从直方图获得模式位置Sr'、点坐标水平方向平移量(Δx_hist)、点坐标竖直方向平移量(Δy_hist)。然后解算Ps的初始变换参数µ。该变换参数由一个3×3矩阵组成,对由初始欧氏距离匹配得到的任意两个同名点进行最小二乘法迭代计算,将多次迭代后的变换参数作为初始变换参数µ的初值。

      4)重新匹配。将直方图模型联合Sr'、Δx_hist和Δy_hist组合构成PSED函数,并将其作为距离度量获得匹配关系。同时通过最近邻距离与次近邻距离之比匹配关键点,实现了两次匹配。因此,将PSED距离最小的点对作为候选匹配对,获得同名点对集合Ps1

    • 在完成影像的特征点匹配后,影像的匹配关系主要存储在Ps1中,里面存在错误的对应关系。要解算出正确的匹配关系,需要进行误匹配剔除。误匹配去除方法有随机采样一致性算法(random sample consensus, RANSAC)[19]、MS[16]及FSC算法[17]等,但综合UAV影像的特点、算法的剔除效果和优化匹配能力,采用MS与FSC的组合方式进行误匹配剔除与优化。MS在变换空间中将每个SIFT特征与其对应的尺度、方向和位置进行关联,并通过模式搜索的方式消除较弱匹配关系的关键点。模式搜索的核心是通过计算关键点的水平和垂直位移,利用阈值过滤异常值,消除误匹配。令(x1, y1)和(x´1, y´1)为关键点匹配前后的坐标,该关键点水平和垂直位移的计算如下:

      Δx1=x1-Sr'(x1'×cos(Δθmode)-y1'×sin(Δθmode))Δy1=y1-Sr'(x1'×sin(Δθmode)+y1'×cos(Δθmode)) ]]>

      式中, Δθmode为主方向角度差值。

      FSC算法是一种改进的RANSAC算法,将RANSAC数据集分为样本集和共识集两部分。样本集具有较高的正确率,共识集存在大量正确匹配,通过迭代增加正确同名点对的数量。首先建立两个UAV影像的相应关系,分别从参考图像和待匹配图像中提取两个点要素集l=p1,p2pll̂=p̂1,p̂2p̂k。然后从点要素集l̂中找到点要素集l的最佳候选点来构建对应关系,该对应关系定义为ci=pi,p̂i, pi的坐标(xi, yi)表示参考影像中的一个特征点,而p̂i的坐标(x̂i,ŷi)则表示待匹配图像中的一个特征点, C={c1, c2ci}表示暂定的匹配点集。最后通过转换误差进行迭代计算得到正确对应关系,去除误匹配。

    • 本文采用蜻蜓四旋翼UAV, 搭载五镜头采集影像数据,选择某学校图书馆区域进行实验,所获取的UAV影像平均航向重叠度为80%, 旁向重叠度为75%, 研究区包括水体、植被、建筑及道路等多种地理场景,信息丰富,具有典型代表性,如图 3所示。以Matlab R2018a为实验平台,编写相关算法实现UAV影像的特征匹配。实验环境为Windows 10操作系统,运行内存为16 G, i7-9750H CPU@2.6 GHz处理器。

      图  3  研究区

      Figure 3.  Research Area

    • 为了更好地检验算法的性能,选取了两种经典特征匹配算法SIFT和SAR-SIFT(synthetic aperture radar-SIFT)进行对比实验。这两种算法在影像匹配中具有较好的鲁棒性,满足大多数场景特征下的匹配。实验参数设置如下:(1)通过Sobel滤波进行多尺度特征点提取后,构建了UAV影像的尺度空间,生成高斯影像;(2)设置特征点提取阈值dradio=0.03, 可以获得较佳效果;(3)根据§1.2中GLOH算法参数对影像进行计算,模式的确切位置可通过适当的插值方法获得,而影像的尺度、水平位移和垂直位移则根据每幅影像的梯度和主方向自动计算得到,不是唯一值。在影像匹配中,不大于3个像素的匹配关系可称作正确匹配。因此本文将3种算法的匹配阈值都设置为3个像素, SIFT和SAR-SIFT算法的特征点提取阈值也都设置为0.03, 其他参数则按照初始默认参数。

      为了验证本文算法的鲁棒性,选择了UAV影像中的6组具有位移、尺度、光照、大旋转、小旋转和大交会角等差异的影像进行验证。为进一步验证实验结果,分别将本文算法、SIFT算法和SAR-SIFT算法对6组影像场景进行实验,结果如图 4所示。由图 4可知,本文算法在6组影像获得的正确的同名数量更多,匹配效果明显优于SIFT和SAR-SIFT算法,具有较好的适用性和鲁棒性。

      图  4  3种匹配算法的结果对比

      Figure 4.  Comparison of the Results of the Three Matching Algorithms

      对于不同影像的匹配准确率是验证匹配算法性能的重要依据。根据文献[20], 通过人工选点的方式筛选出初始匹配中的正确匹配点对和错误匹配点对,并计算3种算法之间的准确率验证初始匹配的精度,结果如表 1所示。为了保证计算公平,初始阶段都采用欧氏距离匹配,并将匹配阈值设置为0.9(以确保有充足的匹配对)。

      表 1  3种算法针对不同影像类型的初始匹配准确率/%

      Table 1.  Initial Matching Accuracy of Three Algorithms Under Different Image Types/%

      算法 位移差异 尺度差异 光照差异 大旋转差异 小旋转差异 大交会角差异
      SIFT 66.55 17.55 58.62 62.53 69.55 68.08
      SAR-SIFT 77.35 24.15 63.69 77.68 77.35 70.91
      本文算法 81.22 37.43 68.02 78.56 81.35 78.95

      表 1可知,在6组不同类型的影像中, SIFT初始匹配准确率最低, SAR-SIFT次之,本文算法的初始匹配准确率相对最优。

      为进一步了解算法的性能,分别统计了不同类型UAV影像在特征点提取阶段、描述子构建阶段和匹配阶段的耗时,结果如表 2所示。由表 2可知,在特征点提取阶段, SAR-SIFT耗时最短;在描述子构建阶段,本文算法和SIFT算法相近,明显优于SAR-SIFT算法。对比发现,本文算法在匹配阶段耗时较多,主要原因在初始匹配结束后,首先进行了粗差剔除,求取两幅匹配影像间的变换模型;然后利用变换模型计算影像在位置(垂直位置和水平位置)和尺度的偏移量构建距离匹配函数;最后在新的匹配距离函数上进行重匹配。相比SIFT和SAR-SIFT增加了多个环节,故耗时更多。

      表 2  3种算法针对不同影像类型在各个匹配阶段时间消耗对比/s

      Table 2.  Comparison of Time Consumption of Three Algorithms at Different Matching Stages Under Different Image Types/s

      影像类型 算法 特征点提取 描述子构建 匹配阶段 总体耗时
      位移差异 SIFT 1.241 1 0.742 7 7.733 6 11.176
      SAR-SIFT 0.717 7 25.049 0 4.231 8 31.791
      本文算法 1.065 2 1.580 0 23.963 6 27.381
      尺度差异 SIFT 1.667 9 1.010 7 3.935 4 8.004
      SAR-SIFT 0.861 7 68.435 9 1.963 4 73.339
      本文算法 1.567 9 2.151 4 11.119 7 15.791
      光照差异 SIFT 1.181 2 0.721 9 8.937 5 12.333
      SAR-SIFT 0.730 3 25.280 0 4.791 1 32.560
      本文算法 1.025 3 1.438 3 22.007 7 25.253
      大旋转差异 SIFT 1.433 0 0.919 4 11.872 0 15.647
      SAR-SIFT 0.837 3 35.905 4 8.186 6 46.741
      本文算法 1.414 3 1.831 0 35.186 4 39.241
      小旋转差异 SIFT 1.046 0 0.693 6 7.244 7 10.435
      SAR-SIFT 0.587 3 17.407 7 3.079 1 22.887
      本文算法 0.888 9 1.3963 4 17.079 9 20.139
      大交会角差异 SIFT 1.240 2 0.677 8 6.809 5 10.158
      SAR-SIFT 0.818 9 32.119 5 6.956 8 41.699
      本文算法 0.938 0 1.458 0 17.819 4 20.981

      本文根据同名点提取的数量和同名点的均方根误差(root mean square error, RMSE)检验匹配算法的精度,计算如下[9]

      RMSE=i=1N(xi-xi)2+(yi-yi)2N ]]>

      式中, (xi, yi)为参考图像的同名点坐标;(x"i, y"i)是待匹配图像的同名点坐标(x'i, y'i)在经过匹配对应关系转换后的坐标;N表示选取的同名点个数。

      本文统计了3种匹配算法获取的同名点数量和同名点之间的RMSE, 6组影像匹配结果的精度如表 3所示。由表 3可知,针对所选取的具有代表性的6组影像,在参数设置相同的情况下,本文算法提取的正确同名点对数量明显多于SIFT和SAR-SIFT算法。对于匹配结果的RMSE, 本文算法也明显低于所对比的两种算法。

      表 3  3种算法的同名点数量和均方根误差

      Table 3.  Number of Eponymous Points and Root Mean Square Error of the Three Algorithms

      影像类型 精度 SIFT SAR-SIFT 本文算法
      位移差异 同名点数量 284 251 360
      RMSE/像素 1.926 2.742 1.890
      尺度差异 同名点数量 176 94 227
      RMSE/像素 1.193 1.316 1.797
      光照差异 同名点数量 218 144 259
      RMSE/像素 2.608 2.762 2.068
      大旋转差异 同名点数量 180 274 307
      RMSE/像素 2.025 2.757 1.964
      小旋转差异 同名点数量 259 212 318
      RMSE/像素 2.427 2.799 1.879
      大交会角 同名点数量 157 145 209
      RMSE/像素 2.366 2.313 1.936
    • 针对UAV影像图幅范围小,且匹配中同名点提取数量稀疏会导致拼接误差大、空三错位、空洞或计算失败的问题,本文提出了对数极坐标描述和顾及UAV影像的位置尺度欧氏距离的特征匹配算法,并使用无人机影像数据进行了匹配实验,得到了如下结论:(1)通过梯度位置方向直方图构建了一个210维的对数极坐标描述子,该描述子通过圆形邻域在10个方向上能更好地完成对特征点的描述,使匹配更加稳健和鲁棒;(2)综合位置和尺度等因素建立的位置尺度欧氏距离匹配函数可以较好地计算UAV影像匹配关系,能匹配出更多的正确同名点对;(3)本文算法在UAV影像匹配中效果优于SIFT和SAR-SIFT算法,可以获取足够多的同名点。

      本文算法较好地顾及了UAV影像的数据特点,描述了影像特征点之间的关系,计算出了影像之间的相对关系和转换参数,为空中三角测量提供了正确可靠的数据支撑。

参考文献 (20)

目录

    /

    返回文章
    返回