留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于空间约束和结构特征的光学与SAR影像配准

王蒙蒙 叶沅鑫 朱柏 张过

王蒙蒙, 叶沅鑫, 朱柏, 张过. 基于空间约束和结构特征的光学与SAR影像配准[J]. 武汉大学学报 ● 信息科学版, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
引用本文: 王蒙蒙, 叶沅鑫, 朱柏, 张过. 基于空间约束和结构特征的光学与SAR影像配准[J]. 武汉大学学报 ● 信息科学版, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
WANG Mengmeng, YE Yuanxin, ZHU Bai, ZHANG Guo. An Automatic Registration Method for Optical and SAR Images Based on Spatial Constraint and Structure Features[J]. Geomatics and Information Science of Wuhan University, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
Citation: WANG Mengmeng, YE Yuanxin, ZHU Bai, ZHANG Guo. An Automatic Registration Method for Optical and SAR Images Based on Spatial Constraint and Structure Features[J]. Geomatics and Information Science of Wuhan University, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354

基于空间约束和结构特征的光学与SAR影像配准

doi: 10.13203/j.whugis20190354
基金项目: 

国家自然科学基金 41971281

详细信息
    作者简介:

    王蒙蒙,博士生,研究方向为遥感影像配准。wm_gmail@163.com

    通讯作者: 叶沅鑫,博士,副教授。yeyuanxin110@163.com
  • 中图分类号: P237

An Automatic Registration Method for Optical and SAR Images Based on Spatial Constraint and Structure Features

Funds: 

The National Natural Science Foundation of China 41971281

More Information
    Author Bio:

    WANG Mengmeng, PhD candidate, specializes in remote sensing image registration. E-mail: wm_gmail@163.com

    Corresponding author: YE Yuanxin, PhD, associate professor. E-mail: yeyuanxin110@163.com
  • 摘要: 针对光学和合成孔径雷达(synthetic aperture radar, SAR)影像间的几何形变和辐射差异造成的配准困难问题,提出一种基于空间几何约束和结构特征的光学影像与SAR影像自动配准方法。首先,利用分块的Harris算子在输入影像上提取分布均匀的特征点,根据有理函数模型对输入影像进行局部几何纠正,实现输入影像与参考影像间的局部粗配准;其次,利用影像的方向梯度信息构建几何结构特征描述符,并将其转换到频率空间,以相位相关为相似性测度,采用模板匹配的策略进行同名点快速识别;再次,由最小二乘法根据影像间的空间几何约束关系进行误差剔除;最后,进行几何纠正实现影像间的精配准。通过利用多组国产高分辨率光学和SAR影像进行实验,实验结果表明,与传统配准方法相比,该方法具有更高的匹配速率与配准精度。
  • 图  1  本文方法流程

    Figure  1.  Flowchart of the Proposed Method in this Paper

    图  2  两种方法的Harris提取结果

    Figure  2.  Harris Extraction Results by Two Methods

    图  3  几何校正前后对比

    Figure  3.  Comparison Before and After Geometric Correction

    图  4  CFOG构建过程

    Figure  4.  Processing Chain of CFOG

    图  5  NCC、MI和本文方法的相似性图对比

    Figure  5.  Comparison of Similarity Map of NCC, MI and Our Proposed Method

    图  6  实验数据和匹配点分布图

    Figure  6.  Experimental Data and Matching Points

    图  7  实验配准棋盘格图

    Figure  7.  Registration Checkboard Results of Experiment

    表  1  实验数据基本信息

    Table  1.   Data Description of Experimental Images

    实验编号 参考影像 输入影像 影像特点
    传感器 分辨率/m 大小/像素 时间 传感器 分辨率/m 大小/像素 时间
    1 GF-3 5 7 751×7 393 2018-03 GF-2 4 7 300×6 908 2018-04 影像位于城市郊区,包含大量耕地,农村分布均匀
    2 GF-3 5 12 169×12 518 2018-03 ZY-3 2 24 516×24 576 2017-01 影像位于城市郊区,包含部分城市区域,水系丰富,时相差异近一年
    3 GF-3 5 7 738×6 384 2018-07 GF-2 4 7 300×6 908 2018-08 影像中心为城市,四周山脉环绕,地形起伏较大
    下载: 导出CSV

    表  2  实验结果对比

    Table  2.   Comparison of Experimental Results

    实验编号 匹配方法 匹配点/对 正确匹配点/对 匹配正确率/% RMSE/像素 匹配耗时/s
    1 本文方法 478 454 94.98 0.979 76.465
    局部校正+HOPC 478 441 92.26 1.137 2 935.942
    局部校正+MI 478 213 44.56 1.423 4 295.936
    局部校正+NCC 478 111 23.22 1.858 992.971
    2 本文方法 467 429 91.86 0.985 73.793
    局部校正+HOPC 467 413 88.45 1.182 2 998.577
    局部校正+MI 467 192 41.11 1.493 4 099.389
    局部校正+NCC 467 89 19.06 1.982 946.614
    3 本文方法 472 412 87.29 1.052 72.352
    局部校正+HOPC 472 395 83.68 1.269 3 073.671
    局部校正+MI 472 144 30.50 1.601 3 803.941
    局部校正+NCC 472 14 2.97 2.347 903.172
    下载: 导出CSV
  • [1] Zitová B, Flusser J. Image Registration Methods: A Survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000 doi:  10.1016/S0262-8856(03)00137-9
    [2] Xiang Yuming, Wang Feng, Wan Ling, et al. OS-Flow: A Robust Algorithm for Dense Optical and SAR Image Registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6335-6354 doi:  10.1109/TGRS.2019.2905585
    [3] 余先川, 吕中华, 胡丹. 遥感图像配准技术综述[J]. 光学精密工程, 2013, 21(11): 2960‐2972

    Yu Xianchuan, Zhonghua Lü, Hu Dan. Review of Remote Sensing Image Registration Techniques[J]. Optics and Precision Engineering, 2013, 21(11): 2960-2972
    [4] Harris C, Stephens M. A Combined Corner and Edge Detector[C] //The 4th Alvey Vision Conference, Manchester, UK, 1988
    [5] Sui Haigang, Xu Chuan, Liu Junyi, et al. Automatic Optical-to-SAR Image Registration by Iterative Line Extraction and Voronoi Integrated Spectral Point Matching[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(11): 6058-6072 doi:  10.1109/TGRS.2015.2431498
    [6] Dare P M, Dowman I J, Automatic Registration of SAR and SPOT Imagery Based on Multiple Feature Extraction and Matching[C]//IEEE 2000 International Geoscience and Remote Sensing Symposium, Honolulu, HI, USA, 2000
    [7] Fan Jianwei, Wu Yan, Li Ming, et al. SAR and Optical Image Registration Using Nonlinear Diffusion and Phase Congruency Structural Descriptor[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5368-5379 doi:  10.1109/TGRS.2018.2815523
    [8] Lowe D G. Distinctive Image Features from Scale‍‐Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110 doi:  10.1023/B:VISI.0000029664.99615.94
    [9] Suri S, Reinarzt P. Mutual-Information-Based Registration of TerraSAR-X and IKONOS Imagery in Urban Areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(2): 939-949 doi:  10.1109/TGRS.2009.2034842
    [10] Martinez A, Garcia-Consuegra J, Abad F. A Correlation‐Symbolic Approach to Automatic Remotely Sensed Image Rectification[C]//IEEE 1999 International Geoscience and Remote Sensing Symposium, Hamburg, Germany, 1999
    [11] 叶沅鑫, 单杰, 彭剑威, 等. 利用局部自相似进行多光谱遥感图像自动配准[J]. 测绘学报, 2014, 43(3): 268-275

    Ye Yuanxin, Shan Jie, Peng Jianwei, et al. Automated Multispectral Remote Sensing Image Registration Using Local Self-Similarity[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(3): 268-275
    [12] Ye Y X, Shan J, Bruzzone L, et al. Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5): 2941‍‐2958 doi:  10.1109/TGRS.2017.2656380
    [13] Ye Y X, Bruzzone L, Shan J, et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11): 9059‐9070 doi:  10.1109/TGRS.2019.2924684
    [14] Merkle N, Luo W J, Auer S, et al. Exploiting Deep Matching and SAR Data for the Geo‐Localization Accuracy Improvement of Optical Satellite Images[J]. Remote Sensing, 2017, 9(6): 586-603 doi:  10.3390/rs9060586
    [15] Girard N, Charpiat G, Tarabalka Y. Aligning and Updating Cadaster Maps with Aerial Images by Multi-task, Multi-resolution Deep Learning[C]// The 14th Asian Conference on Computer Vision, Perth, Australia, 2018
    [16] Bürgmann T, Koppe W, Schmitt M. Matching of TerraSAR-X Derived Ground Control Points to Optical Image Patches Using Deep Learning[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 158: 241-248 doi:  10.1016/j.isprsjprs.2019.09.010
    [17] 许东丽, 胡忠正. 基于深度学习特征提取的遥感影像配准[J]. 航天返回与遥感, 2019, 40(6): 107-118

    Xu Dongli, Hu Zhongzheng. Remote Sensing Image Registration Based on Deep Learning Feature[J]. Spacecraft Recovery and Remote Sensing, 2019, 40(6): 107-118
    [18] 袁修孝, 刘欣. 基于有理函数模型的高分辨率卫星遥感影像匹配[J]. 武汉大学学报·信息科学版, 2009, 34(6): 671-674 http://ch.whu.edu.cn/article/id/1341

    Yuan Xiuxiao, Liu Xin. A Novel Matching Method for High Resolution Satellite Imagery Based on Rational Function Model[J]. Geomatics and Information Science of Wuhan University, 2009, 34(6): 671-674 http://ch.whu.edu.cn/article/id/1341
    [19] Zheng Y, Cao Z G, Xiao Y. Multi-spectral Remote Image Registration Based on SIFT[J]. Electronics Letters, 2008, 44(2): 107-108 doi:  10.1049/el:20082477
    [20] Foroosh H, Zerubia J B, Berthod M. Extension of Phase Correlation to Subpixel Registration[J]. IEEE Transactions on Image Processing, 2002, 11(3): 188-200 doi:  10.1109/83.988953
    [21] 南轲, 齐华, 叶沅鑫. 深度卷积特征表达的多模态遥感影像模板匹配方法[J]. 测绘学报, 2019, 48(6): 727-736

    Nan Ke, Qi Hua, Ye Yuanxin. A Template Matching Method of Multimodal Remote Sensing Images Based on Deep Convolutional Feature Representation[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(6): 727-736
  • [1] 眭海刚, 赵博飞, 徐川, 周明婷, 杜卓童, 刘俊怡.  多模态序列遥感影像的洪涝灾害应急信息快速提取 . 武汉大学学报 ● 信息科学版, 2021, 46(10): 1441-1449. doi: 10.13203/j.whugis20210465
    [2] 吕志鹏, 隋立芬.  基于非线性高斯-赫尔默特模型的结构总体最小二乘法 . 武汉大学学报 ● 信息科学版, 2019, 44(12): 1808-1815. doi: 10.13203/j.whugis20180104
    [3] 张文元, 谈国新, 孙传明.  一种从SAR影像到光学影像的翻译方法 . 武汉大学学报 ● 信息科学版, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
    [4] 汪炯骅, 许涛, 李响.  低空无人机交叉口悬停影像抖动纠正 . 武汉大学学报 ● 信息科学版, 2015, 40(6): 738-743. doi: 10.13203/j.whugis20130834
    [5] 张卡, 盛业华, 管忠诚, 李佳.  基于NSCT的立体影像匹配相似性测度计算 . 武汉大学学报 ● 信息科学版, 2015, 40(4): 457-461. doi: 10.13203/j.whugis20130346
    [6] 李明, 李德仁, 范登科, 郭炳轩.  利用PC-SIFT的多源光学卫星影像自动配准方法 . 武汉大学学报 ● 信息科学版, 2015, 40(1): 64-70.
    [7] 程诗尧, 梅天灿, 刘国英.  顾及结构特征的多层次马尔科夫随机场模型在影像分类中的应用 . 武汉大学学报 ● 信息科学版, 2015, 40(9): 1180-1187. doi: 10.13203/j .whu g is20130692
    [8] 张谦, 贾永红, 胡忠文.  多源遥感影像配准中的SIFT特征匹配改进 . 武汉大学学报 ● 信息科学版, 2013, 38(4): 455-459.
    [9] 郑顺义, 周漾.  结构光系统结合数码相机的小物体高质量纹理重建 . 武汉大学学报 ● 信息科学版, 2012, 37(5): 529-533.
    [10] 史磊, 李平湘, 杨杰.  混合三角网极化干涉SAR影像配准 . 武汉大学学报 ● 信息科学版, 2012, 37(3): 330-333.
    [11] 辛亮, 张景雄.  共轭面状特征的快速提取与遥感影像精确配准 . 武汉大学学报 ● 信息科学版, 2011, 36(6): 678-682.
    [12] 史磊, 李平湘, 杨杰.  利用SIFT与粗差探测进行SAR影像配准 . 武汉大学学报 ● 信息科学版, 2010, 35(11): 1296-1299.
    [13] 李芳芳, 肖本林, 贾永红, 毛星亮.  SIFT算法优化及其用于遥感影像自动配准 . 武汉大学学报 ● 信息科学版, 2009, 34(10): 1245-1249.
    [14] 余长慧, 孟令奎, 秦昆.  基于标点随机过程的遥感影像道路提取 . 武汉大学学报 ● 信息科学版, 2006, 31(1): 59-62.
    [15] 徐丽华, 江万寿.  顾及配准误差的遥感影像变化检测 . 武汉大学学报 ● 信息科学版, 2006, 31(8): 687-690.
    [16] 谭兵, 郭建星, 邢帅, 张艳.  影像超分辨率重建中的动态数据更新算法 . 武汉大学学报 ● 信息科学版, 2005, 30(12): 1067-1070.
    [17] 程曦冉, 张剑清, 张祖勋.  航空影像多直角平顶房屋的半自动提取 . 武汉大学学报 ● 信息科学版, 2004, 29(12): 1097-1100.
    [18] 李德仁.  利用遥感影像进行变化检测 . 武汉大学学报 ● 信息科学版, 2003, 28(S1): 7-12.
    [19] 张祖勋, 张剑清, 胡翔云.  基于物方空间几何约束最小二乘匹配的建筑物半自动提取方法 . 武汉大学学报 ● 信息科学版, 2001, 26(4): 290-295.
    [20] 张祖勋, 张剑清, 廖明生, 张力.  遥感影像的高精度自动配准 . 武汉大学学报 ● 信息科学版, 1998, 23(4): 320-323.
  • 加载中
图(7) / 表(2)
计量
  • 文章访问数:  298
  • HTML全文浏览量:  102
  • PDF下载量:  65
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-06-16
  • 刊出日期:  2022-01-05

基于空间约束和结构特征的光学与SAR影像配准

doi: 10.13203/j.whugis20190354
    基金项目:

    国家自然科学基金 41971281

    作者简介:

    王蒙蒙,博士生,研究方向为遥感影像配准。wm_gmail@163.com

    通讯作者: 叶沅鑫,博士,副教授。yeyuanxin110@163.com
  • 中图分类号: P237

摘要: 针对光学和合成孔径雷达(synthetic aperture radar, SAR)影像间的几何形变和辐射差异造成的配准困难问题,提出一种基于空间几何约束和结构特征的光学影像与SAR影像自动配准方法。首先,利用分块的Harris算子在输入影像上提取分布均匀的特征点,根据有理函数模型对输入影像进行局部几何纠正,实现输入影像与参考影像间的局部粗配准;其次,利用影像的方向梯度信息构建几何结构特征描述符,并将其转换到频率空间,以相位相关为相似性测度,采用模板匹配的策略进行同名点快速识别;再次,由最小二乘法根据影像间的空间几何约束关系进行误差剔除;最后,进行几何纠正实现影像间的精配准。通过利用多组国产高分辨率光学和SAR影像进行实验,实验结果表明,与传统配准方法相比,该方法具有更高的匹配速率与配准精度。

English Abstract

王蒙蒙, 叶沅鑫, 朱柏, 张过. 基于空间约束和结构特征的光学与SAR影像配准[J]. 武汉大学学报 ● 信息科学版, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
引用本文: 王蒙蒙, 叶沅鑫, 朱柏, 张过. 基于空间约束和结构特征的光学与SAR影像配准[J]. 武汉大学学报 ● 信息科学版, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
WANG Mengmeng, YE Yuanxin, ZHU Bai, ZHANG Guo. An Automatic Registration Method for Optical and SAR Images Based on Spatial Constraint and Structure Features[J]. Geomatics and Information Science of Wuhan University, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
Citation: WANG Mengmeng, YE Yuanxin, ZHU Bai, ZHANG Guo. An Automatic Registration Method for Optical and SAR Images Based on Spatial Constraint and Structure Features[J]. Geomatics and Information Science of Wuhan University, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
  • 随着航空航天和遥感成像技术的发展,不同的对地观测卫星为同一地区提供了多模态遥感影像数据,相对于单一数据源,多模态遥感数据可提供互补的信息。将不同模态的影像进行集成,需要对影像进行配准。作为影像处理的一项必要步骤,影像配准是将不同时间、不同视角或不同传感器下获取的同一区域内的多张影像进行对齐和叠加的过程[1]。光学影像具有良好的可解译性,但是易受到环境和气候的影响,合成孔径雷达(synthetic aperture radar,SAR)影像具有极强的穿透性,其全天候对地观测获取信息的能力可以弥补光学影像信息的不足。由于成像机理的不同,如光学传感器为被动式遥感,成像依赖于光照条件。合成孔径雷达为主动式遥感,成像不需要光照条件,但SAR影像存在固有的斑点噪声,因此,光学影像与SAR影像之间存在着严重的几何形变和辐射差异,致使传统的配准方法难以适用于光学影像与SAR影像之间的自动配准[2],所以光学影像与SAR影像之间的配准非常具有挑战性。

    目前,影像配准方法主要可分为基于特征的方法和基于区域的方法两类[13]。基于特征的方法是对影像进行特征检测和匹配,通过建立影像间的几何变换模型来实现配准,最常见的特征有点特征[4]、线特征[5]和面特征[6]。这些特征虽然对影像间的光照变化和几何形变具有一定的鲁棒性,但难以适应于光学影像与SAR影像之间的非线性辐射差异[7]。具有尺度和旋转不变性的SIFT特征[8]也因光学影像与SAR影像之间的固有差异,难以提取出具有高重复率的特征点,不能适用于光学与SAR影像之间的配准。基于区域的方法被称为模板匹配,首先,在参考影像上定义一定大小的模板窗口;然后,以某种相似性测度为准则在待匹配影像上进行模板滑动,并将模板窗口的中心作为同名点。常用的相似性测度有互信息(mutual information,MI)[9]、归一化互相关(normalized cross correlation,NCC)[10]等。NCC虽被广泛应用于影像配准,但它对影像间的非线性辐射差异及其敏感,限制了它在光学与SAR影像配准中的应用。相比于NCC,MI虽能够适应影像间的辐射差异,但其庞大的计算量同样限制了它的应用[11]。最近的研究发现影像间的几何结构特征能较好地反映多模态遥感影像间的共有属性,并且相关学者已经将其应用于光学与SAR影像之间的配准。Ye等[12]利用相位一致性提出了一种几何结构相似性测度——相位一致性方向直方图(histogram of orientated phase congruency,HOPC),该算法能有效应用于异源遥感影像的配准。Ye等[13]使用图像的方向梯度信息构建了一种鲁棒的结构特征描述符——方向梯度通道特征(channel features of orientated gradients,CFOG),进一步提高了配准的精度与效率。尽管如此,这些结构特征描述符因特征维数较高,数据量较大,其计算效率难以满足实时匹配的需求,并且它们也不能适应具有较大旋转和尺度差异的影像。

    近年来,基于深度学习的方法应用到了多源遥感影像的配准。Merkle等[14]使用孪生网络对光学与SAR影像进行配准;Girard等[15]提出了一种通过训练多任务学习的深度学习方法提高了配准的精度;Bürgmann等[16]通过深度神经网络学习训练了一种名为HardNet的特征描述符,这种描述符被应用于光学影像与SAR影像的同名点自动提取;许东丽等[17]使用随机特征选择卷积神经网络对Landsat 8卫星影像进行了配准。虽然利用深度学习对光学影像与SAR影像进行配准逐渐成为了研究热点,但基于深度学习的方法需要大量的训练数据,目前,国内外尚未有大量的光学和SAR影像配准的训练样本,深度学习方法在光学和SAR影像自动配准方面的应用受到限制。

    本文提出了基于空间几何约束和结构特征的光学影像和SAR影像自动配准方法。首先,通过利用遥感影像的姿态参数信息(如有理多项式系数(rational polynomial coefficient,RPC))和数字高程模型(digital elevation model,DEM)对影像进行局部纠正,消除影像间的旋转和尺度差异,以此作为几何空间约束条件进行匹配区域预测;然后,构建几何结构特征描述符,并在频率域内建立一种快速的匹配相似性测度,采用模板匹配的策略进行同名点识别;最后,进行粗差剔除和几何纠正,实现光学和SAR影像的自动配准。

    • 本文方法的总体流程设计如下:(1)特征点提取。利用分块的Harris算子在输入影像上提取出分布均匀的特征点。(2)局部几何纠正。以特征点为中心取一定大小的区域影像,采用遥感影像自带的RPC文件对该区域进行局部几何纠正,以消除参考影像与输入影像间的旋转和尺度差异。(3)结构特征提取和快速匹配。利用CFOG算子进行结构特征提取,并利用傅里叶变换将其变换到频率空间,采用相位相关作为相似性测度,提高模板匹配的计算效率,实现同名点快速匹配。(4)粗差剔除和几何校正。利用RPC模型作为几何约束条件,采用最小二乘原理进行参数求解和误匹配剔除,并进行几何纠正,最终实现光学和SAR影像的自动配准,实验的总流程图如图 1所示。其中,RMSE(root mean square error)为均方根误差。

      图  1  本文方法流程

      Figure 1.  Flowchart of the Proposed Method in this Paper

    • 将输入影像划分为N×N的互不重叠的格网区域,并采用具有较高稳定性和鲁棒性的Harris算子[4]提取特征点。传统和分块Harris算子提取特征点结果如图 2所示。

      图  2  两种方法的Harris提取结果

      Figure 2.  Harris Extraction Results by Two Methods

      对影像进行分块的目的是能够在输入影像上提取出分布均匀的特征点,因为Harris算子提取特征点需要设定特定的阈值,直接通过某一阈值在整幅影像上提取特征点会造成检测到的特征点分布不均匀,甚至会产生特征点聚簇现象,如图 2(a)所示。对影像分块后,在影像的每一小块中采用Harris算子计算每个像素的特征值并进行排序,选择前k个特征值较大的点作为特征点则可以避免提取的特征点分布不均匀的现象,如图 2(b)所示。

    • 局部几何校正是基于有理函数模型(rational function model,RFM)对输入影像以提取的Harris特征点为中心的区域影像进行几何校正。有理函数模型是将像点坐标(rc)表示为以其对应地面的点坐标的(PLH)为自变量的3次多项式比值函数[18]

      r=p1(P,L,H)p2(P,L,H),c=p3(P,L,H)p4(P,L,H) ]]>

      式中,像方坐标(rc)与物方坐标(PLH)均为正则化后的坐标值,其值在(-1,1)之间。式(1)为有理函数模型的正变换形式,由影像坐标到地面点坐标的转换可以得到反变换形式。

      根据有理函数模型,以特征点为中心,在输入影像上选取一定大小的局部影像,引入DEM作为高程基准面,对局部影像进行几何校正,消除输入影像与参考影像之间局部影像的旋转和尺度差异,形成局部影像间的粗配准。局部几何校正前后的对比图如图 3所示,从对比图可以看出,几何校正后,影像间的旋转和尺度差异被消除了。之后根据特征点在几何校正后影像上的地理坐标预测其同名点在参考影像上所对应的位置,选取预测区域。

      图  3  几何校正前后对比

      Figure 3.  Comparison Before and After Geometric Correction

    • 通过局部影像粗纠正,可以消除影像间整体的几何形变(如尺度和旋转差异),因此,光学和SAR影像配准的主要难点是影像间的非线性辐射差异。考虑到光学影像与SAR影像间具有较为相似的几何结构信息,这里采用CFOG算子[13]提取影像间的几何结构特征,并在频率域空间建立一种快速的相似性测度进行模板匹配。CFOG是在梯度直方图(histogram of oriented gradient,HOG)的基础上发展而来的一种描述几何结构特征的描述子,它能够较好地抵抗影像间的非线性辐射差异。CFOG的构建过程见图 4,包括方向梯度通道和三维高斯卷积两个部分。

      图  4  CFOG构建过程

      Figure 4.  Processing Chain of CFOG

    • 给定一幅影像,需要计算影像的m层方向梯度通道,称之为go,1≤om,每层方向梯度通道goxy)是位于点(xy)处方向o的梯度幅值,若值大于0,则保持不变;否则,其值等于0。可以定义每层的方向梯度通道为:

      go=I/o ]]>

      式中,I表示影像;o是所划分的方向;表示:当值为正时,等于其本身;否则,为0。实际操作不需要对每层的方向梯度通道go进行分别计算,可以通过使用水平方向和垂直方向上的梯度幅值(gx,gy)计算每层的方向梯度通道特征值:

      go=cosθ×gx+sinθ×gy ]]>

      式中,θ表示划分的梯度方向;绝对值的目的是将梯度方向限制在[0,π],可以较好地处理多模态遥感影像间梯度反向的情况[19]

    • 在形成方向梯度通道后,通过使用三维高斯卷积核进行卷积来实现卷积特征通道,如:

      goσ=gσ*I/o ]]>

      式中,*为卷积;σ为高斯卷积核的标准差,该高斯卷积核并不是严格意义上的三维空间上的三维高斯函数,而是一个在XY方向上的二维高斯核和一个在梯度方向的核[1 2 1]T(以下简称为Z方向)。通过在Z方向进行卷积平滑了Z方向上的梯度,降低了两幅影像间因局部几何形变和灰度强度变化造成方向畸变的影响;通过对goσ进行归一化操作,形成最终的方向梯度通道特征。

      CFOG是在HOG的基础上发展而来的,CFOG和HOG都可以描述影像的几何结构属性,但相比于HOG,CFOG具有以下两个优点:(1)HOG是通过对局部区域的梯度幅值和方向进行三维线性插值构建的直方图,其计算过程非常费时,而CFOG通过对方向梯度信息进行卷积运算来代替三维线性插值,有效地提高了计算效率;(2)HOG是在一个相对稀疏的采样格网上进行特征描述构建,而CFOG是一种逐像素的结构特征描述符,能更为精确地描述影像的形状和几何结构属性。

    • 由于CFOG是逐像素的三维结构特征描述符,数据量过大,致使采用传统的相似性度量方法(如NCC)进行匹配非常耗时。根据空间域中两个模板间的相关或卷积等于两个模板的傅里叶变换在频率域中的乘积,本文采用傅里叶变换方法将特征模板从空间域变换到频率域,并以相位相关[20]为相似性测度加速模板匹配。

      假设fxy)和gxy)分别为参考影像和输入影像大小为M×M的特征模板,经过傅里叶变换分别表示为Fuv)和Guv),因为已经进行过局部几何纠正,所以特征模板间只存在平移关系(x0y0),即gxy)=fx-x0y-y0),根据傅里叶变换的平移特性,在频率域下,两者的关系为:

      G(u,v)=F(u,v)exp(-i(ux0+vy0)) ]]>

      则它们的归一化互功率谱可以表示为:

      G(u,v)F(u,v)*G(u,v)F(u,v)*=exp(-i(ux0+vy0)) ]]>

      式中,*表示复共轭。根据平移理论,归一化互功率谱的相位等于相位间的相位差,通过对归一化互功率谱进行傅里叶反变换后可以得到一个二维脉冲函数δ(x-x0,y-y0)。此函数在偏移位置处有明显的尖锐峰值,其他位置的值接近于0,通过峰值的位置可以确定特征模板之间的偏移量x0y0,实现特征模板的快速匹配,如当大小为N×N的模板窗口在大小为M×M的搜索窗口上进行逐像素滑动匹配时,传统相似性度量(如NCC)的运算量为ζ(M2N2),进行傅里叶变换到频率域后,采用相位相关方法的运算量为ζ((M+N)2lg(M+N)),根据上面运算量的对比,采用相位相关方法的计算效率有显著提升。

      这里使用相似性图对匹配模板在搜索区域的相似性系数进行可视化表达,并将本文方法与MI和NCC比较,如图 5所示,蓝色表示相似性较低,红色表示相似性较高。

      图  5  NCC、MI和本文方法的相似性图对比

      Figure 5.  Comparison of Similarity Map of NCC, MI and Our Proposed Method

      图 5(c)~图 5(e)的3种相似性图可以看出,NCC方法的相似性图有多个峰值,表示未能匹配到正确的同名点;而MI虽匹配到一个峰值较高的同名点,但峰值的位置具有较大的偏离,表示匹配到的同名点的误差较大;本文方法的相似性图只具有一个较高的峰值,且峰值的位置位于中心处,说明了本文方法的匹配性能优于MI和NCC的匹配性能。

    • 由于遮挡或阴影等影响,通过相位相关法得到的匹配结果不可避免地存在着错误同名点对,因此,需要对其匹配结果进行筛选和优化。本文依据最小二乘原理,通过影像之间的几何约束关系补偿有理函数模型的系统误差,得到正确匹配,提高配准精度。基于影像之间的几何约束关系补偿有理函数模型的系统误差可描述为:

      x+Δx=x+a0+a1x+a2y=RPCx(P,L,H)y+Δy=y+b0+b1x+b2y=RPCy(P,L,H) ]]>

      式中,(xy)为同名点在输入影像上的图像坐标;(a0,a1,a2)(b0,b1,b2)为补偿参数;(PLH)为对应同名点在参考影像上的物方坐标。依据最小二乘原理解算补偿参数后,计算同名点的残差和RMSE,剔除残差较大的同名点。重新解算补偿参数,并对上述过程进行迭代,直至RMSE小于设定的某一阈值(如1个像素)。基于有理函数模型和像方误差补偿参数对输入影像进行几何纠正,实现输入影像与参考影像的自动配准。

    • 本文选择了3组国产高分辨率卫星遥感影像作为实验数据验证本文方法的配准性能,如图 6所示。

      图  6  实验数据和匹配点分布图

      Figure 6.  Experimental Data and Matching Points

      图 6中,黄色圆点表示本文匹配的正确同名点。参考影像为做过正射纠正的高分三号SAR影像,输入影像分别使用高分二号多光谱影像和资源三号全色影像,实验数据的详细信息如表 1所示。

      表 1  实验数据基本信息

      Table 1.  Data Description of Experimental Images

      实验编号 参考影像 输入影像 影像特点
      传感器 分辨率/m 大小/像素 时间 传感器 分辨率/m 大小/像素 时间
      1 GF-3 5 7 751×7 393 2018-03 GF-2 4 7 300×6 908 2018-04 影像位于城市郊区,包含大量耕地,农村分布均匀
      2 GF-3 5 12 169×12 518 2018-03 ZY-3 2 24 516×24 576 2017-01 影像位于城市郊区,包含部分城市区域,水系丰富,时相差异近一年
      3 GF-3 5 7 738×6 384 2018-07 GF-2 4 7 300×6 908 2018-08 影像中心为城市,四周山脉环绕,地形起伏较大

      基于实验数据,采用人工刺点的方式在参考影像和配准后的影像上选取50对同名点作为检查点,通过计算它们的RMSE来表示配准精度。本文将分别从匹配正确率、配准精度和计算效率等方面对本文方法进行分析与评价,并将传统的模板匹配方法MI、NCC,以及同样基于结构特征的HOPC描述符,结合上述的局部纠正,与本文方法进行对比。实验所用PC配置为:Inter(R)Xeon(R)CPU E5-1603 v3 2.8 GHz,内存为8 ‍GB,采用C++和GDAL源码库编程实现。本文方法配准的参数设置如下:将输入影像划分为25×20的块区域,在每块区域中提取一个Harris特征点,共计500个特征点,为了保证不同方法性能对比的客观性,所有匹配方法的模板窗口均设置为121×121像素,搜索区域窗口的大小设置为200×200像素。

    • 实验1和2位于地形平坦、地物信息较为丰富的区域;实验3位于四川省眉山市,地势西高东低,起伏较大,且分辨率相差1.25倍,配准难度较大。配准过程中采用不同方法匹配的正确匹配点数量、匹配正确率、RMSE和计算速率见表 2

      表 2  实验结果对比

      Table 2.  Comparison of Experimental Results

      实验编号 匹配方法 匹配点/对 正确匹配点/对 匹配正确率/% RMSE/像素 匹配耗时/s
      1 本文方法 478 454 94.98 0.979 76.465
      局部校正+HOPC 478 441 92.26 1.137 2 935.942
      局部校正+MI 478 213 44.56 1.423 4 295.936
      局部校正+NCC 478 111 23.22 1.858 992.971
      2 本文方法 467 429 91.86 0.985 73.793
      局部校正+HOPC 467 413 88.45 1.182 2 998.577
      局部校正+MI 467 192 41.11 1.493 4 099.389
      局部校正+NCC 467 89 19.06 1.982 946.614
      3 本文方法 472 412 87.29 1.052 72.352
      局部校正+HOPC 472 395 83.68 1.269 3 073.671
      局部校正+MI 472 144 30.50 1.601 3 803.941
      局部校正+NCC 472 14 2.97 2.347 903.172

      表 2可以看出,对于3组实验,NCC方法的匹配正确率都处于最低,这是因为NCC方法对影像间的灰度只具有线性不变性,当影像间的辐射差异较大,尤其是面对非线性的辐射差异时,NCC方法通常不能取得满意的效果[21]。MI方法在匹配点获得的数量方面虽具有可观性,但经过误差剔除后,正确匹配点的数量却较少,3组实验中的匹配正确率最高仅有44.56%,对于大区域影像的配准而言较低,难以满足大区域影像配准的要求。HOPC特征在正确匹配点对和正确匹配率上取得了良好的效果,3组实验的正确匹配点数量分别为441对、413对和395对,匹配正确率也分别达到了92.26%、88.45%和83.68%,但HOPC的匹配耗时较长,表明匹配速率较低。

      相较于MI、NCC及HOPC,本文方法在正确匹配点数量和匹配正确率上表现更佳,正确匹配点分布如图 6所示。由图 6可知,实验1和实验2的正确匹配点均超过了400对,且匹配正确率也均超过了90%,究其原因是本文使用遥感影像的几何结构特征构建匹配模板,相比于灰度信息,影像的几何结构特征表现更加稳健和鲁棒。相比于实验1和实验2,实验3在正确匹配点数量上和匹配正确率都有所降低,原因是实验3的数据地形起伏较大,局部几何畸变显著,增加了匹配的难度。另外,基于有理函数模型的像方误差补偿参数也难以对地形起伏较大的区域进行精确拟合,致使剔除了部分正确的匹配点,但本文方法的匹配正确率依然远高于MI、NCC及HOPC。

      从匹配耗时可以看出,MI极为耗时,这是因为MI需要计算模板间的联合概率直方图,计算量较大,NCC的计算效率虽快于MI,但匹配仍然耗时。HOPC方法需要提取影像间的结构特征,再计算结构特征间的相关系数,比NCC方法更为耗时。本文通过傅里叶变换技术将匹配模板变换到频率域,加快了模板匹配的速度,因此,耗时较少。3组实验的配准结果如图 7所示。

      图  7  实验配准棋盘格图

      Figure 7.  Registration Checkboard Results of Experiment

      从配准精度来看,图 7(a)实验1数据是建筑物较为丰富的高分辨率影像,且时相差异较小,因此,配准精度达到了子像素的精度。图 7(b)实验2影像中包含了大量的水系,由于CFOG是根据影像的几何结构特征构建特征描述符进行匹配,应用于水系,CFOG难以在水系中提取出明显的几何结构特征,致使匹配点数量和匹配正确率有所下降。图 7(c)实验3数据虽受到地形起伏的影响,本文方法的配准精度也达到了1.052像素。从实验的局部配准结果可以看出,虽然光学影像与SAR影像间存在显著的噪声和非线性辐射差异,但配准后的输入影像与参考影像依然叠合得非常好。对于3组实验数据,本文方法的配准精度都好于基于MI、NCC和HOPC的方法。

    • 针对SAR影像与光学影像间几何形变和非线性辐射差异所造成的配准困难问题,本文引入能够描述影像结构特征的描述符——CFOG,并根据遥感影像间的几何约束关系,结合相位相关技术实现了大区域SAR影像与光学影像的快速自动配准。为了验证本文方法的性能和表现,选择了3组具有时相差异和尺度差异的国产高分辨率卫星遥感影像进行配准实验,并将其与结合局部校正的MI、NCC以及HOPC等方法在多个方面进行对比与分析。结果表明,本文方法在3组实验中的正确匹配点数量和匹配正确率都远高于传统模板匹配方法,配准精度也表现最佳,且本文方法借助于傅里叶变换技术实现快速模板匹配,大幅度提高了计算效率,表明了本文方法可以有效抵抗光学影像与SAR影像间的几何形变和辐射差异,从而获得较高的匹配正确率,实现大区域光学影像与SAR影像间的配准。

      由于本文方法是通过遥感影像的姿态参数信息RPC对影像进行局部校正,消除影像间的旋转和尺度差异,因此,本文的实验前提是可以利用卫星影像的姿态参数信息对影像进行局部校正。另外,本文方法是利用影像的几何结构特征构建三维特征描述符,当影像的几何结构特征不够丰富时,其匹配性能会有所下降,并且构建的三维特征描述符也存在数据量过大的问题。后续将对这些问题进行进一步研究,以提高光学影像与SAR影像间配准的精度与速度。

参考文献 (21)

目录

    /

    返回文章
    返回