留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种利用Mask R-CNN的遥感影像与矢量数据配准方法

王艳东 邵鑫 刘波 邓跃进 魏广泽 豆明宣

王艳东, 邵鑫, 刘波, 邓跃进, 魏广泽, 豆明宣. 一种利用Mask R-CNN的遥感影像与矢量数据配准方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137
引用本文: 王艳东, 邵鑫, 刘波, 邓跃进, 魏广泽, 豆明宣. 一种利用Mask R-CNN的遥感影像与矢量数据配准方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137
WANG Yandong, SHAO Xin, LIU Bo, DENG Yuejin, WEI Guangze, DOU Mingxuan. A Registration Method of Remote Sensing Image and Vector Data Using Mask R-CNN[J]. Geomatics and Information Science of Wuhan University, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137
Citation: WANG Yandong, SHAO Xin, LIU Bo, DENG Yuejin, WEI Guangze, DOU Mingxuan. A Registration Method of Remote Sensing Image and Vector Data Using Mask R-CNN[J]. Geomatics and Information Science of Wuhan University, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137

一种利用Mask R-CNN的遥感影像与矢量数据配准方法

doi: 10.13203/j.whugis20200137
基金项目: 

国家重点研发计划 2016YFB0501403

国家自然科学基金 41271399

测绘地理信息公益性行业科研专项 201512015

详细信息
    作者简介:

    王艳东,博士,教授,主要从事大数据时空分析计算、地理信息系统理论等研究。ydwang@whu.edu.cn

    通讯作者: 邓跃进,博士,副教授。geodyj@whu.edu.cn
  • 中图分类号: P237

A Registration Method of Remote Sensing Image and Vector Data Using Mask R-CNN

Funds: 

The National Key Research and Development Program of China 2016YFB0501403

the National Natural Science Foundation of China 41271399

the Special Fund for Scientific Research of Surveying and Mapping Geographic Information Public Welfare Industry 201512015

More Information
    Author Bio:

    WANG Yandong, PhD, professor, majors in big data analysis and calculation, geographic information systems theory. E-mail: ydwang@whu.edu.cn

    Corresponding author: DENG Yuejin, PhD, associate professor.E-mail: geodyj@whu.edu.cn
  • 摘要: 遥感影像数据与地理信息系统(geographic information system,GIS)矢量数据的配准是遥感与GIS集成的基础。目前遥感影像与矢量数据的配准关键在于遥感影像特征的提取,而现有遥感影像特征提取方法存在特征提取不完整、配准失败和精度不高等问题。由此提出了一种基于Mask R-CNN(region-based convolutional neural network)的遥感影像与矢量数据配准方法,首先,利用Mask R-CNN模型提取影像的道路交叉口作为影像控制点; 然后,依据几何拓扑关系筛选矢量数据道路交叉口作为矢量控制点,再根据遥感影像与矢量数据控制点的欧氏距离确定同名控制点;最后,以同名控制点为基础实现遥感影像与矢量数据的配准。选取上海市矢量数据和高分二号影像数据进行配准实验,实验结果表明, 所提方法鲁棒性强、精度高。
  • 图  1  Mask R-CNN结构图

    Figure  1.  Structure of Mask R-CNN

    图  2  FPN网络结构图

    Figure  2.  Structure of FPN Network

    图  3  RPN网络结构图

    Figure  3.  Structure of RPN Network

    图  4  RoI对齐算法示意图

    Figure  4.  Diagram of RoI Align Algorithm

    图  5  多车道道路交叉口控制点选取示意图

    Figure  5.  Schematic Diagram of Control Points Selection for Multi-lane Road Intersections

    图  6  影像道路交叉口特征点

    Figure  6.  Feature Points of Image Road Intersections

    图  7  同名控制点处理示意图

    Figure  7.  Schematic Diagram of Control Points with the Same Name

    图  8  Mask R-CNN与Faster R-CNN训练损失对比图

    Figure  8.  Comparison of Training Loss Between Mask R-CNN and Faster R-CNN

    图  9  遥感影像道路交叉口提取部分结果图

    Figure  9.  Extraction Results of Road Intersections in Remote Sensing Images

    图  10  同名控制点分布图

    Figure  10.  Distribution of Control Points with the Same Name

    图  11  配准结果图

    Figure  11.  Registration Results

    表  1  遥感影像道路交叉口提取评价结果/%

    Table  1.   Evaluation Results of Road Intersection Extraction by Remote Sensing Image/%

    模型 AP50 AP75
    Mask R-CNN 71.3 54.5
    Faster R-CNN 60.8 48.5
    下载: 导出CSV

    表  2  人工标识同名点配准前后误差距离

    Table  2.   Errors Distance Before and After Registration of Artificially Identified Points with the Same Name

    同名点编号 配准前 基于本文方法配准结果 基于模板匹配配准结果
    x/m y/m d/m x'/m y'/m d'/m x″/m y″/m d″/m
    1 14.07 13.79 19.70 0.88 0.79 1.18 1.86 1.31 2.28
    2 13.31 11.30 17.46 0.33 0.32 0.46 1.85 1.80 2.58
    3 14.65 13.73 20.08 2.30 2.29 3.25 2.06 1.65 2.64
    4 9.47 8.71 12.86 1.10 1.05 1.52 1.95 1.87 2.70
    5 13.49 12.37 18.30 0.22 0.14 0.26 2.28 1.76 2.88
    6 12.71 11.49 17.14 2.02 1.99 2.84 2.25 1.79 2.88
    7 12.95 11.19 17.11 1.34 1.31 1.87 2.32 2.28 3.25
    8 9.58 9.41 13.43 0.63 0.61 0.88 2.43 2.19 3.27
    9 11.49 10.36 15.47 0.90 0.82 1.22 2.63 2.04 3.33
    10 9.05 8.68 12.54 0.89 0.88 1.25 2.76 2.61 3.80
    11 8.91 8.81 12.53 0.99 0.90 1.34 2.97 2.78 4.07
    12 10.09 9.06 13.56 0.26 0.25 0.36 3.02 2.82 4.13
    13 9.34 8.50 12.63 0.88 0.87 1.24 3.32 3.27 4.66
    14 9.72 9.59 13.66 0.60 0.54 0.81 3.82 3.27 5.03
    15 9.86 9.48 13.68 2.30 2.21 3.19 4.85 4.83 6.84
    平均值/m 11.25 10.43 15.34 1.04 1 1.44 2.69 2.42 3.62
    中误差/m 2.06 1.80 2.71 0.68 0.68 0.96 0.82 0.89 1.20
    最大值/m 14.65 13.79 20.08 2.30 2.29 3.25 4.85 4.83 6.84
    下载: 导出CSV
  • [1] Ceresola S, Fusiello A, Bicego M, et al. Automatic Updating of Urban Vector Maps[C]// Image Analysis and Processing ICIAP, Cagliari, Italy, 2005
    [2] Durieux L, Lagabrielle E, Nelson A. A Method for Monitoring Building Construction in Urban Sprawl Areas Using Object-Based Analysis of Spot 5 Images and Existing GIS Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2008, 63(4): 399-408 doi:  10.1016/j.isprsjprs.2008.01.005
    [3] 李全, 李霖, 赵曦. 基于Landsat TM影像的城市变化检测研究[J]. 武汉大学学报· 信息科学版, 2005, 30(4): 351-354 http://ch.whu.edu.cn/article/id/2158

    Li Quan, Li Lin, Zhao Xi. Urban Change Detection Using Landsat TM Imagery[J]. Geomatics and Information Science of Wuhan University, 2005, 30 (4): 351-354 http://ch.whu.edu.cn/article/id/2158
    [4] Champion N. 2D Building Change Detection from High Resolution Aerial Images and Correlation Digital Surface Models[J]. Remote Sensing and Spatial Information Sciences, 2007, 36(3): 197–202
    [5] 佃袁勇, 方圣辉, 姚崇怀. 一种面向地理对象的遥感影像变化检测方法[J]. 武汉大学学报·信息科学版, 2014, 39(8): 906-912 doi:  10.13203/j.whugis20130053

    Dian Yuanyong, Fang Shenghui, Yao Chonghuai. The Geographic Object-Based Method for Change Detection with Remote Sensing Imagery[J]. Geomatics and Information Science of Wuhan University, 2014, 39(8): 906-912 doi:  10.13203/j.whugis20130053
    [6] 张剑清, 朱丽娜, 潘励. 基于遥感影像和矢量数据的水系变化检测[J]. 武汉大学学报·信息科学版, 2007, 32(8): 663-666 http://ch.whu.edu.cn/article/id/1951

    Zhang Jianqing, Zhu Lina, Pan Li. River Change Detection Based on Remote Sensing Imagery and Vector Data[J]. Geomatics and Information Science of Wuhan University, 2007, 32(8): 663-666 http://ch.whu.edu.cn/article/id/1951
    [7] Guo Z, Du S H, Zhao W Z, et al. A Graph-Based Approach for the Co-registration Refinement of Very-High-Resolution Imagery and Digital Line Graphic Data[J]. International Journal of Remote Sensing, 2016, 37(17): 4015-4034 doi:  10.1080/01431161.2016.1207259
    [8] 刘志青, 郭海涛, 陈小卫, 等. 一种航空影像与矢量数据配准的新方法[J]. 测绘科学, 2013, 38(5): 157-161 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201305052.htm

    Liu Zhiqing, Guo Haitao, Chen Xiaowei, et al. Registration Method Between Aerial Image and Vector Data Based on 2D Multi-scale Template[J]. Science of Surveying and Mapping, 2013, 38(5): 157-161 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201305052.htm
    [9] 赵珍珍, 燕琴, 刘正军. 高分遥感影像与矢量数据结合的变化检测方法[J]. 测绘科学, 2015, 40(6): 120-124 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201506025.htm

    Zhao Zhenzhen, Yan Qin, Liu Zhengjun. Research of Change Detection Using High-Resolution Remote Sensing Images and Vector Data Oriented to Geographic National Conditions Monitoring[J]. Science of Surveying and Mapping, 2015, 40(6): 120-124 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201506025.htm
    [10] 王洪华, 郭建星. 遥感图像融合技术及其在更新GIS数据库中的应用[J]. 测绘通报, 2003(2): 11-13 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB200302004.htm

    Wang Honghua, Guo Jianxing. RS Image Merging and Its Use in GIS Database Updating[J]. Bulletin of Surveying and Mapping, 2003(2): 11-13 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB200302004.htm
    [11] 张剑清, 董明, 张宏伟. TM影像与GIS矢量数据的自动配准[J]. 武汉大学学报·信息科学版, 2005, 30 (11): 950-954 http://ch.whu.edu.cn/article/id/2312

    Zhang Jianqing, Dong Ming, Zhang Hongwei. Automatically Registration of TM Image and GIS Vector Data[J]. Geomatics and Information Science of Wuhan University, 2005, 30(11): 950-954 http://ch.whu.edu.cn/article/id/2312
    [12] 张晓东, 李德仁, 龚健雅, 等. 一种基于面特征的遥感影像与GIS数据配准方法[J]. 遥感学报, 2006, 10(3): 373-380 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB200603013.htm

    Zhang Xiaodong, Li Deren, Gong Jianya, et al. A Matching Method of Remote Sensing Image and GIS Data Based on Area Feature[J]. Journal of Remote Sensing, 2006, 10(3): 373-380 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB200603013.htm
    [13] 张江水, 李传广, 郭海涛. 基于动态规划和Hough变换的遥感影像与GIS矢量数据匹配方法[J]. 测绘工程, 2011, 20 (5): 9-12 https://www.cnki.com.cn/Article/CJFDTOTAL-CHGC201105004.htm

    Zhang Jiangshui, Li Chuanguang, Guo Haitao. A Matching Method of Remote Sensing Image and GIS Vector Data Based on Dynamic Programming and Hough Transform[J]. Engineering of Surveying and Mapping, 2011, 20(5): 9-12 https://www.cnki.com.cn/Article/CJFDTOTAL-CHGC201105004.htm
    [14] Drewniok C, Rohr K. Automatic Exterior Orienta‐ tion of Aerial Images in Urban Environments[C]//2008 ISPRS Congress, Beijing, China, 2008
    [15] Vasileisky A, Zhukov B, Berger M. Automated Image Co-registration Based on Linear Feature Recognition[C]//The 2nd Conference Fusion of Earth Data, Paris, France, 1998
    [16] Habbecke M, Kobbelt L. Automatic Registration of Oblique Aerial Images with Cadastral Maps[M]. Heidelberg: Springer, 2010
    [17] Pehani P, Čotar K, Marsetič A, et al. Automatic Geometric Processing for very High Resolution Optical Satellite Data Based on Vector Roads and Orthophotos[J]. Remote Sensing, 2016, 8(4): 343 doi:  10.3390/rs8040343
    [18] Schickler W. Feature Matching for Outer Orientation of Single Images Using 3D Wireframe Contro Points[C]//International Archives of Photogrammetry and Remote Sensing, Graz, Austria, 1990
    [19] He K M, Gkioxari G, Dollár P, et al. Mask RCNN[C]// IEEE International Conference on Computer Vision, Venice, Italy, 2017
    [20] Ester M, Kriegel H P, Sander J, et al. A DensityBased Algorithm for Discovering Clusters in Large Spatial Databases with Noise[C]//The 2nd Conference on Knowledge Discovery and Data Mining, Portland, Oregon, 1996
    [21] Lin T Y, Dollár P, Girshick R, et al. Feature Pyramid Networks for Object Detection[C]// IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
    [22] GB 50647-2011. Code for Planning of Intersections on Urban Roads[S]. Ministry of Housing and Urban-Rural Development of the People's Republic of China, 2011

    GB 50647-2011. 城市道路交叉口规划规范[S]. 中华人民共和国住房和城乡建设部, 2011
    [23] 王晓静, 王铁军, 许高升. 一种基于仿射变换模型的图像自动对准方法[J]. 战术导弹技术, 2008(5): 73-77 https://www.cnki.com.cn/Article/CJFDTOTAL-ZSDD200805015.htm

    Wang Xiaojing, Wang Tiejun, Xu Gaosheng. A New Image Registration Approach Based on Affine Transformation Model[J]. Tactical Missile Technology, 2008(5): 73-77 https://www.cnki.com.cn/Article/CJFDTOTAL-ZSDD200805015.htm
    [24] He K M, Zhang X Y, Ren S Q, et al. Deep Residual Learning for Image Recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016
    [25] Guo X R, Zhang W Y, Ma G B. Automatic Urban Remote Sensing Images Registration Based on Road Networks[C]//2009 Joint Urban Remote Sensing Event, Shanghai, China, 2009
    [26] Ren S Q, He K M, Girshick R, et al. Faster RCNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149 doi:  10.1109/TPAMI.2016.2577031
  • [1] 张春森, 李国君, 崔卫红.  一种基于矢量数据的遥感影像变化检测方法 . 武汉大学学报 ● 信息科学版, 2021, 46(3): 309-317. doi: 10.13203/j.whugis20190131
    [2] 巨袁臻, 许强, 金时超, 李为乐, 董秀军, 郭庆华.  使用深度学习方法实现黄土滑坡自动识别 . 武汉大学学报 ● 信息科学版, 2020, 45(11): 1747-1755. doi: 10.13203/j.whugis20200132
    [3] 眭海刚, 黄立洪, 刘超贤.  利用具有注意力的Mask R-CNN检测震害建筑物立面损毁 . 武汉大学学报 ● 信息科学版, 2020, 45(11): 1660-1668. doi: 10.13203/j.whugis20200158
    [4] 姚晓闯, 杨建宇, 李林, 叶思菁, 郧文聚, 朱德海.  云环境下海量空间矢量数据并行划分算法 . 武汉大学学报 ● 信息科学版, 2018, 43(7): 1092-1097. doi: 10.13203/j.whugis20160271
    [5] 曹闻, 李润生.  利用可变形部件模型检测遥感影像道路交叉口 . 武汉大学学报 ● 信息科学版, 2018, 43(3): 413-419. doi: 10.13203/j.whugis20150203
    [6] 马超, 孙群, 陈换新, 温伯威.  利用路段分类识别复杂道路交叉口 . 武汉大学学报 ● 信息科学版, 2016, 41(9): 1232-1237. doi: 10.13203/j.whugis20160073
    [7] 郭明强, 黄颖, 吴亮, 谢忠.  网络环境下矢量数据高效并行可视化方法 . 武汉大学学报 ● 信息科学版, 2014, 39(11): 1382-1386.
    [8] 郭明强, 谢忠, 黄颖.  集群并发环境下大规模矢量数据负载均衡算法 . 武汉大学学报 ● 信息科学版, 2013, 38(9): 1131-1134.
    [9] 杨成松, 朱长青, 王莹莹.  矢量地理数据自检测水印算法及其应用研究 . 武汉大学学报 ● 信息科学版, 2011, 36(12): 1402-1405.
    [10] 程昌秀.  矢量数据多尺度空间索引方法的研究 . 武汉大学学报 ● 信息科学版, 2009, 34(5): 597-601.
    [11] 董明, 张海涛, 祝晓坤, 陈春希.  基于遥感影像的地图道路网数据变化检测研究 . 武汉大学学报 ● 信息科学版, 2009, 34(2): 178-182.
    [12] 黄丽娜, 郑斌, 吴志华, 费立凡.  道路平面交叉口空间的动态归属及可视化表达 . 武汉大学学报 ● 信息科学版, 2008, 33(4): 426-429.
    [13] 李峰, 曾志明, 付琨, 吴一戎.  遥感影像数据库基于内容检索系统的构建 . 武汉大学学报 ● 信息科学版, 2005, 30(9): 787-790.
    [14] 陈泽民.  中国矢量数据交换格式的应用研究 . 武汉大学学报 ● 信息科学版, 2004, 29(5): 451-455. doi: 10.13203/j.whugis2004.05.017
    [15] 林宗坚, 刘政荣.  从遥感影像提取道路信息的方法评述 . 武汉大学学报 ● 信息科学版, 2003, 28(1): 90-93.
    [16] 张景雄, 杜道生, 孙家抦.  用随机模拟方法建立矢量数据的误差模型 . 武汉大学学报 ● 信息科学版, 2000, 25(1): 49-54.
    [17] 邓朝晖, 贾华.  矢量数据的一种分层动态组织方法 . 武汉大学学报 ● 信息科学版, 1995, 20(2): 118-122.
    [18] 丁建伟.  栅格图形数据叠置分析方法及其在城镇规划中应用 . 武汉大学学报 ● 信息科学版, 1991, 16(3): 59-69.
    [19] 赫晓慧, 陈明扬, 李盼乐, 田智慧, 周广胜.  结合DCNN与短距条件随机场的遥感影像道路提取 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210464
    [20] 姜万冬, 席江波, 李振洪, 丁明涛, 杨立功, 谢大帅.  模拟困难样本的Mask R-CNN滑坡分割识别 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20200692
  • 加载中
图(11) / 表(2)
计量
  • 文章访问数:  366
  • HTML全文浏览量:  90
  • PDF下载量:  69
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-10-04
  • 刊出日期:  2022-04-05

一种利用Mask R-CNN的遥感影像与矢量数据配准方法

doi: 10.13203/j.whugis20200137
    基金项目:

    国家重点研发计划 2016YFB0501403

    国家自然科学基金 41271399

    测绘地理信息公益性行业科研专项 201512015

    作者简介:

    王艳东,博士,教授,主要从事大数据时空分析计算、地理信息系统理论等研究。ydwang@whu.edu.cn

    通讯作者: 邓跃进,博士,副教授。geodyj@whu.edu.cn
  • 中图分类号: P237

摘要: 遥感影像数据与地理信息系统(geographic information system,GIS)矢量数据的配准是遥感与GIS集成的基础。目前遥感影像与矢量数据的配准关键在于遥感影像特征的提取,而现有遥感影像特征提取方法存在特征提取不完整、配准失败和精度不高等问题。由此提出了一种基于Mask R-CNN(region-based convolutional neural network)的遥感影像与矢量数据配准方法,首先,利用Mask R-CNN模型提取影像的道路交叉口作为影像控制点; 然后,依据几何拓扑关系筛选矢量数据道路交叉口作为矢量控制点,再根据遥感影像与矢量数据控制点的欧氏距离确定同名控制点;最后,以同名控制点为基础实现遥感影像与矢量数据的配准。选取上海市矢量数据和高分二号影像数据进行配准实验,实验结果表明, 所提方法鲁棒性强、精度高。

English Abstract

王艳东, 邵鑫, 刘波, 邓跃进, 魏广泽, 豆明宣. 一种利用Mask R-CNN的遥感影像与矢量数据配准方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137
引用本文: 王艳东, 邵鑫, 刘波, 邓跃进, 魏广泽, 豆明宣. 一种利用Mask R-CNN的遥感影像与矢量数据配准方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137
WANG Yandong, SHAO Xin, LIU Bo, DENG Yuejin, WEI Guangze, DOU Mingxuan. A Registration Method of Remote Sensing Image and Vector Data Using Mask R-CNN[J]. Geomatics and Information Science of Wuhan University, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137
Citation: WANG Yandong, SHAO Xin, LIU Bo, DENG Yuejin, WEI Guangze, DOU Mingxuan. A Registration Method of Remote Sensing Image and Vector Data Using Mask R-CNN[J]. Geomatics and Information Science of Wuhan University, 2022, 47(4): 623-631. doi: 10.13203/j.whugis20200137
  • 遥感影像与矢量数据的融合广泛应用于地图数据更新[1]、城市监测[2-3]、地图变化检测[4-6]等领域。然而,遥感影像与矢量数据存在投影不同、数据来源不同、比例尺不同的情况[7-10],导致数据位置不一致,给数据融合带来很大挑战。因此,在数据融合之前,必须进行遥感影像与矢量数据配准[11-13]

    基于特征的配准方法是遥感影像与矢量数据配准最常用的方法,通常包括特征提取、特征匹配和数据纠正3个步骤。按照提取特征的不同,遥感影像与矢量数据配准方法分为基于点特征的配准方法、基于线特征的配准方法和基于面特征的配准方法3种。在基于点特征的配准方法中,文献[14]利用规则的人工标志地物作为控制要素,通过模板匹配实现矢量数据与影像的配准;文献[15]提取了线交叉口用于特征匹配,完成数据配准;文献[16]提取垂直线段的端点和消失点用于航空图像与矢量地籍地图配准;文献[17]以矢量路网作为参考层,从高分辨率图像提取地面控制点形成同名控制点进行配准。基于线特征的配准方法中,文献[11]利用多尺度模板匹配法对TM(thematic mapper)影像相应线状地物进行自动提取,通过广义点摄影测量原理和方法实现配准;文献[18]在影像上提取建筑物的三维线框模型,基于模型的自动外部定向进行配准;文献[7]在高分辨率影像和矢量数据中提取建筑物,并利用图结构表示影像与矢量数据源中建筑物之间的拓扑关系,从而完成数据配准。基于面特征的匹配方法中,文献[12]利用GIS(geographic information system)数据预测遥感影像同名点,将预测的遥感影像同名点作为种子点提取多边形特征,并把提取多边形的重心作为控制点构建同名点进行数据配准。

    利用传统方法在遥感影像中提取点、线和面状特征是十分艰巨的任务,经常存在提取特征不完整的情况,容易导致配准结果误差较大甚至直接配准失败。本文利用神经网络Mask R-CNN(region- based convolutional neural network)[19]模型进行遥感影像与矢量数据配准。一方面,利用Mask R-CNN模型提取特征明显的遥感影像地物,提升结果的完整性和准确率,并在同名特征筛选过程考虑特征之间的拓扑关系,利用基于密度的带有噪声的聚类方法(density-based spatial clustering of applications with noise,DBSCAN) [20]进行同名特征数据清洗,进一步提高数据配准精度。另一方面,将矢量数据道路交叉口作为中心设置裁剪窗口,截取遥感影像进行道路交叉口提取,构建同名点,缩减了遥感影像提取特征的检测范围。

    • 随着深度学习快速发展,通过深度学习提取遥感影像地物的精度得到提升,本文首先选用Mask R-CNN模型提取遥感影像地物特征。

      在遥感影像和矢量数据中道路交叉口特征鲜明,且易于识别提取。因此,本文选择道路交叉口作为矢量数据和遥感影像的地物特征,分别从遥感影像和矢量数据中提取道路交叉口构建同名控制点,从而实现遥感影像与矢量数据的配准。为了提取遥感影像中的道路交叉口,构建遥感影像道路交叉口数据集,利用Mask R-CNN模型从数据集中学习表达能力更强的深层特征,从而提取影像道路交叉口。然后在此基础上,利用几何拓扑关系提取矢量数据道路交叉口,截取其周围遥感影像并输入到Mask R-CNN模型中提取遥感影像中的道路交叉口,构建同名控制点,并进行数据清洗。最后,根据最小二乘法计算矢量数据仿射变换参数,对矢量数据进行仿射变换纠正,完成遥感影像与矢量数据的配准。

    • Mask R-CNN[19]是一种目标提取算法,已在目标检测和实例分割领域取得了出色的成果。Mask R-CNN模型主要包括基于共享卷积网络提取影像的特征图、基于区域生成网络的目标候选框提取和基于目标区域对齐网络的候选框特征图固定3部分,其结构如图 1所示。

      图  1  Mask R-CNN结构图

      Figure 1.  Structure of Mask R-CNN

    • 本文采用特征金字塔网络(feature pyramid networks,FPN)[21]作为共享卷积网络提取遥感影像的特征图,利用不同尺度的特征信息预测不同尺度大小的目标,具体结构如图 2所示,主要分为自底向上和自顶向下这两个流程。在自底向上过程中,利用残差卷积网络提取特征,记提取的特征为{C1C2C3C4C5}。自顶向下的过程包含上采样和横向连接两个步骤,对特征{P5P4P3}进行上采样,并与大小相同的特征图{C4C3C2}进行融合,使得高层特征的尺度与低层的特征保持一致,得到特征{P2P3P4P5P6}。

      图  2  FPN网络结构图

      Figure 2.  Structure of FPN Network

    • 本文利用区域生成网络(region proposal network,RPN)提取目标地物的候选框,将任意大小的图像作为输入,输出一系列矩形的目标候选框,并且每一个候选框都有相对应的得分,结构如图 3所示。首先将共享卷积网络输出的特征图输入至卷积网络,然后利用滑动窗口在特征图上滑动,将滑窗内的特征图通过卷积层映射得到一个低维的特征向量并输入两个并行的卷积层。其中一个卷积层对候选框位置进行回归修正,另一个卷积层对候选区域的前景背景打分。

      图  3  RPN网络结构图

      Figure 3.  Structure of RPN Network

    • 目标区域(region of interest,RoI)对齐网络实现了候选框对应特征图的尺寸固定,其流程如图 4所示。首先将候选区域边界用浮点数表示;然后将候选区域分割成h×h个单元,单元的边界保持浮点数精度;最后利用双线性内插计算单元中固定的4个坐标位置,并进行最大池化操作,得到固定尺寸为h的候选框特征图。

      图  4  RoI对齐算法示意图

      Figure 4.  Diagram of RoI Align Algorithm

    • 本文选择道路交叉口作为矢量数据和遥感影像的地物特征,分别从矢量和影像数据中提取道路交叉口。为了进一步提高同名控制点的精确度,筛选结构简单的十字道路交叉口作为同名控制点。

    • 本文利用几何拓扑关系筛选道路交点,然后计算道路交点连通度。由于十字道路交叉口的连通度为4,故设置连通度阈值为4,筛选出十字道路交点。考虑到多车道相交处有一个以上道路交点,会导致一个遥感道路交叉口可能对应多个矢量道路交点。因此,本文按照城市道路交叉口规划规范[22],参照一般道路交叉口范围,设置道路交点距离阈值为40 m,计算距离阈值内道路交点的重心点,将其表示为矢量数据的道路交叉口控制点。多车道道路交叉口控制点选取如图 5所示,图 5(a)表示通过几何拓扑相交关系得到道路交点;图 5(b)表示多车道十字路口存在一个路口对应多个道路交点问题;图 5(c)表示通过设置距离阈值将同一个路口的道路交点合并成一个,作为该路口的道路交叉口控制点。

      图  5  多车道道路交叉口控制点选取示意图

      Figure 5.  Schematic Diagram of Control Points Selection for Multi-lane Road Intersections

    • 本文利用Mask R-CNN模型提取遥感影像的道路交叉口,以矢量数据的道路交叉口控制点作为中心,按照§2.1数据集影像数据尺寸选取规范,使用400像素×400像素窗口裁剪遥感影像数据。将截取的遥感影像输入Mask R-CNN模型中,提取影像中道路交叉口包围框,以包围框中心点表示道路交叉口特征点,结果如图 6所示,其中红色矩形框是提取出来的道路交叉口包围框,包围框中心黄色点表示道路交叉口特征点。

      图  6  影像道路交叉口特征点

      Figure 6.  Feature Points of Image Road Intersections

    • 本文通过矢量数据控制点与遥感影像特征点的欧氏距离构建同名控制点,利用DBSCAN算法去除错误的同名控制点,将筛选后的同名控制点用于遥感影像与矢量数据的配准。

    • 遥感影像与矢量数据的同名控制点构建按照遥感影像中提取道路交叉口特征点的数量分为0、1、NN>1)3种情况,这3种情况的处理如图 7所示。

      图  7  同名控制点处理示意图

      Figure 7.  Schematic Diagram of Control Points with the Same Name

      针对截取影像中提取道路交叉口特征点个数为0的情况,将该矢量数据控制点舍弃,不构成同名控制点,如图 7(a)所示。针对影像中提取道路交叉口特征点个数为1的情况,以该点作为影像控制点与矢量数据控制点构成同名点,如图 7(b)所示。针对影像中提取道路交叉口特征点个数为NN>1)的情况,计算提取影像道路交叉口特征点与矢量数据控制点的欧氏距离,选取欧氏距离最小的影像道路交叉口特征点与矢量数据控制点构成同名点,如图 7(c)所示。

    • 道路交叉口存在环形交叉口和立体交叉口等复杂交叉口,会导致遥感影像与矢量数据控制点匹配错误,因此需要对同名控制点进行数据清洗。在提取的同名控制点中,同名控制点的误差应在大小和方向上保持一致。以此为基础筛选出与其他同名控制点误差差异较大的同名控制点,标记为异常同名控制点并去除。本文选用DBSCAN[20]方法对异常同名控制点进行筛选,首先寻找偏移误差相近的同名控制点形成临时聚类簇,然后合并临时聚类簇得到聚类簇,并标记偏移误差差异较大的同名控制点为异常同名点。为了便于计算,记同名控制点中矢量数据道路交叉口控制点为Ps,遥感影像道路交叉口控制点为Pt,同名控制点Poffset的坐标为:

      xPoffset=xPt-xPsyPoffset=yPt-yPs ]]>

      利用DBSCAN密度聚类算法对同名控制点进行聚类筛选[20],记E为同名控制点邻域的距离阈值,M为同名控制点在距离为E的邻域中的个数阈值,Npoint表示同名控制点P在距离为E的邻域中的同名控制点个数。若同名控制点PE邻域包含的同名控制点个数大于M,则称P是核心同名控制点;当同名控制点P是核心同名控制点,且点Q位于P的邻域中,称QP密度直达;对于同名控制点PQ,如果存在样本序列P1P2PT满足P1=PPT=Q,且Pt+1Pt密度直达,则称QP密度可达。对于同名控制点PQ,如果存在核心对象O,使得PQ均由O密度可达,则称PQ密度相连。

      本文利用DBSCAN算法去除不能密度相连的同名控制点,将筛选处理后的同名点作为配准同名控制点,通过最小二乘方法解算矢量数据仿射变换参数[23],完成矢量数据的几何纠正,实现遥感影像与矢量数据的配准。

    • 本文选取北京、广州、青岛、福州和南昌等地的高分二号影像数据作为训练数据,分辨率为1 m,利用VGG图像标注工具对影像中的道路交叉口进行标注。为了使单个样本图像能包含道路交叉口特征并排除附近道路交叉口影响,依据城市道路交叉口规划规范[22]设置遥感影像样本大小为400 m×400 m,其中遥感影像分辨率为1 m,换算成像素为400像素×400像素。将标注高分影像数据按照25%的重叠率裁剪得到训练样本,制作了10 000张样本作为训练数据输入到Mask R-CNN模型中训练,其中训练集占60%,验证集占20%,测试集占20%。选取上海城区面积为200 km2的区域作为实验数据,使用本文方法对实验区域的矢量数据和遥感影像进行配准实验,其中遥感影像选用高分二号遥感影像,矢量数据选用1∶3 000比例尺的二维道路网数据。

    • 为了更好地提取遥感影像中道路交叉口,Mask R-CNN的共享卷积网络采用ResNet-152-FPN[2124],并参考Mask R-CNN[19]中相关参数设定,使用MSCOCO[25]预训练数据作为初始值,训练中批量大小设置为16,共训练2 000轮。前1 000轮训练学习率设置为0.001,后1 000轮训练学习率设置为0.000 1,动量设置为0.9。同时选取Faster R-CNN[26]模型在同等参数下进行对比实验,经过训练,两种模型训练损失曲线如图 8所示。由图 8可知,Mask R-CNN相较Faster R-CNN更易趋于收敛,且收敛后的损失值更小。

      图  8  Mask R-CNN与Faster R-CNN训练损失对比图

      Figure 8.  Comparison of Training Loss Between Mask R-CNN and Faster R-CNN

      本文使用平均精确率(averaged precision,AP)作为道路交叉口提取评价指标,AP50和AP75分别表示交并比(intersection over union,IoU)的阈值为0.5和0.75。对比实验的评价结果如表 1所示。

      表 1  遥感影像道路交叉口提取评价结果/%

      Table 1.  Evaluation Results of Road Intersection Extraction by Remote Sensing Image/%

      模型 AP50 AP75
      Mask R-CNN 71.3 54.5
      Faster R-CNN 60.8 48.5

      表 1可知,Mask R-CNN的AP50、AP75分别为71.3%、54.5%,要优于Faster R-CNN的结果。

      图 9(a)9(b)分别为利用Mask R-CNN、Faster R-CNN提取遥感影像交叉口的部分结果。从图 9可知,Mask R-CNN较Faster-RCNN更能准确识别遥感影像中道路交叉口。

      图  9  遥感影像道路交叉口提取部分结果图

      Figure 9.  Extraction Results of Road Intersections in Remote Sensing Images

    • 本文利用§1.3中的方法得到上海地区高分影像数据和矢量数据的同名控制点,对同名控制点进行了数据清洗,结果如图 10所示。

      图  10  同名控制点分布图

      Figure 10.  Distribution of Control Points with the Same Name

      本文将数据清洗结果对照遥感影像与矢量数据同名控制点实际位置,发现经过DBSCAN聚类后异常的同名控制点能被正确识别,正确率达到96.15%。

      利用筛选后的同名控制点计算矢量数据的仿射变换参数,并对矢量数据进行仿射变换纠正,遥感影像与矢量数据的配准结果如图 11所示。

      图  11  配准结果图

      Figure 11.  Registration Results

      图 11可知,在配准结果中,遥感影像与矢量数据的偏移误差距离相较于配准前显著降低。为了定量衡量遥感影像与矢量数据配准结果,在上海实验区域的遥感影像与矢量数据中均匀随机标注15对同名控制点进行配准检测。记xyd为配准前同名控制点在x方向、y方向、直线方向的误差距离;x'y'd'为本文方法配准后同名控制点在x方向、y方向、直线方向的误差距离。为了进行对比实验,将本文方法流程中利用Mask R-CNN换成利用模板匹配方法[11]提取道路交叉口特征点,记x″y″d″为利用模板匹配配准后同名控制点对x方向、y方向、直线方向的误差距离,计算实验区域遥感影像配准前后的标识同名点误差距离,结果如表 2所示。

      表 2  人工标识同名点配准前后误差距离

      Table 2.  Errors Distance Before and After Registration of Artificially Identified Points with the Same Name

      同名点编号 配准前 基于本文方法配准结果 基于模板匹配配准结果
      x/m y/m d/m x'/m y'/m d'/m x″/m y″/m d″/m
      1 14.07 13.79 19.70 0.88 0.79 1.18 1.86 1.31 2.28
      2 13.31 11.30 17.46 0.33 0.32 0.46 1.85 1.80 2.58
      3 14.65 13.73 20.08 2.30 2.29 3.25 2.06 1.65 2.64
      4 9.47 8.71 12.86 1.10 1.05 1.52 1.95 1.87 2.70
      5 13.49 12.37 18.30 0.22 0.14 0.26 2.28 1.76 2.88
      6 12.71 11.49 17.14 2.02 1.99 2.84 2.25 1.79 2.88
      7 12.95 11.19 17.11 1.34 1.31 1.87 2.32 2.28 3.25
      8 9.58 9.41 13.43 0.63 0.61 0.88 2.43 2.19 3.27
      9 11.49 10.36 15.47 0.90 0.82 1.22 2.63 2.04 3.33
      10 9.05 8.68 12.54 0.89 0.88 1.25 2.76 2.61 3.80
      11 8.91 8.81 12.53 0.99 0.90 1.34 2.97 2.78 4.07
      12 10.09 9.06 13.56 0.26 0.25 0.36 3.02 2.82 4.13
      13 9.34 8.50 12.63 0.88 0.87 1.24 3.32 3.27 4.66
      14 9.72 9.59 13.66 0.60 0.54 0.81 3.82 3.27 5.03
      15 9.86 9.48 13.68 2.30 2.21 3.19 4.85 4.83 6.84
      平均值/m 11.25 10.43 15.34 1.04 1 1.44 2.69 2.42 3.62
      中误差/m 2.06 1.80 2.71 0.68 0.68 0.96 0.82 0.89 1.20
      最大值/m 14.65 13.79 20.08 2.30 2.29 3.25 4.85 4.83 6.84

      表 2可知,配准前实验区域人工标识同名点直线距离误差的平均值为15.34 m,最大值为20.08 m;基于本文方法配准后同名点直线距离误差的平均值为1.44 m,最大值为3.25 m;基于模板匹配配准后同名点直线距离误差的平均值为3.62 m,最大值为6.84 m。两种配准方法都能正确对遥感影像和矢量数据进行配准,配准后的误差相较于配准前显著降低,其中利用Mask R-CNN提取同名控制点进行配准结果更加准确。

    • 在遥感影像与矢量数据配准研究领域,遥感影像与矢量数据的同名点控制点获取是数据配准过程中的难点。本文提出一种基于Mask R-CNN的遥感影像与矢量数据配准方法,通过Mask R-CNN模型提取遥感影像的道路交叉口特征点,与矢量数据道路交叉口特征点构建同名控制点,并利用特征之间的拓扑关系筛选同名控制点,提高同名控制点的正确率,进一步提升数据配准精度。选取上海作为实验区,利用本文方法配准后,上海实验区域矢量数据与遥感影像的整体误差偏移距离由15.34 m降至1.44 m,约为1个像素,配准后整体误差偏移距离为3.62 m,相较于传统方法具有明显优势。结果分析表明,本文提出的方法在城区数据配准中具有更好的应用前景。下一步,将增加遥感影像样本数据量,包括遥感影像类型和地物特征种类,便于本文方法在例如山区、草原、戈壁、荒漠等地区对不同源遥感影像和矢量数据进行自动配准。

参考文献 (26)

目录

    /

    返回文章
    返回