留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测

季顺平 田思琦 张驰

季顺平, 田思琦, 张驰. 利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
引用本文: 季顺平, 田思琦, 张驰. 利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
JI Shunping, TIAN Siqi, ZHANG Chi. Urban Land Cover Classification and Change Detection Using Fully Atrous Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
Citation: JI Shunping, TIAN Siqi, ZHANG Chi. Urban Land Cover Classification and Change Detection Using Fully Atrous Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481

利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测

doi: 10.13203/j.whugis20180481
基金项目: 武汉市测绘研究院项目
详细信息
    作者简介:

    季顺平, 博士, 教授, 主要从事摄影测量、计算机视觉、遥感等方面的研究。jishunping@whu.edu.cn

  • 中图分类号: P237;P208

Urban Land Cover Classification and Change Detection Using Fully Atrous Convolutional Neural Network

Funds: The Project of Wuhan Institute of Surveying and Mapping
More Information
    Author Bio:

    JI Shunping, PhD, professor, specializes in photogrammetry, computer vision and remote sensing. E-mail: jishunping@whu.edu.cn

  • 摘要: 基于遥感影像的城市土地利用/土地覆盖分类与变化检测在土地利用调查和更新中具有重要意义。基于武汉市高分辨率航空和卫星遥感影像以及对应的武汉市土地覆盖GIS矢量数据,提出了一种新颖的卷积神经元网络,应用于城市土地覆盖分类和变化检测。首先,采用一种用于分类的全空洞卷积神经元网络(fully atrous convolutional neural network,FACNN),它能够顾及GIS矢量数据中地物的不同尺度和不同勾绘精细程度。然后,在分类的基础上,利用前期已有的GIS数据进行像素级和对象级的变化检测并得到变化图。最后,通过对整个武汉市8 000 km2土地覆盖的分类和变化检测实验,验证了所提方法的有效性和先进性。所提出的FACNN在城市土地覆盖分类中的表现优于FCN-16、U-Net、Dense-Net等主流影像分割网络;得到的对象级变化图精度达到74.1%,召回率达到96.4%,有望为城市土地覆盖变化检测及GIS数据库的更新提供较好的技术辅助手段。
  • 图  1  2014年和2017年航空影像和GIS矢量地图及其变化真值图

    Figure  1.  2014 and 2017 Aerial Images, Corresponding GIS Vector Maps and the Ground Truth of Change Map

    图  2  块样本分布

    Figure  2.  Distribution of Patch Samples

    图  3  土地覆盖GIS矢量图中的不同细节程度

    Figure  3.  Different Levels of Detail in the GIS Vector Map of Land Cover

    图  4  本文提出的FACNN结构示意图

    Figure  4.  Structure Diagram of the Proposed FACNN

    图  6  不同方法土地覆盖分类结果细节比较

    Figure  6.  Comparison of Land Cover Classification Results with Different Methods

    图  7  本文方法的土地覆盖分类结果

    Figure  7.  Land Cover Classification Result Using the Proposed Method

    图  8  像素级变化检测结果图

    Figure  8.  Change Detection Map in Pixel Level

    图  9  对象级变化检测图

    Figure  9.  Object-Based Change Detection Map

    表  1  本文方法与其他方法土地覆盖分类精度的比较

    Table  1.   Comparison of the Precisions of Land Cover Classification Using the Proposed Method and Other Methods

    方法 作物 林草覆盖 建筑 铁路与道路 构筑物 堆掘地 水域 OA
    FCN-16[33] 0.594 0.525 0.594 0.619 0.595 0.630 0.897 0.631
    U-Net[35] 0.623 0.553 0.705 0.654 0.679 0.727 0.888 0.688
    Dense-Net[37] 0.659 0.594 0.705 0.609 0.694 0.689 0.884 0.693
    FACNN 0.723 0.656 0.716 0.653 0.705 0.747 0.898 0.731
    下载: 导出CSV

    表  2  本文方法在测试区域的土地覆盖分类结果混淆矩阵、类别精度和总体精度

    Table  2.   Confusion Matrix, Precision and OA of Land Cover Classification with the Proposed Method on the Test Area

    类别 作物 林草覆盖 建筑 铁路与道路 构筑物 堆掘地 水域
    作物 0.718 0.147 0.006 0.007 0.033 0.030 0.059
    林草覆盖 0.086 0.626 0.068 0.058 0.063 0.068 0.031
    建筑 0.011 0.054 0.803 0.021 0.061 0.050 0.001
    铁路与道路 0.033 0.072 0.037 0.743 0.059 0.051 0.007
    构筑物 0.053 0.077 0.204 0.098 0.495 0.062 0.010
    堆掘地 0.074 0.052 0.052 0.028 0.039 0.732 0.023
    水域 0.047 0.053 0.002 0.002 0.006 0.008 0.880
    类别精度 0.703 0.579 0.686 0.776 0.655 0.732 0.870
    OA 0.766
    下载: 导出CSV

    表  3  像素级变化检测精度统计

    Table  3.   Accuracy Statistics of Change Detection in Pixel Level

    区域 精度/% 召回率/% F1 OA
    未变化区域 98.2 97.8 0.980 0.963
    变化区域 67.7 37.8 0.485
    下载: 导出CSV

    表  4  对象级变化检测统计结果

    Table  4.   Statistics of Change Detection Accuracy in Object Level

    项目 真实变化 预测变化 正确检测 TP/% 错误检测 FP/% 漏检 FN/% 精度/% 召回率/%
    多边形数 1 839 2 392 1 772 96.4 620 25.9 67 3.6 74.1 96.4
    下载: 导出CSV
  • [1] Li M, Zang S, Zhang B, et al. A Review of Remote Sensing Image Classification Techniques: The Role of Spatio-Contextual Information[J]. European Journal of Remote Sensing, 2014, 47: 389-411 doi:  10.5721/EuJRS20144723
    [2] Pal M, Mather P M. Support Vector Machines for Classification in Remote Sensing[J]. International Journal of Remote Sensing, 2005, 26(5): 1 007-1 011 doi:  10.1080/01431160512331314083
    [3] 李德仁.利用遥感影像进行变化检测[J].武汉大学学报·信息科学版, 2003, 28(S1): 7-12 http://ch.whu.edu.cn/CN/abstract/abstract4718.shtml

    Li Deren. Change Detection from Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2003, 28(S1): 7-12 http://ch.whu.edu.cn/CN/abstract/abstract4718.shtml
    [4] 眭海刚, 冯文卿, 李文卓, 等.多时相遥感影像变化检测方法综述[J].武汉大学学报·信息科学版, 2018, 43(12): 1 885-1 898 http://ch.whu.edu.cn/CN/abstract/abstract6272.shtml

    Sui Haigang, Feng Wenqing, Li Wenzhuo, et al. Review of Change Detection Methods for Multi-temporal Remote Sensing Imagery[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1 885-1 898 http://ch.whu.edu.cn/CN/abstract/abstract6272.shtml
    [5] 陈秋晓, 骆剑承, 周成虎, 等.基于多特征的遥感影像分类方法[J].遥感学报, 2004, 8(3): 239-245 http://d.old.wanfangdata.com.cn/Periodical/ygxb200403008

    Chen Qiuxiao, Luo Jiancheng, Zhou Chenghu, et al. Classification of Remotely Sensed Imagery Using Multi-features Based Approach[J]. Journal of Remote Sensing, 2004, 8(3): 239-245 http://d.old.wanfangdata.com.cn/Periodical/ygxb200403008
    [6] Fauvel M, Chanussot J, Benediktsson J A. Kernel Principal Component Analysis for the Classification of Hyperspectral Remote Sensing Data over Urban Areas[J]. Eurasip Journal on Advances in Signal Processing, 2009(1): 783194 http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_cfa943fe414fa52f88d3cba19757e700
    [7] Xia J, Chanussot J, Du P, et al. (Semi-) Supervised Probabilistic Principal Component Analysis for Hyperspectral Remote Sensing Image Classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2014, 7(6): 2 224-2 236
    [8] Bruzzone L, Carlin L. A Multilevel Context-Based System for Classification of Very High Spatial Resolution Images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2006, 44(9): 2 587-2 600 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=d210254077eef9c3ba586e4c97ca0505
    [9] Melgani F, Bruzzone L. Classification of Hyperspectral Remote Sensing Images with Support Vector Machines[J]. IEEE Transactions on Geoscience & Remote Sensing, 2004, 42(8): 1 778-1 790 doi:  10.1109-TGRS.2004.831865/
    [10] Pal M. Random Forest Classifier for Remote Sensing Classification[J]. International Journal of Remote Sensing, 2005, 26(1): 217-222 doi:  10.1080/01431160412331269698
    [11] Heermann P D, Khazenie N. Classification of Multispectral Remote Sensing Data Using a Backpropagation Neural Network[J]. IEEE Transactions on Geoscience & Remote Sensing, 1992, 30(1): 81-88 http://d.old.wanfangdata.com.cn/OAPaper/oai_arXiv.org_0802.1412
    [12] Zhong Y, Cao Q, Zhao J, et al. Optimal Decision Fusion for Urban Land-Use/Land-Cover Classification Based on Adaptive Differential Evolution Using Hyperspectral and LiDAR Data[J]. Remote Sensing, 2017, 9(8): 868 doi:  10.3390/rs9080868
    [13] Morsy S, Shaker A, El-Rabbany A. Multispectral LiDAR Data for Land Cover Classification of Urban Areas[J]. Sensors, 2017, 17(5): 958 doi:  10.3390/s17050958
    [14] Pullanagari R R, Kereszturi G, Yule I J, et al. Assessing the Performance of Multiple Spectral-Spatial Features of a Hyperspectral Image for Classification of Urban Land Cover Classes Using Support Vector Machines and Artificial Neural Network[J]. Journal of Applied Remote Sensing, 2017, 11(2): 026009 doi:  10.1117/1.JRS.11.026009
    [15] Romero A, Gatta C, Camps-Valls G. Unsupervised Deep Feature Extraction for Remote Sensing Image Classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2016, 54(3): 1 349-1 362
    [16] Maggiori E, Tarabalka Y, Charpiat G, et al. Convolutional Neural Networks for Large-Scale Remote Sensing Image Classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2016, 55(2): 645-657 http://d.old.wanfangdata.com.cn/Periodical/ldxb201903013
    [17] 刘大伟, 韩玲, 韩晓勇.基于深度学习的高分辨率遥感影像分类研究[J].光学学报, 2016, 36(4): 298-306 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201604039

    Liu Dawei, Han Ling, Han Xiaoyong. High Spatial Resolution Remote Sensing Image Classification Based on Deep Learning[J]. Acta Optica Sinica, 2016, 36(4): 298-306 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201604039
    [18] Zhang C, Sargent I, Xin P, et al. VPRS-Based Regional Decision Fusion of CNN and MRF Classifications for Very Fine Resolution Remotely Sensed Images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 56(8): 4 507-4 521
    [19] Maggiori E, Tarabalka Y, Charpiat G, et al. Fully Convolutional Neural Networks for Remote Sensing Image Classification[C]. IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Beijing, China, 2016
    [20] Scott G J, England M R, Starms W A, et al. Training Deep Convolutional Neural Networks for Land-Cover Classification of High-Resolution Imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(4): 549-553 doi:  10.1109/LGRS.2017.2657778
    [21] Chen J, Gong P, He C, et al. Land-Use/Land-Cover Change Detection Using Improved Change-Vector Analysis[J]. Photogrammetric Engineering & Remote Sensing, 2003, 69(4): 369-379
    [22] Ridd M K, Liu J. A Comparison of Four Algorithms for Change Detection in an Urban Environment[J]. Remote Sensing of Environment, 1998, 63(2): 95-100 doi:  10.1016/S0034-4257(97)00112-0
    [23] 吴柯, 何坦, 杨叶涛.基于混合像元分解与EM算法的中低分辨率遥感影像变化检测[J].武汉大学学报·信息科学版, 2019, 44(4): 555-562 http://ch.whu.edu.cn/CN/abstract/abstract6403.shtml

    Wu Ke, He Tan, Yang Yetao. Change Detection Method Based on Pixel Unmixing and EM Algorithm for Low and Medium Resolution Remote Sensing Imagery[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 555-562 http://ch.whu.edu.cn/CN/abstract/abstract6403.shtml
    [24] Hu J, Zhang Y. Seasonal Change of Land-Use/Land-Cover (LULC) Detection Using MODIS Data in Rapid Urbanization Regions: A Case Study of the Pearl River Delta Region (China)[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2013, 6(4): 1 913-1 920
    [25] Walter V. Object-Based Classification of Remote Sensing Data for Change Detection[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2004, 58(3-4): 225-238 doi:  10.1016/j.isprsjprs.2003.09.007
    [26] Ghosh A, Mishra N S, Ghosh S. Fuzzy Clustering Algorithms for Unsupervised Change Detection in Remote Sensing Images[J]. Information Sciences, 2011, 181(4): 699-715 doi:  10.1016/j.ins.2010.10.016
    [27] Lv P, Zhong Y, Zhao J, et al. Unsupervised Change Detection Based on Hybrid Conditional Random Field Model for High Spatial Resolution Remote Sensing Imagery[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 56(7): 4 002-4 015
    [28] Amin A M E, Liu Q, Wang Y. Convolutional Neural Network Features Based Change Detection in Satellite Images[C]. The International Workshop on Pattern Recognition, Tokyo, Japan, 2016
    [29] Iino S, Ito R, DoiK, et al. CNN-Based Generation of High-Accuracy Urban Distribution Maps Utilising SAR Satellite Imagery for Short-Term Change Monitoring[J]. International Journal of Image & Data Fusion, 2018, 9(4):1-17 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.1080/19479832.2018.1491897
    [30] Gu W, Lv Z, Hao M. Change Detection Method for Remote Sensing Images Based on an Improved Markov Random Field[J]. Multimedia Tools & Applications, 2015, 76(17): 1-16
    [31] Cao G, Zhou L, Li Y. A New Change-Detection Method in High-Resolution Remote Sensing Images Based on a Conditional Random Field Model[J]. International Journal of Remote Sensing, 2016, 37(5): 1 173-1 189 doi:  10.1080/01431161.2016.1148284
    [32] Liu J, Gong M, Qin K, et al. A Deep Convolutional Coupling Network for Change Detection Based on Heterogeneous Optical and Radar Images[J]. IEEE Transactions on Neural Networks & Learning Systems, 2016, 29(3): 545-559
    [33] Shelhamer E, Long J, Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640-651 http://d.old.wanfangdata.com.cn/Periodical/nygcxb201918019
    [34] Chen L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018, 40(4): 834-848
    [35] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]. International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 2017
    [36] Wang P, Chen P, Yuan Y, et al. Understanding Convolution for Semantic Segmentation[C]. The 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), Lake Tahoe, NV, USA, 2018
    [37] Huang G, Liu Z, Maaten L V D, et al. Densely Connected Convolutional Networks[C]. IEEE Conference on Computer Vision and Pattern Recognition, Hawaii, USA, 2017
  • [1] 季顺平, 罗冲, 刘瑾.  基于深度学习的立体影像密集匹配方法综述 . 武汉大学学报 ● 信息科学版, 2021, 46(2): 193-202. doi: 10.13203/j.whugis20200620
    [2] 柴华彬, 严超, 邹友峰, 陈正超.  利用PSP Net实现湖北省遥感影像土地覆盖分类 . 武汉大学学报 ● 信息科学版, 2021, 46(8): 1224-1232. doi: 10.13203/j.whugis20190296
    [3] 眭海刚, 冯文卿, 李文卓, 孙开敏, 徐川.  多时相遥感影像变化检测方法综述 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1885-1898. doi: 10.13203/j.whugis20180251
    [4] 黄为, 李永刚, 汪毅, 张龙.  基于空间共现核的遥感影像分类 . 武汉大学学报 ● 信息科学版, 2017, 42(7): 884-889. doi: 10.13203/j.whugis20150099
    [5] 魏立飞, 钟燕飞, 张良培, 李平湘.  多波段信息融合的遥感影像变化检测 . 武汉大学学报 ● 信息科学版, 2014, 39(1): 8-11.
    [6] 熊彪, 江万寿, 李乐林.  基于高斯混合模型的遥感影像半监督分类 . 武汉大学学报 ● 信息科学版, 2011, 36(1): 108-112.
    [7] 马国锐, 眭海刚, 李平湘, 秦前清.  基于核函数度量相似性的遥感影像变化检测 . 武汉大学学报 ● 信息科学版, 2009, 34(1): 19-23.
    [8] 韩涛, 徐晓桃, 颉耀文.  基于单时相MODIS数据的决策树自动构建及分类研究 . 武汉大学学报 ● 信息科学版, 2009, 34(2): 191-194.
    [9] 许凯, 秦昆, 杜鹢.  利用决策级融合进行遥感影像分类 . 武汉大学学报 ● 信息科学版, 2009, 34(7): 826-829.
    [10] 万幼川, 申邵洪, 张景雄.  基于概率统计模型的遥感影像变化检测 . 武汉大学学报 ● 信息科学版, 2008, 33(7): 669-672.
    [11] 徐宏根, 马洪超, 宋妍, 贾小霞.  顾及上下文信息的混合广义高斯密度模型遥感影像分类方法研究 . 武汉大学学报 ● 信息科学版, 2008, 33(9): 959-962.
    [12] 张剑清, 朱丽娜, 潘励.  基于遥感影像和矢量数据的水系变化检测 . 武汉大学学报 ● 信息科学版, 2007, 32(8): 663-666.
    [13] 马国锐, 眭海刚, 李平湘, 秦前清.  一种遥感影像核变化检测方法 . 武汉大学学报 ● 信息科学版, 2007, 32(7): 597-600.
    [14] 尹淑玲, 舒宁, 刘新华.  基于自适应遗传算法和改进BP算法的遥感影像分类 . 武汉大学学报 ● 信息科学版, 2007, 32(3): 201-204.
    [15] 张晓东, 李德仁, 龚健雅, 秦前清.  遥感影像与GIS分析相结合的变化检测方法 . 武汉大学学报 ● 信息科学版, 2006, 31(3): 266-269.
    [16] 徐丽华, 江万寿.  顾及配准误差的遥感影像变化检测 . 武汉大学学报 ● 信息科学版, 2006, 31(8): 687-690.
    [17] 李全, 李霖, 赵曦.  基于Landsat TM影像的城市变化检测研究 . 武汉大学学报 ● 信息科学版, 2005, 30(4): 351-354.
    [18] 李德仁.  利用遥感影像进行变化检测 . 武汉大学学报 ● 信息科学版, 2003, 28(S1): 7-12.
    [19] 李彦胜, 张永军.  耦合知识图谱和深度学习的新一代遥感影像解译范式 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210652
    [20] 毛丽君, 李明诗.  GEE环境下联合Sentinel主被动遥感数据的国家公园土地覆盖分类 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20200633
  • 加载中
图(9) / 表(4)
计量
  • 文章访问数:  1773
  • HTML全文浏览量:  218
  • PDF下载量:  309
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-07-04
  • 刊出日期:  2020-02-05

利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测

doi: 10.13203/j.whugis20180481
    基金项目:  武汉市测绘研究院项目
    作者简介:

    季顺平, 博士, 教授, 主要从事摄影测量、计算机视觉、遥感等方面的研究。jishunping@whu.edu.cn

  • 中图分类号: P237;P208

摘要: 基于遥感影像的城市土地利用/土地覆盖分类与变化检测在土地利用调查和更新中具有重要意义。基于武汉市高分辨率航空和卫星遥感影像以及对应的武汉市土地覆盖GIS矢量数据,提出了一种新颖的卷积神经元网络,应用于城市土地覆盖分类和变化检测。首先,采用一种用于分类的全空洞卷积神经元网络(fully atrous convolutional neural network,FACNN),它能够顾及GIS矢量数据中地物的不同尺度和不同勾绘精细程度。然后,在分类的基础上,利用前期已有的GIS数据进行像素级和对象级的变化检测并得到变化图。最后,通过对整个武汉市8 000 km2土地覆盖的分类和变化检测实验,验证了所提方法的有效性和先进性。所提出的FACNN在城市土地覆盖分类中的表现优于FCN-16、U-Net、Dense-Net等主流影像分割网络;得到的对象级变化图精度达到74.1%,召回率达到96.4%,有望为城市土地覆盖变化检测及GIS数据库的更新提供较好的技术辅助手段。

English Abstract

季顺平, 田思琦, 张驰. 利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
引用本文: 季顺平, 田思琦, 张驰. 利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
JI Shunping, TIAN Siqi, ZHANG Chi. Urban Land Cover Classification and Change Detection Using Fully Atrous Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
Citation: JI Shunping, TIAN Siqi, ZHANG Chi. Urban Land Cover Classification and Change Detection Using Fully Atrous Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
  • 从遥感影像自动识别城市土地覆盖类型能够为土地利用、快速制图提供高效的手段;从分类结果中自动发现土地覆盖变化能够为城市地图更新、城市规划、经济发展预测等提供高效、廉价的技术途径。因此近年来,土地覆盖分类和变化检测在遥感领域受到了广泛研究[1-4]

    经典的遥感影像分类方法主要利用遥感影像的低层次特征信息,如光谱特征、植被指数、纹理特征、几何特征等[5],采用不同的分类器,如主成分分析[6-7]、支持向量机(support vector machine,SVM)[2, 8-9]、随机森林[10]、人工神经网络[11]等,实现遥感影像的地物分类。Zhong等[12]利用多分类器分割高光谱影像;Morsy等[13]对多光谱LiDAR (light detection and ranging)数据进行点云分类;Pullanagari等[14]采用SVM和人工神经网络提升了异源影像的土地覆盖分类精度。近年来,一些研究将深度学习应用在遥感影像分类中[15],采用卷积神经网络[16]或深度信念网络[17]等实现遥感影像分类。如Zhang等[18]融合了卷积神经网络与马尔可夫随机场的优势;Maggiori等[19]采用全卷积神经元网络(fully convolutional neural network, FCN)实现了遥感影像的像素级分类;Scott等[20]结合迁移学习,克服了遥感影像数据集标注缺乏的困境。

    变化检测的方法可以分为直接预测变化[21-23]和先分类后发现变化[24-25]的方法,也可分成经典的机器学习方法[26-27]和基于深度学习的方法[28-29]。Walter[25]对GIS数据库中的像素对象先进行分类,再得到变化结果;Gu等[30]提出了一种基于改进的马尔可夫随机场的变化检测方法。Cao等[31]在没有训练参数的情况下进行变化/未变化区域的提取;Lv等[27]提出了混合条件随机场模型;Amin等[28]使用卷积神经网络从两期遥感影像中提取特征,将提取的特征串联并计算特征图欧氏距离,最终得到变化检测图。Liu等[32]利用无监督深度卷积耦合网络,实现了光学影像和雷达影像异源数据之间的变化检测。在城市土地覆盖GIS数据库的更新中,由于变化后的地物类别也是必要信息,一般采用先分类后变化检测的方法。

    目前,利用深度学习算法实现高分辨率航空和航天影像的大区域(如城市级)土地利用分类及变化检测的有关研究依然较少,部分研究也仅限于一幅或几幅测试影像。本文针对城市级的高分辨率遥感影像,研究了基于深度学习的分类和变化检测方法。特别地,提出了一种全空洞卷积神经元网络(fully atrous convolutional neural network, FACNN),实现地物的精细分类。基于分类结果和往年GIS矢量图,进一步生成变化图,并对变化图的像素级和对象级精度以及预测误差作了详细分析。

    • 武汉市是中国中部一座快速发展的城市,覆盖约8 000 km2土地和1千万人口。城市土地覆盖/土地利用的GIS数据库需要每年更新,且都是通过全人工方法绘制。采用基于深度学习的先进方法是否能代替人工方法发现一些变化区域,降低劳力成本和提升效率,是本文关注的研究点。

      本文采用2014年和2017年全武汉市的高分辨率遥感影像及其对应年份的土地覆盖GIS矢量图作为实验数据,GIS矢量图由测绘单位的作业员通过人工解译采集得到,符合国家成图规范。本文研究的土地覆盖类型与全国第一次地理国情普查的土地覆盖一级地物类型保持一致,包括7类地物——种植土地、林草覆盖、房屋建筑、铁路与道路、构筑物、人工堆掘地、水域,如图 1所示。

      图  1  2014年和2017年航空影像和GIS矢量地图及其变化真值图

      Figure 1.  2014 and 2017 Aerial Images, Corresponding GIS Vector Maps and the Ground Truth of Change Map

      2014年武汉市的影像由491张航空影像拼接而成,地面分辨率为0.5 m。为统一两期影像的分辨率,将2014年影像重采样为1 m分辨率(见图 1(a))。2017年武汉市的影像由国产北京2号卫星获取,经过后处理得到1 m地面分辨率的RGB影像(图 1(c))。图 1(b)图 1(d)是两期影像对应的土地覆盖矢量图,图 1(e)是真实的变化图(黑色区域为变化区域)。

      本文选择4 200个具有代表性的512×512像素的影像块样本,用于不同方法间的评价,如图 2所示。其中,3 500个影像块(蓝色)用于各种神经网络模型的训练和验证,700个影像块(红色)用于测试。

      图  2  块样本分布

      Figure 2.  Distribution of Patch Samples

      对于本文方法,在更大范围的区域进行土地覆盖分类和变化检测实验。图 1(c)中红色方框外为训练区域,用于训练深度学习的模型;红色方框内为测试区域,该区域数据用于评估本文方法在土地覆盖分类和变化检测中的表现。

      实验所采用的硬件、平台和深度学习超参数设置为:所有的代码在Keras框架下(后端为TensorFlow)实现,硬件配置为Intel 8 GB CPU,NVIDIA 1080Ti 11 GB GPU;学习速率为1×10-4,优化器为Adam方法,迭代30次。

    • 本文在FCN[33]的基础上,通过引入恰当的空洞卷积,提出利用FACNN进行城市土地覆盖分类,与一般FCN的区别在于,本文在编码阶段将普通卷积全部替代为空洞卷积[34]。根据不同的空洞率,卷积发生在间隔一定像素的像元上,而非普通卷积中的相邻像素,这有助于在不增加参数量的情况下扩大卷积神经网络的局部视野,从而使得卷积层包含更广阔的空间特征。此外,采用一种空洞卷积空间金字塔池化策略(atrous spatial pyramid pooling, ASPP)[34],即在同一个卷积层中使用不同的采样率,并将使用不同采样率卷积后的特征图串联,这有助于对多尺度信息的精细表达。

      本文引入空洞卷积的目的主要包括两方面:(1)顾及高分辨率影像中物体的尺度效应。例如小建筑与超大建筑都属于同一建筑物类别,小池塘与湖面同样属于水的类别。空洞卷积有助于从不同空间尺度上学习地物的特征,即使它们具有极大的尺度差异。(2)顾及城市土地覆盖/土地利用的GIS矢量图中可能含有不同精细程度(level of detail, LOD)的地物表达,如图 3所示。图 3(b)居民区中的地物被统一绘制成建筑物(蓝色),而在图 3(d)中,居民区则被细致地绘制为建筑物(蓝色)、植被(绿色)和构筑物(青色)。土地覆盖GIS矢量图的不同精细程度意味着同类型地物可能有多个标签。例如图 3(c)中的草地标签是林草覆盖(见图 3(d)),而图 3(a)中的草地所对应的标签则是房屋建筑区(见图 3(b))。虽然这两幅图都满足城市土地覆盖GIS图的绘制要求,但标签的差异给机器学习方法造成了困扰。若以图 3(d)的精细程度为标准,图 3(b)中林草覆盖、构筑物所对应的标签则是错误的;但在更高语义层次上,这样的区域可以被人们理解为一个完整的地物。这种人机间的理解差异对机器学习方法而言是很大的挑战。在实际生产中,无法保证所有的土地覆盖GIS图都能达到图 3(d)所示的精细程度,因此本文引入空洞卷积,试图从整体上把握特征的同时顾及局部信息,从一定程度上降低了LOD的影响。

      图  3  土地覆盖GIS矢量图中的不同细节程度

      Figure 3.  Different Levels of Detail in the GIS Vector Map of Land Cover

      本文提出的FACNN结构如图 4所示。FACNN基于FCN中经典的U-Net[35]框架,包括一个编码阶段(左侧)和解码阶段(右侧)。同一尺度下的编码空间特征被串联到解码特征,用于学习更好的特征表达。本文与U-Net的区别在于,将编码阶段所有的普通卷积替代为一系列的空洞卷积。前3层中(大小从512×512像素到128×128像素),每一层分别采用rate=1, 2, 3的空洞卷积,每一层的上方数字表示特征图的个数。此处采样率的设计借鉴了Wang等[36] Hybrid Dilated Convolution的设计思路,即将堆叠的空洞卷积的采样率设计成锯齿状结构(例如本文所采用的[1,2,3,1,2,3]循环结构)。这种锯齿状结构在减少空洞卷积格网效应的同时,有助于兼顾不同大小物体的分割需求,即较小的采样率关注小尺度信息,而较大的采样率关注大尺度信息。在第4层中进行一次ASPP,从而得到包含不同感受野信息的特征。

      图  4  本文提出的FACNN结构示意图

      Figure 4.  Structure Diagram of the Proposed FACNN

    • 本文由FACNN的分类结果为前提,提出一种变化检测方法,其结构如图 5所示。首先,利用已有的影像及对应的土地覆盖GIS矢量图制作训练样本,并训练FACNN;然后,采用FACNN对当前的影像进行分类,得到土地覆盖分类图;最后,与往年的土地覆盖GIS矢量图对比,若前后两期影像中同一地区地物类型不同,则判定该区域发生变化,从而得到变化图。本文采用两种方式统计变化检测的效果和精度:(1)统计像素级的精度,即直接在变化图上统计;(2)统计对象级的变化检测精度,即将一个完整的变化区域视为一个变化对象,统计变化对象的精度。

      1)像素级变化检测。对比前后期影像每个像素的土地覆盖类型,若地物类型不同,则为变化。图 5为像素级变化结果。

      2)对象级变化检测。对象级变化检测用来表达识别出多少处变化区域(对象),一个变化区域(对象)由空间上连续的变化像素组成(滤除小于最小测图单元的图斑,本文最小图斑取为400像素),若该对象中,35%以上的像素发生了真实变化,则认为该区域是一个正确识别的变化对象。

    • 由于整个武汉市影像数据量大,且计算机性能有限,首先选用4 200个具有代表性的512×512像素的影像块样本,用于不同方法间的对比,以验证本文方法FACNN的先进性;然后采用全武汉市数据并利用FACNN进行土地覆盖分类实验,评估本文方法的有效性及实用性;最后在土地覆盖分类结果的基础上进行变化检测。

    • 采用2017年的3 500个块样本(图 2中的蓝色块)训练本文的FACNN网络,并对700个样本进行土地覆盖分类(红色块)。同时,对其他先进的深度学习方法进行比较实验,见表 1。从表 1可知,本文FACNN法在各个地物类别上的精度都高于其他方法,除了在铁路道路类别上与U-Net相当;其总体精度(overall accuracy, OA)也远高于其他方法,比Dense-Net高出近4%。

      表 1  本文方法与其他方法土地覆盖分类精度的比较

      Table 1.  Comparison of the Precisions of Land Cover Classification Using the Proposed Method and Other Methods

      方法 作物 林草覆盖 建筑 铁路与道路 构筑物 堆掘地 水域 OA
      FCN-16[33] 0.594 0.525 0.594 0.619 0.595 0.630 0.897 0.631
      U-Net[35] 0.623 0.553 0.705 0.654 0.679 0.727 0.888 0.688
      Dense-Net[37] 0.659 0.594 0.705 0.609 0.694 0.689 0.884 0.693
      FACNN 0.723 0.656 0.716 0.653 0.705 0.747 0.898 0.731

      图 6显示了本文方法与其他方法土地覆盖分类结果的区别。可以看出,FCN-16和U-Net产生了较大范围的种植土地(黄色)分类错误。Dense-Net方法在第2张影像中错误分类了大量的林草覆盖(绿色),在最后一张影像中错误分类了大量的人工堆掘地(粉红色)。对比这些方法,本文方法得到的结果最接近于参考影像,说明本文的FACNN能够有效处理复杂场景的分类问题。

      图  6  不同方法土地覆盖分类结果细节比较

      Figure 6.  Comparison of Land Cover Classification Results with Different Methods

    • 采用块样本验证了本文方法FACNN明显优于其他算法后,将FACNN应用于全武汉市数据的训练和测试。用图 1(c)红框外的全部区域(训练区域)训练FACNN网络,对红框内的区域(测试区域)进行土地覆盖分类,分析土地覆盖的分类精度。首先,将训练、测试区域影像无缝切分为大小512×512像素的影像块,利用训练区域的影像数据训练FACNN网络模型;然后,用训练好的FACNN对测试区域的影像块进行土地覆盖分类;最后,将测试区域的影像块拼接成完整影像。在本实验所采用的硬件配置条件下,训练时间约20 h,预测时间约45 min。表 2为测试数据土地覆盖的混淆矩阵、类别精度和总体精度(OA)。

      表 2  本文方法在测试区域的土地覆盖分类结果混淆矩阵、类别精度和总体精度

      Table 2.  Confusion Matrix, Precision and OA of Land Cover Classification with the Proposed Method on the Test Area

      类别 作物 林草覆盖 建筑 铁路与道路 构筑物 堆掘地 水域
      作物 0.718 0.147 0.006 0.007 0.033 0.030 0.059
      林草覆盖 0.086 0.626 0.068 0.058 0.063 0.068 0.031
      建筑 0.011 0.054 0.803 0.021 0.061 0.050 0.001
      铁路与道路 0.033 0.072 0.037 0.743 0.059 0.051 0.007
      构筑物 0.053 0.077 0.204 0.098 0.495 0.062 0.010
      堆掘地 0.074 0.052 0.052 0.028 0.039 0.732 0.023
      水域 0.047 0.053 0.002 0.002 0.006 0.008 0.880
      类别精度 0.703 0.579 0.686 0.776 0.655 0.732 0.870
      OA 0.766

      表 2可知,借助于更多的训练数据,OA达到了76.6%,相对于表 1的73.1%要高出3.5%。由混淆矩阵可知,除了作物和林草覆盖外,其他地物具有较好的区分度;作物和林草覆盖具有较大的混淆度,这与常识也是相容的。图 7显示了FACNN对测试数据进行土地覆盖分类的结果。

      图  7  本文方法的土地覆盖分类结果

      Figure 7.  Land Cover Classification Result Using the Proposed Method

    • 采用图 5所示的变化检测方法得到测试区域的变化图,即由FACNN得到的2017年测试区域土地覆盖分类图(图 7)与2014年土地覆盖类别真值(图 1(b)对应区域)进行差值对比,判断每个像素的土地覆盖类型是否变化并得到变化结果图。

      表 3显示了像素级变化检测结果。可见,在未变化的区域上,各类统计指标(精度、召回率和F1(F1是一种标准的算法评分标准))都很高;而在变化的区域上,各类统计指标精度都有一定程度的降低。由于未变化区域占了绝大部分,因此OA达到了0.963。图 8显示了本文像素级的变化检测结果。

      表 3  像素级变化检测精度统计

      Table 3.  Accuracy Statistics of Change Detection in Pixel Level

      区域 精度/% 召回率/% F1 OA
      未变化区域 98.2 97.8 0.980 0.963
      变化区域 67.7 37.8 0.485

      图  8  像素级变化检测结果图

      Figure 8.  Change Detection Map in Pixel Level

    • 由于像素级的统计与核查并不适合人工作业方式(即不可能人工逐像素核查),且会引入一些误检测,因此本文进一步以变化区域为目标对象,统计变化检测精度,即将检测出的某个变化图斑作为目标对象,统计分析变化区域的检测精度。

      表 4所示,本文从1 839个真实变化区域中正确检测出1 772个,即真阳性(true positive, TP)为96.4%;错误检测个数为620,故假阳性(false positive, FP)为25.9%。漏检率即假阴性(false negative, FN)为3.6%,对象级变化检测的精度为74.1%,召回率为96.4%。而以像素级统计的变化区域的检测结果(表 3),精度仅为67.7%,召回率仅为37.8%。

      表 4  对象级变化检测统计结果

      Table 4.  Statistics of Change Detection Accuracy in Object Level

      项目 真实变化 预测变化 正确检测 TP/% 错误检测 FP/% 漏检 FN/% 精度/% 召回率/%
      多边形数 1 839 2 392 1 772 96.4 620 25.9 67 3.6 74.1 96.4

      图 9是整个预测区域的对象级变化检测结果图。可见,正确检测出的变化区域(绿色)占据所有变化区域的主要部分,误检区域(红色)占到25.9%(表 4),漏检部分(蓝色)非常少。

      图  9  对象级变化检测图

      Figure 9.  Object-Based Change Detection Map

    • 本文研究了基于高分辨率遥感影像的城市土地覆盖分类和变化检测,提出了一种全空洞全卷积神经元网络,用于城市地区的土地覆盖分类;基于分类结果和往年地表覆盖GIS矢量图,发现了当前影像的变化,并统计了像素级和对象级的变化检测精度。通过全武汉市土地覆盖分类和变化检测实验,结果表明,本文的分类算法明显优于当前的主流深度学习影像分割方法;在分类结果的基础上还发现,对象级的变化检测结果比像素级变化检测精度更高,更适用于人工核查与土地覆盖的地图更新。本文算法已成功应用于2018年武汉市城市土地覆盖GIS数据库的更新,有望为城市土地覆盖变化检测及GIS数据库的更新提供较好的技术辅助手段。

参考文献 (37)

目录

    /

    返回文章
    返回