留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码
张立强, 李洋, 侯正阳, 李新港, 耿昊, 王跃宾, 李景文, 朱盼盼, 梅杰, 姜颜笑, 李帅朋, 辛奇, 崔颖, 刘素红. 深度学习与遥感数据分析[J]. 武汉大学学报 ● 信息科学版, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
引用本文: 张立强, 李洋, 侯正阳, 李新港, 耿昊, 王跃宾, 李景文, 朱盼盼, 梅杰, 姜颜笑, 李帅朋, 辛奇, 崔颖, 刘素红. 深度学习与遥感数据分析[J]. 武汉大学学报 ● 信息科学版, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
ZHANG Liqiang, LI Yang, HOU Zhengyang, LI Xingang, GENG Hao, WANG Yuebin, LI Jingwen, ZHU Panpan, MEI Jie, JIANG Yanxiao, LI Shuaipeng, XIN Qi, CUI Ying, LIU Suhong. Deep Learning and Remote Sensing Data Analysis[J]. Geomatics and Information Science of Wuhan University, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
Citation: ZHANG Liqiang, LI Yang, HOU Zhengyang, LI Xingang, GENG Hao, WANG Yuebin, LI Jingwen, ZHU Panpan, MEI Jie, JIANG Yanxiao, LI Shuaipeng, XIN Qi, CUI Ying, LIU Suhong. Deep Learning and Remote Sensing Data Analysis[J]. Geomatics and Information Science of Wuhan University, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650

深度学习与遥感数据分析

doi: 10.13203/j.whugis20200650
基金项目: 

国家自然科学基金 41925006

详细信息
    作者简介:

    张立强,博士,教授,主要研究方向为时空分析及遥感大数据处理。zhanglq@bnu.edu.cn

  • 中图分类号: P208

Deep Learning and Remote Sensing Data Analysis

Funds: 

The National Natural Science Foundation of China 41925006

More Information
    Author Bio:

    ZHANG Liqiang, PhD, professor, specializes in spatial analysis and remote sensing data processing.E-mail: zhanglq@bnu.edu.cn

  • 摘要: 深度学习的迅猛发展,为遥感大数据的智能分析提供了重要技术手段。首先主要介绍了遥感数据识别和应用中设计的深度学习模型与方法,提出并实现了面向激光雷达点云、光学遥感图像和高光谱图像等数据地物识别的深度强化学习、多任务学习和亚像素-像素-超像素特征学习网络模型。这类模型的参数基本上由学习得到,调参工作量小,而且充分顾及了地物间的空间和上下文信息以及纹理和光谱特征,泛化能力强。然后描述了联合深度学习和多源遥感数据在精准扶贫评估、青藏高原20 a湿地变化及空间分析和玉米产量估产等方面的研究进展。从中可以看出,为了更好地促进遥感数据向知识的转化,需要面向应用,充分发挥深度学习在遥感大数据处理的优势,发展新的数据处理算法与技术。
  • 图  1  深度学习在遥感数据分析中的应用

    Figure  1.  The Application of Deep Learning in Remote Sensing Data Analysis

    图  2  3DCNN-DQN-RNN的结构

    Figure  2.  The Architecture of 3DCNN-DQN-RNN

    图  3  建筑识别的多任务学习模型

    Figure  3.  Multi-task Learning Model for City Building Recognition

    图  4  HIFNet-CRF的流程图

    Figure  4.  Workflow of HIFNet-CRF

    图  5  精准扶贫深度学习模型流程图

    Figure  5.  Flowchart of theUsed Model in Targeted Poverty Alleviation

    图  6  42个NPCs的年人均GDP增长率变化

    Figure  6.  Variations in Average AGR-PcGDP of 42 NPCs with Weak Growth

    图  7  青藏高原湿地面积提取的流程

    Figure  7.  Workflow for Computing Qinghai-Tibet Plateau Wetland Areas

    图  8  青藏高原地区湿地(2000-2019年)面积变化趋势

    Figure  8.  The Variations of Qinghai-Tibet Plateau Wetland Areas from 2001 to 2019

    图  9  玉米估产的深度学习模型

    Figure  9.  Deep Learning Model for Corn Yield Estimation

    表  1  SpaceNet测试集模型评估结果

    Table  1.   Evaluation Results of SpaceNet

    算法 DAOI3 SAOI3 IAOI3 DAOI5 SAOI5 IAOI5
    Mask R-CNN 88.2 57.9 88.0 58.9
    U-Net 60.8 60.1
    本文方法 91.8 63.4 60.7 90.6 62.7 61.5
    下载: 导出CSV

    表  2  不同方法下Indian Pines数据集的分类结果/%

    Table  2.   Classifiation Results of Indian Pines with Different Methods/%

    分类集 MDNN SCNN D-DBN CDCNN HSINet-CRF
    Corn-notill 70.88 75.99 86.07 90.10 95.45
    Corn-mintill 91.98 93.21 88.71 97.10 99.40
    Grass-pasture 88.34 93.09 98.26 100 100
    Grass-trees 99.44 99.44 99.86 93.80 100
    Hay-windrowed 100 100 100 100 100
    Soybean-notill 91.39 93.80 85.05 95.90 97.94
    Soybean-mintill 85.87 87.72 89.97 87.10 99.19
    Soybean-clean 96.68 97.73 91.83 96.40 99.16
    Woods 87.63 93.98 96.01 99.40 99.21
    Bldg-grass-trees 89.34 90.71 80.38 93.50 100
    总体分类精度 87.68±0.09 90.16±0.12 90.97±0.12 93.61±0.56 98.70± 0.08
    平均分类精度 90.15±0.85 92.57±0.05 91.61±0.11 95.33±0.48 99.04± 0.06
    Kappa系数 0.856±0.002 0.888±0.001 0.895±0.001 0.914±0.005 0.985±0.001
    下载: 导出CSV
  • [1] 李德仁, 张良培, 夏桂松.遥感大数据自动分析与数据挖掘[J].测绘学报, 2014, 43(12): 1 211-1 216 http://www.cnki.com.cn/Article/CJFDTotal-CHXB201412002.htm

    Li Deren, Zhang Liangpei, Xia Guisong. Automatic Analysis and Mining of Remote Sensing Big Data[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1 211-1 216 http://www.cnki.com.cn/Article/CJFDTotal-CHXB201412002.htm
    [2] Markus R, Gustau C, Bjorn S, et al.Deep Learning and Process Understanding for Data-Driven Earth System Science[J]. Nature, 2019, 566: 195-204 doi:  10.1038/s41586-019-0912-1
    [3] Sun C, Shrivastava A, Singh1 S, et al. Revisiting Unreasonable Effectiveness of Data in Deep Learning Era[C].IEEE International Conference on Computer Vision, Venice, Italy, 2017
    [4] Liu Fangyu, Li Shuaipeng, Zhang Liqiang, et al.3DCNN-DQN-RNN: A Deep Reinforcement Learning Framework for Semantic Parsing of Large-scale 3D Point Clouds[C].IEEE International Conference on Computer Vision, Venice, Italy, 2017
    [5] Bischke B, Helber P, Folz J, et al.Multi-task Learning for Segmentation of Building Footprints with Deep Neural Networks[C].IEEE International Conference on Image Processing, Taipei, China, 2019
    [6] He K, Gkioxari G, Dollar P, et al. Mask R-CNN[C]. IEEE International Conference on Computer Vision, Venice, Italy, 2017
    [7] Lin T Y, Dollár P, Girshick R, et al. Feature Pyramid Networks for Object Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017
    [8] Bertelli L, Yu T, Vu D, et al. Kernelized Structural SVM Learning for Supervised Object Segmentation[J]. Communications in Computer & Information Science, 2011, 32(14):2 153-2 160
    [9] Yang J, Yang M H. Top-down Visual Saliency via Joint CRF and Dictionary Learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(3): 576-588 doi:  10.1109/TPAMI.2016.2547384
    [10] Mei J, Wang Y, Zhang L, et al.PSASL:Pixel-Level and Superpixel-Level Aware Subspace Learning for Hyperspectral Image Classification[J].IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(7):1-16 doi:  10.1109/TGRS.2019.2923175
    [11] Lee H, Kwon H.Going Deeper with Contextual CNN for Hyperspectral Image Classification[J]. IEEE Transactions on Image Processing, 2017, 26(10): 4 843-4 855 doi:  10.1109/TIP.2017.2725580
    [12] Zhong P, Gong Z, Li S, et al.Learning to Diversify Deep Belief Networks for Hyperspectral Image Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(6):3 516-3 530 doi:  10.1109/TGRS.2017.2675902
    [13] 薛澜, 翁凌飞.中国实现联合国2030年可持续发展目标的政策机遇和挑战[J].中国软科学, 2017, 1: 1-12 http://www.cnki.com.cn/Article/CJFDTotal-ZGRK201701001.htm

    Xue Lan, Weng Lingfei.The Policy Opportunities and Challenges in China's Implementation of 2030 Sustainable Development Goals[J].China Soft Science, 2017, 1: 1-12 http://www.cnki.com.cn/Article/CJFDTotal-ZGRK201701001.htm
    [14] 林万达.从数据造假现象讨论微妙的央地经济关系及其重塑与调整[J].中国市场, 2018, 973(18): 28-30 http://www.cnki.com.cn/Article/CJFDTotal-SCZG201818007.htm

    Lin Wanda. Discussion on Subtle Central-local Economic Relations and Their Reshaping and Adjustment from the Phenomenon of Data Falsification[J].China Market, 2018, 973(18): 28-30 http://www.cnki.com.cn/Article/CJFDTotal-SCZG201818007.htm
    [15] 王欢, 郑旷怡.部分省份近期调整统计数据的原因简析.中国市场, 2018, 36: 10-12 http://www.cnki.com.cn/Article/CJFDTotal-SCZG201836003.htm

    Wang Huan. Zheng Kuangyi. Analysis for Recent Adjustment of Statistical Data in Some Provinces[J]. China Market, 2018, 36: 10-12 http://www.cnki.com.cn/Article/CJFDTotal-SCZG201836003.htm
    [16] Yeh C, Perez A, Driscoll A, et al. Using Publicly Available Satellite Imagery and Deep Learning to Understand Economic Well-Being in Africa[J]. Nature Communications, 2020, 11:2 583 doi:  10.1038/s41467-020-16185-w
    [17] Jean N, Burke M, Xie M, et al. Combining Satellite Imagery and Machine Learning to Predict Poverty[J]. Science, 2016, 353(6 301):790-794 doi:  10.1126/science.aaf7894
    [18] Zhao Z, Zhang Y, Liu L, et al. Recent Changes in Wetlands on the Tibetan Plateau:A Review[J].Journal of Geographical Sciences, 2015, 25(7): 879-896 doi:  10.1007/s11442-015-1208-5
    [19] Pekel J F, Cottam A, Gorelick N, et al.High-Resolution Mapping of Global Surface Water and Its Long-Term Changes[J].Nature, 2016, 540(7 633): 418-422 doi:  10.1038/nature20584
    [20] Mao D, Wang Z, Du B, et al. National Wetland Mapping in China: A New Product Resulting from Object-Based and Hierarchical Classification of Landsat 8 OLI Images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 164: 11-25 doi:  10.1016/j.isprsjprs.2020.03.020
    [21] Lei Y, Zhu Y, Wang B, et al. Extreme Lake Level Changes on the Tibetan Plateau Associated with the 2015/2016 El Niño[J]. Geophysical Research Letters, 2019, 46(11): 5 889-5 898 doi:  10.1029/2019GL081946
  • [1] 徐永浩.  面向高光谱遥感影像分类的深度学习与对抗防御方法研究 . 武汉大学学报 ● 信息科学版, 2022, 47(1): 157-157. doi: 10.13203/j.whugis20210689
    [2] 邵振峰, 孙悦鸣, 席江波, 李岩.  智能优化学习的高空间分辨率遥感影像语义分割 . 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
    [3] 胡羽丰, 李振洪, 王乐, 陈博, 朱武, 张双成, 杜建涛, 张雪松, 杨璟, 周美玲, 刘振江, 王丝丝, 苗晨, 张连翀, 彭建兵.  2022年汤加火山喷发的综合遥感快速解译分析 . 武汉大学学报 ● 信息科学版, 2022, 47(2): 242-251. doi: 10.13203/j.whugis20220050
    [4] 卢笑, 竺一薇, 阳牡花, 周炫余, 王耀南.  联合图像与单目深度特征的强化学习端到端自动驾驶决策方法 . 武汉大学学报 ● 信息科学版, 2021, 46(12): 1862-1871. doi: 10.13203/j.whugis20210409
    [5] 巨袁臻, 许强, 金时超, 李为乐, 董秀军, 郭庆华.  使用深度学习方法实现黄土滑坡自动识别 . 武汉大学学报 ● 信息科学版, 2020, 45(11): 1747-1755. doi: 10.13203/j.whugis20200132
    [6] 屈猛, 庞小平, 赵羲, 季青, 范沛.  利用多源遥感数据识别波弗特海冰间水道 . 武汉大学学报 ● 信息科学版, 2019, 44(6): 917-924. doi: 10.13203/j.whugis20170296
    [7] 谷岩岩, 焦利民, 董婷, 王艳东, 许刚.  基于多源数据的城市功能区识别及相互作用分析 . 武汉大学学报 ● 信息科学版, 2018, 43(7): 1113-1121. doi: 10.13203/j.whugis20160192
    [8] 胡凯龙, 刘清旺, 崔希民, 庞勇, 穆喜云.  多源遥感数据支持下的区域性森林冠层高度估测 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 289-296, 303. doi: 10.13203/j.whugis20160066
    [9] 樊恒, 徐俊, 邓勇, 向金海.  基于深度学习的人体行为识别 . 武汉大学学报 ● 信息科学版, 2016, 41(4): 492-497. doi: 10.13203/j.whugis20140110
    [10] 刘婷婷, 刘一君, 王泽民, 周春霞.  基于多源遥感数据的北极新冰提取及范围时序变化分析 . 武汉大学学报 ● 信息科学版, 2015, 40(11): 1473-1478. doi: 10.13203/j.whugis20140665
    [11] 孔博, 邓伟, 李爱农, 杨勇.  多源数据的面向对象国际河流土地覆被分类研究 . 武汉大学学报 ● 信息科学版, 2015, 40(7): 943-949. doi: 10.13203/j.whugis20130107
    [12] 吴桂平, 肖鹏峰, 冯学智, 王珂.  遥感影像地物特征识别的频谱能量分析方法探讨 . 武汉大学学报 ● 信息科学版, 2013, 38(12): 1465-1469.
    [13] 赵卫锋, 李清泉, 李必军.  空间认知导向下利用分层强化学习的最优路径规划 . 武汉大学学报 ● 信息科学版, 2012, 37(11): 1271-1275.
    [14] 曹丽琴, 李平湘, 张良培, 许雄.  Fuzzy ARTMAP算法在城市不透水面估算中的应用研究 . 武汉大学学报 ● 信息科学版, 2012, 37(10): 1236-1239.
    [15] 吴桂平, 肖鹏峰, 冯学智, 王珂.  利用频谱能量进行高分辨率遥感图像地物识别 . 武汉大学学报 ● 信息科学版, 2011, 36(11): 1294-1297.
    [16] 张路, 高志宏, 廖明生, 李新延.  利用多源遥感数据进行城市不透水面覆盖度估算 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1212-1216.
    [17] 徐元进, 胡光道, 张振飞.  基于光谱整体形态和局部吸收谷位置的高光谱遥感图像地物识别 . 武汉大学学报 ● 信息科学版, 2010, 35(7): 868-872.
    [18] 徐元进, 胡光道, 张献.  基于穷举法的高光谱遥感图像地物识别研究 . 武汉大学学报 ● 信息科学版, 2008, 33(2): 124-127.
    [19] 张保钢, 袁燕岩.  城市大比例尺地形图数据库中地物变化的自动发现 . 武汉大学学报 ● 信息科学版, 2005, 30(7): 640-642.
    [20] 李彦胜, 张永军.  耦合知识图谱和深度学习的新一代遥感影像解译范式 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210652
  • 加载中
图(9) / 表(2)
计量
  • 文章访问数:  1631
  • HTML全文浏览量:  596
  • PDF下载量:  461
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-12-01
  • 刊出日期:  2020-12-05

深度学习与遥感数据分析

doi: 10.13203/j.whugis20200650
    基金项目:

    国家自然科学基金 41925006

    作者简介:

    张立强,博士,教授,主要研究方向为时空分析及遥感大数据处理。zhanglq@bnu.edu.cn

  • 中图分类号: P208

摘要: 深度学习的迅猛发展,为遥感大数据的智能分析提供了重要技术手段。首先主要介绍了遥感数据识别和应用中设计的深度学习模型与方法,提出并实现了面向激光雷达点云、光学遥感图像和高光谱图像等数据地物识别的深度强化学习、多任务学习和亚像素-像素-超像素特征学习网络模型。这类模型的参数基本上由学习得到,调参工作量小,而且充分顾及了地物间的空间和上下文信息以及纹理和光谱特征,泛化能力强。然后描述了联合深度学习和多源遥感数据在精准扶贫评估、青藏高原20 a湿地变化及空间分析和玉米产量估产等方面的研究进展。从中可以看出,为了更好地促进遥感数据向知识的转化,需要面向应用,充分发挥深度学习在遥感大数据处理的优势,发展新的数据处理算法与技术。

English Abstract

张立强, 李洋, 侯正阳, 李新港, 耿昊, 王跃宾, 李景文, 朱盼盼, 梅杰, 姜颜笑, 李帅朋, 辛奇, 崔颖, 刘素红. 深度学习与遥感数据分析[J]. 武汉大学学报 ● 信息科学版, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
引用本文: 张立强, 李洋, 侯正阳, 李新港, 耿昊, 王跃宾, 李景文, 朱盼盼, 梅杰, 姜颜笑, 李帅朋, 辛奇, 崔颖, 刘素红. 深度学习与遥感数据分析[J]. 武汉大学学报 ● 信息科学版, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
ZHANG Liqiang, LI Yang, HOU Zhengyang, LI Xingang, GENG Hao, WANG Yuebin, LI Jingwen, ZHU Panpan, MEI Jie, JIANG Yanxiao, LI Shuaipeng, XIN Qi, CUI Ying, LIU Suhong. Deep Learning and Remote Sensing Data Analysis[J]. Geomatics and Information Science of Wuhan University, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
Citation: ZHANG Liqiang, LI Yang, HOU Zhengyang, LI Xingang, GENG Hao, WANG Yuebin, LI Jingwen, ZHU Panpan, MEI Jie, JIANG Yanxiao, LI Shuaipeng, XIN Qi, CUI Ying, LIU Suhong. Deep Learning and Remote Sensing Data Analysis[J]. Geomatics and Information Science of Wuhan University, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
  • 随着对地观测技术的发展,人类对地球的综合观测能力达到空前水平[1]。不同成像方式、不同波段、不同分辨率、不同观测尺度和维度的遥感数据已成为地球科学信息获取、处理和应用的关键载体,在国家安全和工业生产中扮演着日益重要的角色。2018年1月,美国国家科学、工程与医学科学院发布了《Thriving on Our Changing Planet:A Decadal Strategy for Earth Observation from Space》报告,认为地球科学和应用是国家信息基础设施的重要组成部分。

    目前遥感信息处理水平与遥感数据获取能力还不相适应,面临的主要挑战是如何从这些大数据中提取并解读信息。数据的增多并未带来对系统预测能力的提高[2],但多源异构遥感数据的智能分析有助于遥感数据转化为地理知识,人工智能技术的迅猛发展、大规模标签数据的出现以及计算性能的大幅度提升,为遥感大数据的智能分析提供了机遇[3],也为深度学习用于遥感分类和预测的研究准备了条件。深度学习能很好地提取遥感数据时空特征,有助于推动新机制、新认识的产生(图 1)。

    图  1  深度学习在遥感数据分析中的应用

    Figure 1.  The Application of Deep Learning in Remote Sensing Data Analysis

    由于遥感数据的复杂性和应用问题不同,深度学习的网络结构和输入输出也不尽相同。本文主要介绍目前基于深度学习在遥感数据分析与应用方面取得的进展。

    • 传统方法对激光雷达点云数据特征提取时,主要存在如下缺陷:①没有很好地考虑相邻点间的上下文信息;②部分描述单点与所属对象之间的关系特征需人为预先设置诸多模板,造成分类边界模糊;③缺乏对特征相互关联的挖掘,难以整合多维度、多尺度的特征信息。

      深度学习的多层神经网络结构能更好地进行特征学习,但点云数据缺乏组织,无法像图像一样通过窗口移动获取尺寸相同且相邻关系明确的数据块作为训练数据。先栅格化点云再特征提取的深度学习方法会造成栅格化后三维信息的丢失,并且栅格大小也会影响分类精度。

      受具有视觉生物体行为模式的启发,将感兴趣对象从场景中识别出来时,往往先粗看全场景并迅速找到目标的大致方位,再定睛细看将感兴趣目标与背景完全分离开来。文献[4]提出了一种深度强化学习模型,通过监督学习对目标进行定位、检索、探测与分类,是一个从原始点云数据映射到指定类别的端到端自动化处理框架。为了实现从粗看到细看这个视角变换的过程(即“where to look”),设置一个视窗(eye window,EW)扮演了关键的角色,它会改变自身的大小(对应眼睛聚焦的过程)以及位置(对应眼睛视角的变化)。三维卷积神经网络(3D convolution neural network,3DCNN)和循环神经网络(recurrent neural network,RNN)自动提取的特征使粗看和细看时都有赖以分类的描述,相当于模型眼睛的内部结构。为了赋予眼睛变换视角并对解译目标进行聚焦的能力,设计了一个强化学习网络,对眼睛进行目标的强化学习,使之在粗看后向解译目标移动并缩小范围,用新的焦距和视角再看,直到目标被包围在EW内。在解译每点的类别时,先通过3DCNN学习对象的特征,DQN(deep Q-learning network)在全场景中检索到所有符合该特征的EW。然后将EW中所有点送进残差RNN分类,提取出纯净的该类型所有点。

      图 2所示,上述模型主要分为Network 1和Network 2。在Network 1中,3DCNN自动高效提取多个尺度上的特征信息并编码,DQN通过3DCNN提取特征并进行匹配,匹配结果反馈给DQN以做出行动,这个过程不断反复直到找到目标。在Network 2中,RNN提取DQN搜索到的目标及其周围的空间特征并编码,同时对已有的3DCNN特征编码进行高阶、低阶特征融合提炼,获得最佳分类参数,得到解译结果。3DCNN和RNN自动提取的特征使“粗看”和“细看”时都有赖以分类的描述。该模型能自动融合和提炼高阶低阶特征,DQN精准切割目标,比传统目标搜索效率更高、更准确。DQN的奖励由3DCNN给出,实现了从感知、反馈到应对的认知流程智能化,模型参数基本都由学习得到,泛化能力强。

      图  2  3DCNN-DQN-RNN的结构

      Figure 2.  The Architecture of 3DCNN-DQN-RNN

      上述方法在识别室外点云数据时存在较多不足。与室内场景相比,室外场景目标相差大,EW尺寸较大导致栅格化点云时易损失较小目标信息,EW过小则无法有效抓取大目标的上下文,且耗时较大。为了使点云特征编码完整保留地物信息以及保持较高的计算效率,通过虚拟相机在点云场景中拍照,将无序三维点云映射到二维图像上。为方便相机自动寻找最佳拍摄角度,在相机后面加一个强化学习网络,从多个角度获得图像并识别验证一个点的类别,把图像输入多层感知机进行监督训练,再把可能性最高的结果映射回点云场景中的点。这样的编码既保留了点云的空间结构,也是端到端识别方法,又满足了可大量获取训练数据、完整保留点云信息、计算量合理等大规模室外场景点云高效识别的目的。

    • 多任务学习利用多种相关任务间的信息互补性、跨任务的资源和参数共享来提升系统的整体泛化能力[5]。Mask R-CNN[6]可实现遥感图像的分类、检测与分割任务,但进行遥感图像建筑分割时未能充分考虑全局的上下文信息。本文借鉴U-Net编码-解码结构的设计思想,在Mask R-CNN的特征提取网络(feature pyramid networks,FPN)[7]基础上,加入语义分割“解码器”子网络,输出原始影像的语义分割掩码。分类、目标探测、实例分割和语义分割这4个任务共享底层卷积(如图 3所示)。模型的总损失函数由4个任务损失函数的加权平均和构成。该网络由于多任务之间的信息互补,增强了特征的表达能力,进而提高了模型的整体泛化性能。此外,实例分割与语义分割的互补使得分割结果相对于单独使用其中一种更加平滑。

      图  3  建筑识别的多任务学习模型

      Figure 3.  Multi-task Learning Model for City Building Recognition

      整体流程如下。首先由改进的ResNet-50-FPN网络提取特征,得到P2~P6的5组特征图,经过FPN得到一批感兴趣区域(region of interest,ROI);全部ROI经过非极大值抑制方法过滤后,在特征图N2~N5上进行ROI对齐操作得到一批ROI的特征图;把得到的ROI特征图送入类别预测网络、边界框回归网络和实例分割网络进行分类、回归和掩码预测操作,得到各任务的计算结果;由P2上采样得到全局的语义分割掩码。

      利用SpaceNet中AOI3(巴黎)和AOI5(喀土穆)的卫星影像数据(http://explore.digitalglobe.com/spacenet),训练完毕后分别选取SpaceNet中AOI3、AOI5测试集进行模型评估(表 1)。表 1中,DAOI3和DAOI5、SAOI3和SAOI5、IAOI3和IAOI5分别表示在AOI3与AOI5上的目标检测、语义分割和实例分割结果AP值。多任务学习可使识别精度提升2%以上,该方法一定程度上提高了模型泛化能力。

      表 1  SpaceNet测试集模型评估结果

      Table 1.  Evaluation Results of SpaceNet

      算法 DAOI3 SAOI3 IAOI3 DAOI5 SAOI5 IAOI5
      Mask R-CNN 88.2 57.9 88.0 58.9
      U-Net 60.8 60.1
      本文方法 91.8 63.4 60.7 90.6 62.7 61.5
    • 为充分利用高光谱图像中光谱和空间相关性、形状和上下文信息以及波段间可变性等,本文提出了一种高光谱图像特征学习网络模型(HIFNet)实现高光谱图像分类。如图 4所示,模型能有效去除原始光谱信息中的噪声,学习亚像素级的特征,同时利用高光谱图像中像素间的关系来学习像素级的特征,从而自动提取空间、光谱、颜色、形状以及纹理信息等特征。为利用最大似然来提高自监督特征学习的性能,将条件随机场框架(conditional random field,CRF)嵌入HIFNet。条件随机场中的一元项、二元项和高阶项分别由HIFNet学习到的亚像素级、像素级和超像素级的特征构建。同时这3项的反馈信息也会融合到不同级别特征的学习过程中,使HIFNet-CRF成为一个可训练的端对端深度学习网络模型[8-9]

      图  4  HIFNet-CRF的流程图

      Figure 4.  Workflow of HIFNet-CRF

      在高光谱影像数据集Indian Pines上随机选择200个样本作为训练样本,由于某些类的像素数量不足,选择了10个类别进行训练和测试,剩余数据用于测试提出的网络模型。与多层全连接(fully connect,FC)神经网络(multi-layer dynamic neural networks,MDNN)、包含两层卷积层和两层全连接层的CNN(spatial CNN,SCNN)[10]、具有9个卷积层的上下文深度神经网络(cross-domain CNN,CDCNN)[11]和深度置信网络(diversify-deep brief networks,D-DBN)[12]进行了比较,结果见表 2。HIFNet-CRF在高光谱图像数据集上获得的分类准确度要高于其他。这表明HIFNet-CRF可以有效利用高光谱图像的空间-光谱信息。

      表 2  不同方法下Indian Pines数据集的分类结果/%

      Table 2.  Classifiation Results of Indian Pines with Different Methods/%

      分类集 MDNN SCNN D-DBN CDCNN HSINet-CRF
      Corn-notill 70.88 75.99 86.07 90.10 95.45
      Corn-mintill 91.98 93.21 88.71 97.10 99.40
      Grass-pasture 88.34 93.09 98.26 100 100
      Grass-trees 99.44 99.44 99.86 93.80 100
      Hay-windrowed 100 100 100 100 100
      Soybean-notill 91.39 93.80 85.05 95.90 97.94
      Soybean-mintill 85.87 87.72 89.97 87.10 99.19
      Soybean-clean 96.68 97.73 91.83 96.40 99.16
      Woods 87.63 93.98 96.01 99.40 99.21
      Bldg-grass-trees 89.34 90.71 80.38 93.50 100
      总体分类精度 87.68±0.09 90.16±0.12 90.97±0.12 93.61±0.56 98.70± 0.08
      平均分类精度 90.15±0.85 92.57±0.05 91.61±0.11 95.33±0.48 99.04± 0.06
      Kappa系数 0.856±0.002 0.888±0.001 0.895±0.001 0.914±0.005 0.985±0.001
    • 中国成为全球首个实现可持续发展目标贫困人口减半的国家,但截至2015年,仍有7 000多万人生活在极端贫困线以下[13]。2014年中国有592个国家级贫困县(national poverty counties,NPCs),同年中国全面实施精准扶贫政策。截至2019年底,该政策已实施6周年,政策效果亟待评估。但传统入户调查费时费力,且普查结果受人为因素干扰较大,经济统计工作中存在“注水”造假和数据“掐架”[14-15]现象。另外,2018—2019年间,部分县市经济统计数据缺失。本文估算了592个NPCs自2009—2019年逐年的人均国内生产总值(gross domestic product,GDP)增长率,以此来评估精准扶贫对中国贫困区域的经济改善状况。

      为了克服少量统计单元数据(如部分县市的统计人口等数据不准确)不真实和数据缺失难题,本文提出了联合多源序列数据(Google高分辨率遥感图像、哨兵1号、哨兵2号、Landsat 8、叶面积指数(leaf area index,LAI))和深度学习的技术,评估精准扶贫政策实施6周年是否促进了中国NPCs经济的发展。多源数据和深度学习能有效降低标签噪声(如少量县的统计GDP和人口不准确)带来的预测偏差[3],提高预测性能。在深度学习模型中以灯光值作为回归社会经济发展指标的桥梁,夜间灯光数据与其他遥感影像匹配后从遥感数据中学习到与夜间灯光相关的特征,同时这些特征也用来回归经济发展的相关指标[16-17]

      图 5所示,深度学习模型包含两部分。首先训练深度神经网络从Google卫星影像、LAI、哨兵1号数据中回归灯光值,使深度网络从这些数据中自动学习与灯光值相关的特征,利用岭回归算法从特征中回归GDP、人口数等指标。

      图  5  精准扶贫深度学习模型流程图

      Figure 5.  Flowchart of theUsed Model in Targeted Poverty Alleviation

      分别选择不同年份、不同比例的NPCs以及NPCs和非NPCs的数据作为训练数据,相应的剩余数据作为测试数据后,发现深度学习模型能够解释75%的县级地面调查数据的空间变化和82%的时间变化。模型的估算性能主要受限于训练数据的质量,特别是地面调查数据的质量。

      本文首先估算了2008—2019年每个NPC逐年的GDP和人口数量,计算其人均GDP,然后从国家、省级、县级3个层面上,分析精准扶贫政策前后6 a(2008—2013年、2014—2019年)NPCs经济发展的变化趋势。结果表明,2014—2019年,592个NPCs的人均GDP平均增长率为7.6%±0.4%,高于与其相邻的310个非贫困县(7.3%±0.4%)和全国(6.3%)平均增长率。

      虽然精准扶贫极大地促进了NPCs人均GDP的增长,但从深度学习预测结果看出,有42个NPCs的人均GDP增长速率在2014—2018逐年下降至不足5%(图 6)。分析发现,这些NPCs大部分位于交通不便、自然条件较差或者经济发展的支柱产业是资源消耗型企业的地区,天气条件和国家的环保政策对其经济影响很大。2019年的增长率提升,一定程度上说明了精准扶贫政策在推动NPCs经济发展所起的积极作用,建议今后加大对这些NPCs的支持力度。

      图  6  42个NPCs的年人均GDP增长率变化

      Figure 6.  Variations in Average AGR-PcGDP of 42 NPCs with Weak Growth

    • 青藏高原是中国重要的湿地分布地区,在补充淡水资源、调节气候等方面发挥了十分关键的作用,然而青藏高原地理环境特殊,生态系统脆弱,对全球气候变化响应十分敏感[18],故对青藏高原湿地进行长时间序列监测十分重要。

      基于2000—2019年的Landsat影像、数字高程模型(digital elevation model,DEM)和坡度数据以及Landsat影像计算的归一化植被指数(normalized difference vegetation index,NDVI)和归一化差异水体指数(modified normalized difference water index,mNDWI),发展了基于场景分类的青藏高原湿地识别方法,以监测青藏高原湿地面积变化。针对青藏高原湿地样本数据少、湿地边界难以精确确定的难点,本文提出一种湿地提取方法,如图 7所示。首先利用JRC全球地表水年度产品[19]制作湿地正样本,利用30 m中国沼泽湿地空间分布数据集[20]制作负样本。在Google地球历史影像上人工标注了湿地样本用于微调分类网络,校正由于样本噪声带来的识别误差。所有样本均裁剪为50×50像素大小的多波段影像,作为分类的基本场景。用于湿地分类的网络为SENet(squeeze-and-excitation networks),对特征通道间的相关性进行建模,强化重要特征。

      图  7  青藏高原湿地面积提取的流程

      Figure 7.  Workflow for Computing Qinghai-Tibet Plateau Wetland Areas

      实验表明,湿地类别的分类准确率可达0.96,召回率可达0.95。2000—2019年青藏高原湿地面积变化如图 8所示。可见,2000—2019年,青藏高原湿地面积整体呈波动上升趋势。2015年湿地面积波动较大,变化异常,原因是受厄尔尼诺现象影响,2015年降水量骤减,湖泊水位下降明显[21],湿地受此影响面积减少。从流域划分来看,除湄公河流域、塔里木盆地外,青藏高原大部分流域湿地面积呈现波动上升趋势,和青藏高原整体变化情况一致。从空间上看,青藏高原中部地区(羌塘高原)湿地分布较多,东南地区较少。羌塘高原地势平坦,沼泽湿地分布较多。东南地区主要为河流发源地,拥有较多的河流湿地。

      图  8  青藏高原地区湿地(2000-2019年)面积变化趋势

      Figure 8.  The Variations of Qinghai-Tibet Plateau Wetland Areas from 2001 to 2019

    • 及时、准确了解中国粮食生产状况,对于我国粮食贸易、社会可持续发展等具有重要意义。人工与遥感相结合的方式是一种大尺度、高效、准确农作物产量预测的手段,能估算无地面测量数据地区的结果,并可随时预测当前指定区域的产量状况,也是验证地面测量数据的高效途径。

      一般而言,县级玉米产量相关地面调查数据往往缺失较为严重,且存在较多失真记录。根据地理学第一定律,地理空间中距离相近的县其玉米产量分布和年际变化趋势相近。本文通过反距离权重插值,利用邻县玉米产量补全该县缺失的数据;通过动态时间规整算法,剔除产量变化明显异于邻县的记录。基于2002-2015年东北地区县级玉米产量统计数据,设计了适宜于多源数据输入的玉米产量估产深度学习模型(图 9),实现玉米的年际和县级产量预测。

      图  9  玉米估产的深度学习模型

      Figure 9.  Deep Learning Model for Corn Yield Estimation

      图 9可以看出,深度学习模型主要包含两个部分。第一部分主要根据数据来源、形态的不同,初步学习数据和玉米产量之间的非线性关系,其中卷积/全连接神经网络分别用来提取空间/非空间数据的特征。第二部分将连续多年的特征输入RNN进行时序特征分析,输出当年的玉米产量预测结果。模型中的字典学习结构可以仅更新与该地区相关的参数,实现对不同地理区域的特征表示,克服了玉米产量的地域性差异。

      训练过程中模型采用均方差作为目标损失函数,使用Adam算法进行优化。相关性精度评价采用了决定系数R2。分别按照年份划分和县级划分进行验证。时间维度上采用留一年法交叉验证,每次取出一年的数据测试,其余年份用来训练。取交叉验证实验结果的95%置信区间作为按年份划分的最终玉米估产结果。模型预测与统计年鉴中玉米产量R2为0.503±0.053,说明模型在时间维度上可以解释约50%的结果波动。空间维度上,采用十交叉验证,即每次取出10%的县的数据作为测试,其余为训练数据。取交叉验证实验结果的95%置信区间作为按县级划分的模型最终结果。实验表明,模型预测与统计年鉴中玉米产量的R2为0.626±0.039,说明模型在空间维度上可以解释约62%的结果波动。

    • 本文主要总结了深度学习在遥感数据识别和应用中的研究。首先论述了本文提出的适应于激光雷达点云、光学遥感图像和高光谱图像识别的深度学习模型。这类深度学习模型的参数基本上由学习得到、调参工作量小,充分顾及地物间的空间和上下文信息以及纹理和光谱特征,泛化能力强。然后描述了联合深度学习和多源遥感数据在精准扶贫评估、青藏高原20 a来湿地变化及空间分析和玉米产量估产等方面的研究进展。可以看出,遥感学科需要面向应用,发展新的数据处理算法与技术。在未来的研究中,应面向不同的应用,充分发挥深度学习在遥感大数据处理的优势,发展适应于不同质量和分辨率遥感数据的深度学习模型,突破大场景复杂地理对象多尺度、多特征表达的难题,提高超大规模遥感数据自动化处理的效率,提升地理信息提取和预测能力,推动地理现象新机制、新认识的产生,促进遥感数据向知识的转化。

参考文献 (21)

目录

    /

    返回文章
    返回