留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

智能优化学习的高空间分辨率遥感影像语义分割

邵振峰 孙悦鸣 席江波 李岩

邵振峰, 孙悦鸣, 席江波, 李岩. 智能优化学习的高空间分辨率遥感影像语义分割[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
引用本文: 邵振峰, 孙悦鸣, 席江波, 李岩. 智能优化学习的高空间分辨率遥感影像语义分割[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
SHAO Zhenfeng, SUN Yueming, XI Jiangbo, LI Yan. Intelligent Optimization Learning for Semantic Segmentation of High Spatial Resolution Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
Citation: SHAO Zhenfeng, SUN Yueming, XI Jiangbo, LI Yan. Intelligent Optimization Learning for Semantic Segmentation of High Spatial Resolution Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640

智能优化学习的高空间分辨率遥感影像语义分割

doi: 10.13203/j.whugis20200640
基金项目: 

国家自然科学基金 41771454

国家自然科学基金 61806022

江西省03专项及5G项目 20212ABC03A09

内蒙古自治区自然科学基金 2019MS04017

内蒙古自治区高等学校科学研究项目 NJZY20277

地理信息工程国家重点实验室科研项目 SKLGIE2018-M-3-4

长安大学中央高校基本科研业务费项目 300102269103

长安大学中央高校基本科研业务费项目 300102269304

长安大学中央高校基本科研业务费项目 300102269205

详细信息

Intelligent Optimization Learning for Semantic Segmentation of High Spatial Resolution Remote Sensing Images

Funds: 

The National Natural Science Foundation of China 41771454

The National Natural Science Foundation of China 61806022

the Jiangxi Province 03 Special Project and 5G Project 20212ABC03A09

the Natural Science Foundation of Inner Mongolia Autonomous Region 2019MS04017

the Scientific Research Project of Colleges and Universities in Inner Mongolia Autonomous Region NJZY20277

the State Key Laboratory of Geo-Information Engineering SKLGIE2018-M-3-4

the Fundamental Research Funds for the Central Universities, Chang'an University 300102269103

the Fundamental Research Funds for the Central Universities, Chang'an University 300102269304

the Fundamental Research Funds for the Central Universities, Chang'an University 300102269205

More Information
  • 摘要: 高空间分辨率遥感影像正被广泛应用,而传统分类算法在高分遥感影像上的精度和效率较差,深度学习语义分割算法在实际分类中泛化性较差。为了适应大范围高分遥感影像的特点,提出了一种基于U-Net网络的模拟退火超参数优化与深度可分离卷积语义分割模型。首先在U-Net网络基础上使用了深度可分离卷积模块来进行特征提取,在保持高效性的同时减少模型的参数量和计算量,然后利用基于模拟退火的智能优化学习模型搜索网络超参数的全局最优解,自动优化网络训练初始点,最后在ISPRS2D和GID(Gaofen image dataset)数据集上进行实验。对比实验结果表明,在ISPRS2D数据集的分类结果中,建筑物、低植被和汽车及总体分类精度均有提高,在GID数据集的分类结果中,水域、草地、森林及总体分类精度均有大幅提高。实验结果验证了所提模型的高效性、高精度性与鲁棒性。
  • 图  1  本文算法流程图

    Figure  1.  Flowchart of the Proposed Algorithm

    图  2  深度可分离卷积模块与U-Net网络模型

    Figure  2.  Depthwise Separable Block and U-Net Model

    图  3  模拟退火超参数寻优流程图

    Figure  3.  Flowchart of Hyperparameter Optimizationin of Simulated Annealing

    图  4  ISPRS2D数据集示意图

    Figure  4.  Diagram of ISPRS2D Dataset

    图  5  GID数据集示意图

    Figure  5.  Diagram of GID Dataset

    图  6  ISPRS2D模拟退火算法寻找最优超参数

    Figure  6.  Process of Simulated Annealing Algorithm for Finding Optimal Hyperparameters in ISPRS2D Dataset

    图  7  GID模拟退火算法寻找最优超参数

    Figure  7.  Simulated Annealing Algorithm for Finding Optimal Hyperparameters in GID Dataset

    图  8  ISPRS2D真实标签图和本文模型语义分割结果

    Figure  8.  Real Label Map and Semantic Segmentation Results of ISPRS2D Dataset

    图  9  ISPRS2D实验结果的混淆矩阵

    Figure  9.  Confusion Matrix of Results of ISPRS2D Dataset

    图  10  GID真实标签图和本文模型语义分割结果

    Figure  10.  Real Label Map and Semantic Segmentation Results of GID Dataset

    图  11  GID实验结果的混淆矩阵

    Figure  11.  Confusion Matrix of Results of GID Dataset

    表  1  本文模型与其他模型在ISPRS2D数据集的分类结果对比/%

    Table  1.   Comparison of Classfication Results of the Proposed Model and Other Models in ISPRS2D Dataset/%

    模型 F1分数 总体精度
    不透水面 建筑物 低植被 树木 汽车
    SVL_1[18] 86.3 90.8 78.2 84.2 56.8 84.7
    SegNet[19] 87.8 91.6 74.0 84.5 76.9 85.0
    FCN-8s[19] 87.3 90.3 73.7 84.9 68.8 84.7
    U-Net+CEloss[20] 85.82 90.5 73.6 83.3 67.2 80.1
    本文模型 84.8 93.8 81.5 85.1 81.4 86.5
    下载: 导出CSV

    表  2  本文模型与其他模型在GID数据集的分类结果对比/%

    Table  2.   Comparison of Classfication Results of the Proposed Model and Other Models in GID Dataset/%

    模型 F1分数 MIoU
    农田 水域 建筑 草地 森林
    Deeplab[21] 87.9 7.1 98.9 6.2 79.9 49.9
    Pix2pix[21] 81.0 0 92.2 0 62.4 39.8
    FCN[21] 84.8 34.1 96.6 1.2 76.2 49.9
    CRFAS[21] 85.7 10.0 98.5 18.5 81.9 51.4
    本文模型 86.6 91.4 85.9 73.2 88.5 62.2
    下载: 导出CSV
  • [1] 陈玲, 贾佳, 王海庆. 高分遥感在自然资源调查中的应用综述[J]. 国土资源遥感, 2019, 31(1): 1-7 https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201901001.htm

    Chen Ling, Jia Jia, Wang Haiqing. An Overview of Applying High Resolution Remote Sensing to Natural Resources Survey[J]. Remote Sensing for Land & Resources, 2019, 31(1): 1-7 https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201901001.htm
    [2] 潘银, 邵振峰, 程涛, 等. 利用深度学习模型进行城市内涝影响分析[J]. 武汉大学学报·信息科学版, 2019, 44(1): 132-138 doi:  10.13203/j.whugis20170217

    Pan Yin, Shao Zhenfeng, Cheng Tao, et al. Analysis of Urban Waterlogging Influence Based on Deep Learning Model[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 132-138 doi:  10.13203/j.whugis20170217
    [3] 杨泽宇, 张洪艳, 明金, 等. 深度学习在高分辨率遥感影像冬油菜提取中的应用[J]. 测绘通报, 2020(9): 110-113 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB202009024.htm

    Yang Zeyu, Zhang Hongyan, Ming Jin, et al. Extraction of Winter Rapeseed from High-Resolution Remote Sensing Imagery via Deep Learning[J]. Bulletin of Surveying and Mapping, 2020(9): 110-113 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB202009024.htm
    [4] 贾永红, 周伟伟, 周明婷. 结合规划矢量的高分辨率遥感道路施工进度监测[J]. 测绘地理信息, 2020, 45(2): 106-110 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202002024.htm

    Jia Yonghong, Zhou Weiwei, Zhou Mingting. Road Construction Monitoring Based on Vector Data and High-Resolution Remote Sensing Images[J]. Journal of Geomatics, 2020, 45(2): 106-110 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202002024.htm
    [5] 唐尧, 王立娟, 马国超, 等. 基于"高分+"的金沙江滑坡灾情监测与应用前景分析[J]. 武汉大学学报·信息科学版, 2019, 44(7): 1082-1092 doi:  10.13203/j.whugis20190048

    Tang Yao, Wang Lijuan, Ma Guochao, et al. Disaster Monitoring and Application Prospect Analysis of the Jinsha River Landslide Based on "Gaofen+" [J]. Geomatics and Information Science of Wuhan University, 2019, 44(7): 1082-1092 doi:  10.13203/j.whugis20190048
    [6] 马长辉, 黄登山. 纹理与几何特征信息在高空间分辨率遥感影像分类中的应用[J]. 测绘地理信息, 2019, 44(6): 66-70 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201906017.htm

    Ma Changhui, Huang Dengshan. Application of Texture Features and Geometric Feature Information in High Spatial Resolution Remote Sensing Image Classification[J]. Journal of Geomatics, 2019, 44(6): 66-70 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201906017.htm
    [7] 朱卫. 基于随机森林算法的街道场景语义分割[D]. 哈尔滨: 哈尔滨理工大学, 2019

    Zhu Wei. Semantic Segmentation of Street Scene Based on Random Forest Algorithm[D]. Harbin: Harbin University of Science and Technology, 2019
    [8] 亓祥惠. 基于MRF与模糊聚类的图像分割算法研究[D]. 兰州: 兰州理工大学, 2019

    Qi Xianghui. Research on Image Segmentation Algorithm Based on MRF and Fuzzy Clustering[D]. Lanzhou: Lanzhou University of Technology, 2019
    [9] Bruzzone L, Carlin L. A Multilevel Context-Based System for Classification of Very High Spatial Resolution Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(9): 2587-2600 doi:  10.1109/TGRS.2006.875360
    [10] 门计林, 刘越岩, 张斌, 等. 多结构卷积神经网络特征级联的高分影像土地利用分类[J]. 武汉大学学报·信息科学版, 2019, 44(12): 1841-1848 doi:  10.13203/j.whugis20180137

    Jilin Men, Liu Yueyan, Zhang Bin, et al. Land Use Classification Based on Multi-Structure Convolution Neural Network Features Cascading[J]. Geomatics and Information Science of Wuhan University, 2019, 44(12): 1841-1848 doi:  10.13203/j.whugis20180137
    [11] 季顺平, 田思琦, 张驰. 利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测[J]. 武汉大学学报·信息科学版, 2020, 45(2): 233-241 doi:  10.13203/j.whugis20180481

    Ji Shunping, Tian Siqi, Zhang Chi. Urban Land Cover Classification and Change Detection Using Fully Atrous Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2020, 45(2): 233-241 doi:  10.13203/j.whugis20180481
    [12] 贾文翰, 刘越岩, 胡守庚. 基于ResNet34的高分遥感影像草本湿地信息提取[J]. 测绘地理信息, 2021, 46(S1): 97-99 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG2021S1022.htm

    Jia Wenhan, Liu Yueyan, Hu Shougeng. Extraction of Herbaceous Wetland Information from High Resolution Remote Sensing Image Based on ResNet34[J]. Journal of Geomatics, 2021, 46(S1): 97-99 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG2021S1022.htm
    [13] 陈鹏, 汪本康, 高飒, 等. 利用ResNet进行建筑物倒塌评估[J]. 武汉大学学报·信息科学版, 2020, 45(8): 1179-1184 doi:  10.13203/j.whugis20200135

    Chen Peng, Wang Benkang, Gao Sa, et al. Building Collapse Assessment with Residual Network[J]. Geomatics and Information Science of Wuhan University, 2020, 45(8): 1179-1184 doi:  10.13203/j.whugis20200135
    [14] Breuel T M. The Effects of Hyperparameters on SGD Training of Neural Networks[EB/OL]. [2015-08-12]. https://arxiv.org/abs/1508.02788
    [15] Howard A G, Zhu M L, Chen B, et al. Mobile Nets: Efficient Convolutional Neural Networks for Mobile Vision Applications[EB/OL]. [2017-04-17]. https://arxiv.org/abs/1704.04861
    [16] Kang Z, Qu Z Y. Application of BP Neural Network Optimized by Genetic Simulated Annealing Algorithm to Prediction of Air Quality Index in Lanzhou[C]//20172nd IEEE International Conference on Computational Intelligence and Applications (ICCIA), Beijing, China, 2017
    [17] Tong X Y, Xia G S, Lu Q K, et al. Land-Cover Classification with High-Resolution Remote Sensing Images Using Transferable Deep Models[J]. Remote Sensing of Environment, 2020, 237: 111322 doi:  10.1016/j.rse.2019.111322
    [18] Gerke M. Use of the Stair Vision Library Within the ISPRS2D Semantic Labeling Benchmark (Vaihingen)[EB/OL]. [2014-12-28]http://www2.isprs.org/vaihingen-2d-semantic-labeling-contest.html
    [19] Pan X R, Gao L R, Marinoni A, et al. Semantic Labeling of High Resolution Aerial Imagery and LiDAR Data with Fine Segmentation Network[J]. Remote Sensing, 2018, 10(5): 743 doi:  10.3390/rs10050743
    [20] Dong R S, Pan X Q, Li F Y. Dense U-Net-Based Semantic Segmentation of Small Objects in Urban Remote Sensing Images[J]. IEEE Access, 2019, 7: 65347-65356 doi:  10.1109/ACCESS.2019.2917952
    [21] Xiong D H, He C, Liu X L, et al. An End-to-End Bayesian Segmentation Network Based on a Generative Adversarial Network for Remote Sensing Images[J]. Remote Sensing, 2020, 12(2): 216 doi:  10.3390/rs12020216
  • [1] 赵之若, 王少宇, 王心宇, 钟燕飞.  一种改进的火星车多光谱影像深度新颖目标探测方法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1328-1335. doi: 10.13203/j.whugis20220119
    [2] 郭从洲, 李可, 李贺, 童晓冲, 王习文.  遥感图像质量等级分类的深度卷积神经网络方法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
    [3] 李彦胜, 张永军.  耦合知识图谱和深度学习的新一代遥感影像解译范式 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1176-1190. doi: 10.13203/j.whugis20210652
    [4] 杨军, 于茜子.  结合空洞卷积的FuseNet变体网络高分辨率遥感影像语义分割 . 武汉大学学报 ● 信息科学版, 2022, 47(7): 1071-1080. doi: 10.13203/j.whugis20200305
    [5] 杨元维, 王明威, 高贤君, 李熙, 张佳华.  改进Wallis模型的高分辨率遥感影像阴影自动补偿方法 . 武汉大学学报 ● 信息科学版, 2021, 46(3): 318-325. doi: 10.13203/j.whugis20190032
    [6] 季顺平, 罗冲, 刘瑾.  基于深度学习的立体影像密集匹配方法综述 . 武汉大学学报 ● 信息科学版, 2021, 46(2): 193-202. doi: 10.13203/j.whugis20200620
    [7] 陈行, 罗斌.  利用动态上采样滤波深度网络进行多角度遥感影像超分辨率重建 . 武汉大学学报 ● 信息科学版, 2021, 46(11): 1716-1726. doi: 10.13203/j.whugis20200651
    [8] 张瑞菊, 周欣, 赵江洪, 曹闵.  一种古建筑点云数据的语义分割算法 . 武汉大学学报 ● 信息科学版, 2020, 45(5): 753-759. doi: 10.13203/j.whugis20180428
    [9] 蒋腾平, 杨必胜, 周雨舟, 朱润松, 胡宗田, 董震.  道路点云场景双层卷积语义分割 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1942-1948. doi: 10.13203/j.whugis20200081
    [10] 王春艳, 刘佳新, 徐爱功, 王玉, 隋心.  一种新的高分辨率遥感影像模糊监督分类方法 . 武汉大学学报 ● 信息科学版, 2018, 43(6): 922-929. doi: 10.13203/j.whugis20150726
    [11] 邵振峰, 张源, 黄昕, 朱秀丽, 吴亮, 万波.  基于多源高分辨率遥感影像的2 m不透水面一张图提取 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1909-1915. doi: 10.13203/j.whugis20180196
    [12] 仇林遥, 杜志强, 谢金华, 邱振戈, 许伟平, 张叶廷.  大文件高分辨率遥感影像的实时可视化方法 . 武汉大学学报 ● 信息科学版, 2016, 41(8): 1021-1026. doi: 10.13203/j.whugis20140379
    [13] 陈洪, 陶超, 邹峥嵘, 于菲菲.  一种新的高分辨率遥感影像城区提取方法 . 武汉大学学报 ● 信息科学版, 2013, 38(9): 1063-1067.
    [14] 闫利, 赵展, 聂倩, 姚尧.  利用规则进行高分辨率遥感影像地物提取 . 武汉大学学报 ● 信息科学版, 2012, 37(6): 636-639.
    [15] 任娜, 朱长青, 王志伟.  抗几何攻击的高分辨率遥感影像半盲水印算法 . 武汉大学学报 ● 信息科学版, 2011, 36(3): 329-332.
    [16] 林祥国, 张继贤, 李海涛, 杨景辉.  基于T型模板匹配半自动提取高分辨率遥感影像带状道路 . 武汉大学学报 ● 信息科学版, 2009, 34(3): 293-296.
    [17] 王爱萍, 王树根, 吴会征.  利用分层聚合进行高分辨率遥感影像多尺度分割 . 武汉大学学报 ● 信息科学版, 2009, 34(9): 1055-1058.
    [18] 苏俊英, 曹辉, 张剑清.  高分辨率遥感影像上居民地半自动提取研究 . 武汉大学学报 ● 信息科学版, 2004, 29(9): 791-795.
    [19] 项学泳, 李广云, 王力, 宗文鹏, 吕志鹏, 向奉卓.  使用局部几何特征与空洞邻域的点云语义分割 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20200567
    [20] 赫晓慧, 陈明扬, 李盼乐, 田智慧, 周广胜.  结合DCNN与短距条件随机场的遥感影像道路提取 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210464
  • 加载中
图(11) / 表(2)
计量
  • 文章访问数:  571
  • HTML全文浏览量:  113
  • PDF下载量:  115
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-12-16
  • 刊出日期:  2022-02-05

智能优化学习的高空间分辨率遥感影像语义分割

doi: 10.13203/j.whugis20200640
    基金项目:

    国家自然科学基金 41771454

    国家自然科学基金 61806022

    江西省03专项及5G项目 20212ABC03A09

    内蒙古自治区自然科学基金 2019MS04017

    内蒙古自治区高等学校科学研究项目 NJZY20277

    地理信息工程国家重点实验室科研项目 SKLGIE2018-M-3-4

    长安大学中央高校基本科研业务费项目 300102269103

    长安大学中央高校基本科研业务费项目 300102269304

    长安大学中央高校基本科研业务费项目 300102269205

    作者简介:

    邵振峰,博士,教授,主要从事智慧城市和城市遥感方向的教学和科研工作。shaozhenfeng@whu.edu.cn

    通讯作者: 孙悦鸣,硕士。sunyueming@whu.edu.cn席江波,博士,副教授。xijiangbo@chd.edu.cn
  • 中图分类号: P237

摘要: 高空间分辨率遥感影像正被广泛应用,而传统分类算法在高分遥感影像上的精度和效率较差,深度学习语义分割算法在实际分类中泛化性较差。为了适应大范围高分遥感影像的特点,提出了一种基于U-Net网络的模拟退火超参数优化与深度可分离卷积语义分割模型。首先在U-Net网络基础上使用了深度可分离卷积模块来进行特征提取,在保持高效性的同时减少模型的参数量和计算量,然后利用基于模拟退火的智能优化学习模型搜索网络超参数的全局最优解,自动优化网络训练初始点,最后在ISPRS2D和GID(Gaofen image dataset)数据集上进行实验。对比实验结果表明,在ISPRS2D数据集的分类结果中,建筑物、低植被和汽车及总体分类精度均有提高,在GID数据集的分类结果中,水域、草地、森林及总体分类精度均有大幅提高。实验结果验证了所提模型的高效性、高精度性与鲁棒性。

English Abstract

邵振峰, 孙悦鸣, 席江波, 李岩. 智能优化学习的高空间分辨率遥感影像语义分割[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
引用本文: 邵振峰, 孙悦鸣, 席江波, 李岩. 智能优化学习的高空间分辨率遥感影像语义分割[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
SHAO Zhenfeng, SUN Yueming, XI Jiangbo, LI Yan. Intelligent Optimization Learning for Semantic Segmentation of High Spatial Resolution Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
Citation: SHAO Zhenfeng, SUN Yueming, XI Jiangbo, LI Yan. Intelligent Optimization Learning for Semantic Segmentation of High Spatial Resolution Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
  • 目前,遥感传感器硬件性能不断提升,获得的高空间分辨率遥感影像具有丰富的几何细节、纹理特征和复杂的上下文特征。高分遥感影像正逐渐被应用于各个领域,如国土资源调查[1]、城市建设和规划[2]、农业生产[3]、施工监测[4]、自然灾害和危机管理[5]等。遥感影像的语义分割在遥感影像解译中起着重要作用,本文的遥感影像语义分割与遥感影像分类是一致的。传统的遥感影像分类方法主要是基于色彩、纹理信息[6]及类似的低级特征,随机森林法使用多棵树来训练和预测样本的分类器[7],马尔可夫随机场法使用无向图模型分割每个像素[8],支持向量机构建超平面来决策分类[9]。这些传统的图像语义分割方法对高分遥感影像分类的精度低、计算效率差,难以满足自动化操作的需求。

    近年来,深度学习技术发展迅猛。与传统机器学习的算法相比,深度学习可以提取隐藏在影像的深度抽象特征,且在复杂场景上具有更好的表现。因此,利用深度学习实现高分遥感影像的语义分割为遥感影像分类算法开辟了一条新途径。文献[10]提出了一种多结构卷积神经网络特征级联模型在遥感影像上进行土地分类,但该方法运行效率低且分类时个别类别精度反而下降。文献[11]提出一种用于分类的全空洞卷积神经元网络来进行城市土地覆盖分类与变化检测,但精度改善程度不大。文献[12]利用ResNet在高分影像上提取草本湿地,同决策树分类法相比, 提取效果明显提高。文献[13]利用ResNet和深度迁移学习来进行建筑物倒塌评估,但对细微特征的提取能力较弱。

    在遥感语义分割的实际应用中,人工为每一个新的数据集设计和构建一个新的深度学习网络模型,会花费大量的时间,因此,自动机器学习(automated machine learning,AutoML)成为深度学习算法从理论到实际应用的关键步骤,其目标是在没有人工干预的情况下获得具有良好泛化能力的模型,实现机器学习过程的自动化,而超参数优化(hyperparameter optimization,HPO)则是自动机器学习中重要的一环,本文定义模型属性或定义训练过程的参数为超参数。由于深度学习结构的限制,大规模深度学习网络模型的超参数众多,而各个超参数对深度学习模型的影响并不独立,因此,超参数的选择对模型最终效果有极大影响[14]。在一个数据集上表现良好的网络模型可能并不适用于另一个不同的数据集,超参数的选择通常取决于以前的经验和实验结果的组合,这种重复实验的做法效率低且结论具有随机性。而传统的网格搜索、随机搜索等自动调参算法很难得到全局最优解,且计算量大,容易组合爆炸。因此,有必要利用智能优化学习方法实现深度学习网络的超参数优化。

    针对上述问题,考虑到实际应用场景中时间、硬件条件的限制,并针对高分遥感影像数据海量且细节丰富的特征,本文设计了一种基于U-Net网络的模拟退火超参数优化与深度可分离卷积语义分割模型,该模型在保持高效性的同时减少模型的参数量和计算量,并实现自动优化网络训练初始点,实现遥感影像地物的精细分类。

    • 本文设计了一种基于U-Net网络的模拟退火超参数优化与深度可分离卷积语义分割模型,实现了高空间分辨率遥感影像的精细分类,算法流程如图 1所示。

      图  1  本文算法流程图

      Figure 1.  Flowchart of the Proposed Algorithm

    • U-Net可以视为一个简单的对称结构,由一个下采样和一个上采样过程组成,在上采样过程中不断地融入下采样的最终或中间的特征图,融合多个尺度的特征,深层的卷积仍能够包含浅层的简单特征,输出结果更能反映原影像的信息。

      在处理高分遥感影像的实际应用中,难以成功应用庞大而复杂的模型,由于硬件限制,常常面临着内存不足、功耗高、延迟高的问题,且响应速度慢,难以满足场景的实时要求。因此,研究小而高效的卷积神经网络模型非常必要,以保持模型的性能精度为前提,提升模型的训练和测试速度。

      本文使用深度可分离卷积模块代替原始U-Net中的标准卷积模块来进行特征提取,构建的深度可分离卷积模块和U-Net网络模型如图 2所示。深度可分离卷积由标准卷积分解而来,先用深度为1的逐通道卷积核分别在不同的输入通道进行滑动,每一次生成一个输出通道,全部完成后再利用1×1的点卷积将各个通道进行跨通道处理,调整深度。深度可分离卷积在减少模型的参数量和计算量的同时仍保持着较好的性能,这也是MobileNet[15]等网络的基础组成部分。

      图  2  深度可分离卷积模块与U-Net网络模型

      Figure 2.  Depthwise Separable Block and U-Net Model

      本文在构建的深度可分离卷积U-Net语义分割模型上使用模拟退火法,结合遥感数据集优化网络的超参数设置,提高网络性能,具体的模拟退火超参数寻优流程如图 3所示,其中得到的最优解W即为需要寻优的超参数组合,目标函数值V则为当前W下模型训练后验证集的精度。

      图  3  模拟退火超参数寻优流程图

      Figure 3.  Flowchart of Hyperparameter Optimizationin of Simulated Annealing

      模拟退火算法[16]是一种模拟晶体冷却的变邻域搜索算法,用于得到全局最优解。如果在冷却过程中温度下降太快,其中的原子就没有充分时间形成晶体结构,导致形成非晶体即局部最优解。若在此过程中添加一些能量,即以一定的概率去接受较差解,就打破了形成的非晶体,即跳出现在的局部最优解,然后再次进行冷却,重复这个过程,随着温度缓慢下降,即接受较差解的概率慢慢下降,求解过程逐渐趋于稳定,形成有规则晶体即全局最优解,最终退火成功。

      本文基于语义分割模型需要优化的超参数包括:

      1)批尺寸,指每一次训练时输入网络模型的样本量大小,批尺寸太少容易陷入局部最优,将其增大可加快网络的收敛,提高训练速率,但硬件条件有限,批尺寸过大会导致内存不足或程序内核崩溃,且得到相同训练精度所需要的迭代次数更大。

      2)迭代轮次,指所有训练集数据前向传播和后向传播后更新参数的过程,一般来说,迭代轮次越大,得到的精度越高,但迭代轮次过大容易过拟合,且会导致训练时间过长,特别在训练后期,随着迭代轮次增加而精度的涨幅微小,大大浪费训练时间。

      3)初始学习率,它决定着网络权重的更新速度,过大会造成模型无法收敛;过小会造成模型收敛速度的下降或陷入局部最优解,不同的优化算法决定不同的学习率。

    • 本文使用的评价标准为总体精度OF1分数和平均交并比(mean intersection over union,MIoU),计算式分别为:

      $$ O=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{FN}+\mathrm{FP}+\mathrm{TN}} \times 100 \% $$ (1)
      $$ F 1=2 \times \frac{P \times R}{P+R} \times 100 \% $$ (2)
      $$ \mathrm{MIoU}=\frac{1}{k+1} \sum\limits_{i=0}^{k} \frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}+\mathrm{FP}} \times 100 \% $$ (3)

      式中,P为精确率,$P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$;R为召回率,$P=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$;真阳性(true positive,TP)表示预测为真,实际是真;假阳性(false positive,FP)表示预测为真,实际是假;假阴性(false negative,FN)表示预测为假,实际是真;真阴性(true negative,TN)表示预测为假,实际是假。

    • ISPRS2D数据集是语义标签挑战赛的公开数据集,是德国Vaihingen地区的航空影像数据,集中包含了33幅不同大小高分辨率真正射遥感影像,分辨率为9 cm。其中16幅影像包含地面真实标签图,包含不透水面、建筑物、低植被、树木、汽车和杂波/背景6个类别。GID(Gaofen image dataset)[17]数据集是用于像素级分类的高分辨率遥感影像数据集,包含中国60多个不同城市采集的150幅高分辨率高分二号(Gaofen-2,GF-2)影像,包含建筑、农田、森林、草地、水域和杂波/背景6个类别。图 4图 5分别为ISPRS2D和GID数据集的示意图。

      图  4  ISPRS2D数据集示意图

      Figure 4.  Diagram of ISPRS2D Dataset

      图  5  GID数据集示意图

      Figure 5.  Diagram of GID Dataset

      本文实验的环境为Windows 10 64位操作系统,并在Python3.5下运行并配合开源深度学习框架Tensorflow1.13.2和Keras2.1.5,处理器为Intel Corei7-8700K CPU 3.7 GHz,内存为32 GB,配备GeForceGTX1080Ti。

    • 由于训练集图片较少且尺寸过大,需要对数据集进一步处理,在ISPRS2D数据集上使用有真实标签的15张影像进行训练和验证,剩余1张1 388×2 555像素的影像进行测试;在GID数据集上随机选取100张有真实标签的影像进行训练和验证,1张6 800 × 7 200像素的影像进行测试。分别对两个训练集中的遥感影像数据进行缩放、翻转、裁剪等数据增强,再进行规定尺寸为416×416像素的随机裁剪。两个扩充后的训练数据集分别为1 000张,其中进行模型训练的图片900张,验证的图片100张。

      本文模型使用Adam优化器进行梯度下降,当验证集的loss值3次不下降,学习率减半。模拟退火的参数初始化设置为:初始温度T=10,退火概率a=0.89,最低温度Tmin=0.001,最大迭代次数Cmax=100。超参数优化范围设置为:批尺寸通常取值为2~32,在本文实验中,由于内存资源有限,批尺寸的优化范围为2~16。为保证任意一组超参数组合都能使模型得到收敛,迭代轮次的优化范围为30~50。在本文实验中,语义分割网络使用的是Adam优化器,根据通常学习率的初始值设定的优化范围为0.01~0.001。

      图 6图 7分别为在ISPRS2D和GID数据集上的基于模拟退火的超参数寻优过程及相应的验证集精度的变化过程。由图 6图 7可以看出,在超参数搜索过程中,ISPRS2D验证集的精度变化范围为0.501~0.693,GID验证集的精度变化范围为0.463~0.693。由此可见,超参数的选择对于网络模型的训练精度影响较大。在大型深度学习网络中,超参数的可选个数和范围更大,且超参数之间相互组合的结果无法预料,人工选择合适超参数的可能性微乎其微,需要依靠智能优化学习的方法来让计算机自动进行超参数优化。

      图  6  ISPRS2D模拟退火算法寻找最优超参数

      Figure 6.  Process of Simulated Annealing Algorithm for Finding Optimal Hyperparameters in ISPRS2D Dataset

      图  7  GID模拟退火算法寻找最优超参数

      Figure 7.  Simulated Annealing Algorithm for Finding Optimal Hyperparameters in GID Dataset

      图 6(b)图 7(b)所示,模拟退火算法不断跳出局部最优值,寻找全局最优值,提升了超参数优化的搜索精度,最终得到最优超参数组合如下:ISPRS2D数据集:批尺寸为13,迭代轮次为45,初始学习率为0.006 916 985 153 914 473;GID数据集:批尺寸为11,迭代轮次为47,初始学习率为0.002 137 218 789 939 810 4。将上述智能优化学习后搜索到的最优超参数组合代入训练数据集中进行实验,在ISPRS2D数据集上得到的分类结果如图 8图 9所示,与SVL_1[18]、SegNet[19]、FCN-8s[19]和U-Net+CEloss[20]模型的对比结果见表 1;在GID数据集上得到的分类结果如图 10图 11所示,与Deeplab[21]、Pix2pix[21]、FCN[21]和CRFAS[21]模型的对比结果见表 2

      图  8  ISPRS2D真实标签图和本文模型语义分割结果

      Figure 8.  Real Label Map and Semantic Segmentation Results of ISPRS2D Dataset

      图  9  ISPRS2D实验结果的混淆矩阵

      Figure 9.  Confusion Matrix of Results of ISPRS2D Dataset

      表 1  本文模型与其他模型在ISPRS2D数据集的分类结果对比/%

      Table 1.  Comparison of Classfication Results of the Proposed Model and Other Models in ISPRS2D Dataset/%

      模型 F1分数 总体精度
      不透水面 建筑物 低植被 树木 汽车
      SVL_1[18] 86.3 90.8 78.2 84.2 56.8 84.7
      SegNet[19] 87.8 91.6 74.0 84.5 76.9 85.0
      FCN-8s[19] 87.3 90.3 73.7 84.9 68.8 84.7
      U-Net+CEloss[20] 85.82 90.5 73.6 83.3 67.2 80.1
      本文模型 84.8 93.8 81.5 85.1 81.4 86.5

      图  10  GID真实标签图和本文模型语义分割结果

      Figure 10.  Real Label Map and Semantic Segmentation Results of GID Dataset

      图  11  GID实验结果的混淆矩阵

      Figure 11.  Confusion Matrix of Results of GID Dataset

      表 2  本文模型与其他模型在GID数据集的分类结果对比/%

      Table 2.  Comparison of Classfication Results of the Proposed Model and Other Models in GID Dataset/%

      模型 F1分数 MIoU
      农田 水域 建筑 草地 森林
      Deeplab[21] 87.9 7.1 98.9 6.2 79.9 49.9
      Pix2pix[21] 81.0 0 92.2 0 62.4 39.8
      FCN[21] 84.8 34.1 96.6 1.2 76.2 49.9
      CRFAS[21] 85.7 10.0 98.5 18.5 81.9 51.4
      本文模型 86.6 91.4 85.9 73.2 88.5 62.2

      图 8图 9表 1可知,在ISPRS2D数据集的分类结果中,建筑物的综合分割精度最高,可以准确分割建筑物的大体轮廓;汽车的尺度较小,给准确分割带来一定难度,且汽车外在存在多样性和阴影部分,容易与路面发生混淆,很多属于汽车的像素被错分为不透水面,或被误认为是背景;由于低植被和树的光谱特征较为相似,这两类的混淆问题比较严重;相较于其他分类模型,本文模型在建筑物、低植被、树、汽车4个类别和总体精度上都取得了最高的分类精度,总体精度达到86.5%,分类效果较为理想。

      图 10图 11表 2可知,在GID数据集的分类结果中,本文模型获得最高MIoU,分别比FCN、Deeplab高12.3%,比Pix2pix和CRFAS高22.4%和10.8%。本文模型对水域的综合分割精度最高,可以准确分割建筑物的大体轮廓。由于草地形状不规则、边界模糊,易与背景混淆,很多草地像素被错分成背景,本文模型采用跳跃连接融合浅层与深层特征,浅层特征提高小目标分割能力,深层特征可预测分割大目标,相比其他模型,本文模型对于水域、草地的分类精度显著提高。

      对比在ISPRS2D和GID数据集上的语义分割结果可以看出,相较于其他模型,基于U-Net网络的模拟退火超参数优化与深度可分离卷积语义分割模型对高分辨率影像的语义分割结果在大部分类别和总体的分类精度上都有一定提高,所提模型具有可行性和可靠性。

    • 本文提出了一种基于U-Net网络的模拟退火超参数优化与深度可分离卷积语义分割模型,使用深度可分离卷积U-Net的网络复杂度小,实现了高效语义分割。本文模型通过模拟退火算法实现了超参数优化,优化了网络训练过程,提升了语义分割模型泛化性能。分析在ISPRS2D和GID数据集上的实验结果,可得如下结论:

      1)在语义分割网络中,利用深度可分离卷积模块进行特征提取可在保持精确度和高效性的同时减少模型的参数量和计算量。

      2)在超参数搜索过程中,验证集的精度变化范围很大,证明超参数的选择对于网络模型的训练精度影响较大。利用模拟退火算法进行网络模型超参数的智能优化学习有效可靠,可实现自动优化网络训练初始点,优化后影像分类的各个类别和总体的分类精度都有一定提高。

      3)在高空间分辨率遥感影像中,小目标对象和不规则对象的边缘提取优化仍有改进空间。

参考文献 (21)

目录

    /

    返回文章
    返回