留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

遥感图像质量等级分类的深度卷积神经网络方法

郭从洲 李可 李贺 童晓冲 王习文

郭从洲, 李可, 李贺, 童晓冲, 王习文. 遥感图像质量等级分类的深度卷积神经网络方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
引用本文: 郭从洲, 李可, 李贺, 童晓冲, 王习文. 遥感图像质量等级分类的深度卷积神经网络方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
Citation: GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292

遥感图像质量等级分类的深度卷积神经网络方法

doi: 10.13203/j.whugis20200292
基金项目: 

国家自然科学基金 41671409

详细信息
    作者简介:

    郭从洲,博士,副教授,研究方向为深度学习与遥感图像处理的理论与方法。czguo0618@sina.cn

    通讯作者: 李可,博士,讲师。like@lsec.cc.ac.cn
  • 中图分类号: P237; TP751.1

Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification

Funds: 

The National Natural Science Foundation of China 41671409

More Information
    Author Bio:

    GUO Congzhou, PhD, associate professor, specializes in the theory and method of deep learning and remote sensing image processing. E-mail: czguo0618@sina.cn

    Corresponding author: LI Ke, PhD, lecturer. E-mail: like@lsec.cc.ac.cn
  • 摘要: 遥感图像应用发展对图像质量的要求越来越高,不同质量的遥感图像往往需要不同的处理方法和参数。通过遥感图像质量等级分类研究,不仅能够为遥感图像的处理提供先验信息,还能够对遥感图像的客观质量评价和传感器的成像效果进行评估。为了克服现有的遥感图像质量等级分类方法计算参数获取困难、等级数量少的缺点,利用深度学习方法的分类机能,通过改进特征提取网络和等级分类设计,建立了一种基于深度卷积神经网络的遥感图像质量等级分类模型。通过质量等级分类预处理后,利用经典的深度学习方法进行目标检测实验。结果表明,所提方法在西北工业大学遥感图像数据集上质量等级分类的准确率、召回率、精确率和F1最高能达到0.976、0.972、0.974和0.973, 优于传统算法。利用卷积神经网络实现遥感图像质量等级分类,既拓展了深度学习的应用领域,又为遥感图像质量评估提供了一个新方法。
  • 图  1  质量分类的DCNN体系结构

    Figure  1.  DCNN Architecture of Quality Classification

    图  2  多阶段图像质量等级分类树状结构图-1

    Figure  2.  Tree Structure Diagram-1 of Multi-Stage Image Quality Level Classification

    图  3  多阶段图像质量等级分类树状结构图-2

    Figure  3.  Tree Structure Diagram-2 of Multi-Stage Image Quality Level Classification

    图  4  多阶段图像质量等级分类树状结构图-3

    Figure  4.  Tree Structure Diagram-3 of Multi-Stage Image Quality Level Classification

    图  5  不同质量等级的遥感图像仿真数据

    Figure  5.  Remote Sensing Image Simulation Data of Different Quality Levels

    图  6  测试集中部分图像的信息熵

    Figure  6.  Information Entropy of Some Images in Test Set

    表  1  仿真数据的退化参数

    Table  1.   Degradation Parameters of Simulation Data

    质量等级标签 高斯模糊核参数 高斯噪声参数
    尺寸/像素 均方差 均值 方差
    1 3×3 1 0 0
    2 3×3 3 0 0.01
    3 7×7 5 0 0
    4 7×7 7 0 0.01
    5 9×9 7 0 0
    6 9×9 9 0 0.01
    7 11×11 9 0 0
    8 11×11 11 0 0.01
    9 13×13 11 0 0
    10 13×13 13 0 0.01
    下载: 导出CSV

    表  2  网络参数

    Table  2.   Network Parameters

    网络层 大小/像素 步长 填充方式
    Conv1 3×3×1×64 2 1
    Conv2 3×3×64×64 2 1
    MaxPooling 2×2 2 0
    Conv3 3×3×64×64 2 1
    MaxPooling 2×2 2 0
    Conv4 3×3×64×64 2 1
    MaxPooling 2×2 2 0
    Conv5 3×3×64×64 2 1
    Conv6 3×3×64×10 2 1
    下载: 导出CSV

    表  3  遥感图像质量等级(10级)分类结果

    Table  3.   Classification Results of Remote Sensing Image Quality Level (Level 10)

    性能指标 一段式 多段式(2分类N-型)
    S-型 N-型 C-型
    A 0.921 0.975 0.972 0.976
    R 0.921 0.976 0.974 0.972
    P 0.931 0.975 0.978 0.974
    F1 0.926 0.976 0.976 0.973
    训练时间/h 2.62 2.64 3.14 3.65
    单次测试时间/ms 6.14 6.11 6.11 7.13
    下载: 导出CSV

    表  4  Yolo-v3目标检测mAP值

    Table  4.   mAP Value of Yolo-v3 Target Detection

    序号 训练数据等级 测试数据等级 质量分类前/% 质量分类后/%
    1 1 1 93.15
    2 5 5 93.13
    3 1 2 92.97
    4 1 5 91.87
    5 1 10 91.07
    6 5 1 91.67
    7 5 10 91.32
    8 1~10 1~10 91.75 93.14
    9 1~4 1~4 91.95 93.20
    10 5~8 1~4 91.65 93.21
    11 9~10 9~10 92.45 93.12
    下载: 导出CSV
  • [1] 闫利,胡修兵,陈长军,等. 多模态图像配准的梯度一致性算子[J]. 武汉大学学报·信息科学版, 2013, 38(8): 969-972 http://ch.whu.edu.cn/article/id/2729

    Yan Li, Hu Xiubing, Chen Changjun, et al. An Operator of Gradient Consistency for Multimodal Image Registration[J]. Geomatics and Information Science of Wuhan University, 2013, 38(8): 969-972 http://ch.whu.edu.cn/article/id/2729
    [2] Gao X B. Design and Implementation of Marine Automatic Target Recognition System Based on Visible Remote Sensing Images[J]. Journal of Coastal Research, 2020, 115(sp 1): 277
    [3] 李烨,许乾坤,李克东. 面向图像复原的残差密集生成对抗网络新方法[J]. 小型微型计算机系统, 2020, 41(4): 830-836 doi:  10.3969/j.issn.1000-1220.2020.04.028

    Li Ye, Xu Qiankun, Li Kedong. New Method of Residual Dense Generative Adversarial Networks for Image Restoration[J]. Journal of Chinese Computer Systems, 2020, 41(4): 830-836 doi:  10.3969/j.issn.1000-1220.2020.04.028
    [4] Ledig C, Theis L, Huszár F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
    [5] Dai J, Li Y, He K, et al. R-FCN: Object Detection Via Region-Based Fully Convolutional Networks[C]//Conference on Neural Information Processing Systems, Barcelona, Spain, 2016
    [6] Shelhamer E, Long J, Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651 doi:  10.1109/TPAMI.2016.2572683
    [7] Pulgar F J, Rivera A J, Charte F, et al. On the Impact of Imbalanced Data in Convolutional Neural Networks Performance[M]// Cham: Springer, 2017
    [8] Guo H X, Li Y J, Shang J, et al. Learning from Class-Imbalanced Data: Review of Methods and Applications[J]. Expert Systems with Applications, 2017, 73: 220-239
    [9] Shermeyer J, van Etten A. The Effects of Super-Resolution on Object Detection Performance in Satellite Imagery[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Long Beach, CA, USA, 2019
    [10] 闫利,胡晓斌. 利用Contourlet-SSIM视觉模型的IKONOS图像质量评价研究[J]. 武汉大学学报·信息科学版, 2014, 39(1): 12-16 http://ch.whu.edu.cn/article/id/2842

    Yan Li, Hu Xiaobin. Image Quality Assessment of IKONOS Images Based on Contourlet-SⅡM Model[J]. Geomatics and Information Science of Wuhan University, 2014, 39(1): 12-16 http://ch.whu.edu.cn/article/id/2842
    [11] 马旭东,闫利,曹纬,等. 一种新的利用梯度信息的图像质量评价模型[J]. 武汉大学学报·信息科学版, 2014, 39(12): 1412-1418 http://ch.whu.edu.cn/article/id/3133

    Ma Xudong, Yan Li, Cao Wei, et al. A New Image Quality Assessment Model Based on the Gradient Information[J]. Geomatics and Information Science of Wuhan University, 2014, 39(12): 1412-1418 http://ch.whu.edu.cn/article/id/3133
    [12] Redmon J, Divvala S, Girshick R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016
    [13] Redmon J, Farhadi A. Yolov3: An Incremental Improvement[J]. arXiv, 2018, DOI:  1804.02767
    [14] 巩丹超. 基于NⅡRS的高分辨率光学卫星影像质量评估技术[C]//第十八届十三省市光学学术会议,上海, 2010

    Gong Danchao. High Resolution Optical Satellite Image Quality Assessment Technology via NⅡRS[C]//The 18th Optical Conference of 13 Provinces and Cities, Shanghai, China, 2010
    [15] 袁媛. 基于深度卷积神经网络的图像质量评价方法研究[D]. 武汉: 武汉大学, 2017

    Yuan Yuan. Research on Image Quality Assessment Method via Deep Convolution Neural Network (D]. Wuhan: Wuhan University, 2017
    [16] 李真伟,崔国忠,郭从洲,等. 任意形状曲线刃边的点扩散函数估计方法[J]. 测绘学报, 2019, 48(3): 352-362 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201903011.htm

    Li Zhenwei, Cui Guozhong, Guo Congzhou, et al. An Algorithm for the Estimation of Point Spread Function Based on Curve Edge of Arbitrary Shape[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(3): 352-362 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201903011.htm
    [17] Li L, Pan J, Lai W S, et al. Learning a Discriminative Prior for Blind Image Deblurring[C]//IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018
    [18] Goodfellow I, Bengio Y, Courville A. Deep Learning[M]. Cambridge: The MIT Press, 2016
    [19] Lin M, Chen Q, Yan S. Network in Network[J]. arXiv, 2013, DOI:  1312.4400
    [20] Ciberlin J, Grbic R, Teslic N, et al. Object Detectection and Object Tracking in Front of the Vehicle Using Front View Camera[C]//Zooming Innovation in Consumer Technologies Conference, Novi Sad, Serbia, 2019
    [21] 赵文强,孙巍. 基于S4-YOLO的海上目标检测识别方法[J]. 光学与光电技术, 2020, 18(4): 38-46 https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD202004006.htm

    Zhao Wenqiang, Sun Wei. Detection and Recognition Method of Marine Target Based on S4-YOLO[J]. Optics & Optoelectronic Technology, 2020, 18(4): 38-46 https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD202004006.htm
  • [1] 高奎亮, 余旭初, 张鹏强, 谭熊, 刘冰.  利用胶囊网络实现高光谱影像空谱联合分类 . 武汉大学学报 ● 信息科学版, 2022, 47(3): 428-437. doi: 10.13203/j.whugis20200008
    [2] 邵振峰, 孙悦鸣, 席江波, 李岩.  智能优化学习的高空间分辨率遥感影像语义分割 . 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
    [3] 李彦胜, 张永军.  耦合知识图谱和深度学习的新一代遥感影像解译范式 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1176-1190. doi: 10.13203/j.whugis20210652
    [4] 柴华彬, 严超, 邹友峰, 陈正超.  利用PSP Net实现湖北省遥感影像土地覆盖分类 . 武汉大学学报 ● 信息科学版, 2021, 46(8): 1224-1232. doi: 10.13203/j.whugis20190296
    [5] 黄博华, 李锡瑞, 肖常富, 何若枫, 韩崇砚, 郭志亮.  BDS卫星钟差数据异常值类型识别的卷积神经网络方法 . 武汉大学学报 ● 信息科学版, 2021, 46(6): 947-956. doi: 10.13203/j.whugis20190422
    [6] 任加新, 刘万增, 李志林, 李然, 翟曦.  利用卷积神经网络进行“问题地图”智能检测 . 武汉大学学报 ● 信息科学版, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
    [7] 陈行, 罗斌.  利用动态上采样滤波深度网络进行多角度遥感影像超分辨率重建 . 武汉大学学报 ● 信息科学版, 2021, 46(11): 1716-1726. doi: 10.13203/j.whugis20200651
    [8] 周访滨, 邹联华, 刘学军, 孟凡一.  栅格DEM微地形分类的卷积神经网络法 . 武汉大学学报 ● 信息科学版, 2021, 46(8): 1186-1193. doi: 10.13203/j.whugis20190311
    [9] 黄若冰, 贾永红.  利用卷积神经网络和小面元进行人脸图像替换 . 武汉大学学报 ● 信息科学版, 2021, 46(3): 335-340. doi: 10.13203/j.whugis20180500
    [10] 卢剑, 张学东, 张健钦, 郭小刚, 张悦颖.  利用卷积神经网络识别交通指数时间序列模式 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1981-1988. doi: 10.13203/j.whugis20200035
    [11] 季顺平, 田思琦, 张驰.  利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测 . 武汉大学学报 ● 信息科学版, 2020, 45(2): 233-241. doi: 10.13203/j.whugis20180481
    [12] 彭向阳, 刘洋, 王柯, 张泊宇, 钱金菊, 陈驰, 杨必胜.  利用卷积神经网络进行绝缘子自动定位 . 武汉大学学报 ● 信息科学版, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
    [13] 门计林, 刘越岩, 张斌, 周繁.  多结构卷积神经网络特征级联的高分影像土地利用分类 . 武汉大学学报 ● 信息科学版, 2019, 44(12): 1841-1848. doi: 10.13203/j.whugis20180137
    [14] 徐江河, 张飞舟, 张立福, 邓楚博, 孙雪剑.  一种综合利用图像和光谱信息的物体真假模式识别方法 . 武汉大学学报 ● 信息科学版, 2019, 44(8): 1174-1181. doi: 10.13203/j.whugis20190139
    [15] 刘文轩, 祁昆仑, 吴柏燕, 吴华意.  基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
    [16] 葛芸, 江顺亮, 叶发茂, 许庆勇, 唐祎玲.  基于ImageNet预训练卷积神经网络的遥感图像检索 . 武汉大学学报 ● 信息科学版, 2018, 43(1): 67-73. doi: 10.13203/j.whugis20150498
    [17] 吴一全, 陶飞翔, 曹照清.  基于Log-Gabor小波和Krawtchouk矩的遥感图像分类 . 武汉大学学报 ● 信息科学版, 2016, 41(7): 861-867. doi: 10.13203/j.whugis20140234
    [18] 吴佳, 蔡之华, 金晓文.  自适应差分演化算法在图像监督分类中的应用 . 武汉大学学报 ● 信息科学版, 2013, 38(1): 23-26.
    [19] 李先华, 黄微, 罗庆洲, 刘顺喜.  月球表面遥感图像的地形辐射改正原理研究 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1197-1201.
    [20] 王峰, 史文中, 程朋根.  遥感图像纠正误差的局部变形改正 . 武汉大学学报 ● 信息科学版, 2001, 26(5): 425-429.
  • 加载中
图(6) / 表(4)
计量
  • 文章访问数:  108
  • HTML全文浏览量:  36
  • PDF下载量:  30
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-06-20
  • 刊出日期:  2022-08-05

遥感图像质量等级分类的深度卷积神经网络方法

doi: 10.13203/j.whugis20200292
    基金项目:

    国家自然科学基金 41671409

    作者简介:

    郭从洲,博士,副教授,研究方向为深度学习与遥感图像处理的理论与方法。czguo0618@sina.cn

    通讯作者: 李可,博士,讲师。like@lsec.cc.ac.cn
  • 中图分类号: P237; TP751.1

摘要: 遥感图像应用发展对图像质量的要求越来越高,不同质量的遥感图像往往需要不同的处理方法和参数。通过遥感图像质量等级分类研究,不仅能够为遥感图像的处理提供先验信息,还能够对遥感图像的客观质量评价和传感器的成像效果进行评估。为了克服现有的遥感图像质量等级分类方法计算参数获取困难、等级数量少的缺点,利用深度学习方法的分类机能,通过改进特征提取网络和等级分类设计,建立了一种基于深度卷积神经网络的遥感图像质量等级分类模型。通过质量等级分类预处理后,利用经典的深度学习方法进行目标检测实验。结果表明,所提方法在西北工业大学遥感图像数据集上质量等级分类的准确率、召回率、精确率和F1最高能达到0.976、0.972、0.974和0.973, 优于传统算法。利用卷积神经网络实现遥感图像质量等级分类,既拓展了深度学习的应用领域,又为遥感图像质量评估提供了一个新方法。

English Abstract

郭从洲, 李可, 李贺, 童晓冲, 王习文. 遥感图像质量等级分类的深度卷积神经网络方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
引用本文: 郭从洲, 李可, 李贺, 童晓冲, 王习文. 遥感图像质量等级分类的深度卷积神经网络方法[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
Citation: GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
  • 遥感图像处理的方法大多基于同一个图像质量等级,比如遥感图像配准[1]、地标检测、目标识别[2]等,一般都是将不同数据来源、不同空间分辨率、不同光谱分辨率的数据区分开,分别采用不同的技术手段进行处理,甚至有些方法仅限于某类分辨率数据。很多图像复原方法都是在已知该图像是退化的前提下进行复原处理[3], 使用时需要针对不同质量等级图像设计不同的方法或者调整相应参数才能获取相应的处理效果,与全自动化的智能时代技术需求不相符。对遥感图像进行质量等级分类可以为遥感图像理解提供重要的先验信息,也可以为传感器成像能力检验、遥感图像质量评价提供科学依据。

    随着深度学习在数字图像处理领域的广泛应用,利用深度卷积神经网络(deep convolution neural network, DCNN)方法,对数字图像进行复原重建[4]、特征提取、目标检测[5]和语义分割[6]等处理已经成为学者研究的主流方向。基于DCNN的数字图像处理采用数据驱动的学习训练模式,处理精度和效果受训练集图像的质量和类别影响很大。由于成像环境的影响,遥感图像获取的图像数据集很难保证在同一个质量级别,这不仅会影响其他质量等级的遥感图像的处理效果,还会影响整体业务系统的处理效果。该类问题产生的根本原因是数据质量不平衡,也是深度学习算法关注的重要问题[7-8]。针对数据质量不平衡问题,现有的方法一般都是通过大量扩充图像数据集、增加训练时间和迭代次数进行处理,最终获取某一个处理效果的平均值,并不能提高整体效果。或者对遥感图像进行复原或超分辨重建,提升图像质量后再进行顶层处理,虽然有一定效果,但依然会受异质遥感图像数据量的影响[9]

    本文在现有遥感图像客观质量评价[10-11]和质量等级分类[12-13]的基础上,利用深度学习的分类机能,构建了一种用于遥感图像质量级别分类的深度卷积神经网络模型。该模型对遥感图像进行多个质量等级的分类,更加细致和准确。

    • 图像质量等级分类是一个复杂的科学问题。遥感图像的质量经常使用地面采样距离、调制传递函数、信噪比以及信息熵等描述,但只能描述遥感图像的部分特性,不能作为图像质量的根本指标。因此,美国建立了图像质量的间接评价标准——国家图像解译度分级标准进行自动评价[14-15]。由于研究人员很难获取遥感图像的地面采样距离等相关参数,计算相对边缘响应值也需要合适的刃边形状特征[16], 并且信噪比的计算方法也不唯一,因此利用图像解译度分级标准对遥感图像进行质量等级分类具有很大的局限性。利用深度学习的方法实现图像质量等级分类的研究成果相对较少,文献[17]从图像盲复原的角度出发,将近景图像分为清晰和模糊两种简单类型,由于缺少批次标准化(batch normalization, BN)层,使得网络的泛化能力大大降低;文献[15]从质量评价的角度出发,提出了一种多任务的质量等级预测DCNN方法,该方法以图像解译度分级标准作为主观质量标签,构建了质量等级分类和回归网络。但该方法的特征提取网络结构较深,计算效率太低,还容易出现过拟合现象,主观质量标签的计算存在不小误差和困难。

      遥感图像质量等级分类是对图像进行定性研究,属于典型的数学分类问题。基于监督学习的前馈卷积神经网络结构具备强大的分类功能[18], 非常适合使用该类网络结构进行质量等级分类。

    • 本文通过DCNN训练分类器,将遥感图像依据质量不同分为不同的等级。该分类网络以遥感图像为输入,输出一个表示该图像质量等级的标签值,因此整个网络是一个由大到小、由粗到细的框架。首先,对输入的样本图像进行零-均值(Zero-Score, Z-Score)标准化预处理,目的是将遥感图像中的像素值分布调整为近似正态分布,提升网络训练中的激活能力;其次,为了缓解过拟合问题和减少额外连接参数,在中间层加入了多个BN层,并将全局平均池化层替换为分类器中常用的完全连接层[19];然后,为了保持图像从大到小过程中的细节特征,采用了最大池化(MaxPooling)方式进行数据尺度压缩;最后,为了提高收敛速度,同时避免梯度消失,在卷积层(convolution, Conv)后加入线性修正单元即ReLU函数。具体结构如图 1所示,其中, BCRM表示BN层、Conv层、ReLU层与MaxPooling层, k表示BCRM的数量。

      图  1  质量分类的DCNN体系结构

      Figure 1.  DCNN Architecture of Quality Classification

    • 利用损失函数估量模型的预测值与真实标签值的接近程度[20], 损失函数越小,模型的鲁棒性就越好。卷积神经网络需要选择合适的损失函数将卷积参数获取问题转换为优化问题。由于数据分类问题的标签具有概率的含义,所以常常针对“概率”选择合适的损失函数。最常见的损失函数是交叉熵函数,比方差损失函数权重更新快。假设x表示输入图像, λ表示待训练的网络参数,则DCNN质量分类网络可表示为关于预测x质量指标的概率函数:

      f(x,λ)=P(xLmx) ]]>

      式中, Lm表示m个质量类;P表示概率。选取交叉熵函数作为损失函数来迭代优化网络参数,计算如下:

      H(y,a)=-1Nn=1Nm=1Mam,nlog(ym,n)+(1-am,n)log(1-ym,n) ]]>

      式中, N表示每批次样本的数量;M表示质量类别等级总数量;am,n表示第n个样本质量类属于第m个标签质量类的概率;ym,n表示学习训练得到的第n个样本质量类属于第m个标签质量类的概率。如果只有两个质量分类等级,即M=2, 则:

      H(y,a)=-1Nn=1Nanlog(yn)+(1-an)log(1-yn) ]]>
    • 一段式质量等级分类使用一个固定深度的卷积神经网络,通过对大量数据反复训练,获取卷积核参数,最终得到一个固定分类等级数量的分类器,主干网络见图 1。一段式质量等级分类网络的最优分类等级值是预先设定好的,一旦超过预设的等级数值,就会出现收敛速度慢和分类精度低的现象。其优点是分类等级明确,训练目标明确。但分类的等级越多,分类的越细致,特征提取网络也越深,训练难度也越大。

    • 多段式等级分类利用较浅的卷积神经网络,通过调整标签,类似于金字塔的形状,从粗到细地逐层分类,可以实现固定网络深度,但不固定等级数量的质量分类。由于任何一个大于1的整数都可以看作小于它的正整数的某个线性组合,所以通过特征提取层较少的2级、3级和4级质量分类网络就可以分段实现任意等级的质量分类。利用2级、3级和4级质量分类网络进行11级等级质量分类,分类流程可用树状结构图表示(见图 2), 步骤如下:

      图  2  多阶段图像质量等级分类树状结构图-1

      Figure 2.  Tree Structure Diagram-1 of Multi-Stage Image Quality Level Classification

      1)标签替换1, 将训练集数据根据质量标签分为两组,质量标签为1~5的数据,其标签全部替换为虚拟标签15(1+2+3+4+5=15), 也可以是其他数字,记为a1组;质量标签为6~11的数据,其标签全部替换为虚拟标签51(6+7+8+9+10+11=51), 记为a2组。

      2)等级分类1, 利用虚拟标签值和2级分类网络实现分类,存入两个文件夹中,分别记为C15级数据和C51级数据。

      3)标签替换2, 将质量等级为c15的数据利用原始标签分为两组,质量标签为1~3的数据,其标签全部替换为虚拟标签6, 记为b1组;质量标签为4~5的数据,其标签全部替换为虚拟标签9, 记为b2组;将质量等级为C51的数据利用原始标签也分为两组,质量标签为6~9的数据,记为b3组,其标签全部替换为虚拟标签30;质量标签为10~11的数据,其标签全部替换为虚拟标签21, 记为b4组。

      4)等级分类2, 利用虚拟标签值和2级分类网络将b1~b4组数据实现等级分类,分别存入4个文件夹,分别记为C6级、C9级、C30级和C21级数据。

      C6级数据只有3个质量类数据,真实标签值分别为1、2、3级,利用3分类网络实现分类;C9级和C21级只有2个质量类数据,利用真实标签值和2级分类网络实现分类;C30级数据有4个质量类数据,可以利用真实标签值和4级分类网络实现分类。

      也可以利用其他网络进行分类,比如利用2级、5级、6级分类网络进行分类,如图 3所示。该树状结构图有2-叉树、5-叉树和6-叉树,首先利用2级质量分类网络将遥感图像数据分为两个质量等级C15C51, 再利用5分类网络将C15分为5个质量等级,利用6分类网络将C51分为6个质量等级,最终实现11个质量等级分类。

      图  3  多阶段图像质量等级分类树状结构图-2

      Figure 3.  Tree Structure Diagram-2 of Multi-Stage Image Quality Level Classification

      只使用2级质量分类网络进行分类的流程如图 4所示。该树状结构图只有2-叉树,首先利用2级质量分类网络将遥感图像数据分为2个质量等级C15C51, 再利用2级质量网络将C15C51分别分为质量等级C6C9和质量等级C30C21, 再依次利用2级质量网络分类处理,最终实现11个质量等级分类。

      图  4  多阶段图像质量等级分类树状结构图-3

      Figure 4.  Tree Structure Diagram-3 of Multi-Stage Image Quality Level Classification

      多段式网络结构质量等级分类在训练过程中每一段网络的输入都是原始训练数据,只是利用简单的分类网络实现等级分类。测试过程需要利用卷积网络选择合适的网络结构路径实现分类,其优点是分类等级可以自由设定,网络结构固定,通过内循环的方式逐层实现分类,训练过程较为简单。

    • 本文参考美国图像解译度分级标准,分为10个质量等级进行实验。实验数据采用西北工业大学公开的用于目标检测的遥感图像集VHR-10, 该数据包含610幅遥感图像,标记为质量等级1级。

      对原始数据加入的9种不同尺度的高斯模糊和高斯噪声进行人工退化,分别标记为2~10级,共计5 490幅,人工退化参数如表 1所示。将6 100幅图像再裁剪成大小为256×256像素的图像,选取80%的数据作为训练集, 20%的数据作为测试集。

      表 1  仿真数据的退化参数

      Table 1.  Degradation Parameters of Simulation Data

      质量等级标签 高斯模糊核参数 高斯噪声参数
      尺寸/像素 均方差 均值 方差
      1 3×3 1 0 0
      2 3×3 3 0 0.01
      3 7×7 5 0 0
      4 7×7 7 0 0.01
      5 9×9 7 0 0
      6 9×9 9 0 0.01
      7 11×11 9 0 0
      8 11×11 11 0 0.01
      9 13×13 11 0 0
      10 13×13 13 0 0.01
    • 图 5展示了利用退化参数对其中质量等级为1的图像退化后,得到的9个质量等级的图像。不同质量等级的图像,特别是相邻等级的图像,利用人眼进行主观观察,很难区分出质量的优劣。

      图  5  不同质量等级的遥感图像仿真数据

      Figure 5.  Remote Sensing Image Simulation Data of Different Quality Levels

      由于无法获取图 5所示遥感图像的成像参数,因此不能使用美国图像解译度分级的质量方程进行等级分类,所以本文采用图像信息熵作为标准,进行等级分类评价。分别从质量等级标签1、5、10的测试集中选取30幅图像,获取信息熵的值和曲线图,同样很难区分出其质量等级,如图 6所示。

      图  6  测试集中部分图像的信息熵

      Figure 6.  Information Entropy of Some Images in Test Set

    • 根据图 1所示质量分类的DCNN体系结构的一段式质量等级分类方式,设置了3种网络模型:(1)普通型(简称N-型), 网络中间有3个BCRM层;(2)简单型(简称S-型), 相比N-型,网络中间只有1个BCRM层;(3)复杂型(简称C-型), 相比N-型,网络中间有5个BCRM层。针对多段式质量等级分类方式,全部采用2-叉树结构(见图 4), 各层均采用N-型的网络结构。设置输入遥感图像尺寸为256×256像素,迭代次数为200次,初始学习率设置为0.005, 每迭代50次,学习率衰减为原来的1/5。网络参数如表 2所示。

      表 2  网络参数

      Table 2.  Network Parameters

      网络层 大小/像素 步长 填充方式
      Conv1 3×3×1×64 2 1
      Conv2 3×3×64×64 2 1
      MaxPooling 2×2 2 0
      Conv3 3×3×64×64 2 1
      MaxPooling 2×2 2 0
      Conv4 3×3×64×64 2 1
      MaxPooling 2×2 2 0
      Conv5 3×3×64×64 2 1
      Conv6 3×3×64×10 2 1
    • 为了准确、全面地评价本文方法的泛化性能,采用目标检测常见的准确率(A)、召回率(R)、精确率(P)和F1 [21]等指标来评价遥感图像质量等级分类效果,计算如下:

      A=TP+TNTP+TN+FP+FN ]]>
      R=TPTP+FN ]]>
      P=TPTP+FP ]]>
      F1=2PRP+R ]]>

      式中, TP(true positives)表示将正样本预测为正样本的数量值;TN(true negatives)表示将负样本预测为负样本的数量值;FP(false positives)表示将负样本预测为正样本的数量值;FN(false negatives)表示将正样本预测为负样本数量值。

    • 本文实验在Windows 10操作系统、Intel i7处理器、32 GB内存和英伟达2080 TI显卡平台上进行,使用应用Pytorch深度学习框架搭建网络。首先利用训练集数据进行网络训练,获取表 2中所需的卷积核中参数值,当误差稳定以后记录并存储该参数值;然后,将测试集数据随机分组输入质量等级分类网络,获取质量等级值,实验结果如表 3所示。

      表 3  遥感图像质量等级(10级)分类结果

      Table 3.  Classification Results of Remote Sensing Image Quality Level (Level 10)

      性能指标 一段式 多段式(2分类N-型)
      S-型 N-型 C-型
      A 0.921 0.975 0.972 0.976
      R 0.921 0.976 0.974 0.972
      P 0.931 0.975 0.978 0.974
      F1 0.926 0.976 0.976 0.973
      训练时间/h 2.62 2.64 3.14 3.65
      单次测试时间/ms 6.14 6.11 6.11 7.13

      表 3中可以发现,一段式和多段式都能够很好地实现遥感图像质量10个等级分类。一段式质量等级分类方式设计的3种模式, N-型相对于S-型, ARPF1都有明显的提升, N-型相对于C-型,评估指标基本没有变化,这表明BCRM是对结果有影响的,说明对于10个质量等级分类采用N-型完全可以达到应用要求。对于多段式质量等级分类方式,同样达到了一段式分类的效果,并且不用估计BCRM的数量,每一个阶段都采用10个质量等级的N-型分类结构,完全可以保证每个阶段2个质量等级分类的精度,进一步减少误差累计,但存在训练时间和检测时间相对过长的现象,这与参数个数和中间计算的复杂度有着密切的关系。

    • 为了验证遥感图像质量分类在遥感图像目标检测中的价值,选用§2.1同样的数据集和成熟的Yolo-v3目标检测模型,利用平均精度均值(mean average precision, mAP)作为评价指标进行实验验证。训练集数据与测试集数据的数量比为4∶1, 测试集数据不在训练集中。由于相近质量等级对目标检测影响较小,实验中将1~4级、5~8级和9~10级的遥感图像归属同一质量类,最后的mAP值取这3类的不同数据目标检测mAP的平均值,结果如表 4所示。其中,质量分类前指的是直接将原始610张遥感图像数据进行训练和检测;质量分类后指的是按不同质量类分别进行训练和检测,即训练集与测试集属于同一个质量类。

      表 4  Yolo-v3目标检测mAP值

      Table 4.  mAP Value of Yolo-v3 Target Detection

      序号 训练数据等级 测试数据等级 质量分类前/% 质量分类后/%
      1 1 1 93.15
      2 5 5 93.13
      3 1 2 92.97
      4 1 5 91.87
      5 1 10 91.07
      6 5 1 91.67
      7 5 10 91.32
      8 1~10 1~10 91.75 93.14
      9 1~4 1~4 91.95 93.20
      10 5~8 1~4 91.65 93.21
      11 9~10 9~10 92.45 93.12

      表 4可以发现,利用深度学习的方法进行目标检测,如果训练集数据与测试集数据不属于同一个质量等级(序号3~7), 相对于同一个质量等级(序号1~2)mAP值是下降的,二者的质量等级越接近(序号3), mAP也越接近同一质量类对应的值(序号1~2);二者的质量等级相差的越远, mAP也下降的越大(序号5)。经过质量等级分类后,各自训练参数和测试(序号8~11), mAP的整体平均值是非常接近于同一质量类数据的mAP值的(序号1~2)。

    • 本文利用深度学习的分类功能,提出了一种遥感图像的质量等级分类方法,该方法既能够实现固定级数分类,也能够实现不固定级数分类。遥感图像质量等级分类有助于对遥感图像的理解和应用进行预处理,提升业务应用的效果;有助于改进遥感图像有参考客观质量评价手段,对新型传感器获取数据进行更加科学有效的空间分辨率检验;还有助于改善深度学习训练数据质量不平衡问题,改进和释疑网络结构的功能。

参考文献 (21)

目录

    /

    返回文章
    返回