Message Board

Respected readers, authors and reviewers, you can add comments to this page on any questions about the contribution, review,        editing and publication of this journal. We will give you an answer as soon as possible. Thank you for your support!

Name
E-mail
Phone
Title
Content
Verification Code
Volume 47 Issue 8
Aug.  2022
Turn off MathJax
Article Contents

GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
Citation: GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292

Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification

doi: 10.13203/j.whugis20200292
Funds:

The National Natural Science Foundation of China 41671409

More Information
  • Author Bio:

    GUO Congzhou, PhD, associate professor, specializes in the theory and method of deep learning and remote sensing image processing. E-mail: czguo0618@sina.cn

  • Corresponding author: LI Ke, PhD, lecturer. E-mail: like@lsec.cc.ac.cn
  • Received Date: 2021-06-20
  • Publish Date: 2022-08-05
  •   Objectives  The application and development of remote sensing image requires higher and higher image quality. Different processing methods and parameters are often needed for different quality remote sensing images, which is not suitable for the intelligent demand. Through the classification of remote sensing image quality level, it can provide prior information for remote sensing image processing, evaluate the objective quality of remote sensing image, assessment the effect of sensor imaging. With the development and popularization of deep learning theory, it is possible to evaluate the quality of digital images by using deep convolution neural network.  Methods  We propose a classification model of quality classification for remote sensing images based on deep convolution neural network. It is established by improving the feature extraction network and classification design.After the quality classification pretreatment, the classical deep learning method is used to detect the target, and the detection accuracy is obviously improved, which can effectively solve the problem of unbalanced quality of the training set data.  Results  The experimental results show that this proposed method is better than the traditional method. The highest score value of accuracy, recall, precision and F1_score can reach 0.976, 0.972, 0.974 and 0.973 on the remote sensing image data set of Northwestern Polytechnic University.  Conclusions  The classification of remote sensing image quality by convolution neural network extends the application field of deep learning. It provides a new method for the quality evaluation of remote sensing image. The classical deep learning method is used to detect the target, and the detection accuracy is obviously improved though quality classification. It provides a way to solve the problem of imbalance in remote sensing image quality.
  • [1] 闫利,胡修兵,陈长军,等. 多模态图像配准的梯度一致性算子[J]. 武汉大学学报·信息科学版, 2013, 38(8): 969-972 http://ch.whu.edu.cn/article/id/2729

    Yan Li, Hu Xiubing, Chen Changjun, et al. An Operator of Gradient Consistency for Multimodal Image Registration[J]. Geomatics and Information Science of Wuhan University, 2013, 38(8): 969-972 http://ch.whu.edu.cn/article/id/2729
    [2] Gao X B. Design and Implementation of Marine Automatic Target Recognition System Based on Visible Remote Sensing Images[J]. Journal of Coastal Research, 2020, 115(sp 1): 277
    [3] 李烨,许乾坤,李克东. 面向图像复原的残差密集生成对抗网络新方法[J]. 小型微型计算机系统, 2020, 41(4): 830-836 doi:  10.3969/j.issn.1000-1220.2020.04.028

    Li Ye, Xu Qiankun, Li Kedong. New Method of Residual Dense Generative Adversarial Networks for Image Restoration[J]. Journal of Chinese Computer Systems, 2020, 41(4): 830-836 doi:  10.3969/j.issn.1000-1220.2020.04.028
    [4] Ledig C, Theis L, Huszár F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
    [5] Dai J, Li Y, He K, et al. R-FCN: Object Detection Via Region-Based Fully Convolutional Networks[C]//Conference on Neural Information Processing Systems, Barcelona, Spain, 2016
    [6] Shelhamer E, Long J, Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651 doi:  10.1109/TPAMI.2016.2572683
    [7] Pulgar F J, Rivera A J, Charte F, et al. On the Impact of Imbalanced Data in Convolutional Neural Networks Performance[M]// Cham: Springer, 2017
    [8] Guo H X, Li Y J, Shang J, et al. Learning from Class-Imbalanced Data: Review of Methods and Applications[J]. Expert Systems with Applications, 2017, 73: 220-239
    [9] Shermeyer J, van Etten A. The Effects of Super-Resolution on Object Detection Performance in Satellite Imagery[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Long Beach, CA, USA, 2019
    [10] 闫利,胡晓斌. 利用Contourlet-SSIM视觉模型的IKONOS图像质量评价研究[J]. 武汉大学学报·信息科学版, 2014, 39(1): 12-16 http://ch.whu.edu.cn/article/id/2842

    Yan Li, Hu Xiaobin. Image Quality Assessment of IKONOS Images Based on Contourlet-SⅡM Model[J]. Geomatics and Information Science of Wuhan University, 2014, 39(1): 12-16 http://ch.whu.edu.cn/article/id/2842
    [11] 马旭东,闫利,曹纬,等. 一种新的利用梯度信息的图像质量评价模型[J]. 武汉大学学报·信息科学版, 2014, 39(12): 1412-1418 http://ch.whu.edu.cn/article/id/3133

    Ma Xudong, Yan Li, Cao Wei, et al. A New Image Quality Assessment Model Based on the Gradient Information[J]. Geomatics and Information Science of Wuhan University, 2014, 39(12): 1412-1418 http://ch.whu.edu.cn/article/id/3133
    [12] Redmon J, Divvala S, Girshick R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016
    [13] Redmon J, Farhadi A. Yolov3: An Incremental Improvement[J]. arXiv, 2018, DOI:  1804.02767
    [14] 巩丹超. 基于NⅡRS的高分辨率光学卫星影像质量评估技术[C]//第十八届十三省市光学学术会议,上海, 2010

    Gong Danchao. High Resolution Optical Satellite Image Quality Assessment Technology via NⅡRS[C]//The 18th Optical Conference of 13 Provinces and Cities, Shanghai, China, 2010
    [15] 袁媛. 基于深度卷积神经网络的图像质量评价方法研究[D]. 武汉: 武汉大学, 2017

    Yuan Yuan. Research on Image Quality Assessment Method via Deep Convolution Neural Network (D]. Wuhan: Wuhan University, 2017
    [16] 李真伟,崔国忠,郭从洲,等. 任意形状曲线刃边的点扩散函数估计方法[J]. 测绘学报, 2019, 48(3): 352-362 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201903011.htm

    Li Zhenwei, Cui Guozhong, Guo Congzhou, et al. An Algorithm for the Estimation of Point Spread Function Based on Curve Edge of Arbitrary Shape[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(3): 352-362 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201903011.htm
    [17] Li L, Pan J, Lai W S, et al. Learning a Discriminative Prior for Blind Image Deblurring[C]//IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018
    [18] Goodfellow I, Bengio Y, Courville A. Deep Learning[M]. Cambridge: The MIT Press, 2016
    [19] Lin M, Chen Q, Yan S. Network in Network[J]. arXiv, 2013, DOI:  1312.4400
    [20] Ciberlin J, Grbic R, Teslic N, et al. Object Detectection and Object Tracking in Front of the Vehicle Using Front View Camera[C]//Zooming Innovation in Consumer Technologies Conference, Novi Sad, Serbia, 2019
    [21] 赵文强,孙巍. 基于S4-YOLO的海上目标检测识别方法[J]. 光学与光电技术, 2020, 18(4): 38-46 https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD202004006.htm

    Zhao Wenqiang, Sun Wei. Detection and Recognition Method of Marine Target Based on S4-YOLO[J]. Optics & Optoelectronic Technology, 2020, 18(4): 38-46 https://www.cnki.com.cn/Article/CJFDTOTAL-GXGD202004006.htm
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(6)  / Tables(4)

Article Metrics

Article views(108) PDF downloads(30) Cited by()

Related
Proportional views

Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification

doi: 10.13203/j.whugis20200292
Funds:

The National Natural Science Foundation of China 41671409

Abstract:   Objectives  The application and development of remote sensing image requires higher and higher image quality. Different processing methods and parameters are often needed for different quality remote sensing images, which is not suitable for the intelligent demand. Through the classification of remote sensing image quality level, it can provide prior information for remote sensing image processing, evaluate the objective quality of remote sensing image, assessment the effect of sensor imaging. With the development and popularization of deep learning theory, it is possible to evaluate the quality of digital images by using deep convolution neural network.  Methods  We propose a classification model of quality classification for remote sensing images based on deep convolution neural network. It is established by improving the feature extraction network and classification design.After the quality classification pretreatment, the classical deep learning method is used to detect the target, and the detection accuracy is obviously improved, which can effectively solve the problem of unbalanced quality of the training set data.  Results  The experimental results show that this proposed method is better than the traditional method. The highest score value of accuracy, recall, precision and F1_score can reach 0.976, 0.972, 0.974 and 0.973 on the remote sensing image data set of Northwestern Polytechnic University.  Conclusions  The classification of remote sensing image quality by convolution neural network extends the application field of deep learning. It provides a new method for the quality evaluation of remote sensing image. The classical deep learning method is used to detect the target, and the detection accuracy is obviously improved though quality classification. It provides a way to solve the problem of imbalance in remote sensing image quality.

GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
Citation: GUO Congzhou, LI Ke, LI He, TONG Xiaochong, WANG Xiwen. Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
  • 遥感图像处理的方法大多基于同一个图像质量等级,比如遥感图像配准[1]、地标检测、目标识别[2]等,一般都是将不同数据来源、不同空间分辨率、不同光谱分辨率的数据区分开,分别采用不同的技术手段进行处理,甚至有些方法仅限于某类分辨率数据。很多图像复原方法都是在已知该图像是退化的前提下进行复原处理[3], 使用时需要针对不同质量等级图像设计不同的方法或者调整相应参数才能获取相应的处理效果,与全自动化的智能时代技术需求不相符。对遥感图像进行质量等级分类可以为遥感图像理解提供重要的先验信息,也可以为传感器成像能力检验、遥感图像质量评价提供科学依据。

    随着深度学习在数字图像处理领域的广泛应用,利用深度卷积神经网络(deep convolution neural network, DCNN)方法,对数字图像进行复原重建[4]、特征提取、目标检测[5]和语义分割[6]等处理已经成为学者研究的主流方向。基于DCNN的数字图像处理采用数据驱动的学习训练模式,处理精度和效果受训练集图像的质量和类别影响很大。由于成像环境的影响,遥感图像获取的图像数据集很难保证在同一个质量级别,这不仅会影响其他质量等级的遥感图像的处理效果,还会影响整体业务系统的处理效果。该类问题产生的根本原因是数据质量不平衡,也是深度学习算法关注的重要问题[7-8]。针对数据质量不平衡问题,现有的方法一般都是通过大量扩充图像数据集、增加训练时间和迭代次数进行处理,最终获取某一个处理效果的平均值,并不能提高整体效果。或者对遥感图像进行复原或超分辨重建,提升图像质量后再进行顶层处理,虽然有一定效果,但依然会受异质遥感图像数据量的影响[9]

    本文在现有遥感图像客观质量评价[10-11]和质量等级分类[12-13]的基础上,利用深度学习的分类机能,构建了一种用于遥感图像质量级别分类的深度卷积神经网络模型。该模型对遥感图像进行多个质量等级的分类,更加细致和准确。

  • 图像质量等级分类是一个复杂的科学问题。遥感图像的质量经常使用地面采样距离、调制传递函数、信噪比以及信息熵等描述,但只能描述遥感图像的部分特性,不能作为图像质量的根本指标。因此,美国建立了图像质量的间接评价标准——国家图像解译度分级标准进行自动评价[14-15]。由于研究人员很难获取遥感图像的地面采样距离等相关参数,计算相对边缘响应值也需要合适的刃边形状特征[16], 并且信噪比的计算方法也不唯一,因此利用图像解译度分级标准对遥感图像进行质量等级分类具有很大的局限性。利用深度学习的方法实现图像质量等级分类的研究成果相对较少,文献[17]从图像盲复原的角度出发,将近景图像分为清晰和模糊两种简单类型,由于缺少批次标准化(batch normalization, BN)层,使得网络的泛化能力大大降低;文献[15]从质量评价的角度出发,提出了一种多任务的质量等级预测DCNN方法,该方法以图像解译度分级标准作为主观质量标签,构建了质量等级分类和回归网络。但该方法的特征提取网络结构较深,计算效率太低,还容易出现过拟合现象,主观质量标签的计算存在不小误差和困难。

    遥感图像质量等级分类是对图像进行定性研究,属于典型的数学分类问题。基于监督学习的前馈卷积神经网络结构具备强大的分类功能[18], 非常适合使用该类网络结构进行质量等级分类。

  • 本文通过DCNN训练分类器,将遥感图像依据质量不同分为不同的等级。该分类网络以遥感图像为输入,输出一个表示该图像质量等级的标签值,因此整个网络是一个由大到小、由粗到细的框架。首先,对输入的样本图像进行零-均值(Zero-Score, Z-Score)标准化预处理,目的是将遥感图像中的像素值分布调整为近似正态分布,提升网络训练中的激活能力;其次,为了缓解过拟合问题和减少额外连接参数,在中间层加入了多个BN层,并将全局平均池化层替换为分类器中常用的完全连接层[19];然后,为了保持图像从大到小过程中的细节特征,采用了最大池化(MaxPooling)方式进行数据尺度压缩;最后,为了提高收敛速度,同时避免梯度消失,在卷积层(convolution, Conv)后加入线性修正单元即ReLU函数。具体结构如图 1所示,其中, BCRM表示BN层、Conv层、ReLU层与MaxPooling层, k表示BCRM的数量。

    Figure 1.  DCNN Architecture of Quality Classification

  • 利用损失函数估量模型的预测值与真实标签值的接近程度[20], 损失函数越小,模型的鲁棒性就越好。卷积神经网络需要选择合适的损失函数将卷积参数获取问题转换为优化问题。由于数据分类问题的标签具有概率的含义,所以常常针对“概率”选择合适的损失函数。最常见的损失函数是交叉熵函数,比方差损失函数权重更新快。假设x表示输入图像, λ表示待训练的网络参数,则DCNN质量分类网络可表示为关于预测x质量指标的概率函数:

    式中, Lm表示m个质量类;P表示概率。选取交叉熵函数作为损失函数来迭代优化网络参数,计算如下:

    式中, N表示每批次样本的数量;M表示质量类别等级总数量;am,n表示第n个样本质量类属于第m个标签质量类的概率;ym,n表示学习训练得到的第n个样本质量类属于第m个标签质量类的概率。如果只有两个质量分类等级,即M=2, 则:

  • 一段式质量等级分类使用一个固定深度的卷积神经网络,通过对大量数据反复训练,获取卷积核参数,最终得到一个固定分类等级数量的分类器,主干网络见图 1。一段式质量等级分类网络的最优分类等级值是预先设定好的,一旦超过预设的等级数值,就会出现收敛速度慢和分类精度低的现象。其优点是分类等级明确,训练目标明确。但分类的等级越多,分类的越细致,特征提取网络也越深,训练难度也越大。

  • 多段式等级分类利用较浅的卷积神经网络,通过调整标签,类似于金字塔的形状,从粗到细地逐层分类,可以实现固定网络深度,但不固定等级数量的质量分类。由于任何一个大于1的整数都可以看作小于它的正整数的某个线性组合,所以通过特征提取层较少的2级、3级和4级质量分类网络就可以分段实现任意等级的质量分类。利用2级、3级和4级质量分类网络进行11级等级质量分类,分类流程可用树状结构图表示(见图 2), 步骤如下:

    Figure 2.  Tree Structure Diagram-1 of Multi-Stage Image Quality Level Classification

    1)标签替换1, 将训练集数据根据质量标签分为两组,质量标签为1~5的数据,其标签全部替换为虚拟标签15(1+2+3+4+5=15), 也可以是其他数字,记为a1组;质量标签为6~11的数据,其标签全部替换为虚拟标签51(6+7+8+9+10+11=51), 记为a2组。

    2)等级分类1, 利用虚拟标签值和2级分类网络实现分类,存入两个文件夹中,分别记为C15级数据和C51级数据。

    3)标签替换2, 将质量等级为c15的数据利用原始标签分为两组,质量标签为1~3的数据,其标签全部替换为虚拟标签6, 记为b1组;质量标签为4~5的数据,其标签全部替换为虚拟标签9, 记为b2组;将质量等级为C51的数据利用原始标签也分为两组,质量标签为6~9的数据,记为b3组,其标签全部替换为虚拟标签30;质量标签为10~11的数据,其标签全部替换为虚拟标签21, 记为b4组。

    4)等级分类2, 利用虚拟标签值和2级分类网络将b1~b4组数据实现等级分类,分别存入4个文件夹,分别记为C6级、C9级、C30级和C21级数据。

    C6级数据只有3个质量类数据,真实标签值分别为1、2、3级,利用3分类网络实现分类;C9级和C21级只有2个质量类数据,利用真实标签值和2级分类网络实现分类;C30级数据有4个质量类数据,可以利用真实标签值和4级分类网络实现分类。

    也可以利用其他网络进行分类,比如利用2级、5级、6级分类网络进行分类,如图 3所示。该树状结构图有2-叉树、5-叉树和6-叉树,首先利用2级质量分类网络将遥感图像数据分为两个质量等级C15C51, 再利用5分类网络将C15分为5个质量等级,利用6分类网络将C51分为6个质量等级,最终实现11个质量等级分类。

    Figure 3.  Tree Structure Diagram-2 of Multi-Stage Image Quality Level Classification

    只使用2级质量分类网络进行分类的流程如图 4所示。该树状结构图只有2-叉树,首先利用2级质量分类网络将遥感图像数据分为2个质量等级C15C51, 再利用2级质量网络将C15C51分别分为质量等级C6C9和质量等级C30C21, 再依次利用2级质量网络分类处理,最终实现11个质量等级分类。

    Figure 4.  Tree Structure Diagram-3 of Multi-Stage Image Quality Level Classification

    多段式网络结构质量等级分类在训练过程中每一段网络的输入都是原始训练数据,只是利用简单的分类网络实现等级分类。测试过程需要利用卷积网络选择合适的网络结构路径实现分类,其优点是分类等级可以自由设定,网络结构固定,通过内循环的方式逐层实现分类,训练过程较为简单。

  • 本文参考美国图像解译度分级标准,分为10个质量等级进行实验。实验数据采用西北工业大学公开的用于目标检测的遥感图像集VHR-10, 该数据包含610幅遥感图像,标记为质量等级1级。

    对原始数据加入的9种不同尺度的高斯模糊和高斯噪声进行人工退化,分别标记为2~10级,共计5 490幅,人工退化参数如表 1所示。将6 100幅图像再裁剪成大小为256×256像素的图像,选取80%的数据作为训练集, 20%的数据作为测试集。

    质量等级标签 高斯模糊核参数 高斯噪声参数
    尺寸/像素 均方差 均值 方差
    1 3×3 1 0 0
    2 3×3 3 0 0.01
    3 7×7 5 0 0
    4 7×7 7 0 0.01
    5 9×9 7 0 0
    6 9×9 9 0 0.01
    7 11×11 9 0 0
    8 11×11 11 0 0.01
    9 13×13 11 0 0
    10 13×13 13 0 0.01

    Table 1.  Degradation Parameters of Simulation Data

  • 图 5展示了利用退化参数对其中质量等级为1的图像退化后,得到的9个质量等级的图像。不同质量等级的图像,特别是相邻等级的图像,利用人眼进行主观观察,很难区分出质量的优劣。

    Figure 5.  Remote Sensing Image Simulation Data of Different Quality Levels

    由于无法获取图 5所示遥感图像的成像参数,因此不能使用美国图像解译度分级的质量方程进行等级分类,所以本文采用图像信息熵作为标准,进行等级分类评价。分别从质量等级标签1、5、10的测试集中选取30幅图像,获取信息熵的值和曲线图,同样很难区分出其质量等级,如图 6所示。

    Figure 6.  Information Entropy of Some Images in Test Set

  • 根据图 1所示质量分类的DCNN体系结构的一段式质量等级分类方式,设置了3种网络模型:(1)普通型(简称N-型), 网络中间有3个BCRM层;(2)简单型(简称S-型), 相比N-型,网络中间只有1个BCRM层;(3)复杂型(简称C-型), 相比N-型,网络中间有5个BCRM层。针对多段式质量等级分类方式,全部采用2-叉树结构(见图 4), 各层均采用N-型的网络结构。设置输入遥感图像尺寸为256×256像素,迭代次数为200次,初始学习率设置为0.005, 每迭代50次,学习率衰减为原来的1/5。网络参数如表 2所示。

    网络层 大小/像素 步长 填充方式
    Conv1 3×3×1×64 2 1
    Conv2 3×3×64×64 2 1
    MaxPooling 2×2 2 0
    Conv3 3×3×64×64 2 1
    MaxPooling 2×2 2 0
    Conv4 3×3×64×64 2 1
    MaxPooling 2×2 2 0
    Conv5 3×3×64×64 2 1
    Conv6 3×3×64×10 2 1

    Table 2.  Network Parameters

  • 为了准确、全面地评价本文方法的泛化性能,采用目标检测常见的准确率(A)、召回率(R)、精确率(P)和F1 [21]等指标来评价遥感图像质量等级分类效果,计算如下:

    式中, TP(true positives)表示将正样本预测为正样本的数量值;TN(true negatives)表示将负样本预测为负样本的数量值;FP(false positives)表示将负样本预测为正样本的数量值;FN(false negatives)表示将正样本预测为负样本数量值。

  • 本文实验在Windows 10操作系统、Intel i7处理器、32 GB内存和英伟达2080 TI显卡平台上进行,使用应用Pytorch深度学习框架搭建网络。首先利用训练集数据进行网络训练,获取表 2中所需的卷积核中参数值,当误差稳定以后记录并存储该参数值;然后,将测试集数据随机分组输入质量等级分类网络,获取质量等级值,实验结果如表 3所示。

    性能指标 一段式 多段式(2分类N-型)
    S-型 N-型 C-型
    A 0.921 0.975 0.972 0.976
    R 0.921 0.976 0.974 0.972
    P 0.931 0.975 0.978 0.974
    F1 0.926 0.976 0.976 0.973
    训练时间/h 2.62 2.64 3.14 3.65
    单次测试时间/ms 6.14 6.11 6.11 7.13

    Table 3.  Classification Results of Remote Sensing Image Quality Level (Level 10)

    表 3中可以发现,一段式和多段式都能够很好地实现遥感图像质量10个等级分类。一段式质量等级分类方式设计的3种模式, N-型相对于S-型, ARPF1都有明显的提升, N-型相对于C-型,评估指标基本没有变化,这表明BCRM是对结果有影响的,说明对于10个质量等级分类采用N-型完全可以达到应用要求。对于多段式质量等级分类方式,同样达到了一段式分类的效果,并且不用估计BCRM的数量,每一个阶段都采用10个质量等级的N-型分类结构,完全可以保证每个阶段2个质量等级分类的精度,进一步减少误差累计,但存在训练时间和检测时间相对过长的现象,这与参数个数和中间计算的复杂度有着密切的关系。

  • 为了验证遥感图像质量分类在遥感图像目标检测中的价值,选用§2.1同样的数据集和成熟的Yolo-v3目标检测模型,利用平均精度均值(mean average precision, mAP)作为评价指标进行实验验证。训练集数据与测试集数据的数量比为4∶1, 测试集数据不在训练集中。由于相近质量等级对目标检测影响较小,实验中将1~4级、5~8级和9~10级的遥感图像归属同一质量类,最后的mAP值取这3类的不同数据目标检测mAP的平均值,结果如表 4所示。其中,质量分类前指的是直接将原始610张遥感图像数据进行训练和检测;质量分类后指的是按不同质量类分别进行训练和检测,即训练集与测试集属于同一个质量类。

    序号 训练数据等级 测试数据等级 质量分类前/% 质量分类后/%
    1 1 1 93.15
    2 5 5 93.13
    3 1 2 92.97
    4 1 5 91.87
    5 1 10 91.07
    6 5 1 91.67
    7 5 10 91.32
    8 1~10 1~10 91.75 93.14
    9 1~4 1~4 91.95 93.20
    10 5~8 1~4 91.65 93.21
    11 9~10 9~10 92.45 93.12

    Table 4.  mAP Value of Yolo-v3 Target Detection

    表 4可以发现,利用深度学习的方法进行目标检测,如果训练集数据与测试集数据不属于同一个质量等级(序号3~7), 相对于同一个质量等级(序号1~2)mAP值是下降的,二者的质量等级越接近(序号3), mAP也越接近同一质量类对应的值(序号1~2);二者的质量等级相差的越远, mAP也下降的越大(序号5)。经过质量等级分类后,各自训练参数和测试(序号8~11), mAP的整体平均值是非常接近于同一质量类数据的mAP值的(序号1~2)。

  • 本文利用深度学习的分类功能,提出了一种遥感图像的质量等级分类方法,该方法既能够实现固定级数分类,也能够实现不固定级数分类。遥感图像质量等级分类有助于对遥感图像的理解和应用进行预处理,提升业务应用的效果;有助于改进遥感图像有参考客观质量评价手段,对新型传感器获取数据进行更加科学有效的空间分辨率检验;还有助于改善深度学习训练数据质量不平衡问题,改进和释疑网络结构的功能。

Reference (21)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return