-
遥感影像具有覆盖范围广、数据采集时效性高等特点，能够及时有效地提供灾害地区的图像测绘资料，为各级政府、救援机构应急决策、灾害评估、救援部署等提供保障[1]。遥感制图在应急灾害响应中的研究应用已有很多[2-4]。
必须对遥感制图中存在的涉及国家安全的敏感地理目标进行脱密处理才可对外公开发布使用。传统处理方法是依靠人工或半自动方式寻找特定敏感目标, 并使用图像编辑工具截取目标周围背景纹理信息对目标进行覆盖填充，以达到隐藏目标的目的。在应急遥感制图场景下，该方法效率不高，健壮性不足，易受操作者水平影响，且隐藏效果不理想，制约了遥感影像地图产品的快速发布与使用，无法满足灾害应急处理的时效性需求。
随着深度学习模型和方法的发展，文献[5]提出的生成式对抗网络(generative adversarial networks, GAN)模型在图像生成领域取得了卓越的成就，表现出巨大的应用和发展前景[6]。GAN模型快速、自动化图像处理的特性十分契合应急制图高时效性的要求，为应急遥感制图工作中的脱密处理提供了新思路。
-
图像修复是指根据图像信息缺失区域周围的已知信息推断出缺失区域的信息内容并进行修复补全，使得图像信息完整的一项技术，其应用广泛，如破损照片修复、多余信息覆盖、目标隐藏等[7]。本质上，遥感影像敏感目标隐藏是图像修复处理的一种形式。传统方法主要分为两类：（1）基于偏微分方程的方法，如文献[8]提出的基于曲率驱动扩散(curvature-driven diffusions, CDD)模型的自适应曲率修复算法；（2）基于样本的方法，如文献[9]提出的图像匹配算法。
GAN模型是一种非监督模型，采用随机策略，能够通过训练不断学习和理解图像的抽象结构和高维语义信息。遥感影像具有背景复杂、尺度多样、信息量大的特性，直接使用GAN模型对大幅面遥感影像进行修复处理，计算资源开销巨大，会存在破坏正常影像信息的现象，产生大量无效的修复操作，导致部分敏感目标的遗漏，针对性不强、稳健性低，不适用于应急场景。
本文针对GAN难以训练和应用的问题，引入目标检测模型，将检测模型与GAN模型结合，提出了一种以目标检测模型和GAN模型为基础的遥感影像敏感目标自动检测与隐藏方法，构成遥感影像两阶段处理模型。其中，GAN模型只需生成检测模型提取的目标背景信息，在降低难度的同时提高自动修复效率。
-
两阶段模型的总体框架如图 1所示，由Mask R-CNN模型和Deepfill模型组成。其中，Mask R-CNN模型进行敏感目标检测，Deepfill模型对敏感目标进行脱密处理，两者结合达到降低计算开销、提高效率的目的。
图 1 两阶段模型总体框架
Figure 1. Framework of Two Stage Model
模型处理流程为：（1）输入原始影像和预先训练得到的目标权重参数，使用Mask R-CNN模型对影像进行快速地检索、筛选，检测判断是否存在敏感目标。（2）若不存在，直接用于后续生产；若存在，则对目标进行定位和分割处理，输出敏感目标的坐标及对应Mask。（3）使用Deepfill模型根据Mask直接处理标记区域并生成脱密后的影像，用于后续生产。
-
Mask R-CNN模型[10]是用于目标检测任务的深度卷积神经网络模型。它在Faster R-CNN模型[11]的基础上增加用于对每个感兴趣区域(region of interest, ROI)预测分割Mask的分支网络，能针对目标生成高质量的Mask。MaskR-CNN模型的网络结构如图 2所示，包括特征提取网络(residual network, ResNet)[12]、特征金字塔网络（feature pyramid network，FPN）[13]、区域建议网络（region proposal network，RPN）、感兴趣区域校准(ROI Align)和像素分割网络(fully convolutional network，FCN)[14]。ResNet中的C2、C3、C4、C5结构块分别构成4个特征图，表示目标不同层次的语义信息。FPN对不同层次的特征图进行加和运算，在获取高级语义信息的同时保留目标的空间信息, 生成新的特征图Pi，特征图组合公式为：
$$ \left\{ {\begin{array}{*{20}{l}} {{P_i} = {\rm{Sum}}\left( {{\rm{Upsample}}\left( {{P_{i + 1}}} \right), {\rm{Conv}}\left( {{C_i}} \right)} \right)}\\ {{P_6} = {\rm{MaxPooling}}\left( {{P_5}} \right)} \end{array}} \right. $$ (1) 式中，i=2, 3, 4；Upsample为上采样卷积操作；Conv为卷积操作；Sum表示矩阵对应位置的值进行相加；Max Pooling为最大池化操作。
图 2 Mask R-CNN模型结构
Figure 2. Mask R-CNN Model Structure
-
RPN网络以P2、P3、P4、P5、P6特征图作为输入，以滑动窗口的方式在每个位置生成5种不同尺度和3种不同长宽比的矩形候选区域，尺度大小为32、64、128、256、512，长宽比为0.5、1.0、2.0。
首先根据上述不同尺度和长宽比的组合生成候选区域，计算每个候选区域为前景或背景的置信度、坐标，按照置信度大小保留6 000个候选区域，然后采用非极大值抑制(non-maximum suppression, NMS）[15]的策略得到2 000个ROI区域。
-
Mask R-CNN模型中新增的分支网络以FCN网络计算Mask的像素值，阈值为0.5。其中ROI Align层对每个ROI生成14×14像素的特征图，并采用双线性差值法计算Mask边界。
-
基于GAN的修复方法存在被修复区域出现与周围区域不一致的扭曲结构或模糊纹理的问题。针对上述问题，文献[16]提出了一种新的基于深度生成式对抗网络模型的方法——Deepfill模型，既可以修复缺失区域的图像，又可以在网络训练过程中利用周围图像的特征作为参考，提取较远距离的图像内容信息，有效地解决修复区域边缘结构扭曲、纹理模糊的问题。
-
Deepfill模型的网络结构如图 3所示，分为粗略网络和细化网络两个阶段[17]。
图 3 Deepfill模型结构图
Figure 3. Structure of Deepfill Model
粗略网络阶段使用带有膨胀卷积的卷积神经网络对缺失区域进行不断学习、预测并更新卷积权重值，最终得到一个相对粗略的修复结果。其中使用的膨胀卷积能扩大卷积核的感受视野，使卷积核包含更大范围的信息。
细化网络阶段在粗略网络修复结果的基础上，采用了并行的两条卷积网络分支：一条使用与粗略网络中类似的膨胀卷积结构，在粗略网络阶段结果的基础上继续训练；另外一条分支是由内容感知层结构[16]组成的网络层，它在输入的原始影像中匹配与粗略网络中初步修复结果相似的区域作为候选进行多分类，找出与待修复区域最相似的区域，对此区域的图像内容进行反卷积得到修复区域，之后将两个分支的结果进行合并与上采样卷积操作得到最终修复图像。
整个Deepfill模型中包含全局和局部的WGAN-GPs[18]网络。全局判别器用于评价修复图像整体的一致性，区分图像是否经过修复；而局部判别器则专注于区分图像中修复区域与周围区域的一致性。
-
图像修复任务中，待修复区域存在多种不同但可接受的修复结果，只使用与原始图像的距离作为衡量训练损失值的唯一标准，可能会导致大量可行修复方案被剔除，使得整个网络的训练难以进行，“误导”网络优化的方向。
针对上述现象，Deepfill模型提出空间衰减重构损失机制，引入注意力机制[19]令待修复区域的权重随着卷积向待修复中心区域移动而减少，降低中心区域结果和原始图像差距过大时对损失值的影响，使得整个网络的训练更加容易和有效。
-
本文以遥感制图中的飞机目标处理为例，验证目标检测与隐藏两阶段处理模型的性能。
-
遥感影像包含丰富的空间特征、光谱特征、纹理信息以及多样的目标类别[20]。飞机目标特征主要集中在4个方面：（1）光谱特征，即颜色、灰度级的亮度比信息，飞机目标颜色与天然地物有所差异，可以作为一种识别的典型特征；（2）纹理特征，即目标的灰度在一定空间范围内呈现的有规律的重复变化；（3）形状特征，即飞机边界和区域的形状，包括尺度、长宽比等，表现为大部分目标像素范围小，同时受影像拍摄高度、侧视角等因素影响，尺度变换幅度大，也存在大范围目标的情况，是本文中识别与检测飞机目标的重要依据和关键因素；（4）上下文特征，即图像中各地物之间的空间位置关系，如本文的飞机目标一般位于机场[21]。
-
应急遥感制图中目标检测任务的难度较常规图像中目标检测任务的难度更高。根据飞机目标特征分析，检测模型应具备以下特性：（1）对于多场景、多信息高分辨率遥感影像中小飞机目标的高精确度提取能力；（2）对于少数像素范围比较高的大飞机目标的泛化、兼容提取能力。
本文以Mask R-CNN模型为基础，采取相应的优化策略提升模型对于飞机目标的检测精度和鲁棒性，以更好地满足任务需求。
-
Mask R-CNN模型损失函数定义为分类误差+检测误差+分割误差，表示为：
$$ L = {L_c} + {L_b} + \gamma {L_m} $$ (2) 式中，L表示模型总损失；Lc表示模型分类损失；Lb表示模型检测损失；Lm表示模型分割损失。Mask质量对隐藏区域范围和隐藏处理结果影响较大，因此本文引入参数γ提高Lm的比重，调整模型训练优化方向，提升Mask质量，γ为大于1的常数。
损失函数重构会增大模型训练开销，加大拟合难度。本文选取多组参数进行训练对比，根据总损失值与Mask损失值结果综合计算确定γ的取值。图 4展示了γ为1.0、1.2、1.4、1.6、1.8、2.0时模型训练的损失曲线。根据训练结果将γ设定为1.4。
图 4 不同γ参数训练的损失曲线
Figure 4. Loss Curves Trained with Different Gamma Parameters
-
RPN网络根据输入的长宽比和尺度参数生成不同的候选矩形框。本文结合遥感影像飞机的语义信息特点[22]，修改长宽比和尺度参数以符合飞机目标的形状特征，降低候选框的冗余程度，减少计算量，提高候选框命中率。
根据统计结果分析，常见型号飞机的长宽比处于0.9~1.25区间。由此，本文将候选框长宽比系数α设定为$\alpha \in \left\{ {0.8, {\rm{}}1.0, {\rm{}}1.25} \right\} $。由于遥感影像中飞机目标多为小目标，通过设定多种尺度后的检测结果对比，将尺度参数β设定为$\beta \in \left\{ {8, {\rm{}}32, {\rm{}}64, {\rm{}}128, {\rm{}}256} \right\} $。
-
受Mask R-CNN模型Mask输出质量及训练数据标注质量所限，原模型存在部分目标Mask不完全而无法完全覆盖目标区域的现象，增加了隐藏处理难度，导致目标隐藏处理效果不佳。本文在原模型的Mask输出层增加Mask优化算法，改进检测模型流程，如图 5所示。
图 5 增加Mask优化算法后的检测流程
Figure 5. Detection Process After Adding Mask Optimization Algorithm
优化算法的核心思想是图像形态学中的膨胀算法[23]，表示为：
$$ A \oplus B = \mathop {\mathop \cup \limits^{} }\limits_{b \in B} {\mkern 1mu} {A_b} $$ (3) 式中，A为原模型输出目标Mask；用A确定目标锚点，根据该目标像素值确定扩散系数和卷积核B。采用卷积核B对A进行卷积操作，使Mask沿目标轮廓向外膨胀，提高目标Mask输出质量和对目标的覆盖程度。
图 6是Mask优化对比示例，可以看出，优化后生成的Mask质量更好，对目标覆盖占比更高，对因遥感平台拍摄角度、高度等因素而使目标产生的阴影也具有良好的覆盖效果。
图 6 Mask对比图
Figure 6. Comparison of Mask Results
-
遥感影像目标隐藏处理是在待隐藏区域生成背景进行区域覆盖，背景区域内部结构和纹理具有高度相似性，而边缘部分与其他背景或目标区域存在明显的差异性。
隐藏处理任务更注重待隐藏区域生成的背景与周围的背景融合，使结构和纹理趋于一致。本文采用原模型的注意力机制策略，并根据隐藏处理需求修改矩阵M的计算策略：
$$ \left\{ {\begin{array}{*{20}{l}} {{M_i} = {\theta ^{l_i^2}}}\\ {{l_i} = \left| {{x_i} - {x_0}\left| + \right|{y_i} - {y_0}} \right|} \end{array}} \right. $$ (4) 式中，θ为不大于1的常数，本文设定为0.95；li是点(xi, yi)到已知像素点(x0, y0)的曼哈顿距离。增大边界部分的权重，弱化区域中心对模型训练的影响，提高待隐藏区域边界与周围场景的融合程度，让影像整体在视觉效果上显得更加合理、自然[24]。
-
实验数据来源于由武汉大学团队标注的遥感影像目标检测(remote sensing object detection，RSOD)数据集和大规模航空图像目标检测(a large-scale dataset for object detection in aerial images，DOTA)数据集[25]。
为提高模型的泛化性和稳健性，在数据集构建中，检测模型样本主要抽取自RSOD数据集，同时从DOTA数据集中随机抽取少量样本；隐藏模型样本主要抽取自DOTA数据集，并随机加入少量RSOD数据集样本。
检测模型训练数据预处理：（1）样本数据归一化为1 024×800像素，便于标注及训练；（2）使用Labelme软件对原始样本中的飞机目标重新标注，构建新的遥感影像飞机目标实例分割数据集；（3）数据集按0.8:0.2随机抽取划分为训练集train和验证集val。测试集单独从原始样本中随机抽取存放，不参与训练，仅用于评价训练结果模型的好坏。
本文共标注210张影像，并采用影像上下翻转、左右互换、旋转等数据扩增操作。样本总数为1 607张，训练集1 285张，验证集322张，图 7为目标检测样本示例。
图 7 目标检测样本示例
Figure 7. Examples of Target Detection
隐藏模型训练数据预处理：大幅面遥感影像样本中直接随机生成Mask的方式无法满足只对特定目标区域进行学习训练的要求。本文将数据集的飞机和机场样本裁剪为256×256像素，并筛选保留只包含机场和跑道背景区域的影像样本。
本文共采集9 502个样本，按照0.8:0.2的比例将训练集和验证集随机抽取划分，训练集7601张，验证集1 901张。
-
实验中使用的两个阶段模型的训练方式和损失函数计算均不相同，因此本文对两个模型分别开展训练和调优，最后将训练好的模型组合成两阶段模型，用于飞机目标自动检测与隐藏处理任务。
检测模型实验参数设置如下：学习率设定为0.000 1，批量规模为2，迭代50轮。得到相应的预训练模型后，从测试集中随机抽取46张遥感影像样本，验证模型检测性能。
智能隐藏模型实验参数设置如下：批量规模为8，每轮训练次数为2 000，最大迭代1 000 000次，每轮验证200次。粗略网络、精细网络中的损失参数权重都下调至0.5，Mask范围的最大宽、高参数设定为64像素。
-
评价检测模型性能的指标主要为精确率、召回率、漏检率和F1值。精确率表示检测模型判定为正例的目标数中真正正例数的比例，计算公式为：
$$ P = {\rm{}}\frac{{{N_{{\rm{TP}}}}}}{{{N_{{\rm{TP}}}} + {N_{{\rm{FP}}}}}} \times 100{\rm{\% }} $$ (5) 式中，NTP表示检测正确的正例数；NFP表示将背景误判为目标的数量。
召回率R表示测试集中的正例有多少被正确检测出，计算公式为：
$$ R = {\rm{}}\frac{{{N_{{\rm{TP}}}}}}{N} \times 100{\rm{\% }} $$ (6) 式中，N表示测试集中总的目标数。
漏检率M衡量模型对于目标的遗漏程度，计算公式为：
$$ M = \frac{{N - {N_{{\rm{TP}}}}}}{N} \times 100{\rm{\% }} $$ (7) 由于精确率和召回率往往存在矛盾的情况，因此引入F1值对精确率和召回率进行综合衡量，以评价模型性能的优劣：
$$ {F_1} = 2 \times \frac{{PR}}{{P + R}} \times 100{\rm{\% }} $$ (8) 隐藏模型的性能采用峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity, SSIM）两个指标评价。
峰值信噪比通过均方误差(mean square error, MSE)定义，对于给定大小为m×n的图像I和噪声图像K，均方误差的定义为：
$$ E\left( {I, K} \right) = {\rm{}}\frac{1}{{mn}}\mathop \sum \limits_{i = 0}^{m - 1} \mathop \sum \limits_{j = 0}^{n - 1} {\left[ {I\left( {i, j} \right) - K\left( {i, j} \right)} \right]^2} $$ (9) PSNR值的计算公式为：
$$ D\left( {I, K} \right) = 10{\rm{lg}}\frac{{X_I^2}}{E} $$ (10) 式中，$X_I^2 $表示图像可能的最大像素值。本文采用红绿蓝（red green blue, RGB）彩色图像，最终PSNR为分别计算R、G、B这3个通道结果取平均值得到。
结构相似性S通过亮度l、对比度c和结构s这3个方面衡量两张影像x和y的相似性，公式为：
$$ \left\{ {\begin{array}{*{20}{c}} {l\left( {x, y} \right) = \frac{{2{\mu _x}{\mu _y} + {c_1}}}{{\mu _x^2 + \mu _y^2 + {c_1}}}}\\ {c\left( {x, y} \right) = \frac{{2{\sigma _x}{\sigma _y} + {c_2}}}{{\sigma _x^2 + \sigma _y^2 + {c_2}}}}\\ {s\left( {x, y} \right) = \frac{{{\sigma _{xy}} + {c_3}}}{{{\sigma _x} + {\sigma _y} + {c_3}}}} \end{array}} \right. $$ (11) $$ S\left( {x, y} \right) = l{\left( {x, y} \right)^\rho }c{\left( {x, y} \right)^\omega }s{\left( {x, y} \right)^\tau } $$ (12) 式中，${\mu _x} $为x的均值；$ {\mu _y}$为y的均值；$ \sigma _x^2$为x的方差；$σ_y^2 $为y的方差；${\sigma _{xy}} $是x和y的协方差；${c_1} = {\left( {{k_1}A} \right)^2} $、${c_2} = {\left( {{k_2}A} \right)^2} $为常数, 其中A为影像像素值范围，$ {\rm{}}{k_1} = 0.01, {\rm{}}{k_2} = 0.03$；${c_3} = \frac{1}{2}{c_2} $。将ρ、$\omega $、$ \tau $均设为1，可得：
$$ S\left( {x, y} \right) = \frac{{\left( {2{\mu _x}{\mu _y} + {c_1}} \right)\left( {2{\sigma _{xy}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}} $$ (13) -
在测试集中随机抽取46张影像进行检测，结果如表 1所示。实际目标数475个，原Mask R-CNN模型共检出214个目标，其中正确数210个；本文模型检出411个目标，正确数389个。
表 1 检测结果
Table 1. Detection Results
统计指标 Mask R-CNN模型 本文模型 测试影像数量 46 46 实际目标数/个 475 475 检出数/个 214 411 正确检出数/个 210 389 漏检数/个 265 86 如图 8所示，原Mask R-CNN模型精度为98.13%，召回率为44.21%，漏检率为55.79%，F1值为60.96%，大量目标未检出。优化后，本文检测模型在精度仍达到94.65%的同时，召回率达到81.89%，较原Mask R-CNN模型提高85.23%；漏检率为18.11%，较原模型降低67.54%；F1值为87.81%，较原模型提高44.05%。
图 8 检测模型性能对比
Figure 8. Performance Comparison of Detection Model
以测试集中目标检测处理后的46张影像作为输入影像，对隐藏模型进行测试。PSNR和SSIM值如图 9所示，平均PSNR值为32.26，平均SSIM值为0.98。
图 9 PSNR和SSIM结果
Figure 9. PSNR and SSIM Results
-
图 10为目标检测与隐藏处理结果对比示例，包括3组不同影像，每组第1行是单独使用Mask R-CNN模型和Deepfill模型的处理结果，第2行是本文方法的处理结果；每组第1列为原影像，第2列为检测处理结果；第3列为隐藏处理结果。可以看出，本文的两阶段模型对遥感影像飞机目标有更佳的检测识别效果和召回率；隐藏处理能力更强大，对检出目标的背景修复效果更显著。
图 10 目标检测与隐藏处理模型结果对比
Figure 10. Comparison of Object Detection and Hiding Results
原Mask R-CNN模型明显存在因检测遗漏目标而导致最终隐藏处理失败，以及有些目标虽然成功检测出，但生成的Mask未完全覆盖目标区域而导致隐藏处理后仍存在飞机纹理结构的现象；而本文的两阶段模型输出高质量Mask，结合隐藏处理模型使得脱密效果更为显著，和周边场景融合效果更佳。
使用本文方法处理一张大小为1 GB、0.2m分辨率的1:10 000影像总耗时约15 min。根据生产单位作业情况显示，采用人工处理方法，不计算耗时更长的敏感目标筛选工作，仅隐藏处理就需30 min。本文方法处理时间较人工处理缩短50%以上，能较大地加快应急制图速度。
-
本文方法中，遥感影像中飞机目标的检测召回率和F1值明显提高，隐藏处理效果合理自然，节约了遥感制图工艺的整体时间，表明两阶段模型效果良好。理论上，该方法同样适用于应急遥感制图中其他单一类型敏感目标的自动检测与隐藏处理工作，未来可进一步拓展对多种敏感目标的检测与处理，加快灾害应急响应地图产品的生产和发布效率，进而提高防灾救灾能力。
Auto-detection and Hiding of Sensitive Targets in Emergency Mapping Based on Remote Sensing Data
-
摘要: 应急遥感制图在灾害响应中作用显著，能为灾害评估、救灾决策提供有力支撑。传统应急遥感制图流程中，人工检索敏感目标并使用图像编辑工具进行脱密处理的方式效率不高，与防灾救灾的高即时性要求相矛盾，无法实现快速发布与使用。将深度学习中的目标检测模型和生成式对抗网络模型相结合，构建遥感影像敏感目标检测与隐藏两阶段处理模型，并以遥感制图中飞机目标处理为例验证模型性能。针对飞机目标特点，采用损失函数重构、区域推荐网络候选框优化、Mask优化算法引入、注意力机制重构等改进方案。实验结果表明，该方法全流程处理时间较人工处理缩短50%以上，能快速、智能地进行遥感影像敏感目标检测与隐藏处理, 缩短应急制图周期。
-
关键词:
- 应急遥感制图 /
- 敏感目标检测 /
- 敏感目标隐藏 /
- Mask R-CNN模型 /
- Deepfill模型
Abstract:Objectives Emergency remote sensing mapping can provide support for decision-making in disaster assessment or disaster relief, and therefore plays an important role in disaster response.Traditional emergency remote sensing mapping methods use the decryption algorithms based on manual retrieval and image editing tools when processing sensitive targets. Although the traditional methods can achieve target recognition, they are inefficient and cannot meet the immediate requirements of disaster relief, which are unable to be released or applied in time. The main objective is to propose a method for auto-detecting and hiding of sensitive targets in emergency remote sensing mapping to accelerate the rapid production and release emergency remote sensing products. Methods Because of the huge size of remote sensing images, it is not realistic to directly hide sensitive targets. We propose a two-stage processing method automatic target detection and hiding of sensitive targets method, which consists of two neural network models: target detection model and generative adversarial network model. Firstly, Mask R-CNN, a well-known and effective target detection method, was used to detect sensitive targets from massive remote sensing data and generate target coordinates and Masks. Then, Deepfill model, one of GAN(generative adversarial networks) models, can ignore other normal areas and directly hide sensitive objects in the local area based on the coordinates and Masks information. The aircraft objects in the remote sensing image was used as an application example to verify the feasibility of our method, furthermore, we added the reconstruction of loss function, candidate frame optimization of region recommendation network, Mask optimization algorithm, and attention mechanism reconstruction based on the characteristics of the aircraft objects. Mask R-CNN model and Deepfill model have different training principles, so we trained and tuned them separately, and finally combine the trained models. We randomly extracted images from RSOD(remote sensing object detection) and DOTA(a large-scale dataset for object detection in aerial images) to form a new dataset. A total of 1 607 images were obtained for Mask R-CNN model training, and 9 502 images were used for Deepfill model training. All these samples are divided into training set and verification set according to the ratio of 0.8: 0.2. The performance of the Mask R-CNN model was evaluated by precision, recall rate, missing detect rate and F1-score; the performance evaluation indicators of the Deepfill model are PSNR(peak signal to noise ratio) and SSIM(structural similarity). Results 46 images were extracted separately from the original dataset to test the performance of the trained models. In the target detect stage, the accuracy of the benchmark model was 98.13%, the recall rate was 44.21%, the missed detection rate was 55.79%, and the F1-score was 60.96%. Many targets were not detected. For comparison, the accuracy of our method reaches 94.65%, the recall rate reaches 81.89%, which is 85.23% higher than the benchmark model; the missed detection rate reaches 18.11%, which is 67.54% lower than the benchmark model; the F1-score reaches 87.81%, which is 44.05% higher than the benchmark model. In the inpainting stage, the average PSNR in this method reaches 32.26, and the average SSIM value is 0.98. Conclusions In the proposed method, the recall rate and F1-score of aircraft targets in remote sensing images have been significantly improved, the inpainting processing effect is reasonable and natural, and the overall time of the emergency remote sensing mapping process is saved, indicating that the two-stage model works well. In the future, it can further expand the detection and processing of other sensitive targets, accelerate the production and release efficiency of disaster emergency response map products, and thus improve the ability of disaster prevention and relief. -
图 5 增加Mask优化算法后的检测流程
Figure 5. Detection Process After Adding Mask Optimization Algorithm
表 1 检测结果
Table 1. Detection Results
统计指标 Mask R-CNN模型 本文模型 测试影像数量 46 46 实际目标数/个 475 475 检出数/个 214 411 正确检出数/个 210 389 漏检数/个 265 86 
下载: 导出CSV
-
[1] 朱庆, 曹振宇, 林珲, 等.应急测绘保障体系若干关键问题研究[J].武汉大学学报·信息科学版, 2014, 39(5): 551-555 doi: 10.13203/j.whugis20130351 Zhu Qing, Cao Zhenyu, Lin Hui, et al.Key Technologies of Emergency Surveying and Mapping Service System[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5):551-555 doi: 10.13203/j.whugis20130351 [2] 杨克检, 李清泉, 方圣辉.遥感制图技术在洪涝灾害监测、评估、治理中的应用[J].地图, 1998(4): 22-23 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=QK199800041884 Yang Kejian, Li Qingquan, Fang Shenghui, et al.Based on Remote Sensing Drawing Monitoring, Evaluate and Father Flood[J]. Map, 1998(4):22-23 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=QK199800041884 [3] 范一大, 杨思全, 王磊, 等.汶川地震应急监测评估方法研究[J].遥感学报, 2008, 12(6): 858-864 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=ygxb200806006 Fan Yida, Yang Siquan, Wang Lei, et al. Study on Urgent Monitoring and Assessment in Wenchuan Earthquake[J]. Journal of Remote Sensing, 2008, 12(6):858-864 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=ygxb200806006 [4] 薛腾飞, 张景发.应用于地震应急的遥感自动制图实现[J].自然灾害学报, 2017, 26(3): 19-27 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zrzhxb201703003 Xue Tengfei, Zhang Jingfa. Implementation of Remote Sensing Automatic Mapping Used for Earthquake Emergency[J]. Journal of Natural Disasters, 2017, 26(3):19-27 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zrzhxb201703003 [5] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Nets[C].The Conference on Advances in Neural Information Processing Systems, Montreal, Canada, 2014 [6] 王坤峰, 苟超, 段艳杰, 等.生成式对抗网络GAN的研究进展与展望[J].自动化学报, 2017, 43(3): 321-332 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zdhxb201703001 Wang Kunfeng, Gou Chao, Duan Yanjie, et al.Generative Adversial Networks:The State of the Art and Beyond[J]. Acta Automatica Sinica, 2017, 43(3):321-332 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zdhxb201703001 [7] 陈路.遥感影像修补技术研究[D].郑州: 信息工程大学, 2011 Chen Lu. Research on Remote Sensing Image Inpainting Technology[D]. Zhengzhou: Information Engineering University, 2011 [8] 印勇, 李丁, 胡琳昀.采用CDD模型的自适应图像修复算法[J].重庆大学学报, 2013, 36(4): 80-86 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=cqdxxb201304013 Yin Yong, Li Ding, Hu Linyun. Adaptive Image Inpainting Algorithm Based on CDD Model[J]. Journal of Chongqing University, 2013, 36(4): 80-86 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=cqdxxb201304013 [9] Barnes C, Shechtman E, Finkelstein A, et al. Patch Match: A Randomized Correspondence Algorithm for Structural Image Editing[J].ACM Transactions on Graphics, 2009, 28(3):35-45 [10] Kaiming H, Georgia G, Piotr D, et al. Mask R-CNN[C]. IEEE International Conference on Computer Vision, Venice, Italy, 2017 [11] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1 137-1 149 doi: 10.1109/TPAMI.2016.2577031 [12] He K, Zhang X, Ren S, et al.Deep Residual Learning for Image Recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Venas, NV, USA, 2016 https://ieeexplore.ieee.org/document/7780459 [13] Lin T Y, Dollár P, Girshick R, et al. Feature Pyramid Networks for Object Detection[EB/OL].[2016-05-20].https://arxiv.org/abs/1605.06211v1 [14] Long J, Shelhamer E, Darrell T. Fully Convolutional Networks for Semantic Segmentation, 2014[EB/OL].[2014-11-14].https://arxiv.org/abs/1411.4038 [15] Neubeck A, van Gool L J. Efficient Non-Maximum Suppression[C]. The 18th International Conference on Pattern Recognition, Hong Kong, China, 2006 [16] Yu J, Lin Z, Yang J, et al. Generative Image Inpainting with Contextual Attention[EB/OL].[2018-03-28].https://arxiv.org/abs/1801.07892 [17] Lizuka S, Simo-Serra E, Ishikawa H. Globally and Locally Consistent Image Completion[EB/OL].[2017-03-31].https://arxiv.org/abs/1704.00028 [18] Gulrajani I, Ahmed F, Arjovsky M, et al. Improved Training of Wasserstein GANs[EB/OL].[2017-12-25].https://arxiv.org/abs/1704.00028 [19] Woo S, Park J, Lee J-Y, et al. CBAM: Convolutional Block Attention Module, 2018 [EB/OL]. [2018-07-17].https://arxiv.org/abs/1807.06521 [20] Zhu Xiaoxiang, Tuia Devis, Mou Lichao, et al. Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources [J]. IEEE Geoscience and Remote Sensing Magazine, 2017, 5(4): 8-36 doi: 10.1109/MGRS.2017.2762307 [21] 韩现伟.大幅面可见光遥感图像典型目标识别关键技术研究[D].哈尔滨: 哈尔滨工业大学, 2013 Han Xianwei. Study on Key Technology of Typical Targets Recognition from Large-field Optical Remote Sensing Images[D]. Harbin: Harbin Institute of Technology, 2013 [22] 郭智, 宋萍, 张义, 等.基于深度卷积神经网络的遥感图像飞机目标检测方法[J].电子与信息学报, 2018, 40(11): 2 684-2 690 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkxxk201811020 Guo Zhi, Song Ping, Zhang Yi, et al. Aircraft Detection Method Based on Deep Convolutional Neural Network for Remote Sensing Image[J]. Journal of Electronics and Information Technology, 2018, 40(11): 2 684-2 690 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dzkxxk201811020 [23] 吴喆, 曾接贤, 高琪琪.显著图和多特征结合的遥感图像飞机目标识别[J].中国图象图形学报, 2017, 22(4): 532-541 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgtxtxxb-a201704013 Wu Zhe, Zeng Jiexian, Gao Qiqi. Aircraft Target Recognition in Remote Sensing Images Based on Saliency Images and Multi-feature Combination[J]. Journal of Image and Graphics, 2017, 22(4):532-541 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgtxtxxb-a201704013 [24] 李彬彬.数字影像敏感目标脱密模型与算法研究[D].南京: 南京师范大学, 2015 Li Bingbing. Research on Decipherment Model and Algorithm of Sensitive Target for Digital Image[D]. Nanjing: Nanjing Normal Uinviersity, 2015 [25] Xia Guisong, Bai Xiang, Ding Jian, et al. DOTA: A Large-Scale Dataset for Object Detection in Aerial Images[EB/OL].[2017-11-20].https://arxiv.org/abs/1711.10398 -
点击查看大图
图(10) / 表(1)
计量
- 文章访问数: 720
- HTML全文浏览量: 166
- PDF下载量: 98
- 被引次数: 0
