留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用卷积神经网络进行“问题地图”智能检测

任加新 刘万增 李志林 李然 翟曦

任加新, 刘万增, 李志林, 李然, 翟曦. 利用卷积神经网络进行“问题地图”智能检测[J]. 武汉大学学报 ● 信息科学版, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
引用本文: 任加新, 刘万增, 李志林, 李然, 翟曦. 利用卷积神经网络进行“问题地图”智能检测[J]. 武汉大学学报 ● 信息科学版, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
REN Jiaxin, LIU Wanzeng, LI Zhilin, LI Ran, ZHAI Xi. Intelligent Detection of 'Problematic Map' Using Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
Citation: REN Jiaxin, LIU Wanzeng, LI Zhilin, LI Ran, ZHAI Xi. Intelligent Detection of "Problematic Map" Using Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259

利用卷积神经网络进行“问题地图”智能检测

doi: 10.13203/j.whugis20190259
基金项目: 

国家重点研发计划 2018YFC0807005

中国工程科技知识中心建设项目 CKCEST-2019-2-1

详细信息
    作者简介:

    任加新,硕士,研究方向为地理信息系统。jaycecd@foxmail.com

    通讯作者: 刘万增,博士,高级工程师。luwnzg@163.com
  • 中图分类号: P289

Intelligent Detection of "Problematic Map" Using Convolutional Neural Network

Funds: 

The National Key Research and Development Program of China 2018YFC0807005

China Knowledge Centre for Engineering Sciences and Technology Construction Project CKCEST-2019-2-1

More Information
    Author Bio:

    REN Jiaxin, master, specializes in geographic information system. E-mail: jaycecd@foxmail.com

    Corresponding author: LIU Wanzeng, PhD, senior engineer. E-mail: luwnzg@163.com
图(6) / 表(1)
计量
  • 文章访问数:  793
  • HTML全文浏览量:  223
  • PDF下载量:  128
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-12-26
  • 刊出日期:  2021-04-05

利用卷积神经网络进行“问题地图”智能检测

doi: 10.13203/j.whugis20190259
    基金项目:

    国家重点研发计划 2018YFC0807005

    中国工程科技知识中心建设项目 CKCEST-2019-2-1

    作者简介:

    任加新,硕士,研究方向为地理信息系统。jaycecd@foxmail.com

    通讯作者: 刘万增,博士,高级工程师。luwnzg@163.com
  • 中图分类号: P289

摘要: 针对当前中国“问题地图”审核依赖人工目视判别效率低下的问题,提出一种端到端的小样本场景下基于卷积神经网络的多尺度特征融合自适应“问题地图”检测方法。通过对数据集进行实时增强,克服了卷积神经网络需要大量训练样本的问题。通过融合多个不同尺度下的地图,实现了多尺度下的“问题地图”显著错误区域的智能检测。利用版图错误区域属性对区域建议网络进行优化,进一步提高检测的精度。并通过实验验证了所提方法的有效性。相较于现有的“问题地图”检测方法,所提方法的准确率提高8倍,为大规模“问题地图”检测提供了新方法。

English Abstract

任加新, 刘万增, 李志林, 李然, 翟曦. 利用卷积神经网络进行“问题地图”智能检测[J]. 武汉大学学报 ● 信息科学版, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
引用本文: 任加新, 刘万增, 李志林, 李然, 翟曦. 利用卷积神经网络进行“问题地图”智能检测[J]. 武汉大学学报 ● 信息科学版, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
REN Jiaxin, LIU Wanzeng, LI Zhilin, LI Ran, ZHAI Xi. Intelligent Detection of 'Problematic Map' Using Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
Citation: REN Jiaxin, LIU Wanzeng, LI Zhilin, LI Ran, ZHAI Xi. Intelligent Detection of "Problematic Map" Using Convolutional Neural Network[J]. Geomatics and Information Science of Wuhan University, 2021, 46(4): 570-577. doi: 10.13203/j.whugis20190259
  • “问题地图”主要指存在危害国家统一、主权和领土完整,或危害国家安全和利益等情况,以及其他不符合地图管理相关规定的公开地图和地图产品[1]。“问题地图”的快速检测和确认是自然资源部门实施地图监管、有效消除“问题地图”、维护国家主权和安全的重要手段。针对“问题地图”检测,文献[2]通过建立“问题地图”样本库,利用以图搜图引擎挖掘互联网“问题地图”,但识别“问题地图”的准确率只有10%左右。目前,中国“问题地图”审核主要依靠人工进行目视解译,专业性强、检测速度慢、劳动强度大。国家日常监管及多部门联合“问题地图”排查行动中,都会有海量的地图需要检查和甄别,现有以“人海战术”为主的技术手段远远不能满足需求,亟须研究解决智能化、高效率、高精度的“问题地图”识别技术。近年来,卷积神经网络(convolutional neural network,CNN)如AlexNet[3]、GoogLeNet[4]、ResNet[5]、DenseNet[6]、SENet[7]等在图像分类、目标检测、行为识别等传统计算机领域取得了丰富成果[8-12],在测绘领域也有广泛应用[13-16]。为便于研究,本文将“问题地图”限定为危害国家统一、主权和领土完整的现时版栅格电子中国地图,主要包括5个区域的画法错误:阿克赛钦地区、藏南地区、南海诸岛、钓鱼岛及赤尾屿、台湾省。

    • 卷积神经网络包含卷积计算且具有一定深度,原始图像在网络中的尺寸会随着网络的深度增加而不断变化,不同深度的网络层在不同尺度对原始图像进行特征提取,进而得到原始图像在不同尺度下的特征图,即得到了同一地图在不同尺度下的表达。这与地图的多尺度性高度匹配,可以利用卷积神经网络这一特性对“问题地图”进行精准识别。然而卷积神经网络一般都需要大量的训练样本,才能得到较高的识别精度。随着国家对“问题地图”整治力度不断加大,“问题地图”数量日趋减少,且呈现分散化、隐形化的趋势,很难获得足够数量的“问题地图”训练样本。另外,如何对“问题地图”的问题区域进行精确定位,也是实现“问题地图”智能检测必须解决的问题。基于以上难点和不足,本文在训练样本匮乏的情况下,提出一种小样本条件下的“问题地图”高效检测方法,该方法将卷积神经网络形成的图像多尺度表达特征与地图多尺度特点相结合,在传统卷积神经网络特征图的基础上,对不同尺度下的特征图进行融合,实现多个不同尺度下的“问题地图”识别。采用对训练样本进行实时数据增强的方法扩充数据,解决样本数据不足的问题;在基础网络之上融入特征金字塔网络[17],将多尺度特征图融合,解决不同尺度下的“问题地图”检测问题;针对不同区域,采用顾及区域尺寸属性的定制锚点改进区域建议网络,实现问题区域的高精度标识。总体技术思路如图 1所示。

      图  1  “问题地图”智能检测思路

      Figure 1.  Intelligent Detection Method of "Problematic Map"

    • 由于“问题地图”错误类型繁多,必须获得足够的训练样本,才能有效提高识别精度,在无法获得足够数量的“问题地图”训练样本的情况下,利用“问题地图”的补集,即正确地图作为训练样本,如果识别结果不是正确地图,则判断为“问题地图”。在不同尺度地图上,版图的正确画法仅存在有限的几种情况,因此只需选择一定数量不同尺度的正确地图进行训练即可,大大减少对训练样本数量的需求。

      样本为收集到的1 032张中国地图图片,颜色包括单色图和彩色图,图型包括普通图和专题图,形式包括线划图、晕渲图、影像图等,比例尺从1∶1 600万到1∶1亿,地图尺寸从500×300像素到12 650×8 823像素。首先,选择107张绘制正确的中国地图作为训练集,上述地图从自然资源部标准地图服务系统(http://bzdt.ch.mnr.gov.cn/)下载,经过国家审图机构审核并出具审图号;然后,聘请专业的地图审图技术人员,从余下的925张地图中挑选出120张作为测试集,其中包括70张已标记出错误区域的“问题地图”和50张不具有审图号但绘制正确的中国地图;最后,将剩余的805张“问题地图”标记出具体错误区域,作为辅助测试集,进一步验证方法的准确性。

    • “问题地图”的错误区域主要有5个:阿克赛钦、藏南、南海诸岛、钓鱼岛及赤尾屿、台湾省,其中台湾省判断相对简单,只需判断其与大陆省份的设色一致性,因此本文只对其余4个区域分别设置矩形框进行检测,如图 2所示。值得注意的是,在横版和竖版中国地图上,南海诸岛采用2种不同标注方式,对应的检测矩形框也有2种。

      图  2  训练集示例

      Figure 2.  Examples of Training Set

      采用同一投影的中国地图,在不同尺度上,4个矩形区域宽高不同,但宽高比为常数,不随尺度的变化而变化。故对上述训练集和测试集,根据4个检测区域的宽高比例确定矩形框大小,并进行标记,计算式为:

      $$ R = \left[ {r, l, \left( {{y_1}, {x_1}, {y_2}, {x_2}} \right)} \right] $$ (1)

      式中,R为标记用的矩形框;r为该矩形框的宽高比;l为矩形框所属类别;(y1, x1, y2, x2)为矩形框在电子地图上的坐标,且(y1, x1)为左上角坐标,(y2, x2)为右下角坐标。

    • 碍于训练样本的匮乏,若直接将上述训练集中的107个样本使用卷积神经网络进行训练,模型会产生过拟合问题。因此,必须对数据进行增强。目前,传统的数据增强方式是对图像进行简单的复制或对图像进行单一的图像变换,不能有效地提高样本的多样性和有效性,依然会导致模型过拟合。据此,以传统的数据增强方法为出发点,提出一种顾及原始数据特性的实时数据增强方法,通过对原始样本做随机且轻微可控的图像变形操作(如图像通道变换、椒盐噪声、镜像翻转等),随机选取多种不同的操作应用在任意一张图片,并根据训练次数动态调整变形方法的数量。计算式为:

      $$ C = \left\lfloor {k \times \frac{n}{E}} \right\rfloor $$ (2)

      式中,C为变换种类的数量;$ \left\lfloor {\;} \right\rfloor $表示向下取整;k表示至多有k种变换方法;n表示当前轮次;E表示总的轮次数。

      该方法使得样本数量快速增加,提高了样本的数量和多样性。经过该数据增强方法处理后的样本在保留了原始信息(限定至多有k种变换方法,不会影响图像信息的主要表达)的同时,又添加了额外的图像信息,使得模型能够抓住图像的本质信息,减少图像噪声的干扰,显著提高模型的泛化能力。由于该方法在内存中实时进行,能够在模型训练时随取随用,无须保存到物理硬盘,减少了存储设备的空间消耗以及读取数据的时间消耗。

    • 目前主流的目标检测方法大多基于卷积神经网络。按照不同的检测过程,目标检测方法可以分为单阶段检测方法和双阶段检测方法。由于双阶段检测方法比单阶段检测方法多了候选区域生成这一过程,在速度上会逊色于单阶段检测方法,在精度上则优于单阶段检测方法。考虑到“问题地图”更加注重检测精度,可对检测效率适当放宽,本文选择检测精度更高而速度稍慢的双阶段方法,采用更快速区域卷积神经网络(faster region-based convolutional network,Faster R-CNN)[18]作为基础网络进行检测。

      Faster R-CNN的网络架构如图 3所示,该模型分为3个部分:

      图  3  Faster R-CNN架构

      Figure 3.  Architecture of Faster R-CNN

      1)图像输入到骨干网络中,利用卷积神经网络提取图像特征;

      2)将上一步提取到的图像特征送入区域建议网络(region proposal network,RPN),获得可能存在检测目标的一系列感兴趣区(region of interest,ROI),将其分为前景和背景,利用Softmax Loss函数和Smooth L1 Loss函数对分类概率和边框位置联合训练,计算式为:

      $$ \begin{array}{c} L\left( {\left\{ {{p_i}} \right\}, \left\{ {{t_i}} \right\}} \right) = \frac{1}{{{N_{{\rm{cls}}}}}}\mathop \sum \limits_i {L_{{\rm{cls}}}}\left( {{p_i}, p_i^*} \right) + \\ \lambda \frac{1}{{{N_{{\rm{reg}}}}}}\mathop \sum \limits_i p_i^*{L_{{\rm{reg}}}}\left( {{t_i}, t_i^*} \right) \end{array} $$ (3)

      式中,i是anchor的索引;pi是该anchor被预测为一个目标的概率;pi*是标记样本中的正样本且pi*=1;ti为区域建议网络预测该anchor的位置;ti*为正样本的真实位置;λ为平衡参数,用于平衡分类和位置回归损失;$ {L_{{\rm{cls}}}}\left( {{p_i}, p_i^*} \right) $为前景/背景的分类损失;$ {L_{{\rm{reg}}}}\left( {{t_i}, t_i^*} \right) $为边框位置损失。上述两种损失的计算式为:

      $$ {L_{{\rm{cls}}}}\left( {{p_i}, p_i^*} \right) = - {\rm{log}}\left[ {{p_i}p_i^* + \left( {1 - {p_i}} \right)\left( {1 - p_i^*} \right)} \right] $$ (4)
      $$ \begin{array}{l} {L_{{\rm{reg}}}}\left( {{t_i}, t_i^*} \right) = {\rm{Smoot}}{{\rm{h}}_{{L_1}}}\left( {{t_i} - t_i^*} \right) = \\ \;\;\;\;\;\;\;\left\{ \begin{array}{l} 0.5{\left( {{t_i} - t_i^*} \right)^2}, \left| {{t_i} - t_i^*} \right| < 1\\ \left| {{t_i} - t_i^*} \right| - 0.5, 其他 \end{array} \right. \end{array} $$ (5)

      3)将感兴趣区和图像特征一起输入到快速区域卷积神经网络(fast region-based convolutional network,Fast R-CNN)[19]中,对其进行分类和位置回归,同时对感兴趣区的位置进行微调精化,将感兴趣区分为5类:背景、阿克赛钦、藏南、钓鱼岛、南海诸岛。

    • 卷积神经网络的一个重要特点就是特征分层,特征之间是底层到高层逐渐递进的关系,不同层级之间的特征图是对原始输入图像不同尺度的表达。低层特征的语义信息比较少,但是目标位置准确;高层特征的语义信息比较丰富,但目标位置比较粗略。特征图的尺寸会随着网络层数的加深而变小,进而导致地图中的物体出现形态上的差异。如钓鱼岛、赤尾屿这一类小目标在小尺度地图上是一个图块,在大尺度地图上却退化为一个像素点。这就要求网络能够容忍因不同尺度带来的形变,能够在多个尺度下对“问题地图”进行识别。

      为实现多尺度下不同分辨率的“问题地图”识别,本文在基础网络上引入特征金字塔网络用于改善多尺度场景下的检测效果。特征金字塔网络通过融合不同层级之间的特征图,同时顾及低层特征的位置信息以及高层特征的语义信息,在不同尺度下进行预测,进而对不同尺度的“问题地图”进行识别,具体原理如图 4所示。

      图  4  特征金字塔网络

      Figure 4.  Feature Pyramid Network

      本文的特征金字塔网络方法分为5部分:

      1)通过自底向上的路径产生一系列相差2倍尺度的特征图;

      2)通过自上而下的路径将深层的有更强语义信息的特征图经过2倍上采样变成高分辨率的特征图,使具有丰富语义信息的深层特征图与具有高分辨率的浅层特征图拥有相同的空间分辨率;

      3)将自底向上的路径得到的具有高分辨率的浅层特征图经过尺寸为1×1的卷积核进行卷积,使具有高分辨率的浅层特征图与具有丰富语义信息的深层特征图拥有相同的通道数;

      4)通过横向连接将上述两者进行逐元素相加;

      5)每张特征图分别使用尺寸为3×3的卷积核进行卷积,以此消除因采样过程中带来的混叠效应,并在最终得到的特征图上分别进行预测。

    • 为进一步加强生成的anchor与实际检测目标之间的匹配度,进一步提高目标检测算法的检测精度,对基础网络中的区域建议网络进行改进,提出一种顾及版图错误区域属性的定制anchor方法。具体流程如下:

      1)在数据集中,统计得出何种比例尺(本文中为1∶3 200万)的中国地图数量最多;

      2)在上述比例尺的中国地图上,由专人精确标定检测区域的大小;

      3)由上述确定的区域大小,计算出检测区域的宽高比;

      4)对区域建议网络进行修改,将通用的宽高比修改为步骤3)得到的宽高比。

      在经过上述步骤后,可以得到与“问题地图”更为匹配的anchor宽高比例如下:

      $$ \left\{ {\begin{array}{*{20}{l}} {{\rm{阿克赛钦地区宽高比 }}:1 \sim 3.61}\\ {{\rm{藏南地区宽高比 }}:3.62 \sim 1}\\ {{\rm{钓鱼岛地区宽高比 }}:2.80 \sim 1}\\ {{\rm{钓鱼岛地区宽高比 }}:1 \sim 1.28}\\ {{\rm{南海诸岛(框)宽高比 }}:1 \sim 1.53} \end{array}} \right. $$

      需要指出的是,不同地图投影方式会导致投影形变,如果要完美地标定目标区域,需要不同宽高比的anchor。本文的训练样本使用目前较常见的中国地图投影方式,覆盖大多数检测场景;且卷积神经网络具有一定的泛化能力,能够消除部分投影形变带来的影响。因此,上述固定anchor宽高比的定制anchor方法对投影形变具有较强的鲁棒性,能够满足“问题地图”检测的需要。

    • 实验数据集分为训练集和测试集两部分,训练集为107张具备审图号的正确地图,测试集为120张经过专业人员鉴定并标注的地图,其中包含70张“问题地图”和50张正确地图。利用训练集作为训练样本进行模型训练,并使用训练得到的模型对测试集进行测试。通过对比不同算法应用在测试集上的表现,验证本文方法的有效性。

      不同算法之间的性能对比如表 1所示,表中7个指标分别为mAP@[0.5,0.95]、mAP@0.5、精确度、召回率、虚警率、漏警率和准确率。平均准确率均值(mean average precision,mAP)描述了模型对所有目标的检测能力,mAP@[0.5,0.95]是指交并比(intersection over union,IOU)阈值为0.5~0.95的平均准确率均值,mAP@0.5为平均准确率均值在交并比阈值为0.5时的取值。精确度表示被预测为正确地图的样本中正确地图所占的比例,其值为1表示实验数据集被预测为正确地图的样本,其真实情况也是正确地图;召回率表示中国地图被正确预测的比例;虚警率表示中国地图被错误预测为“问题地图”的比例;漏警率表示被预测为正确地图的样本中“问题地图”所占的比例,其值为0意味着实验数据集中的“问题地图”全部被正确检出;准确率描述了在所有样本中被正确预测为中国地图以及被正确预测为“问题地图”的比例。

      表 1  不同方法性能对比

      Table 1.  Performance Comparison of Different Methods

      方法 mAP@[0.5, 0, 95] mAP@0.5 精确度 召回率 虚警率 漏警率 准确率
      文献[3]方法 - - - - - - 0.100 0
      Faster R-CNN 0.443 4 0.785 5 1.000 0 0.196 1 0.803 9 0.000 0 0.658 3
      本文方法 0.545 2 0.873 9 1.000 0 0.666 7 0.333 3 0.000 0 0.858 3

      表 1可以得知,本文方法的性能远高于文献[3]算法,准确率提高超过8倍。特别是在精确度和漏警率2个指标中,本文方法表现极佳。与Faster R-CNN算法相比,本文方法在其基础上进行了改进,性能也远优于原方法;在表 1的7个指标中,每个指标均优于或等于基础方法。mAP@[0.5,0.95]、召回率、虚警率、准确率等4个性能指标均提升超过10%,特别是召回率提高近50%,证明了本文算法的有效性。

      图 5为每一类别区域的平均准确率(average precision,AP)及精确度-召回率(precision-recall,PR)曲线。AP表示本文方法对阿克赛钦、藏南、钓鱼岛、南海诸岛4个区域的检测能力,AP值越大,代表模型检测准确率越高;PR曲线直观地显示出模型在样本总体上的精确率、召回率,描述了不同模型的性能优劣,即图中绿色区域的比例越大,表示检测效果越好。从图 5可以看出,本文模型可以很好地检测“问题地图”的相关区域,并对不同尺寸的目标都能够有效的检测。区域面积较大的区域(如阿克赛钦、藏南)一般拥有较高的平均准确率,随着检测区域面积的减小(如钓鱼岛),检测精度也随之降低。

      图  5  每一类别的平均准确率及精确度-召回率曲线

      Figure 5.  Average Precision and Precision-Recall Curve for Each Category

      不同交并比对应的平均准确率均值如图 6所示。图 6说明了本文模型的鲁棒性较强,在不同的IOU情况下,模型依然有优异的表现,不会因为IOU的变化而急速降低。

      图  6  不同交并比对应的平均准确率均值

      Figure 6.  The mAP Corresponding to Different IOUs

    • 本文针对“问题地图”智能检测难题,提出了一种端对端的小样本场景下基于卷积神经网络的多尺度特征融合自适应“问题地图”检测方法。该方法基于Faster R-CNN网络架构,通过将多尺度下的特征图进行融合,实现自适应尺度选择,能够对不同尺度下的“问题地图”进行有效检测。实验表明,本文方法的性能相对于当前已有的“问题地图”检测方法,准确率提高超过8倍。基于本文方法的“问题地图”智能检测系统,已部署于中国工程科技知识中心地理信息专业知识服务系统(http://kmap.ckcest.cn/mapcheck/fastCheck),实现了“问题地图”在线智能检测。同时,本文方法具有良好的迁移性,可以推广应用到其他类型的“问题地图”检测,比如其他不标准的国界线画法的检测,省与省界线错误画法的检测等。此外,本文方法的网络结构适合并行处理,可以通过集群进行并行计算,进一步缩短网络的训练和预测时间。

参考文献 (19)

目录

    /

    返回文章
    返回