留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于P-N学习的高分遥感影像道路半自动提取方法

陈光 眭海刚 涂继辉 宋志娜

陈光, 眭海刚, 涂继辉, 宋志娜. 基于P-N学习的高分遥感影像道路半自动提取方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
引用本文: 陈光, 眭海刚, 涂继辉, 宋志娜. 基于P-N学习的高分遥感影像道路半自动提取方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
CHEN Guang, SUI Haigang, TU Jihui, SONG Zhina. Semi-automatic Road Extraction Method from High Resolution Remote Sensing Images Based on P-N Learning[J]. Geomatics and Information Science of Wuhan University, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
Citation: CHEN Guang, SUI Haigang, TU Jihui, SONG Zhina. Semi-automatic Road Extraction Method from High Resolution Remote Sensing Images Based on P-N Learning[J]. Geomatics and Information Science of Wuhan University, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999

基于P-N学习的高分遥感影像道路半自动提取方法

doi: 10.13203/j.whugis20140999
基金项目: 

国家973计划 2012CB719906

详细信息
    作者简介:

    陈光, 博士, 主要从事遥感影像处理与信息提取研究。teddycg@qq.com

    通讯作者: 眭海刚, 博士, 教授。haigang_sui@263.net
  • 中图分类号: P237

Semi-automatic Road Extraction Method from High Resolution Remote Sensing Images Based on P-N Learning

Funds: 

The National Key Basic Research Program of China 2012CB719906

More Information
    Author Bio:

    CHEN Guang, PhD, specializes in remote sensing image processing and information extraction. E-mail:teddycg@qq.com

    Corresponding author: SUI Haigang, PhD, professor. E-mail:haigang_sui@263.net
图(6) / 表(1)
计量
  • 文章访问数:  1113
  • HTML全文浏览量:  70
  • PDF下载量:  390
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-07-26
  • 刊出日期:  2017-06-05

基于P-N学习的高分遥感影像道路半自动提取方法

doi: 10.13203/j.whugis20140999
    基金项目:

    国家973计划 2012CB719906

    作者简介:

    陈光, 博士, 主要从事遥感影像处理与信息提取研究。teddycg@qq.com

    通讯作者: 眭海刚, 博士, 教授。haigang_sui@263.net
  • 中图分类号: P237

摘要: 基于模板匹配的道路跟踪是半自动提取道路的主要方法。然而场景中地物干扰和道路宽度的变化降低了模板匹配的稳定性;另外,道路跟踪失败后缺乏重检测机制,使得道路提取过程中人机交互频繁。针对以上问题,提出了一种基于P-N(positive-negative)学习的高分遥感影像道路半自动提取方法。该方法由道路跟踪、检测和学习构成,关键是采用了P-N学习的策略迭代的训练分类器,通过纠正违反结构约束的样本分类结果来提高分类器性能。实验使用了不同场景下的城区高分遥感影像,与经典的模板匹配和在线学习的道路跟踪方法进行了比较。实验结果表明该方法在道路提取的精度和稳定性方面均有提升。

English Abstract

陈光, 眭海刚, 涂继辉, 宋志娜. 基于P-N学习的高分遥感影像道路半自动提取方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
引用本文: 陈光, 眭海刚, 涂继辉, 宋志娜. 基于P-N学习的高分遥感影像道路半自动提取方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
CHEN Guang, SUI Haigang, TU Jihui, SONG Zhina. Semi-automatic Road Extraction Method from High Resolution Remote Sensing Images Based on P-N Learning[J]. Geomatics and Information Science of Wuhan University, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
Citation: CHEN Guang, SUI Haigang, TU Jihui, SONG Zhina. Semi-automatic Road Extraction Method from High Resolution Remote Sensing Images Based on P-N Learning[J]. Geomatics and Information Science of Wuhan University, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
  • 高分辨率遥感影像道路提取是遥感应用的重点和难点。半自动提取道路方法既充分利用了人的认知、识别、检测能力,又发挥了计算机的量算能力,被认为是当前实用的选择[1]

    根据种子点输入方式的差异,半自动道路提取方法可分为基于整体特征的拟合优化方法[2, 3]和基于局部特征的匹配跟踪方法[4, 5]。前者适用于具有显著边缘梯度特征的路段提取。后者基于道路初始位置和方向来检测局部道路模板特征,并通过迭代的模板预测和匹配来提取路段。此类方法的关键是局部路段特征提取和最优候选路段检测;针对不同道路的特点,已提出的路段特征包括剖面特征[6]、矩形模板[4]、T型模板[1]、圆投影模板[7]等;在最优路段检测方面,常用方法包括灰度差统计特征[4]、特征向量欧氏距离[7]和基于BSnake[8]的方法。基于单类SVM(support vector machine)在线学习[9]的道路跟踪方法则利用动态更新的分类器来检测路段。总结发现已有道路提取方法存在以下问题:① 道路模板固定,无法随道路宽度变化而自适应调整;② 未充分利用路段特征,道路跟踪时仅考虑相邻路段之间的模板匹配;③ 阴影和地物遮挡造成跟踪中断后,没有自动重检测机制,需要频繁的人机交互。

    为提高道路跟踪算法的自适应性和稳定性,本文提出一种基于P-N(positive-negative)学习的高分光学影像道路中线半自动提取方法。该方法由道路跟踪、检测和学习组成。道路跟踪是基于相邻路段的几何和辐射相似性预测和匹配下一路段;检测则是由跟踪历史路段特征训练得到的分类器,在待检测区域确定道路位置;学习过程是利用样本结构特征构建正约束和负约束,并校正检测错误的样本,通过迭代训练分类器以提升检测性能。该处理流程如图 1所示。

    图  1  本文方法的处理流程

    Figure 1.  Flowchart of the Proposed Method

    • 高分影像中的场景地物干扰会导致模板匹配的稳定性下降;道路宽度变化使得跟踪结果无法准确定位道路中线;另外,建筑物或阴影遮挡造成的道路特征缺失导致跟踪中断。为提高道路跟踪的稳定性,首先要剔除影像中路面干扰地物;然后自适应检测道路模板,最后根据相邻路段模板的相关性匹配下一道路段的中点。

    • 形态学滤波是利用预先定义的结构元素对图像进行匹配,从而实现保持特定结构的同时抑制噪声的目的。传统的形态学滤波器采用单一结构元素,在滤除干扰地物的同时,也造成道路内部和边缘结构特征的丢失。道路通常沿着不同方向延伸,而路面的干扰地物则具有各向同性,本文提出多方向形态学滤波方法。

      首先,按照特定角度间隔定义一系列线状结构元素,基于这些结构元素分别对影像进行形态学开闭重构运算。开重构运算用于滤除相对于背景较亮的小尺寸(长度小于结构元素)对象,而闭重构则用于滤除较暗的对象,对应的算子分别如式(1) 和式(2) 所示。

      $$ \gamma _f^{re}\left( {d,s} \right) = {R_f}\left( {f\mathit{\Theta }B\left( {d,s} \right)} \right) $$ (1)
      $$ \varphi _f^{re}\left( {d,s} \right) = M - {R_{{f^*}}}\left( {{f^*}\mathit{\Theta }B\left( {d,s} \right)} \right) $$ (2)

      式中,γreφre分别为开重构和闭重构处理后的结果影像;f为待处理图像;Θ为腐蚀操作符;R为形态学重构算子;f*=M-f表示图像f的最大灰度级Mf中各像元相减;B(d, s)表示方向为d、长度为s的线状结构元素。如果f为多波段影像,则对各波段数据分别进行处理。当结构元素方向与道路方向一致时,重构结果能够同时很好地保持道路边缘和内部结构特征;融合处理则保证对不同方向道路结构特征的兼顾,融合规则如式(3) 和式(4) 所示。

      $$ {\rm{MP}}_b^o\left( x \right) = \mathop {\max }\limits_{d,s} \left( {\gamma _b^{re}\left( x \right)} \right) $$ (3)
      $$ {\rm{MP}}_b^c\left( x \right) = \mathop {\min }\limits_{d,s} \left( {\varphi _b^{re}\left( x \right)} \right) $$ (4)

      式中,MPbo(x)和MPbc(x)分别代表开重构运算和闭重构运算图像的融合结果;对应于式(1) 和式(2) 为二元函数,式(3) 和式(4) 主要表达不同波段相同位置的像元融合规则,所以隐含了参数ds,显式地表达了像元位置参数x;式(3) 和式(4) 中的b表示影像f的某一波段影像。滤波实验结果如图 2所示,滤波后道路表面辐射特征保持稳定,并且道路边缘和路面的长直线状要素得以保留,而路面车辆则被完全滤除。

      图  2  多方向形态学滤波实验结果(结构元素方向(°)为0, 10, 20, …, 170/;长度/像素为20)

      Figure 2.  Experiment Result with Multi-directional Morphological Filter

    • 现实中,道路不同路段的宽度存在差异,考虑道路与背景辐射统计特征的差异以及道路自身的几何特征,本文提出一种基于移动聚类的道路模板提取方法。

      道路模板提取在局部检测窗口内完成,如图 3所示,以初始种子点A为中心,构建一个边长大于道路宽度的矩形检测窗口,点A同时也是道路对象聚类的种子点。经过点A沿道路法向方向作直线,与检测窗口交于点BC,将其作为背景聚类种子点。计算检测窗口内像素点与各种子点的相似度,将最相似种子点标签赋予当前像素点。通过迭代该过程,完成道路与背景的聚类。根据道路的形态特征,要求聚类结果同时具有空间紧凑性和边缘敏感性,相似度测度同时需要考虑辐射差异和空间位置关系[10],关联计算如式(5)~式(7) 所示。

      图  3  道路聚类示意

      Figure 3.  Schematic of Road Clustering

      $$ {d_{{\rm{rgb}}}} = \sqrt {{{\left( {{r_k} - {r_i}} \right)}^2} + {{\left( {{g_k} - {g_i}} \right)}^2} + {{\left( {{b_k} - {b_i}} \right)}^2}} $$ (5)
      $$ {d_{xy}} = \sqrt {{{\left( {{x_k} - {x_i}} \right)}^2} + {{\left( {{y_k} - {y_i}} \right)}^2}} $$ (6)
      $$ {D_i} = \sqrt {{{\left( {\frac{{{d_{{\rm{rgb}}}}}}{{{N_{{\rm{rgb}}}}}}} \right)}^2} + m{{\left( {\frac{{{d_{xy}}}}{{{N_{xy}}}}} \right)}^2}} $$ (7)

      式中,drgb为像素点在RGB色彩空间的距离;dxy为像素点间的欧式空间距离;Di为两个像素的相似度距离,Di取值越小,说明像素越相似;NrgbNxy为对应聚类集合的最大距离值,用于归一化对应的距离;m为平衡参数,用来衡量辐射与空间距离在相似度衡量中的比重。

      本文采用移动聚类策略,通过调整背景聚类中心的位置来得到不同的聚类结果。聚类中心的移动策略为:固定道路聚类中心A,同步移动背景聚类中心BC,保证ABAC的距离Ddist相等,使Ddist递增变化。统计相邻距离DdistiDdisti+1对应道路对象像素辐射值的标准差Std(Ai)和Std(Ai+1),当Std(Ai)-Std(Ai+1)>Tstd,其中,Tstd为标准差递增变化阈值,则认为Ddisti对应的道路对象为最优聚类结果,并以道路对象的最小外接矩形作为当前路段的道路模板。图 4(a)为局部影像道路最优聚类结果,图 4(b)为道路与背景聚类中心距离和聚类结果像素辐射值标准差统计折线图,红点标识最优聚类结果对应参数。

      图  4  道路模板选择示意

      Figure 4.  Schematic of Road Template Selecting

    • 道路的模板匹配跟踪过程从初始道路模板开始,沿着道路方向迭代进行。单次迭代处理包括预测和匹配两步。

      (1) 预测。相邻道路模板中心点之间具有类似的变换关系,基于坐标变换可以预测可能的道路中点,变换关系为:

      $$ \left[ \begin{array}{l} {x_{{\rm{next}}}}\\ {y_{{\rm{next}}}} \end{array} \right] = \left[ \begin{array}{l} {x_{{\rm{current}}}} + {L_{{\rm{step}}}}\cos \left( {{\theta _{{\rm{current}}}} + {\theta _{{\rm{offset}}}}} \right)\\ {x_{{\rm{current}}}} + {L_{{\rm{step}}}}\sin \left( {{\theta _{{\rm{current}}}} + {\theta _{{\rm{offset}}}}} \right) \end{array} \right] $$ (8)

      式中,(xnext, ynext)为下一道路模板对应的中心点坐标;(xcurrent, ycurrent)为当前道路模板对应的中心点坐标;Lstep为道路跟踪步长,初始Lstep为道路模板宽度wt乘以权值cθcurrent为当前道路模板对应的道路主方向;θoffset为相邻道路模板方向的偏差,且θoffset∈[-Tθ, Tθ]。考虑到跟踪的效率,初始Tθ设置较小;当匹配失败时,则认为待匹配路段可能是弯曲路段,增大Tθ,同时减小权值c以得到相对较小的Lstep,从而增强跟踪的敏感度。

      (2) 匹配。以预测点为中心,按照当前道路模板u的尺寸截取待匹配道路模板v,统计相关系数r(u, v),如式(9) 所示。将预测点集对应相关系数的最大值与有效阈值Tr相比以判断当前跟踪结果的有效性,若相关系数大于阈值,则当前跟踪结果有效;否则认为当前点跟踪结果无效,需要通过道路检测重新初始化道路跟踪模板。与基于绝对灰度值的匹配测度相比,相关系数能够抑制局部对比度差异造成的影响[11]

      $$ r\left( {u,v} \right) = \frac{{\sum\limits_{i = 1}^n {\left( {{u_i} - \overline u } \right)\left( {{v_i} - \overline v } \right)} }}{{\sqrt {\sum\limits_{i = 1}^n {{{\left( {{u_i} - \overline u } \right)}^2}} \cdot {{\sum\limits_{i = 1}^n {\left( {{v_i} - \overline v } \right)} }^2}} }} $$ (9)
    • 单纯的道路跟踪会由于道路场景的变化而偏离道路轨迹或中断,本文引入道路检测机制来辅助道路跟踪过程。

      道路检测是利用训练后的分类器在待检测范围内通过滑动窗口寻找可能存在的道路及其对应的位置。本文采用随机森林(random forest, RF)[12]分类器实现道路检测。为了保证分类器检测结果的稳定性,在学习过程中加入基于道路结构特征的正负约束,即P-N学习。P-N学习是一种利用已标记样本和未标记样本之间的结构特征来逐步(学习)训练分类器并改善分类性能的方法。样本的结构特征是指样本标签之间存在的依赖关系。道路跟踪可以看作一个时间序列过程,跟踪结果是一条连续的轨迹,则有正约束,即紧邻轨迹的样本被认为是正样本;反之,负约束认为远离轨迹的样本为负样本。正约束用于发现道路轨迹上的未标记数据,而负约束则用于区分道路与复杂的背景对象。

      h是由θ参数化的分类器,则P-N学习是根据已标记样本集合Xt和约束下的未标记样本集合Xun估计θ的过程,步骤如下。

      (1) 初始化。根据先验种子点标记样本(Xt, Yt)并初始化分类器,得到分类器参数θ0,其中Yt为样本集合对应的标记集合。

      (2) 在线学习。将道路跟踪得到的道路样本和背景样本加入分类器进行增量学习。

      (3) 分类校正。校正分类结果中与约束不一致的样本标记,并将其作为新的训练样本加入分类器训练过程;迭代训练过程中,第k次迭代利用第k-1次训练的分类器对所有未标记的样本进行分类标记Xunyunk=h(xun|θk-1),xunXun

      (4) 迭代上述过程直到分类器收敛或超过迭代次数。

      训练特征采用基于灰度共生矩阵的统计特征,包括一致性、对比度、相关性、熵(复杂度)分别在位置关系为(d, 0)、(d, d)、(0, d)、(-d, d)时对应的特征,共16维。

      根据RF中各决策树的分类结果可以得到一个样本判别的后验概率,当概率值大于阈值时,则认为待检测样本为道路,反之为背景。如果在待检测范围内未检测到道路,则意味着存在遮挡,需要根据当前道路跟踪方向扩展道路检测范围,并重新进行道路检测。

    • 本文选用两套不同场景的高分辨率遥感影像进行实验验证,其影像来源、分辨率、尺寸分别为:数据1(QuickBird, 0.61 m, 1 852×1 304像素)、数据2(IKONOS, 1 m, 2 372×1 486像素)。

      实验由人工输入种子点驱动,要求在跟踪起始位置连续输入两个种子,以标识路段中线位置和跟踪方向。当程序中断时,需要人工动态输入种子点以初始化下一路段的跟踪起始信息。其中RF是利用Matlab R2012a中的TreeBagger类实现。实验中,本文方法相关参数设置为:c=2,Tθ=15,Tr=0.6。

      为了验证本文方法的优越性,与同类方法进行了比较实验与定量分析。比较对象包括Zhou[9]的在线学习道路跟踪方法、Vosselman[6]的剖面匹配方法和Zhang[4]的基于模板匹配的道路跟踪方法。

      数据1取自北京城区某立交桥对应的QuickBird全色与多光谱波段融合影像,其中,道路主要为环形匝路和长直快速路,道路边缘和行道线特征明显,路面车辆较多,匝路的立体交叉位置存在下方道路被局部遮挡的情况,在匝路汇合的位置道路特征也存在变化。

      实验结果如图 5(a)所示。图中蓝点表示人工选择的种子点,白点为道路跟踪点,红圈表示跟踪失败而通过检测确定的道路点。由于形态学滤波剔除了路面车辆等小尺寸的干扰地物,因而在无大面积遮挡的路段,道路跟踪结果表现稳定。从道路检测点的标记结果可以看出,道路跟踪失败的情况主要发生在匝路立体交叉位置、匝路汇合的位置。匝路立体交叉位置出现上层匝路或阴影遮挡造成下层道路特征中断,匝路汇合位置出现道路突然拓宽,这些因素使得相邻模板特征差异较大而无法匹配。道路检测考虑了样本的结构特征,即道路的连续性,在这些位置保持了较好的检测结果。

      图  5  数据集1的实验结果

      Figure 5.  Experimental Results of Data Set Ⅰ

      图 5(d)为Zhou[9]的在线学习道路跟踪结果,图中蓝色条带为手工标记的训练样本;从实验结果来看,该方法对车辆、阴影等干扰较敏感,跟踪过程中频繁中断;在车辆较多的路段则无法完成提取。

      图 5(e)为Vosselman[6]剖面匹配提取结果, 由于其基准模板是固定的灰度均值剖面,因而道路两侧背景的变化也会导致跟踪的中断。

      图 5(f)是根据Zhang[4]的模板匹配方法完成的实验结果,在每个道路跟踪的起始位置,需要输入3个控制点确定一个道路跟踪的矩形模板;跟踪过程常常终止于匝路立体交叉和阴影遮挡的位置;在水平方向的快速路末端,存在跟踪偏离道路中线的情况。

      数据2为武汉光谷局部区域的IKONOS全色与多光谱波段融合影像。研究区主干道受行道树的遮挡,无明显的道路边缘和行道线特征。由于行道树为分段连续地分布在道路两侧,并且行道树表现出来的自然纹理有很大的随机性,从而导致模板匹配不稳定。

      实验结果显示,更多的道路点通过道路检测获取(图 6(b))。平面交叉口也是容易发生道路跟踪失败的位置,斑马线和车印的存在使得路面辐射特征不连续(图 6(c))。Zhou[9]的方法在车辆密集路段和交叉口附近存在跟踪中断,对于植被覆盖的支路检测效果较好(图 6(d))。Vosselman[6]的方法对该数据的复杂场景较为敏感,提取结果不连续(图 6(e))。当路面辐射特征与背景相近时,Zhang[4]的跟踪结果存在偏离道路中线的误跟踪情况(图 6(f)),难以适应复杂场景的道路提取任务。

      图  6  数据集2的实验结果

      Figure 6.  Experimental Results of Data Set Ⅱ

      进一步验证本文方法的有效性,根据Wiedemann[13]提出的完整性、正确性、质量等精度评价指标对本文实验结果进行定量评价,同时记录种子点数量和正确提取路段长度作为对本文方法提取效率的评价。如表 1所示的统计结果,本文方法提取结果的完整性和质量均优于对比方法;尽管Zhou[9]和Vosselman[6]的方法在数据实验一中提取结果的正确性方面略微优于本文方法,但是需要输入远多于本文方法的种子点。综合比较统计结果可以看出,本文方法具有较好的鲁棒性和路段提取效率。不可否认的是,本文方法在交叉口附近提取结果定位不够准确(图 6(c)),并且在路段合并位置存在定位偏离道路中心的情况(图 5(c)),降低了整体提取结果的正确率。

      表 1  道路提取结果比较

      Table 1.  Comparison Between Extraction Results

      项目 种子点数 总长度/m 完整性/% 正确性/% 质量/%
      实验1 Zhou的方法 92 5 566 71.40 97.18 69.95
      Vosselman的方法 86 6 663 87.64 97.65 85.83
      Zhang的方法 60 6 138 76.72 95.32 73.93
      本文方法 24 7 369 91.56 95.38 87.67
      实验2 Zhou的方法 68 6 725 81.65 84.73 71.18
      Vosselman的方法 76 6 117 76.84 83.68 66.82
      Zhang的方法 51 7 333 89.03 77.25 70.53
      本文方法 14 7 795 92.94 95.62 89.15
    • 本文提出了一种基于道路跟踪、检测和学习的半自动道路提取方法。针对复杂道路场景和阴影遮挡导致道路跟踪频繁中断的情况,采用基于RF分类器的道路检测方法重新获取道路点并初始化道路跟踪模板。为保证道路检测结果的稳定性,采用P-N学习策略训练分类器,即根据样本结构特征修正错误的分类结果并迭代训练。通过不同场景下的道路提取实验和定量分析,表明本文方法较传统模板匹配方法具有更好的提取精度和鲁棒性。

      需要强调的是,拓扑信息是道路网提取必须关注的内容,下一步将研究基于路段提取结果的自动道路网构建方法,使得道路提取结果更具实用价值。

参考文献 (13)

目录

    /

    返回文章
    返回