留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

可变形部件模型在高分辨率遥感影像建筑物检测中的应用

沈佳洁 潘励 胡翔云

沈佳洁, 潘励, 胡翔云. 可变形部件模型在高分辨率遥感影像建筑物检测中的应用[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048
引用本文: 沈佳洁, 潘励, 胡翔云. 可变形部件模型在高分辨率遥感影像建筑物检测中的应用[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048
SHEN Jiajie, PAN Li, HU Xiangyun. Building Detection from High Resolution Remote Sensing Imagery Based on a Deformable Part Model[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048
Citation: SHEN Jiajie, PAN Li, HU Xiangyun. Building Detection from High Resolution Remote Sensing Imagery Based on a Deformable Part Model[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048

可变形部件模型在高分辨率遥感影像建筑物检测中的应用

doi: 10.13203/j.whugis20150048
基金项目: 

国家重点基础研究发展计划 2012CB719900

详细信息
    作者简介:

    沈佳洁, 博士生, 工程师, 主要从事地形图更新的理论和方法研究。alice606522@163.com

  • 中图分类号: P231

Building Detection from High Resolution Remote Sensing Imagery Based on a Deformable Part Model

Funds: 

The National Basic Research Program of China 2012CB719900

More Information
    Author Bio:

    SHEN Jiajie, PhD candidate, engineer, specializes in map updating. E-mail: alice606522@163.com

图(5) / 表(1)
计量
  • 文章访问数:  1399
  • HTML全文浏览量:  83
  • PDF下载量:  389
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-07-26
  • 刊出日期:  2017-09-05

可变形部件模型在高分辨率遥感影像建筑物检测中的应用

doi: 10.13203/j.whugis20150048
    基金项目:

    国家重点基础研究发展计划 2012CB719900

    作者简介:

    沈佳洁, 博士生, 工程师, 主要从事地形图更新的理论和方法研究。alice606522@163.com

  • 中图分类号: P231

摘要: 高分辨率遥感影像具有场景复杂、目标种类多样、同一目标呈现多种形态等特点,给建筑物检测带来困难。近年来,可变形部件模型(deformable part model,DPM)被广泛应用到模式识别领域,并且在自然场景的目标识别方面取得很好的效果。结合可变形部件模型,提出一种针对高分辨率遥感影像中建筑物的检测方法,将建筑物看作可变形部件的组合,通过训练得到其对应的参数模板,并采用滑动窗口的方式遍历待检测的影像,判断其中是否存在建筑物目标。通过对分辨率为0.5 m的高分辨率遥感影像的实验证明了方法的有效性。

English Abstract

沈佳洁, 潘励, 胡翔云. 可变形部件模型在高分辨率遥感影像建筑物检测中的应用[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048
引用本文: 沈佳洁, 潘励, 胡翔云. 可变形部件模型在高分辨率遥感影像建筑物检测中的应用[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048
SHEN Jiajie, PAN Li, HU Xiangyun. Building Detection from High Resolution Remote Sensing Imagery Based on a Deformable Part Model[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048
Citation: SHEN Jiajie, PAN Li, HU Xiangyun. Building Detection from High Resolution Remote Sensing Imagery Based on a Deformable Part Model[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1285-1291. doi: 10.13203/j.whugis20150048
  • 随着各种高分辨率遥感传感器相继发射,越来越多的遥感数据以其时效性、实用性而被广泛应用于诸多领域。建筑物作为城市的主题, 是遥感影像中具有显著特征的重要目标类之一,建筑物的识别和提取直接与地物测绘的自动化相关。然而建筑物光谱差异较大,纹理结构复杂,表现形式多样,建筑物之间相互遮挡等原因,使得建筑物检测成为挑战性课题之一。

    目前,建筑物自动检测的方法可以分为两类。一类是利用边缘信息,从建筑物边缘特征出发,对图像的边缘特征进行一系列的分析处理,从而达到建筑物检测的目的。文献[1]使用Canny算子和Hough变换,综合建筑物的几何特征和灰度特征来提取建筑物;文献[2]对提取得到建筑物的边缘进行感知分组,并对处理结果查找具有矩形或矩形组合,最后得到建筑物的位置;文献[3]立体影像提取三维线段,并采用一种质心神经元网络(centroid neural network, CNN)对线段进行聚类,得到矩形建筑物的轮廓;文献[4]利用几何限制和结构图对线基元进行连接,综合建筑物的几何结构、光谱特征等信息,筛选线基元的闭合路径,实现对建筑物的提取。

    另一类方法是通过图像分割,在分割的基础上依赖阴影等辅助信息提取建筑物。文献[5]首先根据多光谱影像区分人工和非人工地物,然后通过Meanshift算法分割影像并根据形状大小得出建筑物的位置;文献[6]对图像进行分割并提取候选区域,然后利用初提取的建筑物对象和已剔除的非建筑物对象作为样本建立概率模型,进行建筑物提取;文献[7]利用阴影作为辅助信息,对图像分割后的结果提取建筑物;文献[8]利用建筑物的先验知识,定义了八个建筑物形状模板,并利用水平集变分对图像实现分割并提取建筑物信息;文献[9]提出了一种光谱和形状特征相结合的方法,通过多尺度分割得到特征基元,并在此基础上提取建筑物样本,根据光谱和形状特征构造建筑物模板,提取建筑物;文献[10]依据激光雷达(light detection and ranging,LiDAR)数据得到高于地面的物体并对其进行初始分割,然后通过大小和位置关系区分出树木和建筑物;文献[11]结合归一化差分植被指数(normalized difference vegetation index,NDVI)和数字表面模型(digital surface model,DSM)得到建筑物的初始位置,通过图割的方法提取建筑物。

    两类算法共同存在的问题是其流程都是串行的,缺乏有效的方式对边缘检测或分割结果的可靠性进行检查,直接将上一步的结果传递到了建筑物检测的步骤中,从而对建筑物检测结果造成决定性的影响,一旦边缘检测或分割结果出错,后续步骤中无法进行检查和纠正,导致建筑物检测最后失败。

    高分辨率遥感影像存在场景复杂、异物同谱、同谱异物、目标类型多样、同一目标呈现多种形态等特点。在光谱角度方面,建筑物边缘内侧通常色调分布均匀、纹理平滑,且平均亮度较高,而建筑物周围大多数是阴影或绿色植物等,光谱反射率一般较低,建筑物边缘两侧亮度与色调存在较大差异。在几何形状方面,遥感影像上建筑物的形状通常意义下是指建筑物屋顶的形状,多数规则屋顶都呈矩形或类似矩形的组合。由于高分辨率遥感影像中的场景复杂,建筑物的部分边缘容易被其他景物遮挡,但从整体而言,其边缘仍可以保持连通性。

    遥感影像上的建筑物有清晰、固定的边缘,可以用简单形状来进行描述,表现出较强的结构性,本文将一种自然场景中的目标检测思想—可变形部件模型(deformable part model,DPM)引入到高分辨率遥感影像建筑物检测中,将建筑物看作可分解部件的组合,避免了传统建筑物检测过程中边缘检测和图像分割的步骤,降低了建筑物检测的难度,同时也规避了边缘检测或分割的错误而导致的检测错误。

    • DPM是Felzenszwalb等人[12-14]提出的基于滑动窗口的目标检测模型,在近年来的“模式分析、统计建模、计算学习视觉目标分类竞赛”中表现优异。DPM属于滑动窗口方法[13-18]中的一种,该模型基于HOG特征[15],并在此基础上引入了可变形部件,从而提高了模型对物体类内变化的适应能力。一个完整的DPM模型包括一个覆盖目标整体的根滤波器、若干个部件模型,其中每个部件模型包括一个覆盖目标局部的部件滤波器和一个定义了部件的空间位置和变形花费的空间模型,采用隐支持向量机(latent support vector machine, LSVM)[12]进行模型训练。目前DPM方法在模式识别领域得到广泛应用[19-21]

    • DPM模型使用多尺度特征金字塔描述物体[12-14],在金字塔的各组各层中提取特征,从而适应检测目标一定程度上的伸缩变化。模型特征通过计算梯度方向直方图来提取图像特征,构造特征描述子。通过计算图像金字塔每层图像的HOG特征,可以定义一个由HOG特征组成的特征金字塔。金字塔顶层的特征可以在大范围内捕获粗糙的梯度直方图,金字塔底层的特征捕获小范围的精细尺度梯度直方图。训练和检测时,从特征金字塔中抽取特征向量。

    • DPM方法使用的滤波器是一个指定权重的矩形模型,是一个wh列的滤波器F,是一个含w×h×9×4个权重的向量,滤波器得分就是该向量与特征金字塔中一个wh列子窗口的HOG特征的点积。为了检测多尺度对象,滑动窗口在特征金字塔的各层搜索,由根滤波器的位置定义窗口,将部件滤波器在两倍于根滤波器空间分辨率的特征层上计算,从而使用部件滤波器相较根滤波器有更高的分辨率。应用到高分辨率遥感影像中时,根滤波器可以捕捉建筑物的整体轮廓,部件滤波器捕捉到的则是角点、屋顶、阴影等局部细节。

    • 在训练和检测过程中,对于每个样本x,通过式(1) 计算样本的得分:

      $$\eqalign{ & {\rm{score}}\left( {x,{\rm{ }}z} \right) = \sum\nolimits_{i = 0}^n {} {F_i}\cdot\phi \left( {H\left( x \right),{\rm{ }}z} \right) - \cr & \quad \quad \quad \quad \sum\nolimits_{i = 1}^n {} {d_i}\cdot{\varphi _{{d_i}}}\left( z \right) + b \cr} $$ (1)

      式中,z为隐变量,用于描述部件的格局,包括坐标和尺度信息;φ(H(x), z)为特征金字塔H (x)中部件的HOG特征;φdi(z)为部件的变形特征;F0为根滤波器参数向量,F1, …, Fn为各部件滤波器参数向量;d1, …, dn为各部件的形变参数向量,b为调节判别平面的偏移向量。

      由式(1) 知,每一个窗口的得分由根滤波器的得分与部件滤波器得分之和减去形变成本得到。

      β=(F0, …, Fn, d1, …, dn, b)为模型参数向量,目标检测过程就是在图像中寻找到最佳的部件格局:

      $${f_\mathit{\boldsymbol{\beta }}}\left( x \right) = {\max _{z \in Z\left( x \right)}}{\rm{score}}\left( {x,{\rm{ }}z} \right)$$ (2)

      隐支持向量机LSVM根据标记样本集D=((x1, y1), …, (xm, ym)),与经典支持向量机(support vector machine, SVM)类似,通过最优化式(3) 来训练模型参数β

      $$\begin{array}{l} \beta *\left( D \right) = \arg {\min _\beta }\lambda {\left\| \beta \right\|^2} + \\ \quad \quad \sum\nolimits_{j = 1}^m {} \max \left( {0,{\rm{ }}1 - {y_j}{f_\mathit{\boldsymbol{\beta }}}\left( {{x_j}} \right)} \right) \end{array}$$ (3)

      LSVM的一个重要特性是,对负样本而言损失函数是训练模型参数β的凸函数,而一旦给定了正样本的隐变量z,则每个正样本的损失函数也将变为凸函数。由此训练问题变成凸优化问题,可以使用坐标下降算法求解。在系统实现过程中,采用下面两个步骤迭代的方式训练模型参数β和正样本的隐变量z

      步骤1  保持β不变,最优化训练正样本的隐变量z

      $$z = \arg {\min _{z \in Z\left( x \right)}}{\rm{score}}\left( {x,{\rm{ }}z} \right)$$ (4)

      步骤2  保持正样本的隐变量z不变,通过解式(3) 定义的凸规划问题(经典SVM)最优化模型参数β

    • 在自然场景中,DPM对于人[12-14]、自行车[13-14]、汽车[19-21]等目标的识别都取得了较理想的结果。大部分建筑物的形状也具有类似的结构特点,如矩形建筑物的相邻边呈垂直关系,相对边呈平行关系,这种关系是固定不变的,具有一定的位置顺序,其位置和形态不会因为目标的个体差异而产生较大的变化。这种特点与自然场景中目标部件(如人的头、手,或者汽车的车身、车轮等)的特点一致。与遥感影像上的复杂背景相比,建筑物具有固定、清晰的轮廓,轮廓两侧在纹理和颜色上往往具有较大的反差,而轮廓内部的纹理和色调相对一致,并且轮廓的边缘大部分情况下由直线构成。

      使用DPM方法对遥感影像建筑物目标进行检测,是基于建筑物与自然场景目标具有相似的结构性,同时DPM方法中没有边缘检测或图像分割的步骤,从而规避了传统建筑物检测中的难点。

    • DPM方法应用到高分辨率遥感影像,在实施过程中仍然存在困难。第一,遥感影像上建筑物的大小、长宽比以及主方向都各不相同,很难建立一个统一的数学模型来进行描述。第二,由于遥感影像上场景复杂,建筑物与建筑物、建筑物与植被之间往往存在遮挡,导致部分轮廓信息丢失。

      DPM方法对目标提取多尺度特征具有一定的鲁棒性,但是对于HOG特征具备旋转可变性,因此对于不同主方向的建筑物不可能使用单一模板进行检测。本文针对这一问题,将不同主方向的建筑物看做不同类型的目标,分别进行训练并得到目标模板。另外,建筑物的长宽比各异,一般情况下外轮廓规则的矩形建筑物其变化范围并不夸张,本文将其视为轴向或径向形变,通过花费一定的变形成本解决这一问题。

      对于遮挡问题,DPM方法将目标看作由若干部件构成,在目标模板中部件滤波器相对独立,对于存在遮挡而导致某个部件检测结果不佳的情况,如果余下的部件清晰可见,则相应的部件得分高,检测窗口的得分也可达到阈值,从而检测到目标。

    • DPM方法可以被归为基于边缘的建筑物检测方法,在训练目标模板(图 1)的过程中,通过滤波器只保留对建筑物有用的边缘,通过空间模型建立边缘之间的空间位置关系。与传统的采用串行流程的建筑物检测方法相比,DPM方法使用了一个完整的数学模型,综合了建筑物的几何和光谱特征,对建筑物进行了整体的描述。无论是基于边缘还是基于分割的建筑物检测方法,对于检测遮挡建筑物的效果都不理想,主要原因是遮挡破坏建筑物的边缘和形状,造成检测失败。DPM方法可以通过对大量正负样本的自动计算,得到准确的模板参数,不需要依靠耗费人力和时间来进行反复实验得到指标阈值。

      图  1  矩形建筑物的DPM模板

      Figure 1.  DPM Template for Rectangular Building

      DPM方法的关键在于训练能够准确描述目标的模板,需要采集大量的样本作为支撑。在得到目标模板之后,采用滑动窗口的方式遍历遥感影像的兴趣区域,通过计算窗口分值判断检测窗口中是否包含目标。为了保持算法的尺度不变性,还需要建立图像金字塔,对不同尺度下的图像进行遍历搜素,最后将结果按照非极大值抑制等后处理方法得到目标范围的矩形框。具体的实施步骤如下。

      (1) 采集建筑物样本,通过正负样本训练DPM模板参数。

      (2) 对待检测的遥感影像建立特征金字塔,对每一层重复步骤(3) ~(5),并采用非极大值抑制的方法得到得分最高的窗口,达到检测多尺度对象的目的。

      (3) 根据DPM模板定义固定尺寸的检测窗口,遍历图像。

      (4) 计算检测窗口的特征向量,按照式(1) 计算窗口得分。

      (5) 根据由训练数据确定的阈值,与窗口得分相比较,当得分高于阈值时,认为该窗口中包含建筑物,并根据窗口位置在图像上标记矩形框。

    • HOG特征具有旋转可变性,以HOG特征作为特征描述的DPM方法也同样对旋转的鲁棒性较差。为了解决这个问题,本文将主方向不同的建筑物看作不同类别的目标,分别进行训练,得到若干个主方向不同的建筑物模板。最后检测过程中,将每个目标模板分别用于检测窗口中,从而提高检测结果的旋转不变性。

      为了降低采集样本的复杂度,实验中以矩形建筑物为例,首先对采集的正样本进行处理,使得建筑物的主方向都保持为0°,并训练得到主方向为0°的建筑物模板。然后对所有正样本以建筑物为中心分别旋转10°和20°,通过训练得到主方向为10°和20°的建筑物模板。在检测过程中,对待检测影像分别顺时针旋转30°、60°、90°、120°和150°,对原始影像和旋转后的影像都进行三个不同主方向建筑物模板检测,从而达到覆盖所有角度的目的。如图 2所示,红色和黄色并标有不同标注的矩形框分别代表不同旋转角度、不同模板对建筑物的定位,图中一个建筑物上存在多个定位框表明多个方向的模板均可以检测到该对象,然而为了保证检测结果的准确性,本文的实验仍然以10°为间隔建立不同的建筑物模板,并允许存在冗余的检测结果。

      图  2  部分正样本(建筑物样本在图中高亮显示)

      Figure 2.  Positive Samples

      本次实验中用到的正样本个数为129,负样本个数为162,正样本均采集自分辨率为0.4~1.0 m的遥感影像,建筑物轮廓基本无遮挡,由于拍摄时间不同,因此阴影方向各异,部分正样本如图 2所示。负样本一部分采集自与正样本同源的遥感影像中不包含建筑物的部分,另一部分为自然场景拍摄的不包含建筑物的室内外照片(数据来源为PASCAL visual object classes recognition challenge 2011, VOC2011数据集)。

      训练过程中选择部件数量为5,确定这一参数的理由是现实世界中的建筑物屋顶多为尖顶和平顶,因此5个部件分别代表了矩形建筑物的四角和屋顶。通过训练得到的建筑物模板如图 3所示,3列分别展示根滤波器和部件滤波器中HOG特征的细胞单元中所有方向的总能量,以及每个部件的空间模型;3行分别是主方向为0°、10°和20°的建筑物模板。主方向0°与10°模板的5个部件与期望一致,主方向20°模板的5个部件分别为建筑物的四角和上方的边缘,也与人类识别建筑的经验相同。通过实践经验总结得知,大部分矩形建筑物的长宽比在1:1~1.75:1之间,采集的建筑物样本包括了长宽比在1:1~2:1之间的多种建筑物,最后通过训练得到的模板长宽比约为1.67:1,通过较小的径向或横向变形成本即可以得到与经验相符的建筑物形状。

      图  3  建筑物模板

      Figure 3.  Templates of Building

    • 为了定量分析和比较实验结果,采用查全率和查准率两个指标对建筑物检测结果进行评价。查全率为检测出正确的建筑物数量占实际建筑物数量的百分数,查准率为检测出正确的建筑物数量占检测数量的百分数,前者衡量检测方法检出相关信息的能力,后者衡量检测方法检出非相关信息的能力。

      实验中所使用遥感影像地面分辨率均为0.5 m,通过人工目视判读得到实际建筑物数量共130个。使用DPM方法检测建筑物数量共114个,其中正确检测建筑物107个,虚假建筑物7个,另外漏检建筑物23个。图 4所示为部分测试影像对检测结果局部放大后的效果,红色矩形框为检测出的建筑物目标,蓝色矩形框为部件滤波器的定位结果。

      图  4  部分检测结果

      Figure 4.  Results of Building Detection

      表 1为检测结果与文献[4]、文献[9]结果的对比,文献[4]、文献[9]所用方法分别为基于边缘、和基于分割的建筑物检测方法。从结果来看,本文方法的查全率和查准率皆优于文献[4],查全率稍逊于文献[9]基于分割的方法,查准率高于文献[9],检测结果的误识别率更小。

      表 1  算法结果对比

      Table 1.  Comparison of Results Between Our Algorithm and Other Algorithms

      正确漏检误检查全率/%查准率/%
      文献[4]方法52253861.945.2
      文献[9]方法318545085.586.4
      本文方法10723782.393.9

      图 5所示为两幅测试影像建筑物检测结果的局部放大图,图中彩色矩形框为检测出的建筑物,白色圆形框为漏检或误检的建筑物。分析实验结果,漏检的原因主要是因为部分建筑物屋顶颜色为灰色,与地面颜色的反差较小,特征提取时无法准确获取轮廓特征(图 5(a)圆框1、3,图 5 (b)圆框1);其次被植被遮挡超过了屋顶总面积的50%以上,导致计算窗口得分时阈值超限(图 5(a)白色框2)。另外,如图 5(b)圆框2、4、5的情况,建筑物本身长宽比远远超过了模板所记录的形状,窗口只能检测到部分部件,并且屋顶的附属物边缘对真实边缘产生干扰,种种不利因素叠加起来导致最终检测失败。

      图  5  检测结果分析

      Figure 5.  Analysis of Detection Results

      误检的原因主要是距离很近的建筑物之间的空地,还有一些被植被包围的水泥地,由于也具有与建筑物相似的特征,从而被当作建筑物提取出来;另外还有一部分较宽的道路,具有清晰的边缘,加上路边存在水沟或者植被阴影等情况,如图 5(b)圆框2、6,导致被误判为建筑物;还有的误检是建筑物顶部的一些纹理将其分割成了两个甚至更多的部分,使其看上去更像是几个建筑物,因而造成一个建筑物被当作多个不同建筑物被检测出来。

    • 本文将DPM方法引入到高分辨率遥感影像建筑物检测当中,将不同主方向的建筑物看作是不同类型的目标,通过对图像进行遍历搜索,完成对建筑物的检测。本文方法将建筑物的几何和光谱特征统一表示为一个严密的数学模型,通过大量正负样本的训练得到合理的模型参数。实验证明,该方法对于高分辨率遥感影像上的矩形建筑物能够实现较准确的提取,查全率和查准率都有较大提升。

      目前,本文方法不能准确的提取建筑物轮廓,只能提供一个矩形框进行建筑物的定位。对于朝向不同的建筑物,以及外形较规则但并非矩形的建筑物,需要建立对应的模板来进行检测,检测效率不高。下一步工作将寻找具有旋转不变性的特征来替代HOG特征,减少检测工作的复杂度,提高检测结果的准确度。

参考文献 (21)

目录

    /

    返回文章
    返回