留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

结合样本自动选择与规则性约束的窗户提取方法

高云龙 张帆 屈孝志 黄先锋 崔婷婷

高云龙, 张帆, 屈孝志, 黄先锋, 崔婷婷. 结合样本自动选择与规则性约束的窗户提取方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
引用本文: 高云龙, 张帆, 屈孝志, 黄先锋, 崔婷婷. 结合样本自动选择与规则性约束的窗户提取方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
GAO Yunlong, ZHANG Fan, QU Xiaozhi, HUANG Xianfeng, CUI Tingting. A Method for Window Extraction with Automatic Sample Selection and Regularity Constraint[J]. Geomatics and Information Science of Wuhan University, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
Citation: GAO Yunlong, ZHANG Fan, QU Xiaozhi, HUANG Xianfeng, CUI Tingting. A Method for Window Extraction with Automatic Sample Selection and Regularity Constraint[J]. Geomatics and Information Science of Wuhan University, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225

结合样本自动选择与规则性约束的窗户提取方法

doi: 10.13203/j.whugis20150225
基金项目: 

国家重点基础研究发展计划(973计划) 2012CB719900

湖北省科技支撑计划 220100037

国家自然科学基金 41571437

详细信息
    作者简介:

    高云龙, 博士生, 主要从事摄影测量与遥感的理论与方法研究。ylgao@whu.edu.cn

    通讯作者: 张帆, 博士, 副教授。zhangfan@whu.edu.cn
  • 中图分类号: P237;TP753

A Method for Window Extraction with Automatic Sample Selection and Regularity Constraint

Funds: 

The National Program on Key Basic Research of China(973 Program) 2012CB719900

the Key Technology Support Program of Hubei Province 220100037

the National Natural Science Foundation of China 41571437

More Information
    Author Bio:

    GAO Yunlong, PhD candidate, specializes in photogrammetry and remote sensing image processing. E-mail: ylgao@whu.edu.cn

    Corresponding author: ZHANG Fan, PhD, associate professor. E-mail: zhangfan@whu.edu.cn
图(11)
计量
  • 文章访问数:  1068
  • HTML全文浏览量:  76
  • PDF下载量:  237
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-02-19
  • 刊出日期:  2018-03-05

结合样本自动选择与规则性约束的窗户提取方法

doi: 10.13203/j.whugis20150225
    基金项目:

    国家重点基础研究发展计划(973计划) 2012CB719900

    湖北省科技支撑计划 220100037

    国家自然科学基金 41571437

    作者简介:

    高云龙, 博士生, 主要从事摄影测量与遥感的理论与方法研究。ylgao@whu.edu.cn

    通讯作者: 张帆, 博士, 副教授。zhangfan@whu.edu.cn
  • 中图分类号: P237;TP753

摘要: 针对窗户内部结构性与分布规则性等特点,提出了一种结合样本自动选择和分布规则性约束的窗户提取方法。首先,利用模板匹配对选取的单个窗户样本进行拓展,自动选择一定数量的正负样本;其次,利用自动选择的样本对JointBoost分类器进行训练,并对建筑物立面影像进行窗户提取;最后,建立包含窗户走向线、倾向线、兴趣点和相似度4个要素的窗户分布规则性模型,并利用规则性模型约束对提取结果进行优化,得到最终窗户提取结果。在复杂背景、复杂窗户结构及存在透视变形的建筑物影像窗户提取实验中,该方法均有较好的检测率与正确率。

English Abstract

高云龙, 张帆, 屈孝志, 黄先锋, 崔婷婷. 结合样本自动选择与规则性约束的窗户提取方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
引用本文: 高云龙, 张帆, 屈孝志, 黄先锋, 崔婷婷. 结合样本自动选择与规则性约束的窗户提取方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
GAO Yunlong, ZHANG Fan, QU Xiaozhi, HUANG Xianfeng, CUI Tingting. A Method for Window Extraction with Automatic Sample Selection and Regularity Constraint[J]. Geomatics and Information Science of Wuhan University, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
Citation: GAO Yunlong, ZHANG Fan, QU Xiaozhi, HUANG Xianfeng, CUI Tingting. A Method for Window Extraction with Automatic Sample Selection and Regularity Constraint[J]. Geomatics and Information Science of Wuhan University, 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
  • 随着三维数字城市的推广与应用,过去以机载数据为基础的屋顶结构重建已不能满足各行业对建筑物完整模型的迫切需求[1]。建筑物立面重建是建筑物完整模型重建的关键步骤之一,而窗户是建筑物立面的重要组成部分,对其进行提取[2]和重建[3]是重要的研究内容[4]。然而,在实际生产中,移动测量设备图像控制器、手持相机等设备获取的近景影像往往由于投影变形大、背景繁杂等特点给窗户提取带来较大困难。为了克服以上因素产生的目标尺度不一致、规律性难以重建等困难,需要研究自动、半自动多尺度窗户提取方法。

    目前,国内外一些研究者已有不少针对近景影像中窗户的提取方法,其主要思路是首先将影像进行正射纠正,然后在纠正后的影像上利用图像边缘或特征的投影直方图[5-6]、梯度投影与K-means聚类[7]、相关系数结合马尔科夫链蒙特卡洛统计[8]、几何特征检测与感知分组[9]等方法进行窗户提取。然而,近景影像的正摄纠正是图像处理中的一个难题,严重影响了此类方法的通用性和实用性。与此同时,以上方法并未考虑窗户自身结构性与空间分布规则特点。

    文献[10-11]将机器学习的思想引入到基于建筑物立面影像的窗户提取中,在窗户特征提取的基础上,使用Gentle Adaboost分类器对建筑立面进行了窗户提取,该类方法在具有透视变形及尺度不一致的影像上能够取得良好效果,但未考虑窗户空间分布规则特性。文献[12-13]利用建筑物的各组成部分呈规律分布特点,对窗户提取进行研究。文献[14]基于图像分割和窗户规则分布约束对机载的红外图像进行了窗户提取,认为窗户在图像上的分布是“规则格网”状,越靠近格网点位被判断为窗户的概率就越大。此类基于窗户分布规律性预测目标可能出现位置的研究,不仅可以降低噪声及其他相似目标的干扰,同时能够对错误目标进行有效抑制。

    本文提出一种针对未正射纠正的建筑物立面近景影像,结合机器学习和规则性约束的建筑物窗户提取方法。此方法利用基于模板匹配的样本自动选择方法及JointBoost机器学习方法[15]对窗户进行提取,重建窗户分布的规则性模型并对提取结果进行优化,获得窗户最终提取结果。

    • 人的先验知识可以帮助人眼快速从建筑物图像中判断窗户对象,且对模糊或缺失部分,可根据窗户分布规则性来进行综合推断与判别。基于此思路,本文提出一种结合模板匹配的样本自动选择方法、JointBoost机器学习方法和规则性约束对窗户进行提取的方法,流程如图 1所示,分为3个主要步骤:(1)模板匹配自动选择的多个正负窗户样本;(2)JointBoost分类器训练,并进行窗户提取;(3)重建窗户分布模型,并优化初始提取结果。

      图  1  窗户提取流程

      Figure 1.  Flowchart of Window Extraction

    • 现实环境中,窗户形态各异、尺寸差别大,但在同一建筑中,窗户之间往往有较大相似性。因此,本文在单张影像中选取一个窗户对象作为模板,对全图进行模板匹配,将匹配度较高的对象作为正样本,匹配度较低的对象作为负样本,完成样本的自动选择。

      在模板匹配过程中,常用的相似性测度有相关系数、互信息[16]、方向梯度直方图(histogram of gradient,HOG)描述子[17]相关系数、多尺度自卷积(multi-scale auto-convolution,MSA)不变矩[18-19]欧氏距离等。由于窗户在像素、尺寸等方面稳定性较弱,基于灰度空间分布相关的相似性测度并不适用。因此,本文将着重对与灰度空间分布无关的相似性测度(相关系数、互信息、方向梯度直方图描述子相关系数、多尺度自卷积不变矩欧氏距离)进行分析。

      为定量评价各相似性测度在模板匹配中的效果,本文分别定义窗户的识别率P1=K/M和正确率P2=K/N来评价匹配效果,其中M为图像中建筑物的窗户数量,N为提取的窗户数量,K为正确提取窗户的数量。

      图 2(a)是一幅典型的建筑物立面影像,图像大小为775×632像素,图 2(b)是图像中选取的一个初始窗户样本,样本大小为65×74像素。在模板匹配过程中,分别利用相关系数、互信息、HOG描述子相关系数与MSA不变矩欧氏距离作为相似性测度,以15个像素作为步长进行匹配,得出在不同阈值设置下窗户检测结果的识别率与正确率,如图 3所示。

      图  2  建筑物立面影像与选取的窗户样本

      Figure 2.  Building Facade and Window Sample

      图  3  相关系数、互信息、HOG相关系数、MSA欧氏距离作为相似性测度在窗户模板匹配中的识别率与正确率统计

      Figure 3.  Extraction Ratio and Accurate Ratio of Template Matching for Window Extraction Using Correlation Coefficient by Mutual Information, HOG Correlation Coefficient and MSA Euclidean Distance

      图 3可以看出,随着各相似性测度阈值的变大,匹配结果呈现出正确率上升与识别率下降的趋势。HOG算子的相关系数在阈值为0.5~0.6时,检测的正确率达到了1.0,识别率都保持在0.7以上,而其他的相似性测度在这两项统计上都弱于HOG算子。与此同时,从HOG算子原理分析可知,HOG是影像窗口内梯度方向的统计直方图,单个窗户结构在水平和垂直方向上有较强的梯度响应,而背景干扰虽然在灰度上与窗户样本接近,但在梯度方向上表现的特性与样本相差较大。因此,本文选用HOG算子相关系数作为自动样本选择的相似性测度。

    • 为了体现像素色彩上的特性,本文将图像转换到HSI色彩空间,分别统计色调、饱和度、强度这3个通量上的强度作为特征用于分类器的训练与对象提取。但是这些特征的空间维数较大,对分类器训练与计算效率提出了较大挑战,因此,本文选取训练效率较高的JointBoost算法作为分类器。JointBoost算法是在Boost算法基础上改进而来,该算法是将多个弱分类器联合组成一个强分类器,并通过特征共享方式提高训练效率。

      初始窗户提取分为分类与聚类两个步骤。分类是指通过机器学习的方法,对图像进行窗口运算,提取所有分类为窗户的窗口。如图 4(a)所示,JointBoost分类器在进行分类时会在单个目标窗户附近形成多个响应结果并给出该对象接受的概率,需要对分类结果进行聚类,计算有效的窗户区域。由图 4可以看出,单个窗户对象的多个响应结果在空间中具有较强的相关性。因此,本文使用基于欧氏距离最小的聚类方法和概率加权计算聚类中心,步骤如下。

      图  4  JointBoost分类器提取窗户的分类与聚类的过程

      Figure 4.  Classification and Clustering Processing of Window Extraction Using JointBoost Classifier

      步骤1  欧氏距离最小聚类。记pi(i=1, 2…n)为JointBoost分类器提取的窗户中心,n为提取结果数量,T为聚类阈值并设为窗户模板对角线长度的1/3,以第一个窗户中心p1为第一类的中心,计算p2p1的距离d12=║p2-p1║,若d12T,则p2归为第一类,否则,将其作为新的聚类中心。依次处理所有提取结果后,单个类别内的对象即为一个目标窗户区域。

      步骤2  概率加权计算目标窗户中心。本文以步骤1中的单个类别为处理单元,对其中的单个对象的接受概率进行归一化,并定义归一化后的概率为wj(j=1, 2…m),其中,m为对象数量且$\sum\limits_{j = 1}^m {{w_j} = 1} $。定义单个对象的中心为μj(j=1, 2…m),则通过概率加权的目标窗户提取中心为$\mu=\sum\limits_{j = 1}^m {{w_j} \mu_j} $。

      图 4(b)所示,依照以上方法,几乎所有重复提取的窗户都聚类为单个窗户目标,聚类中心也相对准确,但仍然存在少量的过检测与漏检测现象。

    • 如前所述,由于窗户与背景的复杂性,分类器在提取窗户时不可避免地出现过检测或漏检测现象。自然场景中,窗户的空间分布一般都存在着规律性,即排列整齐且间隔比较固定。因此,本文利用检测出来的窗户对象建立窗户分布的规则性模型,并利用该模型约束窗户提取过程,提高窗户提取的识别率与正确率。

      本文定义窗户规则性模型包含走向线、倾向线、兴趣点和相似度,分别定义为:

      1) 走向线:建筑物同一高度上窗户中心所在的直线在影像上的投影。

      2) 倾向线:建筑物同一垂线上窗户中心所在的直线在影像上的投影。

      3) 兴趣点:走向线与倾向线的交点。

      4) 相似度:同一尺度下备选窗户和样本窗户的相关系数。

      图 5所示,窗户规则性模型类似格网,其中第i条水平走向的直线为走向线hi,第j条垂直走向的直线为倾向线vj,走向线hi与倾向线vj之间的交点即为窗户的兴趣点cij,兴趣点对应的相似度都为1。如图 5(a)所示,正射影像中,规则排列的窗户走向线水平,相互平行且间距相等;倾向线竖直,相互平行,间距相等。有透视变形的影像中,走向线之间不平行,由透视变形性质可知,走向线之间交于各自的灭点。同理可知,倾向线之间亦是如此。

      图  5  正射影像和透视变形影像中规则窗户的排列

      Figure 5.  Diagram of Window Distribution Regularity

      为描述单个窗户在规则性模型中的状态,本文对单个窗户也定义走向、倾向、中心点和相似度4个要素,分别用HijVijCijρij表示,如图 6所示。相似度ρij定义为同一尺度下,该窗户和样本图像的HOG算子的相关系数。由此,窗户要素和规则性模型的关系已建立,理想情况下,Hij与走向线hi方向相同,Vij与倾向线vi方向相同,Cijcij重合,ρij等于1。

      图  6  单个窗户的要素示意图

      Figure 6.  Diagram of Single Window Regularity

      在窗户规则性模型定义完成后,建立基于JointBoost分类器提取结果,具体包含以下3个步骤。

      1) 计算单个窗户要素。以窗户提取结果作为计算单元,计算该区域的重心作为窗户中心;使用Canny算子提取影像的边缘,并用Hough变换检测其直线特征的两个主要方向,接近水平为窗户的走向,接近竖直为倾向;计算提取窗户结果的HOG描述子与样本图像HOG描述子的相关系数,作为图像相似度。

      2) 计算走向线和倾向线。由于单个窗户在一定程度上表达了整体规则分布的特性,因此,将计算所有单个窗户的直线方程分为斜率小于1的直线与斜率大于1的直线。斜率小于1的直线集合依据y轴截距进行聚类,斜率大于1的直线集合依据x轴截距进行聚类。在每一个小类别中使用按距离加权“投票”计算直线方程。其中,若该直线斜率小1,则为走向线;若斜率大于1,则为倾向线。

      3) 计算兴趣点。规则模型的兴趣点cij为每一条走向线hi和倾向线vi的交点。

      利用通过以上方法计算的窗户规则性模型对窗户提取结果进行优化的数学表达式为:

      $$ \begin{align} f =& {\beta _1}\left| {{H_{ij}} - {h_i}} \right| + {\beta _2}\left| {{V_{ij}} - {v_j}} \right| + \\ &{{\beta _3}\left| {{C_{ij}} - {c_{ij}}} \right| + {\beta _4}\left| {1 - {\rho _{ij}}} \right|} \end{align} $$ (1)

      式中,β1β2β3β4为各元素的权;f为该窗户满足规则性约束的程度。

    • 为检验本文方法在各种情况下的性能,选用了如图 7所示的3组数据进行实验。图 7(a)是使用30 mm焦距垂直拍摄的影像,该影像背景复杂,干扰较多,用来测试本文方法在复杂背景干扰下的鲁棒性;图 7(b)是使用17 mm焦距带有一定的翻滚角拍摄的影像,窗户由于光照、阳台等原因,特征表现复杂,该数据用来测试本文方法中特征提取的稳定性及存在翻滚角时规则性模型约束的性能;图 7(c)是使用85 mm焦距带有一定的水平偏转角度拍摄的影像,除了背景干扰外,有较明显的透视变形,该数据用来测试本文方法用于存在透视变形影像中的性能。

      图  7  实验数据

      Figure 7.  Experiment Data

      图 8为采用自动样本选择和JointBoost分类器对图 7所示的影像进行窗户提取的初步结果。图 8(a)中,窗户对象全部提取出来,但在背景中出现了许多过提取的错误结果。图 8(b)中,由于特征计算的不稳定,出现了若干过检测结果,以及窗户中心位置不准确的结果。图 7(c)中,影像存在明显的透视变形,导致窗户在影像中尺寸相差较大。因此,本文利用54×113像素和86×131像素两种尺寸样本进行窗户提取,得到初始分类结果如图 8(c)图 8(d)所示。两种尺寸的样本检测结果中都存在一些错误,原因是样本尺度选择问题,即在窗户尺寸较大处用了较小的窗户样本,不能表达完整的窗户范围;而在窗户尺寸较小处用了较大的窗户样本,容易出现检测错误。然而,在透视变形的影像中,窗户尺寸与其间距变形具有一致性,基于此特点,本文在规则模型建立后,通过模型中相邻兴趣点之间的距离估算窗户的尺度因子,解决透视变形导致的窗户大小差异问题。

      图  8  窗户初始提取结果(红色矩形框区域)

      Figure 8.  Preliminary Results by JointBoost and Probability-Weighted Cluster

      在提取初始窗户结果后,窗户规则性模型通过走向和倾向投票方法建立,如图 9所示。其中,图 9(c)所示的规则性模型,由图 8(c)图 8(d)两种不同大小样本提取的初始结果共同投票建立。从3个影像的规则性模型结果可以看出,本文方法建立的规则性模型客观地反映了窗户的分布规则。

      图  9  窗户规则性模型(蓝色直线网格)

      Figure 9.  Regularity Distribution Models for Windows

      经规则性约束后,窗户最终提取结果如图 10所示。其中,图 10(a)10(b)相比于图 8所示的提取结果,在欠提取和过提取现象上有很大的改善。图 10(c)所示为具有透视变形影像的窗户提取结果,从该结果可以看出,不仅窗户提取正确率有所提高,同时自适应选择了窗户的样本,获取了较准确的窗户范围。

      图  10  最终窗户提取结果(红色矩形框区域)

      Figure 10.  Final Results for Window Extraction

      图 11所示为图 7中3组数据分别利用模板匹配方法、尚未规则性约束的本文方法以及本文方法进行窗户提取的识别率与正确率的统计结果。统计数据所反映的结果与上述分析一致:对于图 7(a)数据,虽然本文方法最终结果的识别率与规则性约束前相比有所下降,但经规则性约束后删除了大量错误结果,显著提高了正确率;而对于图 7(b)7(c)数据,本文方法在识别率和正确率上都有较大优势。

      图  11  窗户提取结果的识别率与正确率统计

      Figure 11.  Extraction Ratio and Accurate Ratio of Window Extraction

    • 本文在当前近景影像窗户提取研究的基础上,提出了一种结合样本自动选择和规则性约束的建筑物窗户提取方法。本文方法不需要选取大量训练样本,即可自动拓展正负样本集合,训练JointBoost分类器,提取图像中的窗户,并根据提取结果建立分布规则性约束模型,进一步优化提取结果。同时,本文方法能自适应调整模板尺度,解决模板尺度变化的问题。最终,通过不同状态下获取的影像数据实验表明,本文方法相比于模板匹配方法,在窗户提取的识别率与正确率上都有明显提升。

      未来将继续研究:(1)由于窗户本身具有较强的结构性特征,通过窗户内部特征分析,设计一种更为普适性的特征对窗户进行识别,实现全自动样本选择;(2)利用窗户提取结果对建筑物结构进行分析、立面精细重建等研究。

参考文献 (19)

目录

    /

    返回文章
    返回