全连接条件随机场高分辨率遥感影像面状地物交互提取

张春森, 胡艳, 于振, 崔卫红, 吴蓉蓉

张春森, 胡艳, 于振, 崔卫红, 吴蓉蓉. 全连接条件随机场高分辨率遥感影像面状地物交互提取[J]. 武汉大学学报 ( 信息科学版), 2020, 45(10): 1594-1601. DOI: 10.13203/j.whugis20190137
引用本文: 张春森, 胡艳, 于振, 崔卫红, 吴蓉蓉. 全连接条件随机场高分辨率遥感影像面状地物交互提取[J]. 武汉大学学报 ( 信息科学版), 2020, 45(10): 1594-1601. DOI: 10.13203/j.whugis20190137
ZHANG Chunsen, HU Yan, YU Zhen, CUI Weihong, WU Rongrong. Interactive Extraction of High-Resolution Remote Sensing Image Surface Feature Based on Full-Connected Conditional Random Field[J]. Geomatics and Information Science of Wuhan University, 2020, 45(10): 1594-1601. DOI: 10.13203/j.whugis20190137
Citation: ZHANG Chunsen, HU Yan, YU Zhen, CUI Weihong, WU Rongrong. Interactive Extraction of High-Resolution Remote Sensing Image Surface Feature Based on Full-Connected Conditional Random Field[J]. Geomatics and Information Science of Wuhan University, 2020, 45(10): 1594-1601. DOI: 10.13203/j.whugis20190137

全连接条件随机场高分辨率遥感影像面状地物交互提取

基金项目: 

国家自然科学基金 41601467

陕西省自然科学基金 2018JM5103

详细信息
    作者简介:

    张春森, 博士, 教授, 主要从事摄影测量与遥感方面的研究。zhchunsen@aliyun.com

  • 中图分类号: P237

Interactive Extraction of High-Resolution Remote Sensing Image Surface Feature Based on Full-Connected Conditional Random Field

Funds: 

The National Natural Science Foundation of China 41601467

the Natural Science Foundation of Shanxi Province 2018JM5103

More Information
    Author Bio:

    ZHANG Chunsen, PhD, professor, specializes in photogrammetry and remote sensing. E-mail: zhchunsen@aliyun.com

  • 摘要: 提出一种基于全连接条件随机场高分辨率遥感影像面状地物交互式提取方法。通过人工交互标记估计前景模型, 结合光谱与纹理特征, 在利用简单线性迭代聚类算法对输入影像进行过分割的基础上, 通过基于区域的最大相似融合对前景区域进行扩充, 建立全连接条件随机场描述影像的全局信息。以均值场估计为基础, 利用高维高斯滤波方法实现模型推断, 进而获取面状地物轮廓。通过对高分遥感影像上水域、林地、梯田等面状地物的实验提取, 证明了该方法的有效性。
    Abstract: An interactive extraction method of high-resolution remote sensing image surface features based on full-connected conditional random field is presented. Through human interaction tag estimation foreground model, combined with color and texture features, and using the simple linear iterative clustering(SLIC) algorithm to over segment the input image, the maximal similarity based on region merging (MSRM) is used to expand the foreground region and establish the global information of the full-connected conditional random field to describe image. The model inference is realized by the high-dimensional Gauss filtering method which is based on the mean-field estimation. The contours of the area features are obtained. The method is proved to be effective by experimental extraction of surface features such as water, woodland and terraced fields in high-resolution remote sensing images.
  • 作为虚拟地理环境(virtual geographic environment, VGE)的重要组成部分[1-2],三维建筑物模型在城市规划、三维导航、灾害管理、水利水电等领域都有着广泛的应用[3-8]。与其他三维模型相比,三维建筑物模型通常具有更大的数据量和更复杂的几何结构特征[9-10]。虽然近年来计算机硬件性能飞速提升,但大规模三维场景的实时流畅渲染仍面临着巨大挑战[11]。如何在保证建筑物模型外观视觉效果的前提下对模型进行简化,在可视化时根据视距选择合适的细节层次模型(level of detail, LoD)加载[12],减轻计算机的渲染压力,仍然是亟待解决的问题[13]

    流形网格中图元拓扑关系简单,不存在悬挂点、悬挂边和悬挂面。计算机图形学领域提出的通用三维模型简化方法能在流形网格模型上取得较好的简化结果。但三维建筑物模型中存在大量非流形结构(如多个建筑物部件粘合在一起共享一条边),且具有严格的几何约束(如模型要素之间的平行、垂直、共面等特征约束)[14-16]和复杂的语义信息(如不同要素的属性、关系等)[17],将通用简化方法直接应用到三维建筑物模型上时,可能会破坏模型固有的几何约束,从而严重破坏建筑物的外观[18]。如果简化过程中未考虑建筑物语义信息,可能造成简化前后模型语义信息不一致。本文归纳了三维建筑物模型简化研究的进展情况,讨论了三维建筑物模型简化研究的潜在方向。

    通用三维模型简化方法通过对模型中的点、线、面等几何图元进行删除、合并等操作减少模型数据量,根据操作方式和图元对象的不同可分为顶点删除、边折叠、三角形折叠、顶点聚类4种。顶点删除算法和三角形折叠算法对建筑物简化效果较差,故只介绍边折叠算法和顶点聚类算法。

    边折叠算法由Hoppe等[19]提出,其原理是将构成一条边的两个顶点合并成一个顶点,从而删除该条边相邻的两个三角形。边折叠的逆操作为顶点分裂,即将折叠后的顶点还原为原来的边。如图 1所示,折叠边(vuvt)到vs,将顶点vuvt移动到vs处,并将退化的三角形flfr删除,还原时根据边折叠记录将三角形flfr重新恢复。基于边折叠和顶点分裂,Hoppe又提出了渐进网格模型[20]及基于视点的渐进网格算法[21],现已被广泛应用于地形等流形网格的连续LoD模型中。H边折叠算法在选择要折叠哪条边时需构建一个全局的能量函数来度量边折叠误差,效率很低。Garland等[22]提出了一种基于二次误差度量(quadric error metric, QEM)的简化算法,大幅提高了简化效率,成为目前使用最广泛的网格简化方法。后人在QEM算法的基础上考虑互信息、曲率等因素,提出了多种新的误差函数来提高QEM算法的简化质量[23-27]

    图  1  边折叠和顶点分裂示意图
    Figure  1.  Sketch Map of Edge Collapse and Vertex Split

    顶点聚类算法首先对网格进行空间聚类,再通过合并同一聚类中的顶点来简化网格。简化过程中,每个聚类中的顶点被聚类中权重最大的代表顶点代替,再由代表顶点拓扑重构形成简化的模型,具体过程如图 2所示。该方法由Rossignac等[28]提出,但此方法对细节分布不均匀的模型进行了均匀简化,可能破坏顶点间拓扑关系,造成模型的局部过度简化。针对此,Low和Tan[29]提出了单元浮动聚类算法,有效解决了此问题;Luebke等[30]提出的八叉树自适应划分的方式划分空间取得了更好的效果。

    图  2  顶点聚类示意图
    Figure  2.  Sketch Map of Vertex Clustering

    当简化率较高时,由于没有考虑建筑物的几何约束和拓扑关系,上述两种方法在大面积图元的删除或合并时会造成建筑物坍塌和建筑物构件间拓扑关系破坏,严重影响模型外观,如图 3所示。如使用边折叠算法,在简化率较高时会出现图 3(b)结果。同时,由于模型在图元层面大多未携带语义信息,简化后模型往往和原模型语义不一致(如两种不同材质属性的要素合并后,新要素和原模型材质信息不一致)。这严重影响可视化效果和三维分析的准确性,极大限制了三维建筑物的应用。

    图  3  边折叠简化致模型几何约束和拓扑关系破坏
    Figure  3.  Simplification Using Edge Collapses Algorithm Leads to Destruction of Model Geometry Constraints and Topological Relationship

    该方法的基本思想是先将三维模型投影到二维平面得到模型的投影轮廓线,使用二维制图综合技术对轮廓线简化综合后,再将简化综合结果恢复为三维模型。最常见的方法是将建筑物自上而下投影得到建筑物基底,对基底简化后拉伸并叠加屋顶得到简化结果。研究初期主要关注单栋建筑物墙体轮廓的简化,常见做法是在基底各边平行垂直等几何约束的限制下,移除基底中较短的边以消除墙体中小的凸起或凹陷[31-32]。由于简化过程中没有考虑屋顶,基底拉伸后可能出现墙体和屋顶不匹配的情况,可通过引入屋顶与基底的相交测试来修正模型解决[33],但仅限于屋顶结构简单的建筑物。除自上而下投影外,有学者参考计算机自动制图领域的简化方法,将模型同时投影到3个平面上得到模型的三视图,对三视图简化综合后再恢复模型[34],但建筑物表面通常有多层复杂装饰结构,投影后简化综合难度较大。

    基于投影特征的简化方法多用在大规模城市场景建筑群的可视化中。通过不断综合建筑物基底,并对综合结果使用树状结构组织,在场景漫游时根据用户视点到模型的距离加载树中合适的模型,提高渲染效率[35-37]。一般来说,综合过程中距离较近的建筑物应优先合并,故通常先对建筑物中心点Delaunay三角化,根据距离建立建筑物间的联系。在综合时只合并三角网相连的建筑物[38-39]。为保留建筑物轮廓的显著性特征,常将地图综合中的删除、夸大等操作应用到基底的综合中[40]

    地图符号是可视化表达地理环境的基本手段。虽然VGE强调真实感表达,但出于渲染效率的考虑,也会适当对复杂三维建筑物模型进行符号化表达[41-42]。符号化的基础是对现有建筑物进行特征归纳总结后得到有限数量的模板。为了方便,一般将建筑物的基底和屋顶分开归纳,如图 4所示,可将常见的现代城市建筑物基底分为方型、L字型、T字型等类型,屋顶分为金字塔型、山墙型、A字型等类型[40]。分类归纳后,需通过计算实际模型与模板间的相似程度来选择匹配的三维符号。基底匹配中,常利用最小二乘法求解与原始复杂模型基底最接近的3D模板[43-44]。屋顶可划分为多个单元,通过解析每个单元内的屋顶结构,利用预生成的多个屋顶模板与屋顶结构进行匹配,选择最佳匹配模板并调整模板的几何参数(屋脊、屋檐高度等)以代替原模型[45-46]。匹配后的模型只能保持少量显著特征,精确识别建筑物时出现困难,故在导航领域通常在综合考虑建筑物的局部和全局显著性的基础上[47],将显著性高的建筑物精细显示,显著性低的建筑物用简单模板代替[48-49],以清晰显示道路及周边建筑物轮廓,方便用户快速定位当前位置。

    图  4  建筑物结构模板
    Figure  4.  Building Structure Templates

    建筑物是一种人工建构对象,其中存在大量的典型结构特征,通过结构提取,以结构为单位进行简化,符合建筑物的建造规律,更容易精细控制建筑物的局部简化,处理结构间的拓扑关系。基于结构特征的简化分为结构特征的定义、提取、简化3步。目前,结构特征没有统一的标准和定义,从宏观尺度上可分为主体结构和细节结构[50]。微观尺度上可根据结构在建筑物中的凸起、凹陷等特征分为凸起结构和凹陷结构[45],也可根据结构间的几何拓扑关系分为连接结构、组合结构等[51]。不同的结构特征定义会得到不同的结构提取结果,可能造成简化结果的不一致。

    主体结构提取最常用的方法是三维模型切割。利用模型中图元的倾角、面积等几何特征识别出切割面[45, 52]或切割环[53]后,用切割面或切割环切割原建筑物模型,即可得到建筑物的主体结构及一系列凸起凹陷等细节结构,将这些结构存储在构造实体几何(constructive solid geometry, CSG)树中[54],在可视化过程中可利用树的深度控制LoD层次。三维模型切割方法仅适用于表面平整、结构简单的建筑物,结构复杂的建筑物(如中国古建筑)的结构特征,要根据模型几何特征,通过模型框线及图搜索等特定的几何分析方法提取[51, 55]

    在此基础上,根据显著性和重要程度不断移除模型细节结构[56],可得到简化的模型。结构移除产生的孔洞和缝隙,需通过对边界节点重新三角化修补。模型中小的凸起和凹陷结构也可参考二维图像处理中的形态学操作方法,用扩展到三维的形态学操作中的膨胀和腐蚀操作消除[57]

    简化的基本前提是不破坏用户的理解和感知。除几何信息外,三维建筑物模型还包含复杂的纹理和丰富的语义信息,这都是影响用户理解和感知的重要方面,不考虑这些因素而单纯进行几何简化的方法是存在缺陷的。部分研究尝试对几何简化从纹理、语义及用户理解感知多个方面进行约束,以期取得更好的效果。

    纹理作为三维建筑物模型中的重要组成部分,可显著增加模型的细节和真实感,越来越多的研究开始在简化过程中考虑纹理因素。在网格层面对模型简化时,顶点位置的变化会带动多边形纹理映射位置的变化,可能造成纹理变形或扭曲,此问题可通过计算简化误差度量时综合考虑几何误差和纹理误差缓解[58-60]。基于基底和结构特征的简化中,由于涉及到大量细节结构的移除或合并,需生成多个纹理供不同层次的简化模型使用[18, 61],但由于纹理的复杂性,多级纹理的组织和自动化生成目前仍没有令人满意的解决方案。基于符号的简化模型与原模型几何结构相差较大,一般直接用模型的主颜色代替纹理。

    纹理在一定程度上可反映模型的属性特征,如同种颜色的建筑物要素更容易被认为是同类要素。在建筑物类型数据缺乏时,纹理也能作为建筑物要素合并中的考虑因素[60, 62]

    建筑物中包含了丰富的语义信息,早期三维建筑物简化研究主要关注模型的几何特征,而对建筑物模型的语义信息有所忽视。目前应用最广泛的两种建筑物语义标准为用于建筑工程领域的工业基础类(industry foundation classes,IFC)[63]和用于地理信息领域的城市地理标记语言(city geography markup language, CityGML)[64-65]。语义信息中能明确定义建筑物部件可作为建筑物结构特征分类的依据。基于语义信息可快速提取出建筑物中的门窗、阳台等具有明确含义的功能结构[66],为基于结构特征的简化带来极大便利。在简化过程中涉及要素合并时,可令模型语义信息作为合并的条件,优先合并相同属性的基底[67-68]或结构[59],减少或防止不同语义类型要素的合并,保持简化前后的模型语义的一致性,但合并前后语义信息层级关系未保存,会给基于语义信息的查询带来困难。

    仅通过几何确定的图元或结构重要性不一定能真实反映用户对建筑物的感知情况,故有学者从用户角度出发,用人类理解及感知指导三维建筑物简化。考虑感知的简化的基本原则是优先简化模型中不被人类感知的部分。由于目前三维模型的感知研究比较匮乏,通常先将三维模型转换为二维图像,在二维图像上根据人眼视觉系统(human visual system, HVS)确定感知信息[69-70]。考虑理解的简化更多应用在大规模城市建筑群基底的综合中,为保持综合后城市的易读性,需保留原城市中的道路、街区、地标建筑物等[71],此过程可引入认知心理学作为指导[72-74]

    三维建筑物模型的简化研究取得了一些成果,这些简化方法能在一定程度上保持模型的几何和拓扑约束,但均存在一定局限。基于投影特征的简化方法借鉴了二维平面制图综合的思想,可用于细节不是很丰富的建筑物(或已简化到一定程度、细节很少的建筑物模型)的简化,对结构复杂的建筑物效果不佳,且建筑物墙体与屋顶的无缝匹配、基底内部要素的简化等问题不能很好解决。三维建筑物的符号化表达需要预先构造三维模板,其简化效果直接受限于模板数量,往往应用于导航、三维旅游地图等较为简单的场景。建筑物结构特征的简化适用于单栋复杂建筑物,但目前三维建筑物的结构特征没有严格统一的标准,简化结果受结构特征定义的影响较大,在应用于大规模三维场景的简化时,更加面临效率低下的问题。

    在纹理、语义、用户理解及感知等因素的约束下,三维建筑物模型的简化质量可望显著提升。在当前简化方法中,纹理未随模型几何信息的变化进行相应调整,容易引起纹理的扭曲、变形、缺失等问题,且多层级复合纹理的自动生成仍面临极大困难。目前建筑物语义信息的具体内容没有明确标准,如何对建筑物进行完备的语义建模仍处于研究初期,语义信息数据采集、模型加工等多个方面的规范还需探索。此外,用户对三维模型的理解感知评价等方面的研究较为缺乏,如何判断对模型效果理解感知的一致性还是一个难题。这几个方面的困难都对简化过程中约束因素的实施带来了很大的挑战。

    三维建筑物的简化研究已形成了基于几何和多因素约束下的适用于不同应用场景、不同种类建筑物的多种简化方法,这些方法所生成的不同简化层次的建筑物模型在视觉上有关联性,但在几何、拓扑、语义等重要特征方面关联性不足,且层次间数据冗余很大,通常称之为离散LoD模型。离散LoD模型因其细分层次的不足以及层次间的关联不足,难以满足多种应用需求[75-76],在离散LoD模型上进行的三维空间分析(如视域因子分析、日照时长分析等)可能会导致不一样的结论[13, 77]。此外,由于离散LoD不同层次的建筑物模型外观形态差别较大,切换时有明显的“跳跃感”[78],漫游交互的视觉效果不够好。

    有部分学者提出建筑物连续LoD模型的概念[79-81],其目标是使建筑物模型在LoD层次间保持建筑物的几何、拓扑、语义关联,并使不同细节层次模型上获得的三维空间分析结论具有较好的一致性,同时使得不同层级间的切换的视觉过渡更加平滑,减弱甚至消除离散LoD不可避免的视觉突变现象。连续LoD模型的相关理论和技术方法都需要更为深入的研究。连续LoD模型的生成对几何、拓扑、语义要素特征的综合优化选取带来了很大的困难,对简化过程中的特征保持、约束表达带来了更丰富的研究内容。

    以连续LoD的构建为目标,研究更为完善的建筑物简化算法,是今后相当长时期内的一个挑战,其成功可望为虚拟地理环境可视化、三维空间分析等提供更好的技术支撑,为三维建筑物的应用开辟更广阔的天地。

  • 图  1   面状地物交互式提取流程

    Figure  1.   Process of Surface Feature Interactive Extraction

    图  2   前景样本获取过程

    Figure  2.   Acquisition Process of Foreground Sample

    图  3   交互式提取中间结果(红色折线为种子线, 蓝色为提取结果缓冲区)

    Figure  3.   Interactive Extraction of Intermediate Results (Red Line is Seed Line, Blue Line is Extracted Buffer)

    图  4   实验影像数据

    Figure  4.   Experimental Image Data

    图  5   水域提取结果(红色线为种子线, 湖蓝色线为提取轮廓)

    Figure  5.   Results of Water Extraction (Red Line is Seed Line, Lake Blue Line is Extracted Contour)

    图  6   林地提取结果(红色线为种子线, 湖蓝色线为提取轮廓)

    Figure  6.   Results of Woodland Extraction (Red Line is Seed Line, Lake Blue Line is Extracted

    图  7   梯田提取结果(红色线为种子线, 湖蓝色线为提取轮廓)

    Figure  7.   Results of Terraced Fields Extraction (Red Line is Seed Line, Lake Blue Line is Extracted Contour)

    图  8   裸露地提取结果(红色线为种子线, 湖蓝色线为提取轮廓)

    Figure  8.   Results of Naked Extraction (Red Line is Seed Line, Lake Blue Line is Extracted Contour)

    图  9   水域、林地、梯田、裸露地的提取轮廓

    Figure  9.   Extraction Profile of Waters, Woodlands, Terraced Fields and Naked

    图  10   实验区各类地物语义信息最终整体提取结果

    Figure  10.   Final Extraction Result of Various Kinds of Semantic Information in Test Area

    表  1   4种面状地物提取精度比较/%

    Table  1   Comparison of Extraction Accuracy of Four Kinds of Planar Features/%

    地物类别 准确率 召回率 F1值
    水域 96.4 97.2 96.7
    林地 91.2 92.8 91.9
    梯田 92.8 92.3 92.5
    裸露地 95.1 96.5 95.7
    下载: 导出CSV
  • [1]

    Blaschke T. Object Based Image Analysis for Remote Sensing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(1): 2-16 doi: 10.1016/j.isprsjprs.2009.06.004

    [2]

    Li M, Zang S, Zhang B, et al. A Review of Remote Sensing Image Classification Techniques: The Role of Spatio-Contextual Information[J]. European Journal of Remote Sensing, 2014, 47(1): 389-411 doi: 10.5721/EuJRS20144723

    [3] 闫利, 赵展, 聂倩, 等.利用规则进行高分辨率遥感影像地物提取[J].武汉大学学报·信息科学版, 2012, 37(6): 636-639 http://ch.whu.edu.cn/article/id/237

    Yan Li, Zhao Zhan, Nie Qian, et al. Extraction of Feature Extraction from High Resolution Remote Sensing Images Using Rules[J]. Geomatics and Information Science of Wuhan University, 2012, 37(6): 636-639 http://ch.whu.edu.cn/article/id/237

    [4] 邵鹏.基于多尺度分割的高分遥感影像主要地物信息提取技术研究[D].长春: 吉林大学, 2015

    Shao Peng. Research on Main Feature Information Extraction Technology of High Score Remote Sensing Image Based on Multi-Scale Segmentation[D].Changchun: Jilin University, 2015

    [5] 田力, 张晓盼, 袁艳斌.交互式遥感影像分割算法研究[J].武汉大学学报·信息科学版, 2014, 39(4): 406-410 doi: 10.13203/j.whugis20120362

    Tian Li, Zhang Xiaopan, Yuan Yanbin. Interactive Remote Sensing Image Segmentation Algorithm[J]. Geomatics and Information Science of Wuhan University, 2014, 39(4):406-410 doi: 10.13203/j.whugis20120362

    [6]

    Kruizinga P, Petkov N. Nonlinear Operator for Blob Texture Segmentation[J]. NSIP, 1999, 8(1): 881-885 http://www.cs.rug.nl/~petkov/publications/nsip99.pdf

    [7]

    Ojala T, Pietikäinen M, Harwood D. A Comparative Study of Texture Measures with Classification Based on Featured Distributions[J]. Pattern Recognition, 1996, 29(1): 51-59 https://www.sciencedirect.com/science/article/pii/0031320395000674

    [8]

    Rother C, Kolmogorov V, Blake A. "GrabCut": Interactive Foreground Extraction Using Iterated Graph Cuts[C]. ACM Siggraph, California, USA, 2004

    [9] 涂继辉, 眭海刚, 冯文卿, 等.利用词袋模型检测建筑物顶面损毁区域[J].武汉大学学报·信息科学版, 2018, 43(5): 691-696 doi: 10.13203/j.whugis20150665

    Tu Jihui, Sui Haigang, Feng Wenqing, et al. Detection of Damaged Areas Based on Visual Bag-of-Words Model from Aerial Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2018, 43(5):691-696 doi: 10.13203/j.whugis20150665

    [10] 文顺.基于层次条件随机场的图像对象分割[D].宁波: 宁波大学, 2014

    Wen Shun. Image Object Segmentation Based on Hierarchical Condition Random Field[D]. Ningbo: Ningbo University, 2014

    [11]

    Heikkilä M, Pietikäinen M, Schmid C. Description of Interest Regions with Center-Symmetric Local Binary Patterns[J]. Computer Vision, Graphics and Image Processing, 2006, 2: 58-69 http://www.ee.oulu.fi/mvg/files/pdf/pdf_750.pdf

    [12] 徐丽.面向图像标记的条件随机场模型研究[D].西安: 长安大学, 2013

    Xu Li. Research on Conditional Random Field Model for Image Marking[D]. Xi'an: Chang'an University, 2013

  • 期刊类型引用(1)

    1. 杨亚斌,荆磊,徐梦龙,韩革命,邱隆君,吴新刚,郜晓亮,郝国江,孙诚业,张光之,苏振宁. 陆域重力勘探进展. 物探化探计算技术. 2022(06): 722-741 . 百度学术

    其他类型引用(3)

图(10)  /  表(1)
计量
  • 文章访问数:  1113
  • HTML全文浏览量:  427
  • PDF下载量:  86
  • 被引次数: 4
出版历程
  • 收稿日期:  2019-06-17
  • 发布日期:  2020-10-04

目录

/

返回文章
返回