留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用多尺度张量投票的建筑立面分割方法

张祥 杨剑 吴浩 王昱人 郭世泰 瞿美仙

张祥, 杨剑, 吴浩, 王昱人, 郭世泰, 瞿美仙. 利用多尺度张量投票的建筑立面分割方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487
引用本文: 张祥, 杨剑, 吴浩, 王昱人, 郭世泰, 瞿美仙. 利用多尺度张量投票的建筑立面分割方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487
ZHANG Xiang, YANG Jian, WU Hao, WANG Yuren, GUO Shitai, QU Meixian. Segmentation Method of Building Facade Using Multi-scale Tensor Voting[J]. Geomatics and Information Science of Wuhan University, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487
Citation: ZHANG Xiang, YANG Jian, WU Hao, WANG Yuren, GUO Shitai, QU Meixian. Segmentation Method of Building Facade Using Multi-scale Tensor Voting[J]. Geomatics and Information Science of Wuhan University, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487

利用多尺度张量投票的建筑立面分割方法

doi: 10.13203/j.whugis20180487
基金项目: 

国家重点研发计划 2017YFE0109500

湖北省技术创新专项 2019ACA143

详细信息

Segmentation Method of Building Facade Using Multi-scale Tensor Voting

Funds: 

National Key Research and Development Program of China 2017YFE0109500

Hubei Province Technology Innovation Project 2019ACA143

More Information
    Author Bio:

    ZHANG Xiang, master, specializes in three-dimensional laser point cloud data processing. E-mail: xiangzhang1992@126.com

    Corresponding author: YANG Jian, PhD, lecturer. E-mail: realmilanyj@163.com
图(1) / 表(2)
计量
  • 文章访问数:  38
  • HTML全文浏览量:  10
  • PDF下载量:  17
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-12-17
  • 刊出日期:  2021-03-05

利用多尺度张量投票的建筑立面分割方法

doi: 10.13203/j.whugis20180487
    基金项目:

    国家重点研发计划 2017YFE0109500

    湖北省技术创新专项 2019ACA143

    作者简介:

    张祥,硕士,主要从事三维激光点云数据处理研究。xiangzhang1992@126.com

    通讯作者: 杨剑,博士,讲师。realmilanyj@163.com
  • 中图分类号: P237

摘要: 地面三维激光扫描是城市建筑立面数据采集的新方法,由于三维点云具有数据量大、无规则等特点,导致从点云中精确分割城市建筑物信息面临着严峻的挑战。在传统张量投票方法基础上,充分考虑各个尺度下点云立面特征判别的概率,提出了一种多尺度张量投票方法来实现平面分割,更加精确地实现了立面特征的识别。通过实例,将该方法同主成分分析和传统张量投票进行对比与分析,结果表明,多尺度张量投票方法在分割精度方面较优。

English Abstract

张祥, 杨剑, 吴浩, 王昱人, 郭世泰, 瞿美仙. 利用多尺度张量投票的建筑立面分割方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487
引用本文: 张祥, 杨剑, 吴浩, 王昱人, 郭世泰, 瞿美仙. 利用多尺度张量投票的建筑立面分割方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487
ZHANG Xiang, YANG Jian, WU Hao, WANG Yuren, GUO Shitai, QU Meixian. Segmentation Method of Building Facade Using Multi-scale Tensor Voting[J]. Geomatics and Information Science of Wuhan University, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487
Citation: ZHANG Xiang, YANG Jian, WU Hao, WANG Yuren, GUO Shitai, QU Meixian. Segmentation Method of Building Facade Using Multi-scale Tensor Voting[J]. Geomatics and Information Science of Wuhan University, 2021, 46(3): 348-352. doi: 10.13203/j.whugis20180487
  • 近年来,地面三维激光扫描作为一种新的测量方法,能够非接触式高精度地快速获取被测目标的三维点云数据,已被广泛应用于健康监测、城市规划和建筑重建等方面[1]。特别是它能获得比机载激光扫描的屋顶信息更为丰富的建筑物立面信息,这实现了构建更精确的城市建筑物三维模型[2]。当前,开展基于三维激光点云的建筑物的立面分割已成为研究热点。

    针对建筑物点云分割,许多学者已经开展了大量的研究,如文献[3]基于点云数据中扫描线的信息实现了建筑物立面分割;文献[4]在利用立体像对进行建筑物三维重建时,结合随机抽样一致算法(random sample consensus, RANSAC)算法对建筑物立面进行分割,极大地提高了重建效率;文献[5]使用霍夫转换从参数空间中的激光群聚结果中分割立面区域,以实现三维建筑物重建。区域成长分割法只需要少量的种子点和少数几个判别标准就能实现平面分割,得到越来越多的应用:文献[6]利用区域成长技术成功地将建筑物立面从地面激光扫描点云中分割出来;文献[7]提出了一种基于八叉树的区域成长算法,用于建筑物点云的快速立面分割。然而,种子点的选择问题一直是影响区域成长算法的关键因素。

    目前,有许多有效的种子点选择算法来改善区域成长方法,如文献[8]使用具有最小曲率的点作为种子点,文献[9]提出了以不规则三角网(triangulated irregular network,TIN)作为种子表面来进行区域成长分割;文献[10]采用主成分分析来计算每个点的局部表面显著性特征,并选取最小特征值作为种子点选择的依据。近年来,张量投票法作为离散随机数据的特征推断方法被广泛应用于特征空间的分割。它的一个重要优点是可以同时推断所有几何结构(包括曲面、线和点),并提供关于特征强度的额外信息[11],如文献[12]从张量投票法的特征值和特征向量的性质出发,提出了一种具有主要特征的区域成长方法用于平面分割;文献[13]提出了一种利用张量投票法对平面特征进行分类的平面法向量聚类方法。但这两种方法都存在一个明显的问题,即每个点的二阶张量都受其领域点数目(即尺度参数)的影响,当尺度参数过小时,几何信息从相邻点收集不足;反之,会收集到其他立面或离散点传递过来的误差信息[14]

    为了提高立面分割的准确性,首先,本文在张量投票的基础上提出了一种多尺度张量投票方法,利用尺度区间来代替单个尺度,以减少张量投票方法本身的尺度效应,从而获取更加全面的立面分割结果;然后,通过与主成分分析和传统张量投票这两种方法的比较,证明了多尺度张量投票方法的优越性。

    • 张量投票是由Medioni等[15]于2000年提出,最初是应用于计算机图像处理,随着激光技术的逐渐完善,越来越多的学者将其应用于激光点云数据处理中。假设点云数据集为:

      $$ P=\left\{{p}_{i}\in {R}^{3}\left|i=\mathrm{1, 2}\mathrm{ }\cdots n\right.\right\} $$ (1)

      式中,$ n $为样本数。点云中每个点$ {p}_{i} $被编码成一个$ 3\times 3 $的二阶对称半正定矩阵$ {\mathit{T}}_{i} $,并分解为:

      $$ {\mathit{T}}_{}={\lambda }_{1}{\mathit{v}}_{1}{\mathit{v}}_{1}^{\mathrm{T}}+{\lambda }_{2}{\mathit{v}}_{2}{\mathit{v}}_{2}^{\mathrm{T}}+{\lambda }_{3}{\mathit{v}}_{3}{\mathit{v}}_{3}^{\mathrm{T}} $$ (2)

      式中,$ {\mathit{v}}_{1} $、$ {\mathit{v}}_{2} $和$ {\mathit{v}}_{3} $分别是分解得到的特征向量;$ {\lambda }_{1} $、$ {\lambda }_{2} $和$ {\lambda }_{3} $分别是对应的特征值。式(2)可以通过两个向量的并进乘法改写成下面的形式:

      $$\begin{array}{*{20}{l}} {{T_i} = \left( {{\lambda _1} - {\lambda _2}} \right){v_1}v_1^{\rm{T}} + \left( {{\lambda _2} - {\lambda _3}} \right)\left( {{v_1}v_1^{\rm{T}} + {v_2}v_2^{\rm{T}}} \right) + }\\ {\;\;\;{\lambda _3}\left( {{v_1}v_1^{\rm{T}} + {v_2}v_2^{\rm{T}} + {v_3}v_3^{\rm{T}}} \right)} \end{array} $$ (3)

      每个点的编码张量以球投票的形式将自己的信息传播到相应邻域的张量。在此过程中,本文把每一个点的张量当作一个选票,然后每一个散点都向周围的点传递它的几何信息和特征变化。具体的传递过程是将邻域内的张量通过张量加法收集起来:

      $$ T = \sum\limits_{x = 1}^z {{u_x}} {T_x} $$ (4)

      式中,$ \mathit{T} $表示累积张量;$ {u}_{x} $表示衰减函数;$ {\mathit{T}}_{\mathit{x}} $是指邻域内散点的张量;$ z $指点邻域内散点的个数。由于邻近点之间的几何关系和相互影响会随着距离的增加逐渐变小,本文使用高斯函数来量化衰减的效果:

      $$ {u}_{x}=\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{{s}_{x}^{2}}{{k}^{2}}\right) $$ (5)

      式中,$ {s}_{x}^{} $表示邻域中的点到顶点的距离;$ k $代表衰减因子,取值设定为1.2。

      在投票过程之后,可以通过式(3)分解来推断点局部的几何结构。通过比较如表 1所示的投票张量的特征值,可以从理论上推断点周围的局部结构。表 1中,$ {\lambda }_{1}-{\lambda }_{2} $、$ {\lambda }_{2}-{\lambda }_{3} $和$ {\lambda }_{3} $分别代表面、线和点的显著性强度,其值越大,代表这一局部所对应的特征可能性越大。为了消除边缘点和内部点的面显著性强度计算大小不一致的影响,先将面显著性强度作归一化处理,然后以$ C $作为面特征强度指标[16]C值计算如下:

      $$ C=\frac{{\lambda }_{1}-{\lambda }_{2}}{{\lambda }_{1}} $$ (6)

      表 1  通过3个特征值对张量的局部结构进行推断

      Table 1.  Inferring the Local Structure of Ten sorsby Three Eigenvalues

      局部结构 特征值 强度 向量
      $ {\lambda }_{1}\gg {\lambda }_{2}\approx {\lambda }_{3} $ $ {\lambda }_{1}-{\lambda }_{2} $ $ {\mathit{v}}_{1} $
      线 $ {\lambda }_{1}\approx {\lambda }_{2}\gg {\lambda }_{3} $ $ {\lambda }_{2}-{\lambda }_{3} $ $ {\mathit{v}}_{3} $
      $ {\lambda }_{1}\approx {\lambda }_{2}\approx {\lambda }_{3} $ $ {\lambda }_{3} $
    • 在计算点的面特征显著性指标的过程中,点云密度和搜索半径是影响张量投票计算结果的重要因素。点云密度的增加可以强化点云之间的几何关系,搜索范围内的点的个数则影响可以识别的最小平面特征。虽然搜索范围的增加可以增加点云数目,但是如果面特征区域的大小是小于搜索范围的则无法被识别。也就是说,在计算面特征显著性指标时,不同类型的点云数据所设置的最佳尺度参数是不一样的。因此,在不了解未知测量数据真实几何形状的情况下,预先确定理想尺度参数是十分困难的。

      为了能够满足不同点云数据对尺度参数的要求,本文基于张量投票的相关理论提出了一种多尺度张量投票法。首先,对于点云数据中的每个点$ {p}_{i} $分别在不同尺度下进行张量投票计算;然后,形成如下形式的向量:

      $$ {\mathit{\varphi }}_{i}=[{C}_{i1}{C}_{i2}\cdots {C}_{im}] $$ (7)

      式中,$ m $是尺度参数范围的大小。接着将所有点对应的向量组合成一个矩阵$ \mathit{\varphi } $为:

      $$\varphi = \left[ {\begin{array}{*{20}{c}} {{\varphi _1}}\\ {\begin{array}{*{20}{l}} {{\varphi _2}}\\ \vdots \end{array}}\\ {{\varphi _n}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{C_{11}}}& \cdots &{{C_{1m}}}\\ \vdots &{}& \vdots \\ {{C_{n1}}}& \cdots &{{C_{nm}}} \end{array}} \right]$$ (8)

      为了更清晰地表明每个点在不同尺度下具有明显的面特征,对矩阵$ \mathit{\varphi } $中的每个元素进行判断标记:

      $$ {\varphi }_{ij}^{\mathrm{\text{'}}}=\left\{\begin{array}{cc}1, {\varphi }_{ij}\ge \xi & \\ 0, {\varphi }_{ij}<\xi & \end{array}\right. $$ (9)

      式中,$ {\varphi }_{ij}^{\mathrm{\text{'}}} $是点$ {p}_{i} $在尺度$ j $下的标记值;$ \xi $是面特征强度阈值。最后,计算出能够代表该点的综合性面特征强度指标$ {\varphi }_{i}^{\mathrm{\text{'}}} $:

      $$ {\varphi }_{i}^{\mathrm{\text{'}}}=\left(\sum _{j=1}^{m}{\varphi }_{ij}^{\mathrm{\text{'}}}\right)/m $$ (10)

      由于张量投票本身的尺度效应,过大或过小的尺度都会对面特征强度的计算造成错误的信息收集,为了能够尽量避免在投票过程中造成的误差,在进行多尺度张量投票之前需要先确定投票的尺度范围。2006年,Soler等[17]提出了相应的推导方法,证明可以通过张量分量的标准偏差得到特征强度的精度。因此,本文选取相对稳定的尺度区域作为多尺度张量投票的投票区间。

    • 本文选取长20 m、高12 m的楼栋采集实验数据,该楼栋有多种形式的窗户,除了一个整体平坦的立面外,还具有屋檐、阳台等多种交错立面,能够体现出建筑物复杂的外形特征。实验采用徕卡P40扫描仪以6.3 mm/10 m的分辨率对实验楼栋进行扫描得到点云数据,总点数为94 499。本文分别采用主成分分析、张量投票和多尺度张量投票方法选取种子点,结合区域成长法完成立面分割。不同方法的立面分割结果如图 1所示。

      图  1  不同方法的立面分割结果图

      Figure 1.  Facade Segmentation Results Corresponding to Different Methods

      图 1中,主成分种子点阈值选取为0.1,张量投票和多尺度张量投票种子点阈值选取为0.94,多尺度张量投票尺度区间为[50,70],区域扩增时距离阈值和角度阈值分别设置为0.05 m和10°。3种方法都是通过在Matlab R2014a上编程实现。

    • 在整体上,图 1(b)图 1(c)能够将立面分割出来,但相比于原始点云数据,它们仍存在部分立面的丢失;图 1(d)则尽可能地保留了和原始点云一致的立面信息,比其他两种方法分割结果更加完整。在局部上,本文选取了区域1、区域2、区域3进行对比。区域1位于建筑物顶部屋檐突出部分,可以看到,图 1(b)虽然保留较为完整,但在窗角缺失较多;图 1(c)在两个不同立面的交界处出现条形缺失;图 1(d)保留完整,基本与该区域原始点云的立面一致。区域2为窗户位置,其特点是具有较多的立面边界,可以看出,图 1(b)在边缘处出现不规则的锯齿状缺失;图 1(c)边缘柔滑比较严重;图 1(d)则能比图 1(b)图 1(c)表现出更好的边缘平整性。区域3的位置为空调安装位置,由于扫描仪只获取被测物体的表面信息,因而这里将空调看作建筑物立面,以测试对于具有多个立面交错的复杂建筑物的情况。可以看到,从图 1(b)图 1(c)图 1(d),立面分割越来越完整。

      在立面分割过程中,经常将不属于立面的点归为立面点(错分),或者把属于立面的点漏掉,没有识别出来(漏分)。本文根据原始数据中的立面和窗户两类点,计算出主成分分析、张量投票和多尺度张量投票3种方法的分割精度如表 2所示。

      表 2  3种方法下的立面分割结果对比

      Table 2.  Comparison of Facade Segmentation Results Under Three Methods

      方法 实际立面点云数 实际窗户点云数 窗户错分为立面点云数 立面错分率/% 立面错分为窗户点云数 立面漏分率/% 分割精度/%
      主成分分析 74 609 7 097 3 198 4.3 9 595 12.9 88.61
      张量投票 78 350 6 500 3 795 4.8 5 854 7.5 93.05
      多尺度张量投票 81 404 7 099 3 196 3.9 2 800 3.4 96.67

      表 2可知,3种方法中多尺度张量投票方法的立面错分率和立面漏分率均为最小,分割精度最高,证明了该方法立面分割效果最佳。

    • 本文方法的主要贡献是将无组织点结构分析的张量投票理论推广到多尺度立面分割中。首先,该方法通过收集每一个点在各尺度参数下张量投票计算出的面特征显著指标,统计出每一个点面特征显著指标大于面特征强度阈值的尺度参数个数;然后,计算得到一个能够代表该点面特征的综合性显著指标,从而减弱张量投票方法受尺度参数和点云密度的影响;最后,通过与常用的主成分分析和传统张量投票两种方法的比较,在定性和定量两个方面均证明了本文提出的多尺度张量投票方法更能适应复杂的建筑物立面分割。

参考文献 (17)

目录

    /

    返回文章
    返回