留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用点云检测室内导航元素的方法综述

危双丰 刘明蕾 赵江洪 黄帅

危双丰, 刘明蕾, 赵江洪, 黄帅. 利用点云检测室内导航元素的方法综述[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
引用本文: 危双丰, 刘明蕾, 赵江洪, 黄帅. 利用点云检测室内导航元素的方法综述[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
WEI Shuangfeng, LIU Minglei, ZHAO Jianghong, HUANG Shuai. A Survey of Methods for Detecting Indoor Navigation Elements from Point Clouds[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
Citation: WEI Shuangfeng, LIU Minglei, ZHAO Jianghong, HUANG Shuai. A Survey of Methods for Detecting Indoor Navigation Elements from Point Clouds[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144

利用点云检测室内导航元素的方法综述

doi: 10.13203/j.whugis20180144
基金项目: 

北京建筑大学市属高校基本科研业务费专项资金 X18229

北京建筑大学研究生创新项目 PG2018066

国家自然科学基金 41601409

北京市自然科学基金 8172016

城市空间信息工程北京市重点实验室开放研究基金 2018210

详细信息

A Survey of Methods for Detecting Indoor Navigation Elements from Point Clouds

Funds: 

The Fundamental Research Funds for Beijing University of Civil Engineering and Architecture X18229

the BUCEA Postgraduate Innovation Project PG2018066

the National Natural Science Foundation of China 41601409

Beijing Natural Science Foundation 8172016

the Beijing Key Laboratory of Urban Spatial Information Engineering 2018210

More Information
    Author Bio:

    WEI Shuangfeng, PhD, associate professor, specializes in indoor 3D modeling for application of indoor navigation. E-mail:weishuangfeng@bucea.edu.cn

    Corresponding author: ZHAO Jianghong, PhD, associate professor. E-mail:zhaojiangh@bucea.edu.cn
图(1) / 表(2)
计量
  • 文章访问数:  1120
  • HTML全文浏览量:  77
  • PDF下载量:  306
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-09-03
  • 刊出日期:  2018-12-05

利用点云检测室内导航元素的方法综述

doi: 10.13203/j.whugis20180144
    基金项目:

    北京建筑大学市属高校基本科研业务费专项资金 X18229

    北京建筑大学研究生创新项目 PG2018066

    国家自然科学基金 41601409

    北京市自然科学基金 8172016

    城市空间信息工程北京市重点实验室开放研究基金 2018210

    作者简介:

    危双丰, 博士, 副教授, 研究方向为三维室内重建与导航应用。weishuangfeng@bucea.edu.cn

    通讯作者: 赵江洪, 博士, 副教授。zhaojiangh@bucea.edu.cn
  • 中图分类号: P234.5;P208

摘要: 随着大型公共设施的普及和人们室内活动的增多,人们对构建室内精细化导航模型的需求日渐迫切。近年来飞速发展的三维激光扫描、摄影测量、计算机视觉等技术,能够快速高效地获取高精度室内点云数据,为室内精细化导航提供丰富的数据源。如何从海量杂乱的点云中提取出可用于室内导航路径规划的室内导航元素如房间、门窗、楼梯、走廊等,成为了研究的热点和难点。因此,从基于点云的室内导航元素提取所面临的问题出发,综述和评价了近年来各种导航元素提取的相关理论和算法,并针对其各自优缺点,提出利用几何方法与统计方法相结合实现室内导航元素检测和导航网络构建的新思路。

English Abstract

危双丰, 刘明蕾, 赵江洪, 黄帅. 利用点云检测室内导航元素的方法综述[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
引用本文: 危双丰, 刘明蕾, 赵江洪, 黄帅. 利用点云检测室内导航元素的方法综述[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
WEI Shuangfeng, LIU Minglei, ZHAO Jianghong, HUANG Shuai. A Survey of Methods for Detecting Indoor Navigation Elements from Point Clouds[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
Citation: WEI Shuangfeng, LIU Minglei, ZHAO Jianghong, HUANG Shuai. A Survey of Methods for Detecting Indoor Navigation Elements from Point Clouds[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
  • 研究表明,人类在室内活动的平均时间高达87%[1],远超室外活动时间。随着经济的发展,大型公共设施如大型的机场、医院、商城逐渐普及,成为人类活动重要载体[2]。密集大型建筑群室内场景错综复杂,加重了人们的空间认知负担,给人们在其中行走、活动等带来不便,室内迷路现象[3]越来越严重,特别是在遇到火灾等紧急情况需要进行疏散的时候,高效的室内导航服务是十分必要的[4]

    室内导航可以粗略划分为模型构建、路径规划、定位与导航3个方面[5]。模型构建是室内导航工作的第一步,国内外许多学者对其进行了研究。模型构建的源数据包括二维平面图[6]、IFC[7]、CityGML[8]等,但是这些数据对于一些竣工时间较长的建筑来说较难获得,因此很多学者将研究重点转向以点云为数据源的室内模型构建[9]。随着三维激光扫描技术[10]、摄影测量技术[11]、计算机视觉技术[12]等的飞速发展,可以在复杂的现场和空间对被测物体进行快速扫描测量,直接获得物体表面的三维坐标、色彩信息和反射强度[13],使得点云变成一种廉价、易获得的数据。同时,点云数据还可以精确地记录物体表面的几何属性和物体的三维空间信息[14]。因此,以点云为源数据的室内导航模型构建已成为研究的热点。

    如何从杂乱点云中提取出室内导航所需要的信息成为了研究的难点。由于点云数据只包含三维空间位置的信息而不承载语义信息,因此需要对点云数据进行分割并赋予语义[15],也就是让机器可以像人一样去识别这些点云的真实类别。国际上对于室内导航专门推出了统一的标准如IndoorGML[16],对室内导航的空间进行定义,其中最为重要的导航元素包括可导航空间元素(房间、走廊、楼梯、门、窗等)和不可导航空间元素(障碍物如墙、座椅、家具等)。因此,从海量点云中提取出上述导航元素是研究的重点和难点。本文对近年来提出的各种提取室内导航元素的方法进行比较和分析,提出了利用几何方法与统计方法相结合实现室内导航元素检测和导航网络构建的新思路。

    • 点云获取方式中最为典型的包括三维激光扫描仪和深度相机,本文重点对三维激光扫描仪的不同搭载平台(如移动式扫描系统[17-18]和固定式扫描系统[17, 19]),以及深度相机[20-22]获取的点云数据源进行比较分析。上述3种数据源在扫描效率、精度、范围和成本等方面的对比如表 1所示。

      表 1  数据源对比

      Table 1.  Data Source Comparison

      数据源 可提供的数据 扫描效率 精度 扫描范围 价格
      移动式三维激光扫描仪 离散的单点三维坐标,轨迹 可以连续快速扫描,效率高、速度快 高精度 可以对建筑的所有可进入区域进行扫描,能提供完整的点云和轨迹 高昂
      固定式三维激光扫描仪 一系列的点云数据 扫描大型建筑时会因为测站设置问题而影响效率 高精度 可以根据地形设置测站,室内外均可进行扫描,有助于室内外一体化建模 较高
      深度相机 彩色点云,深度数据 由于测站过多导致效率低 深度数据引入大量噪声 通常只能对一个房间内的场景进行扫描,且无法扫描到天花板,不适合建筑整体建模 低廉
    • 室内导航指的是通过定位自身位置实现室内规划路径,从一个位置移动到另一个位置的过程[23]。室内导航的导航元素是指路径规划过程中需要用到的各种空间元素,包括楼层、楼梯、房间、走廊、门窗、柱子等。

      对于大型建筑,特别是多层建筑,楼层划分是室内导航元素提取的第一步,它将整体建筑粗略划分;楼梯连接着两个相邻的楼层,在路径规划,特别是紧急情况路径规划中,楼梯的位置至关重要;在单层楼中,每个房间和走廊都作为一个独立的可导航区域,通常所说的导航起止目的地就是指这些标注语义之后的可导航区域;而在可导航区域之间,门的存在与否决定两个房间是否连通,也就是路径规划时是否能通过。因此,这些空间元素构成了室内导航的主要导航元素。

    • 在多层建筑点云中进行导航元素提取时,为了减少数据量、提高效率,大多数学者选择先对整体进行楼层提取,之后再对单个楼层进行导航元素提取。提取方法大致可以分为平面检测方法和点云峰值方法。

    • 平面检测分割楼层的办法主要是通过检测出楼板、天花板、地板等元素来实现,将楼板等元素表达为与XOY平面平行的平面,通过一系列约束条件来实现楼层的提取。其中,对平面进行几何重建的方法有表面法线方法[24]、平面扫描法[25]和区域增长法[26]

      对于平面提取,很多学者先运用主成分分析法(primary component analysis,PCA)估计法线,由此得到点的法向,从而将整体点云区分为一个个有向的点集,作为后续的平面几何重建的基础[27-31]。文献[27, 29-31]应用PCA算法对点云计算法线后,采用随机抽样一致性(random sample consensus,RANSAC)算法[32]进行平面检测。RANSAC算法实施起来快速简单,但要求平面偏差角度较小,且过分追求数学上的一致性,忽略数据本身的几何特性[33],在平面模糊的时候很容易产生错误[29]。因此,很多学者对RANSAC算法进行改进,如文献[34]通过改进种子点选取方式来提高面片分割的置信度,并将点到平面距离的标准差作为判断准则,以提高分割面片的准确性; 文献[35]提出了一种浮动一致集阈值的RANSAC算法,通过自动调整RANSAC算法中的关键参数,该算法在复杂建筑物点云数据分割效果和运算效率方面有所提高。此外,文献[36]提出了一种改进的随机一致性抽样算法——贝叶斯一致性抽样算法,提高抗噪性和效率。

      文献[37]利用区域生长算法将点云分割成平面区域。满足两个几何条件(平面拟合和表面光滑度)的所有点被包含在备选点中,地板、天花板和墙壁根据其相邻点相交以获得界定相应建筑元素的边界点,从而得到所需的平面来进行楼层的分割。文献[38]提出了遍历点到边(point to edge,PTE)数据结构以完善构网的策略,解决了区域增长算法在拐角处未能完全生长的问题。文献[39]利用轨迹辅助提取,从点云中提取平坦表面、斜坡和楼梯等3种表面,通过轨迹上连续点之间的角度参数来区分,其中提取出表征平坦表面的轨迹通过体素化之后进行区域增长,得到楼层平面。将区域增长方法与RANSAC算法结合也是常用的室内平面提取方法[33, 40]

      上述检测平面的方法大多数都要求点的位置信息均匀,误差小,但是在实际测量中,点云分布无法做到均匀一致,因此文献[41]应用平面方法来进行几何重建时,先对原始点云进行空间插值,再进行三角剖分。基于平面的很多方法都是建立在曼哈顿世界的平面,水平面约束中的这些方法对于非曼哈顿世界的建筑中复杂的环境不是很适用[42]

    • 点云峰值方法的思想认为在楼层存在的地方存在着大量Z值相同的点,利用这一点来提取楼板作为空间分隔,从而对整体建筑点云进行分割得到独立的楼层。

      文献[43]提出水平结构扫描时会产生大量高度相同的样本。文献[28]基于此思想将点云进行二维投影,沿着Z轴进行点云密度统计生成点云密度直方图,天花板、地板等水平结构表达为点云密度直方图的峰值,由此来进行提取。文献[44]应用了类似的方法,作为点云密度峰值方法的延伸,在投影前将所有点云和空白空间用八叉树结构化地划分子区间。八叉树的引入使得数据量减小,运算效率更高。

      这种方法在提取的同时可以记录楼层的高程值属性,用于后续的分割和处理。此外,该方法基于统计学原理,整体建筑点云数量巨大,其数量特征明显,由噪声点和冗余点造成的影响较小。

    • 楼梯是可行走区域的一部分,并且作为连接楼层间的导航元素,在室内导航及路径规划中起着重要作用。文献[45]将楼梯的复杂结构简化为一个平面,用RANSAC算法进行提取,该方法较为简单,但是损失的细节会使得提取的结果不够精确。文献[46]分割楼梯结构时,每个点的分类取决于点云的局部空间特征,也取决于基于概率的近点分类的思想。训练后的数据集,其识别成功率大约为75%。类似地,文献[27]通过定义6个模型参数来筛选得到楼梯区域。这种通过训练数据集获得模型参数的方法,在实施时不能保证精度。深度数据可以辅助楼梯的提取,文献[47]通过深度图像中线表达不连续和深度变化突然的地方对楼梯进行定位和建模,由一个大的和有规律的深度变化来检测楼梯。楼梯的形状特征复杂,可以将其简化为一组密集的垂直面和水平面的集合。基于这个思想,文献[48-49]首先将点云体素化,拟合局部平面并识别垂直和水平表面;然后,包含表面的体素被投影到2D网格,统计落入一个格网中的体素包含的水平面和垂直面,分别给出垂直和水平直方图表示。这种思想是根据楼梯的形状特征产生的。文献[44]对上述方法进行扩展,为了剔除障碍物的影响,计算区域坡度,将坡度在阈值范围内的部分认定为楼梯。

      上述提到的方法只能对于传统的规则形状的楼梯进行提取,无法提取旋转的楼梯等。另外,利用水平面和垂直面方法提取楼梯,无法有效提取只有水平面的楼梯。

    • 房间是室内导航及路径规划中重要的可导航区域单元,在点云中实现对房间的提取和语义标注尤为重要。

    • 直接提取方法通常是按照一定原则将点云进行聚类,最终将属于同一个房间的点云提取出来。

      文献[31, 50]对平面进行检测后,通过记录点云与扫描仪测站位置的对应关系,将相同测站的点粗略地合并标注为一个房间;在合并步骤之后,执行迭代重新标记过程来更新指向房间的点。该方法不仅可以分割区域为独立房间,还能同时定义两个房间的相邻关系,并且为后续门的提取作准备。缺点是只有在迭代次数足够多、计算量足够大时, 提取结果才可信。

    • 房间可以表述为被墙分隔开来的一个个独立的可导航区域,在进行房间提取这一步骤时,可以先对墙体这样可作为空间分割的导航元素进行提取,以此来将大片的可导航区域划分为一个个独立的房间。

      墙的检测与楼层提取有很多相似之处,将墙体当作垂直的平面时,其检测方法与文献[27-31]中提到的天花板、地板检测类似,只是在利用PCA算法计算法线的时候,获取的是垂直方向点集。当投影面为水平面时,墙体等垂直面进行投影时较为容易提取,通常选择格网化的方法来对建筑物信息进行投影提取[51]。文献[28]利用PCA算法计算法线获得垂直方向的点集后,通过法线滤波去除杂点,投影到二维格网后,通过多尺度线拟合方法来产生线样本,然后通过霍夫变换[52]聚类成为墙段。该方法相较于其他方法,摆脱了曼哈顿世界的约束,只要地板和天花板是平行的,则任何形状的垂直墙体均可以进行提取。

      楼层提取中的点云峰值方法对于墙面提取也有启示作用。天花板和地板表达为一组高度值相同的点集,同理,墙面在点云中可以表达为X值或者Y值相同的一组点集(曼哈顿世界)。因此,文献[44]指出在一个楼层空间中,墙所在区域存在大量X值或者Y值相同的样本,在沿着一个轴进行点云密度统计时,墙面处会相应形成峰值。当遇到非曼哈顿情况时,文献[40]对二维格网化得到的墙样本构建Delaunay三角网,并通过区分内外三角来获得边界。该方法适用面更广,特别是当墙体不全是与坐标轴平行的时候。

      点云的数量特征在一层楼的平面中得到加强,文献[53-54]对上文提出的墙面检测方法进行了强化,由于扫描仪的工作原理,其只能对墙表面进行扫描,墙体中间由于遮挡无法生成对应的点云,因此会在两个墙面形成的点云密度峰值之间产生一个代表墙体的间隙,基于该特征利用滤波方法筛选墙体区域。

      当扫描工具为移动式三维激光扫描仪时就可以利用扫描仪的轨迹信息来辅助进行提取。文献[55]提出沿着轨迹提取垂直剖面,通过在2D中搜索轨迹点与点云中的所有相邻点之间的特定欧氏距离来创建轮廓,作为墙面的粗提取。文献[39]将轨迹垂直投影到体素化之后的点云之上,形成种子体素。在遇到门时则分割成为两个种子体素来进行区域增长,从而得到不同的房间。该方法的房间提取完全依靠门的提取,如果门的提取出现错误,则可能出现房间合并或者过分割的情况。

    • 门在室内导航中起到连接两个可导航区域的作用,门的存在和状态决定两个彼此邻接的可导航区域之间的连通性。

      门窗在点云中的特征表现为位于墙上的矩形。利用这个特征,文献[56]对筛选出的图像用Canny算子提取边界并进行方向滤波,然后选出影像中的门。此方法对于遮挡墙壁的柜子等在几何形状上和门类似的障碍物,无法有效区分。为了解决这个问题,文献[37]选取备选区域中低于密度阈值的区域作为门窗。

      如果房间不是利用墙的检测,而是通过房间标注的迭代直接产生,就无法基于墙存在的区域先验知识来对门窗进行提取,文献[31]认为, 在进行房间标注的迭代期间,房间标签发生过改变的点,对其扫描线进行追踪,其与平面交集处粗略认为是门。

      移动式激光扫描仪中的轨迹信息对于门的提取有较好的辅助作用。文献[55]通过平面重建提取到天花板的轮廓之后,计算轨迹点与天花板轮廓点之间的距离值,较小的地方表示门。文献[39]描述了点云和轨迹结合的方法,将点云体素化之后筛选出符合平坦表面特征的部分,将轨迹投影到该平坦表面,获得种子体素,记录激光扫描仪与其垂直方向的点云的高度,在这个高度急速降低的地方可以得到门。这两篇文献中提到的方法在识别门时,如果门的顶部和天花板的距离不足,则无法有效提取,并且无法识别扫描时没有通过的门。

      区别于上述的分步提取,深度学习将多种导航元素自动提取变成了可能。三维点云的精细分类是从杂乱无序的点云中识别与提取人工与自然地物要素的过程[57],对于室内导航来说,就是需要从点云中提取出各种特征导航元素。国内外学者已经对从点云中进行特征提取做了很多研究, 但是,这些研究都受限于特征描述能力,以及分类和目标提取的质量[58],且传统提取方法过于依赖人工定义特征,因此模拟人脑的深度学习方法在点云特征提取中逐渐兴起,深度学习方法在二维场景分类中表现出很大的潜力。近年来,相继出现了专门针对三维点云处理的PointNet、PointNet ++ 、VoxelNet、SnapNet等深度学习框架,为点云的智能处理提供了方案,但仍不成熟。将深度学习应用于三维点云中,还面临着海量三维数据集样本库的建立、适用于三维结构特征学习的神经网络模型的构建及其在大场景三维数据解译中的应用等问题。但是,点云的深度学习前景是非常可观的,随着技术的发展,应用深度学习对点云进行自动分类,从而实现导航元素的自动提取必将成为可能。

    • 表 2总结了各种导航元素的提取方法及各种方法的优缺点。

      表 2  导航元素提取方法比较

      Table 2.  Comparison of Indoor Navigation Elements Extraction

      导航元素 方法 优点 缺点
      楼层 平面检测方法
      点云峰值方法
      简单快速
      受数据中噪声冗余点影响小,属性记录方便
      对数据要求较高,无法拟合偏差较大的数据
      数据量大时影响效率,可采用体素化方法规避
      房间 直接提取方法
      间接提取方法
      提取的同时定义了邻接关系
      对墙体形状限制较小
      迭代次数足够时才能保证精度,计算耗时
      室内环境杂乱时影响提取
      门窗 基于几何形状的方法
      基于标注迭代的方法
      基于轨迹线与天花板距离的方法
      影像的引入有利于建模时构建纹理
      存在房间标注时的先验信息
      计算较为简单
      容易受到形状与门窗类似的障碍物的影响
      迭代次数足够时才能保证精度,计算耗时需要保证门与天花板间距离足够

      现存方法缺点总结如下:

      1) 利用导航元素的几何特征进行提取时,很容易受到形状特征与导航元素类似的障碍物的影响,例如,遮挡墙壁的柜子对于门的提取造成很大阻碍。

      2) 对于形状不规则的特征导航元素很难进行提取。

      3) 精度不够高。精度问题包括特征元素的位置、边缘和顶点等,突出表现是房间的提取。

      4) 导航网络无法很好地模拟现实世界。在很多方法中采用节点来代表一个独立的导航区域,定位于该区域的中心点,但是当一个可导航区域面积足够大时,如机场大厅,如果只用一个节点来表征,就很难描述真实世界, 因此,需要对其进行子空间划分。

      基于上述总结,本文提出了一种新的室内导航元素提取思路,即利用统计特征规避形状特征类似的导航元素提取中容易出现的混乱,利用几何特征来降低噪声点对于提取的影响:在对建筑整体点云进行解析以便获得楼层时,点云基数大,数量特征受杂点影响小,因此采用统计方法进行提取;在单层内进行房间提取时,点云数量降低,噪声点对统计方法影响较大,可采用几何方法滤除杂点, 再根据统计方法进行墙段的提取;在进行门窗提取时,利用三维Harris算法基于几何特征提取角点,获取门窗粗略位置,同时利用门窗呈现的低点云密度等统计特征对粗提取得到的门窗进行筛选; 最终通过提取到的导航元素和拓扑关系生成室内导航网络(见图 1, 图中黄色步骤为统计方法, 蓝色步骤为几何方法)。

      图  1  结合统计方法和几何方法的导航元素提取思路

      Figure 1.  A Method Combining Statistics and Geometry Methods for Indoor Navigation Elements

    • 本文对从点云中提取室内导航元素的相关理论和算法进行了综述和评价,并提出利用几何方法与统计方法相结合实现室内导航元素检测和导航网络构建。

      随着计算机、人工智能、增强现实等技术的发展,未来可望实现从点云数据中智能提取高精度室内导航语义模型,并基于三维可视化技术,满足各种复杂环境中的真三维室内导航和路径规划的应用需求。

参考文献 (58)

目录

    /

    返回文章
    返回