一种面向大型室内场景的高可用手机视觉全局定位方法

柳景斌, 郭英晖, 喻文慧

柳景斌, 郭英晖, 喻文慧. 一种面向大型室内场景的高可用手机视觉全局定位方法[J]. 武汉大学学报 ( 信息科学版), 2024, 49(12): 2301-2312. DOI: 10.13203/j.whugis20210602
引用本文: 柳景斌, 郭英晖, 喻文慧. 一种面向大型室内场景的高可用手机视觉全局定位方法[J]. 武汉大学学报 ( 信息科学版), 2024, 49(12): 2301-2312. DOI: 10.13203/j.whugis20210602
LIU Jingbin, GUO Yinghui, YU Wenhui. A Visual Global Positioning Method Based on Smartphone with High Usability in Large Indoor Spaces[J]. Geomatics and Information Science of Wuhan University, 2024, 49(12): 2301-2312. DOI: 10.13203/j.whugis20210602
Citation: LIU Jingbin, GUO Yinghui, YU Wenhui. A Visual Global Positioning Method Based on Smartphone with High Usability in Large Indoor Spaces[J]. Geomatics and Information Science of Wuhan University, 2024, 49(12): 2301-2312. DOI: 10.13203/j.whugis20210602

一种面向大型室内场景的高可用手机视觉全局定位方法

基金项目: 

国家自然科学基金 42474060

湖北省自然科学基金 2024AFD403

武汉市重点研发计划人工智能创新专项 2023010402040029

武汉大学测绘遥感信息工程国家重点实验室自主科研课题资助 

详细信息
    作者简介:

    柳景斌,博士,教授,主要从事室内外定位方面的研究。ljb04@163.com

A Visual Global Positioning Method Based on Smartphone with High Usability in Large Indoor Spaces

  • 摘要:

    基于视觉的手机定位方法是室内定位中的研究热点,但面向机场、商场等大型室内环境时存在可靠性差、计算效率低等问题。针对该类场景,提出一种基于三维实景地图的粗定位-精定位二级定位方法,首先基于Wi-Fi指纹匹配粗定位结果约束匹配图像库范围,然后通过子区域分段式建立特征库以及利用深度学习的方法去除天花板图像。实验结果表明,大型室内场景下所提方法可以将视觉匹配定位精度由1.89 m提升至0.45 m,将定位计算效率提升5倍以上。所提方法能够有效降低定位时间,提升特征点云的精度,进而提升视觉匹配定位精度,同时能降低特征点匹配错误而造成定位错误的情况,可以实现高可用、亚米级精度的室内视觉全局定位。

    Abstract:
    Objectives 

    The visual global positioning based on smartphone is a research hotspot in location community services. The existing methods suffer from the problems of poor reliability and low computing efficiency especially when they are used for large indoor environments such as airport and shopping mall.

    Methods 

    This paper proposes a two-level localization method including rough localization and accurate localization, which is based on 3D real map and applied to large indoor scenes such as shopping mall. To reduce the location computing time, this paper proposes a method to limit the scope of image database. Wi-Fi fingerprint matching algorithm is used to obtain the location results, and then limit the image database. In order to improve the positioning accuracy, a new method of constructing database is proposed. The whole scene is divided into multiple regions, and each region completes the database establishment independently and splices different databases. In order to reduce the location error, a scene recognition method is proposed. Deep learning method is used to remove the ceiling images and reduce the matching errors of feature points.

    Results 

    By comparing the location computing time before and after limiting the scope of image database, the proposed method improves the positioning precision from 1.89 m to 0.45 m, and reduces the positioning time from 6.113 s to 0.827 s per image.

    Conclusions 

    The proposed method achieves sub-meter accuracy of indoor vision global positioning, while the feature points matching errors affect the positioning precision. In the future work, feature lines will be used to improve the positioning accuracy.

  • 随着交通事业的蓬勃发展和“十四五”交通规划愿景的提出,中国桥梁建设进入高速成长期,在数量、规模、技术等方面跻身世界前列[1-2]。然而桥梁建造过程复杂繁琐,建造环境恶劣、地形地势复杂,易受风场、温度场、自身应力等内外环境的影响[3]。智能化是桥梁建设的重要方向,数字孪生是实现桥梁智能建造的有效途径。数字孪生将现实环境中桥梁的结构、状态和行为等映射到虚拟环境,为透彻理解和精准控制桥梁建造过程提供新手段[4-7]。由于桥梁建造工序和过程复杂多变,因此,如何高效地对桥梁建造过程涉及的对象、行为和状态进行准确描述与表达,是桥梁建造数字孪生构建亟需解决的关键问题[8]

    可视化能够直观而准确地描述桥梁信息。当前许多桥梁建造工程都基于建筑信息模型(building information modeling, BIM)技术对桥梁施工过程开发可视化平台[9-12],相较于施工图纸而言,其能更加明确地表示桥梁复杂的构件组成以及空间位置,从而为施工进度管理以及质量安全管控提供可靠的数据支撑。这些精细的模型能够用于展现桥梁施工工艺工法的动态过程,通过模拟展示施工工序,使得施工方案更加直观和可理解,从而保障施工的可靠性[13-16]。此外,对于桥梁建造环境也开展了较多可视化研究,如桥梁建造过程中的力学、风场、温度场等复杂环境下的三维可视化表达[17-20]。然而,上述研究主要侧重于聚焦数据管理与三维效果的可视化呈现,缺乏对于不同场域下桥梁属性、结构状态和行为的准确刻画,导致规范性差、认知效率低。

    叙事即通过一定媒介对发生在特定时间和空间中的事件进行再现。随着地图学制图理论、技术、方法的不断进步,将叙事与地理空间技术相结合,并将事件在空间参考框架中进行分析,可以进一步拓展空间叙事研究思路,促进地理信息和知识的传递[21]。2012年,国际制图协会艺术地图委员会邀请地图学、人文学等多领域专家对叙事与地图的关系进行了深入探讨[22]。同一时期,ESRI开发了地图、文本、多媒体等相结合的在线故事地图平台Story Maps,实现公众对个人地图故事的创建与编辑,叙事地图提供的故事叙述体系增强了地图和文本的表现力[23]。常见的地图叙事可视化方法包括流向图、时空立方体、动画等[24-26]。然而,以上可视化方法主要以二维表达为主,对于复杂性、模糊性、多样性事件描述能力不足导致认知效率低。考虑到一切时间皆发生于一定的空间内,将事件进一步映射至地理空间并建立多维可视化环境,可以进一步加深人员对于事件过程时空特征和规律的理解。

    知识图谱可以从多类型复杂数据中抽取实体和关系[27-29],有助于实现对桥梁建造知识的统一表达和关联管理,为桥梁建造过程时空叙事提供基础。然而目前对桥梁本体和知识图谱的研究较少,且侧重桥梁智能运维管理,主要针对桥梁结构、监测和检测信息进行数据的集成和检索[30-31],例如对桥梁混凝土构件裂缝灾害进行本体建模,实现裂缝位置、属性等信息的组织管理,并进行裂缝原因分析[32];又或者以桥梁本体为基础搭建桥梁检测问答系统,实现对桥梁的管理养护[33]。但是这些研究没有刻画复杂多变的桥梁建造过程,缺乏对桥梁建造对象、特征及相互关系的准确描述。

    针对以上问题,本文拟创新性地引入知识图谱和时空叙事技术,重点开展知识引导的桥梁建造过程时空叙事三维可视化方法研究。首先通过剖析桥梁建造对象特征和语义关系,建立“对象-行为-状态”三域关联的桥梁建造知识集成表达模型,利用知识图谱实现对桥梁建造知识的统一表达和关联管理;然后分析桥梁建造叙事要素,设计知识图谱中叙事要素的匹配规则,提出了桥梁叙述场景映射与实例化思路,给出时空叙事三维动态可视化方法,实现对桥梁建造过程复杂对象和关系的三维动态表达;最后研发原型系统并进行案例实验分析,以验证方法的有效性与可行性。

    桥梁建造过程时空叙事三维可视化方法的总体思路图如图1所示。首先,对桥梁建造事件的相关概念进行剖析,提出桥梁建造信息三域关联的集成表达模型,以实现三域关联的桥梁建造本体的构建,并基于本体为模板通过实体关系抽取构建桥梁建造知识图谱;然后,分析桥梁建造叙事要素特征,形成基于知识图谱实现叙事要素匹配方法与三维场景映射与实例化思路;最后,融合视觉变量、三维动画、图片和文字等多种叙事方法实现桥梁建造过程时空叙事三维动态可视化模拟,以生动直观表达桥梁建造过程复杂对象和时空关系。

    图  1  总体研究思路
    Figure  1.  Overall Research Ideas

    在地理环境复杂艰险的情况下,施工资源与条件需要有机协调,才能有序完成桥梁施工建造。本文剖析了桥梁建造事件需考虑的相关要素和数据,保证所构建知识图谱的完整性。同时,从施工技术变化的角度,提出桥梁建造信息“对象-行为-状态”关联的集成表达模型,按照事件推进、参与对象、状态演变对桥梁建造时间的对象分类和关联,以达成支持桥梁建造本体的构建。

    桥梁建造信息三域关联的集成表达模型如图2所示。行为域是推动桥梁施工建造过程变化的驱动力,建造过程中阶段变化伴随着要素、关系的时空变化。对象域是桥梁建造事件的主要参与者,是桥梁对象和资源分配的统一描述;状态域是要素时空与属性的语义变化表达。行为域、对象域、状态域三域联动改变。

    图  2  桥梁建造信息三域关联的集成表达模型
    Figure  2.  An Integrated Representation Model for the Association of Three Domains of Bridge Construction Information

    根据上述模型,本文通过以下结构来定义桥

    梁建造本体:

    BCO={EO,SO,DO|SRE|PRO} (1)

    其中,BCO(bridge construction ontology)代表桥梁建造事件本体;EO(event object)代表事件对象,包括桥梁建造的各施工流程;SO(scene object)代表桥梁场景对象;DO(data object)代表数据对象,表示事件中多样数据形式,包括桥梁构件模型数据、施工视频数据、文本资料等;SRE(semantic relation)代表语义关系,包含各对象内部间的关系;PRO(property)代表对象属性,如施工设备型号与类别、使用材料类型等。

    桥梁建造过程知识图谱先由模式层即本体结构引导下,建立节点与属性间的对应关系,即形成桥梁建造本体到知识图谱的映射关系。如图3所示,利用Neo4j,即知识图谱存储与可视化工具,进行节点的存储与桥梁建造过程知识图谱的可视化构建。

    图  3  桥梁建造知识图谱(部分)
    Figure  3.  Knowledge Graph for Bridge Construction Event (Part)

    基于桥梁建造事件的特征,提出桥梁建造事件的时空场景叙事要素。以桥梁建造的叙事场景为主干,桥梁建造事件的时空场景叙事要素为以下3类:①建造过程时间要素;②建造场景空间要素(数据、位置、姿态);③桥梁建造资源要素(施工设备、技术、材料等)。

    利用本文所构建知识图谱中节点与关系的规律性,如桥梁建造工序与施工所需的设备、材料、工法技术等节点相连的属性,从核心节点开始,通过定义图结构来实现精准高效的查询。如图4所示,利用关系节点匹配的方法,从桥梁建造知识图谱中提取叙事要素,达成清晰表达桥梁建造过程时空叙事的目标。图4中,V为节点,E为关系边。设H为节点的标签,K为关系的标签,则本文定义的图结构为:首先定义图G=(V,E,H,K)和图G1=(V1,E1,H1,K1),若其映射关系fVV1,同时符合以下条件:(1)∀aV,且H(a)=(f(a)),f(a)∈G1;(2)∀bE,且fb)∈E1;(3)∀cE,且Kc)=Kfc)),得到结论GG1子图同构。通过定义的子图结构与语义约束提取知识。图4中,左图定义结构能够匹配右图中3个相同结构(红色、蓝色和紫色虚线所示),然后对节点和关系定义特定约束,如节点类型与名称,最终得到唯一符合要求的子图(蓝色框线所示)。

    图  4  结构+语义的查询
    Figure  4.  Structure + Semantics Queries

    场景映射与实例化是指利用一定的技术与方法将真实地理场景转换为虚拟地理场景的过程,基于桥梁建造知识图谱查询的内容,能够实现基础地形、场景建筑和桥梁等对象精准地映射到三维场景中。如图5所示,本文桥梁建造场景映射步骤分为概念与逻辑模型设计、桥梁模型轻量化、物理模型建立和三维场景构建,实现桥梁建造三维场景的映射。

    图  5  桥梁建造场景映射与实例化
    Figure  5.  Bridge Construction Scene Mapping and Instantiation

    桥梁建造场景涉及的要素与信息庞杂,融合视觉变量、文字、图片和三维模型场景的叙事手段能够丰富场景内容,同时也造成认知困难。叙事地图通过划分场景视觉层次,对过程进行编排,以“讲故事”的形式提升学生视觉体验,为清晰明了、易于理解的可视化带来了新途径[34]。主题、时间、空间、过程是叙事地图的关键要素,主题决定故事的中心思想,是叙事的核心;时间和空间是故事发展的基础;过程是故事的具体内容。

    为增强数据信息表达,本文借鉴叙事地图思想,以桥梁建造为主题,以建造工序为故事线,以地形、影像和桥梁BIM模型为数据基础,采用文字、图片、三维动画、视觉变量相结合的手段,通过视角切换展示桥梁建造时空过程的动态变化。并且考虑到桥梁建造过程参与人员大多背景不同,信息理解能力存在差异,本文采用线性叙事结构为用户讲解桥梁建造的时空过程,如图6所示。

    图  6  桥梁建造过程时空叙事三维动态可视化
    Figure  6.  Bridge Construction Event Spatiotemporal Narrative 3D Dynamic Visualization

    本文将桥梁建造过程主要分为事件地点、施工背景及具体建造过程3个场景,每个场景都通过特定的视角切换展示,分别介绍事件发生地点、施工背景和具体建造过程。具体转场过程为:首先,从研究区的高空视角,通过地图、文字与符号等介绍桥梁工程的空间位置,将其作为叙事起始;其次,视角移至桥址位置,利用图文要素说明项目背景和施工部位基本信息;最后,依据施工工序关系,采用三维动画呈现建造过程,箭头标示施工方向,文本注明构件名称,同时图文并茂描述施工工序及机料法对象。

    本文研发的桥梁建造可视化平台的系统界面如图7所示,系统支持知识图谱查询和时空叙事的三维动态可视化展示。开发环境配置如下:AMD Ryzen 7 5800H with Radeon Graphics,

    图  7  系统界面
    Figure  7.  System Interface

    内存为16 GB,显卡显存为GeForce GTX 1650 2 032 MB;编译器为Visual Studio Code,第三方开源库为Cesium.js、Neovis.js,数据库为Neo4j。

    本文的实验数据分为模型、影像、文本三类。其中模型数据包括数字高程模型(digital elevation model,DEM)、BIM和倾斜摄影测量模型,DEM为案例区域增加了三维地形,BIM用于表达桥梁结构,倾斜摄影测量模型用于立体地描述区域内的地理对象。影像数据主要为文档对象模型(document object model,DOM),DOM能够为地形附着纹理,对道路等地表信息进行增强表达。文本数据为桥梁建造相关知识,包括桥梁结构、建造工序和施工资源等,这些数据被存储在Neo4j数据库中。

    本文构建的桥梁建造知识图谱明确了可视化实验所需的细节数据,可为桥梁建造的时空叙事三维动态表达提供准确的知识引导。以桥梁索塔建造为具体案例,展示了知识引导的桥梁建造过程三维动态可视化表达过程。

    索塔建造过程环节涵盖桩基、承台与塔座等施工环节。随着建造的进行,用户的视角会与施工部位相对应地调整。在桩基施工环节开始之前,首先利用文字描述桩基的基本属性,如数量和长度;其次,展示桩基施工动态模拟过程,旁边辅以文字描述和插图对施工工序进行详细说明,并对桩基模型进行标记说明;然后,是承台与塔座施工过程,先简要展示其基础参数,之后通过施工动画动态呈现施工过程,该过程中通过添加箭头符号标示建造方向,添加文字和插图为施工工序提供详细解读,此过程模拟如图8所示。

    图  8  索塔建造过程的三维动态可视化
    Figure  8.  3D Dynamic Visualization of Tower Construction Process

    为了评定本文方法传递场景信息的能力,从答题正确率和人员感受两方面对时空叙事三维动态可视化效果进行主客观评价。实验分为实验组与对照组,实验组即本文所提方法,对照组采用三维动画和文字的形式进行表达,文字为索塔建造相关信息,约350字,实验材料如图9所示。

    图  9  实验组和对照组形式
    Figure  9.  Experimental Group and Control Group

    实验随机召集了65名人员,其中实验组34名,对照组31名。两组人员完成实验后均立刻回答问卷问题,并且两组问卷内容相同。问卷包含7个问题,分为4个知识类问题和3个体验类问题,前者通过答题正确率客观评定用户对信息的理解程度,后者通过人员打分主观评价本文方法的可视化效果。问卷主要内容如表1所示。实验最后得到有效问卷共63份,其中实验组33份,对照组30份,有效率为97%,被筛选掉的部分问卷主要是由于多选或者漏选。

    表  1  问卷主要内容
    Table  1.  Main Content of the Questionnaire
    问题类型内容
    知识类Q1:大桥位于哪个省份?(四选一)
    Q2: 索塔建造顺序大致是怎样的?(四选一)
    Q3:液压爬模是在什么工序中被使用的?(四选一)
    Q4:索塔建造过程中涉及到的材料有哪些?(多选)
    体验类Q5: 材料清晰度如何?(非常好,较好,一般,较差,非常差)
    Q6:材料理解难度如何?(非常容易,较容易,一般,较难,非常难)
    Q7:材料丰富度如何?(非常丰富,较丰富,一般,不丰富,非常不丰富)
    下载: 导出CSV 
    | 显示表格

    本文对量表类问题即Q5~Q7从信度和效度两方面进行可靠性分析。信度用于评价问卷的一致性,通常认为克朗巴哈系数在0.8以上表示信度优秀,在0.6以下则需修订或删除;效度用于保证问卷的准确性和有效性,通常认为KMO(Kaiser-Meyer-Olkin)在0.7以上表示效度较好,Bartlett球形检验显著性小于0.05表示问卷结果符合要求。问卷结果如表2所示。从表2中可知问卷结果比较可靠,可进一步进行结果分析。

    表  2  问卷可靠性检验结果
    Table  2.  Questionnaire Reliability Test Results
    克朗巴哈系数KMOBartlett球形检验
    近似卡方自由度显著性
    0.9160.734203.5293<0.001
    下载: 导出CSV 
    | 显示表格

    实验结果通过问卷正确率及主观因素评价两个指标进行评价,主要的评价统计指标有平均值及方差,问卷平均分直观反映正确率,也就是参与人员认知效率的高低;方差反映实验数据离散程度。

    1)答题正确率

    通过Q1~Q4知识类问题的答题情况进行分析,首先对两组数据进行差异性检验,通过曼-惠特尼U检验得到p<0.001,远小于阈值0.05,说明两组数据差异明显。表3统计了每道题目的正确率(M)和方差(SD),统计结果表明,实验组答题情况普遍优于对照组,每题正确率均大于对照组,其中Q1的正确率提升0.05,Q2的正确率提升0.19,Q3的正确率提升0.16,Q4的正确率提升0.14。从整体答题正确率来看,实验组为76.5%,相比对照组的63.3%,正确率提升了13.2%。

    表  3  知识类问题得分统计结果
    Table  3.  Score Statistical Results of Knowledge-Based Questions
    问题实验组M±SD对照组M±SD
    Q10.88±0.330.83±0.37
    Q20.76±0.430.57±0.50
    Q30.79±0.410.63±0.48
    Q40.64±0.480.50±0.50
    下载: 导出CSV 
    | 显示表格

    人员个人答题情况如图10所示,从实验结果可以看出,实验组49%的人员能够答对全部题目,45%的人员能答对两题,6%的人员答对了一题,没有出现零正确率的情况;而对照组只有30%的人员能答对全部题目,40%的人员答对两题,15%的人员答对一题,有15%的人员为零正确率。总体而言,实验组90%以上的人至少能够答对两道题,效果远远优于对照组。

    图  10  两组答对题数占比
    Figure  10.  Percentage of Questions Answered Correctly by Both Groups

    2)人员感受

    人员感受是人员对材料难度、清晰度和丰富度的主观评价,共有5个等级可供选择,对应1~5分。对Q5~Q7的答题情况进行分析,首先对两组数据进行差异性检验,曼-惠特尼U检验得到p<0.001,证明两组数据存在显著差异。从体验类问题得分正确率的统计结果(表4)可以看出,实验组得分均高于4,而对照组得分均在3左右,其中Q5实验组得分较对照组高1.14,Q6实验组得分较对照组高1.12,Q7实验组得分较对照组高0.99。从整体平均得分来说,对照组得分3.07,实验组得分4.15,较对照组提升了1.08,说明人员对于实验组具有更高的认知效率。

    表  4  体验类问题得分统计结果
    Table  4.  Score Statistical Results for the ExperienceCategory Questions
    问题实验组M±SD对照组M±SD
    Q54.24±0.823.10±1.14
    Q64.09±0.832.97±1.22
    Q74.12±0.813.13±1.15
    下载: 导出CSV 
    | 显示表格

    图11统计了人员主观感受分数分布情况,从灰色到蓝色的色带分别代表非常差、较差、一般、较好、非常好5个等级。Q5统计了人员对材料清晰度评价,由图11可知,实验组45.46%和36.36%的人员分别认为材料非常清晰和较清晰,对照组则分别只有16.67%和13.33%,说明实验有效提升了材料的清晰度;Q6统计了人员对材料理解难易度评价,实验组36.37%和39.39%的人员分别认为材料理解起来非常容易和较容易,对照组则分别只有13.34%和20.00%,说明实验有效降低了材料的理解难度;Q7统计了人员对材料丰富度评价,实验组36.37%和42.42%的人员分别认为材料非常丰富和较丰富,对照组则分别只有13.33%和23.33%,说明实验有效提升了材料的丰富度。从清晰度、丰富度和理解难度综合的角度来看,实验组78.8%的人员具有良好认知体验,相对对照组的33.3%,提升了45.5%。

    图  11  体验类问题统计结果对比
    Figure  11.  Comparison of Statistical Results for Experience Category Questions

    3)结果原因分析

    以上结果的产生主要有两点原因:①实验组考虑了视觉变量,结合三维模型、图片、文字对桥梁建造过程进行了增强表达,较对照组而言表达方式更为丰富,更具有可读性;②实验组通过“讲故事”的方式表达桥梁建造过程中的地理要素,较对照组而言能够更加清楚地阐释时空变化过程,增强信息的传递能力。

    针对桥梁建造过程涉及对象众多、行为复杂、状态多变,导致表达存在规范性差、认知效率低等问题,本文提出了一种知识引导的桥梁建造过程时空叙事三维动态可视化方法。首先,建立了“对象-行为-状态”三域关联的集成表达模型和知识图谱,实现桥梁建造知识的统一表达和关联管理;然后,基于桥梁建造知识图谱匹配与叙事可视化相关联的场景要素,支持桥梁建造三维场景映射与实例化,并且设计了时空叙事三维动态可视化方法;最后研发了原型系统,开展桥梁建造过程三维动态可视化实验。实验结果表明,所提方法能够实现桥梁建造知识的准确表达和传递,达到提升人员对桥梁建造过程空间认知水平的效果。

    本文基于“对象-行为-状态”三域关联桥梁建造知识图谱,利用时空叙事对桥梁建造过程进行三维动态可视化表达,借助三维场景的可交互性及沉浸感等特点,虽然有效提升了桥梁建造过程认知的教育水平,但尚未考虑桥梁建造过程中结构数值仿真、施工方案预演及预测。就桥梁建造教育而言,结构数值仿真可以使学习者更准确地理解并掌握桥梁结构位移或应力等状态的变化趋势。而通过施工方案预演预测,可预先了解每种决策对应可能会引起的问题,并针对性地建立有效解决方案,培养问题决策能力。因此,如何将桥梁结构仿真与预测预案融入针对桥梁建造过程的教育内容中,将是未来非常重要的研究问题。

    http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20210602
  • 图  1   室内视觉全局定位方法整体流程图

    Figure  1.   Workflow of Indoor Visual Global Positioning Method

    图  2   数据采集设备

    Figure  2.   Data Acquisition Equipment

    图  3   特征数据库建立流程图

    Figure  3.   Construction Workflow of Feature Database

    图  4   RANSAC算法剔除特征点云离群值

    Figure  4.   Results of Removing Outliers from Feature Point Cloud Using RANSAC Algorithm

    图  5   室内空间估计结果

    Figure  5.   Results of Indoor Layout Estimation

    图  6   Wi⁃Fi定位结果精度

    Figure  6.   Accuracy of Wi⁃Fi Location

    图  7   基于视觉的精定位流程图

    Figure  7.   Workflow of Accurate Postioning Based on the Visual

    图  8   数据集1的采集场景及区域分布

    Figure  8.   Obtaining Scene and Region Disttibution of Dataset 1

    图  9   智能手机拍照所在控制点

    Figure  9.   Control Point for Smartphone Taking a Photo

    图  10   同一手机站同一控制点不同光照下拍摄的图像

    Figure  10.   Images Taken by the Same Mobile Phone in Different Lights at the Same Control Point

    图  11   数据集2的采集区域

    Figure  11.   Acquired Region of Dataset 2

    图  12   定位误差分布

    Figure  12.   Location Error Distribution

    表  1   数据集1的图像去除天花板前后精度对比

    Table  1   Accuracy Comparison of Images Before and After Ceiling Removal in Dataset 1

    项目误差项剔除前剔除后
    输入图像数量/张157157
    有效图像数量/张139138
    RMS水平误差/m1.460.74
    垂直误差/m1.210.42
    d/m1.890.85
    68%(1δ水平误差/m0.790.74
    垂直误差/m0.580.39
    d/m0.980.84
    最大误差水平误差/m4.972.34
    垂直误差/m2.911.66
    d/m5.762.87
    下载: 导出CSV

    表  2   数据集1的精度评估

    Table  2   Accuracy Assessment of Dataset 1

    项目误差项三星S8华为P30白天拍摄华为P30灯光拍摄
    输入图像数量/张138157128
    有效图像数量/张11613894
    RMS水平误差/m0.980.741.00
    垂直误差/m0.350.420.94
    d/m1.040.851.37
    68%(1δ水平误差/m0.890.740.93
    垂直误差/m0.340.390.87
    d/m0.850.841.27
    下载: 导出CSV

    表  3   两种建库方案精度对比

    Table  3   Accuracy Comparison of Two Strategies

    项目误差项整层建库分段式建库后拼接
    输入图像数量/张3232
    有效图像数量/张2929
    RMS水平误差/m0.720.46
    垂直误差/m0.260.19
    d/m0.770.49
    68%(1δ水平误差/m0.730.40
    垂直误差/m0.370.21
    d/m0.820.45
    下载: 导出CSV

    表  4   数据集2的精度评估

    Table  4   Accuracy Evaluation of Dataset 2

    项目误差项三星S8华为P30白天拍摄华为P30灯光拍摄
    输入图像数量/张333226
    有效图像数量/张312921
    RMS水平误差/m0.640.460.69
    垂直误差/m0.210.190.42
    d/m0.670.490.80
    68%(1δ水平误差/m0.570.400.59
    垂直误差/m0.270.210.41
    d/m0.630.450.72
    下载: 导出CSV

    表  5   数据集1加入粗定位结果后的时间对比

    Table  5   Computational Time in Dataset 1 After Adding Coarse Positioning Results

    过程全层图像库用时5 m范围内图像库用时
    特征提取/ms<1<1
    相似图像查询/s2.0510.473
    特征匹配/s3.7420.756
    位姿计算/s0.3100.340
    总计/s6.1131.569
    下载: 导出CSV

    表  6   数据集2加入粗定位结果后的时间对比

    Table  6   Computational Time in Dataset 2 After Adding Coarse Positioning Results

    过程接待室图像库用时5 m范围内图像库用时
    特征提取/ms<1<1
    相似图像查询/s1.0510.249
    特征匹配/s1.1420.288
    位姿计算/s0.3300.290
    总计/s2.5230.827
    下载: 导出CSV
  • [1] 陈锐志, 郭光毅, 陈亮, 等. 室内高精度定位技术研究应用现状与发展趋势[J]. 武汉大学学报(信息科学版), 2023, 48(10): 1591-1600.

    Chen Ruizhi, Guo Guangyi, Chen Liang, et al. Application Status, Development and Future Trend of High-Precision Indoor Navigation and Tracking[J]. Geomatics and Information Science of Wuhan University, 2023, 48(10): 1591-1600.

    [2]

    Huang B C, Liu J B, Sun W, et al. A Robust Indoor Positioning Method Based on Bluetooth Low Energy with Separate Channel Information[J]. Sensors, 2019, 19(16): 3487.

    [3]

    Anwar Q, Malik A W, Thörnberg B. Design of Coded Reference Labels for Indoor Optical Navigation Using Monocular Camera[C]//International Conference on Indoor Positioning and Indoor Navigation, Montbeliard, France, 2013.

    [4]

    Pivato P, Palopoli L, Petri D. Accuracy of RSS-Based Centroid Localization Algorithms in an Indoor Environment[J]. IEEE Transactions on Instrumentation and Measurement, 2011, 60(10): 3451-3460.

    [5]

    Yang S, Liu J B, Gong X D, et al. A Robust Heading Estimation Solution for Smartphone Multisensor-Integrated Indoor Positioning[J]. IEEE Internet of Things Journal, 2021, 8(23): 17186-17198.

    [6] 王勋, 崔先强, 高天杭. 城市环境下数据缺失定位算法比较[J]. 导航定位学报, 2020, 8(2): 43-48.

    Wang Xun, Cui Xianqiang, Gao Tianhang. Comparison of Data Missing Positioning Algorithms in Urban Environment[J]. Journal of Navigation and Positioning, 2020, 8(2): 43-48.

    [7]

    Schönberger J L, Frahm J M. Structure-from-Motion Revisited[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016.

    [8]

    Wu C C. Towards Linear-Time Incremental Structure from Motion[C]// International Conference on 3D Vision-3DV, Seattle, USA, 2013.

    [9] 王中宏. 基于SIFT的室内定位视觉图像匹配方法研究[D]. 哈尔滨: 黑龙江大学, 2021.

    Wang Zhonghong. Research on Indoor Positioning Visual Image Matching Method Based on SIFT[D].Harbin: Helongjiang University, 2021.

    [10]

    Wang Z M, Zhang Q, Li J S, et al. A Computationally Efficient Semantic SLAM Solution for Dynamic Scenes[J]. Remote Sensing, 2019, 11(11): 1363.

    [11]

    Gong X D, Liu J B, Yang S, et al. A Usability-Enhanced Smartphone Indoor Positioning Solution Using Compressive Sensing[J]. IEEE Sensors Journal, 2022, 22(3): 2823-2834.

    [12]

    Huitl R, Schroth G, Hilsenbeck S, et al. TUMindoor: An Extensive Image and Point Cloud Dataset for Visual Indoor Localization and Mapping[C]//IEEE International Conference on Image Processing, Orlando, USA, 2012.

    [13]

    Gao Q J, Yin D Y, Luo Q J, et al. Minimum Elastic Bounding Box Algorithm for Dimension Detection of 3D Objects: A Case of Airline Baggage Measurement[J]. IET Image Processing, 2018, 12(8): 1313-1321.

    [14] 刘肃艳, 王竞雪, 沈昭宇, 等. 结合线对几何特征及单线描述符约束的直线匹配算法[J]. 武汉大学学报(信息科学版), 2023, 48(6): 936-949.

    Liu Suyan, Wang Jingxue, Shen Zhaoyu, et al. Line Matching Algorithm Based on Pair-Wise Geometric Features and Individual Line Descriptor Constraints[J]. Geomatics and Information Science of Wuhan University, 2023, 48(6): 936-949.

    [15]

    Mikolajczyk K, Schmid C. A Performance Evaluation of Local Descriptors[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Madison, USA, 2003.

    [16]

    Xu D, Liu J B, Hyyppä J, et al. A Heterogeneous 3D Map-Based Place Recognition Solution Using Virtual LiDAR and a Polar Grid Height Coding Image Descriptor[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 183: 1-18.

    [17]

    Liu J B, Xu D, Hyyppä J, et al. A Survey of Applications with Combined BIM and 3D Laser Scanning in the Life Cycle of Buildings[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 5627-5637.

    [18]

    Hafiz A M, Bhat G M. A Survey on Instance Segmentation: State of the Art[J]. International Journal of Multimedia Information Retrieval, 2020, 9(3): 171-189.

    [19]

    Kirillov A, He K M, Girshick R, et al. Panoptic Segmentation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, USA, 2019.

    [20]

    Rai A, Chintalapudi K K, Padmanabhan V N, et al. Zee: Zero-Effort Crowdsourcing for Indoor Localization[C]//The 18th Annual International Conference on Mobile Computing and Networking, Istanbul, Turkey, 2012.

    [21]

    Lin P, Li Q B, Fan Q X, et al. A Real-Time Location-Based Services System Using Wi-Fi Fingerprinting Algorithm for Safety Risk Assessment of Workers in Tunnels[J]. Mathematical Problems in Engineering, 2014, 371456.

    [22]

    de Francisco R. Indoor Channel Measurements and Models at 2.4 GHz in a Hospital[C]//IEEE Global Telecommunications Conference, Miami, USA, 2010.

    [23]

    Li Z, Liu J B, Yang F, et al. A Bayesian Density Model Based Radio Signal Fingerprinting Positioning Method for Enhanced Usability[J]. Sensors, 2018, 18(11): 4063.

    [24]

    Torres-Solis J, Tiago H, Chau T. A Review of Indoor Localization Technologies: Towards Navigational Assistance for Topographical Disorientation[M] Croatia: Intech Open Access Publisher, 2010.

    [25]

    Liang X L, Jaakkola A, Wang Y S, et al. The Use of a Hand-Held Camera for Individual Tree 3D Mapping in Forest Sample Plots[J]. Remote Sensing, 2014, 6(7): 6587-6603.

    [26] 徐彦彦, 赵啸, 李子君. 一种基于四元数变换的彩色遥感影像检索方法[J]. 武汉大学学报(信息科学版), 2019, 44(11): 1633-1640.

    Xu Yanyan, Zhao Xiao, Li Zijun. A Remote Sensing Image Retrieval Method Based on Quaternion Transformation[J]. Geomatics and Information Science of Wuhan University, 2019, 44(11): 1633-1640.

    [27] 张恒才, 蔚保国, 秘金钟, 等. 综合PNT场景增强系统研究进展及发展趋势[J]. 武汉大学学报(信息科学版), 2023, 48(4): 491-505.

    Zhang Hengcai, Yu Baoguo, Bi Jinzhong, et al. A Survey of Scene-Based Augmentation Systems for Comprehensive PNT[J]. Geomatics and Information Science of Wuhan University, 2023, 48(4): 491-505.

    [28] 方志祥, 徐虹, 萧世伦, 等. 绝对空间定位到相对空间感知的行人导航研究趋势[J]. 武汉大学学报(信息科学版), 2018, 43(12): 2173-2182.

    Fang Zhixiang, Xu Hong, Xiao Shilun, et al. Pedestrian Navigation Research Trend: From Absolute Space to Relative Space-Based Approach[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2173-2182.

    [29]

    Mautz R, Tilch S. Survey of Optical Indoor Positioning Systems[C]//International Conference on Indoor Positioning and Indoor Navigation, Guimaraes, Portugal, 2011.

    [30]

    Wu T, Liu J B, Li Z, et al. Accurate Smartphone Indoor Visual Positioning Based on a High-Precision 3D Photorealistic Map[J]. Sensors, 2018, 18(6): 1974.

    [31] 陈锐志, 叶锋. 基于Wi-Fi信道状态信息的室内定位技术现状综述[J]. 武汉大学学报(信息科学版), 2018, 43(12): 2064-2070.

    Chen Ruizhi, Ye Feng. An Overview of Indoor Positioning Technology Based on Wi-Fi Channel State Information[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2064-2070.

    [32]

    Liu J B, Chen R Z, Pei L, et al. A Hybrid Smartphone Indoor Positioning Solution for Mobile LBS[J]. Sensors, 2012, 12(12): 17208-17233.

    [33]

    Xu S, Chou W S, Dong H Y. A Robust Indoor Localization System Integrating Visual Localization Aided by CNN-Based Image Retrieval with Monte Carlo Localization[J]. Sensors, 2019, 19(2): 249.

    [34]

    Wu D W, Chen R Z, Chen L. Visual Positioning Indoors: Human Eyes Vs. Smartphone Cameras[J]. Sensors, 2017, 17(11): 2645.

    [35]

    Schatzberg U, Banin L, Amizur Y. Enhanced Wi-Fi ToF Indoor Positioning System with MEMS-Based INS and Pedometric Information[C]//IEEE/ION Position, Location and Navigation Symposium, Monterey, USA, 2014.

    [36]

    Kilinc C, Al Mahmud Mostafa S, Islam R U, et al. Indoor Taxi-Cab: Real-Time Indoor Positioning and Location-Based Services with Ekahau and Android OS[C]//The 8th International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing, Birmingham, UK, 2014.

    [37]

    Liang J Z, Corso N, Turner E, et al. Image Based Localization in Indoor Environments[C]//The 4th International Conference on Computing for Geospatial Research and Application,Chicago,USA,2013.

    [38]

    Zhang Z B, Liu J B, Wang L, et al. An Enhanced Smartphone Indoor Positioning Scheme with Out-lier Removal Using Machine Learning[J]. Remote Sensing, 2021, 13(6): 1106.

  • 期刊类型引用(1)

    1. 《中国公路学报》编辑部. 中国桥梁工程学术研究综述·2024. 中国公路学报. 2024(12): 1-160 . 百度学术

    其他类型引用(0)

图(12)  /  表(6)
计量
  • 文章访问数:  758
  • HTML全文浏览量:  92
  • PDF下载量:  87
  • 被引次数: 1
出版历程
  • 收稿日期:  2022-10-17
  • 网络出版日期:  2022-10-17
  • 刊出日期:  2024-12-04

目录

/

返回文章
返回