留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

通视受限下视锥剖分的移动增强现实注册策略

周东波 秦政 陈言言 于杰

周东波, 秦政, 陈言言, 于杰. 通视受限下视锥剖分的移动增强现实注册策略[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097
引用本文: 周东波, 秦政, 陈言言, 于杰. 通视受限下视锥剖分的移动增强现实注册策略[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097
ZHOU Dongbo, QIN Zheng, CHEN Yanyan, YU Jie. Registration Strategy for Mobile Augmented Reality Based on Cone-View Partition Under the Restricted Visibility Environment[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097
Citation: ZHOU Dongbo, QIN Zheng, CHEN Yanyan, YU Jie. Registration Strategy for Mobile Augmented Reality Based on Cone-View Partition Under the Restricted Visibility Environment[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097

通视受限下视锥剖分的移动增强现实注册策略

doi: 10.13203/j.whugis20170097
基金项目: 

国家自然科学基金 41671377

国家自然科学基金 41501463

国家自然科学基金 61501198

中央高校基本科研业务费 CCNU16JYKX016

中央高校基本科研业务费 CCNU16A02021

中央高校基本科研业务费 2042016gf0027

详细信息

Registration Strategy for Mobile Augmented Reality Based on Cone-View Partition Under the Restricted Visibility Environment

Funds: 

The National Natural Science Foundation of China 41671377

The National Natural Science Foundation of China 41501463

The National Natural Science Foundation of China 61501198

the Colleges'Basic Research and Operation of the MOE CCNU16JYKX016

the Colleges'Basic Research and Operation of the MOE CCNU16A02021

the Colleges'Basic Research and Operation of the MOE 2042016gf0027

More Information
    Author Bio:

    ZHOU Dongbo, PhD, associate professor, specializes in visual analytics in Big Data, mobile augmented reality and virtual environment. E-mail:zhoudongbo@mail.ccnu.edu.cn

    Corresponding author: YU Jie, PhD. E-mail:yujie_gsis@whu.edu.cn
图(13) / 表(2)
计量
  • 文章访问数:  1025
  • HTML全文浏览量:  95
  • PDF下载量:  246
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-07-26
  • 刊出日期:  2018-08-05

通视受限下视锥剖分的移动增强现实注册策略

doi: 10.13203/j.whugis20170097
    基金项目:

    国家自然科学基金 41671377

    国家自然科学基金 41501463

    国家自然科学基金 61501198

    中央高校基本科研业务费 CCNU16JYKX016

    中央高校基本科研业务费 CCNU16A02021

    中央高校基本科研业务费 2042016gf0027

    作者简介:

    周东波, 博士, 副教授, 研究方向为大数据可视化分析和移动增强现实。zhoudongbo@mail.ccnu.edu.cn

    通讯作者: 于杰, 博士。yujie_gsis@whu.edu.cn
  • 中图分类号: P208

摘要: 针对近地视角虚实融合的户外移动增强现实导览与导航应用需求十分迫切,但受限于复杂的户外环境、通视条件以及移动设备的计算和存储能力,存在正面、小角度、近距离识别时无法正常识别目标的现象。而过远的识别距离与过大的识别角度亦影响虚实融合显示效果。首先分析了基于影像模板识别方案下典型建筑数量少而全的注册视点获取策略,然后针对遮挡与地形通视受限条件,提出不同建筑类型基于视锥剖分的户外移动增强现实注册策略,并将此策略应用到移动增强现实应用开发中,对校园典型楼馆进行应用实验,达到了预期效果。

English Abstract

周东波, 秦政, 陈言言, 于杰. 通视受限下视锥剖分的移动增强现实注册策略[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097
引用本文: 周东波, 秦政, 陈言言, 于杰. 通视受限下视锥剖分的移动增强现实注册策略[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097
ZHOU Dongbo, QIN Zheng, CHEN Yanyan, YU Jie. Registration Strategy for Mobile Augmented Reality Based on Cone-View Partition Under the Restricted Visibility Environment[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097
Citation: ZHOU Dongbo, QIN Zheng, CHEN Yanyan, YU Jie. Registration Strategy for Mobile Augmented Reality Based on Cone-View Partition Under the Restricted Visibility Environment[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1178-1184. doi: 10.13203/j.whugis20170097
  • 增强现实(augmented reality,AR)将虚拟信息融合到真实环境以呈现虚实结合效果。移动AR则是在移动终端设备上,利用其携带的传感器组件所获取的位置、方向和标识等参数,实现外在信息与实景影像融合展示。近年来,随着AR技术与移动终端设备的快速发展,通过增强视角实现个性化、多尺度、按需推送的城市周边环境导览与实景导航应用越来越多[1]。此外,开源与商业化应用接口日益简单、性能增强,大大降低了AR应用开发的技术门槛。旅游与历史文化古迹展示方面,AR技术可以在景点建筑表面添加标注信息,直观地实现建筑物与信息融合展示,如雅典古神庙导览系统Archeoguide[2]和博物馆移动导览系统[3]等;城市服务方面,在已有城市实景的基础上通过AR技术叠加虚拟建筑与设施,实现虚实融合展示,为城市规划提供可视化服务,涌现出特色的应用包括位置服务与移动AR结合应用[4]、地下管线真实感可视化应用[5]以及满足三维管线的AR空间分析[6]等;专业应用方面,移动AR应用允许用户利用移动设备的拍摄功能,通过在屏幕上简单划线交互,求解移动设备与标识所在平面的相对位置,实现复杂应用[7],如计算混凝坍落扩展度[8]等。此外,针对移动增强目标追踪问题,研究者们从多尺度目标跟踪[9]、多分类器目标跟踪[10]等方面展开,提出了基于簇相似度方法以及基于最大后验概率的多子空间增量学习目标跟踪算法[11],并针对任意点集条件下Hausdorff距离,提出了准确计算方法[12]

    当前移动AR应用大多采用基于图像无标识注册方式,其主要过程包括通过摄像头实时捕捉户外场景,识别注册图像,在屏幕上呈现相关的虚拟信息或虚拟建筑[13]等。但这些应用大多针对较小目标,如卡片、塑料片、室内小型立体模型[14]等,缺乏户外复杂通视条件下较大建筑物、建筑群和自然场景的典型应用。实际应用中,由于户外环境的不确定性以及建筑周边和自然场景拍摄注册影像时存在通视受限问题,在观察目标正面、倾角小的情况下才能正确识别。此外,基于单一完整立面照射识别中,当观察距离过远、倾角过大时,目标影像将出现较大变形,外在虚拟信息无法与实景影像紧密贴合[15],从而影响应用效果与准确性。

    本文针对近地穿行类移动AR应用,从城市典型建筑AR应用识别效率和准确性出发,提出通视受限条件下基于视锥剖分的移动AR注册策略。首先分析了基于影像模板识别方案中典型建筑物数量少而全的注册视点获取方法;然后根据应用设备成像视角,对户外建筑进行视锥剖分,建立数量合理、范围全覆盖的目标影像识别库,并针对遮挡与地形通视受限条件,提出受限区域等角剖分的AR注册策略;最后,以校园环境典型建筑进行实验与测试,并与基于建筑立面朝向采集影像的注册方式进行对比,结果表明本文方法可有效增强识别准确率与应用效果。

    • 视锥剖分的实质是根据成像距离,使用视锥截面裁切建筑立面的过程[16]。由于视锥透视成像产生影像边缘形变, 观察立面尺寸受限等因素,即使对相邻视点获取影像进行无缝拼接,也不能确保位于过渡位置的观察视点获取的目标影像被准确识别。此时需要通过设置一定的重叠度来保证建筑物目标影像识别库的全面性,提高识别率。水平重叠度使用相邻区域的面积重复百分比表示,如图 1(a)所示,相邻观察点P1P2水平方向成像重叠度为50%。此外,针对高大建筑物,如图 1(b)所示,在视点水平位置确定的情况下,当高度大于成像平面的高度时,还需要设置仰角进行垂直剖分。

      图  1  水平与垂直重叠度示意图

      Figure 1.  Overlay of Horizontal and Vertical Directions

      设水平重叠率为φ,垂直重叠率为δ,移动终端视角水平角为α,垂直角为β,则水平剖分角可简化为α(1-φ),垂直剖分角可简化为β(1-δ)。只有当建筑物的实际高度大于成像平面高度时,才考虑使用垂直重叠度进行高度剖分。获取目标影像时,视点水平位置不变,对不同高度获取多个目标影像。设置合理的重叠度可有效降低注册影像的冗余度,精简识别库,提高识别速度。

    • 户外建筑可分为基本几何形状建筑和复合建筑两类。基本几何形状建筑的底面可简化为矩形、三角形与圆形[17]。复合建筑根据建筑功能和外观复合特征可细分为两种复合形式:一种建筑底部低层与建筑上层有很大的差异;另一种则由两种或两种以上建筑形式组合构成,其建筑底部形状以基本几何形状为原型,通过扭曲、旋转、倾斜,产生不同的变形组合,再平行、平移交错、嵌入形成相应的分割组合,形成多种多样的复合建筑类型[18]

    • 实际应用中,对建筑轮廓几何图形进行最外层图形边长延长相交等预处理实现图形简化,将建筑的底面图形转化为矩形、三角形或圆形, 再依流程剖分。首先获取建筑底图外接圆,以成像设备水平视角和垂直视角以及水平与垂直重叠度为参数,选择建筑的某一顶点为始发点,对建筑底图的外接圆进行等角度剖分。本文设置水平视角与垂直视角均为60°,观察距离为两倍外接圆半径,水平重叠度为50%,剖分点以及目标影像采集视点如图 2所示。

      图  2  基本几何形态建筑剖分策略

      Figure 2.  Partition Strategy for Basic Buildings

    • 多层复合建筑剖分流程与基本几何形状建筑大致相同,区别在于建筑底图的形状外接圆中视点位置需要构建垂直视锥, 具体表现在近地底层和上层部分的差异。设置垂直重叠度,计算采集仰角,通过仰角构建垂直重叠采样视锥采集注册影像,将不同视锥获取的注册影像都加入影像识别库。

      变形分割的组合建筑对分割组合与变形组合按基本类型进行拆分、简化后再处理,其主要处理步骤如下:①将非基本几何形状拆分,根据拆分后的建筑平面的基本几何形状进行剖分与注册点位置获取。②将得到的注册点进行分类,落入建筑物外围为有效注册点,位于建筑物内部或角落为无效注册点。③依据注册点位置采集识别影像并构建目标库。变形与分割组合建筑的剖分点与目标影像采集视点设置见图 3

      图  3  变形分割组合建筑剖分策略

      Figure 3.  Partition Strategy for Combined Buildings

    • 本文考虑的自然场景仅针对小范围独立景物的穿行观察类应用,如树、装饰假山与石头等。可以根据其外观和所占的空间大小将其简化为一个占地面积相同、形状相符的建筑物。主要剖分步骤是首先将自然景物简化为一个多边形或圆形建筑,然后获取外接圆,基于视锥进行剖分,最后获取目标影像入库。

    • 从§1分析可知,在移动设备摄像头水平角与垂直角确定的情况下,成像距离影响视点的设置。§1讨论的剖分点位置以及视点采集位置均属于理想环境,实际环境往往因遮挡或地形导致通视受限。

      由于遮挡与地形导致的通视受限于外接圆弧段,不能直接使用等角度剖分获取注册点,本文对受限部分单独处理,获取受限弧段的注册点位置,再对未受限部分使用等角度剖分的方法获取注册点位置,其处理流程如图 4所示。其中对受限部分单独处理的方法如下。

      图  4  通视受限条件下注册流程

      Figure 4.  Registration Processing for Visibility Occlusions

      1) 遮挡受限。对受限弧段圆心角进行等比例分割,得到的等分线与受限边的交点即为受限区域目标注册点。

      2) 地形受限。根据地形中可通达位置与目标建筑的距离,以水平角50%覆盖率作为标准,重新选取可通达位置下受限区域注册点的位置。

      遮挡与地形受限条件下,获取注册点步骤及效果如图 5所示。

      图  5  遮挡与地形受限条件下注册点选取

      Figure 5.  Registration Points for Terrain Occlusions

    • 为验证基于视锥剖分AR注册策略的有效性,本文选取校园中单体大型教学楼和组合场馆进行实验。实验根据建筑类型受限条件不同, 采用对应的视锥剖分的方法构建识别模板库,基于Vuforia开发包开发应用(app)进行实验。实验设备为平板电脑,操作系统为Android 5.0,CPU为Intel Atom Z3580,内存为2 GB。同时采用基于立面朝向的注册方法开发AR app作为对比,该方法对建筑物的每一个立面采集一张注册影像构建识别模板库,采集点均在建筑立面正前方。对比实验在建筑周围随机选取10个位置进行识别效果对比,每个选取位置与建筑的距离都不同。对比结果显示,本文策略比基于建筑立面朝向的注册策略识别速度快,识别准确度高。

    • 基本几何形状建筑选择为校内大型教学楼,其一侧距离不远处有一片树林,对教学楼形成遮挡,归类为遮挡受限条件。预处理中,先将教学楼和树林区域底部轮廓简化为规则矩形。然后根据本文提出的处理流程对教学楼进行移动AR注册库的构建和应用识别实验。图 6(a)是注册视点位置分布图,图 6(b)是注册视点位置采集到的注册影像,并以此建立目标识别库。应用实验中,识别效果如图 7所示。

      图  6  教学楼注册视点分布及注册影像采集

      Figure 6.  Viewpoints and Images of Teaching Building

      图  7  教学楼应用测试识别效果图

      Figure 7.  Applying Effect of Teaching Building

      在教学楼周围任意选择10个位置进行识别应用对比实验。漫游点的分布如图 8所示。

      图  8  教学楼周边10个识别位置分布

      Figure 8.  Test Positions Around Teaching Building

      在同一位置,分别使用本文方法开发的app和基于立面朝向采集注册影像方法开发的app进行识别,记录每一个位置的识别时间和识别正确情况,结果见表 1。从表 1中可以发现,本文方法在每一个位置都能准确地进行目标识别,且识别的时间较快,而常规基于立面朝向的方法中,在拐角、过近和过远的位置都出现了识别错误,在其他可识别位置上,也存在识别时间较长问题。

      表 1  教学楼识别结果与时间对比

      Table 1.  Comparison of Time and Results for Teaching Building

      识别位置 视锥剖分注册策略 立面朝向注册策略
      识别结果 时间/s 识别结果 时间/s
      位置1 正确 5 错误
      位置2 正确 3 正确 5
      位置3 正确 2 正确 4
      位置4 正确 12 正确 13
      位置5 正确 13 错误
      位置6 正确 10 错误
      位置7 正确 8 正确 12
      位置8 正确 2 正确 5
      位置9 正确 3 错误
      位置10 正确 11 错误

      图 9是在位置5处两种方法的识别情况对比图,其中图 9(a)是采用基于立面朝向采集注册图片的识别效果图,识别过程中一直无法成功识别,图 9(b)则是采用本文提出的方法注册的识别效果图,能够识别成功,用时13 s。

      图  9  教学楼识别情况对比图

      Figure 9.  Comparison of Identification for Teaching Building

    • 选择科学会堂为复合建筑测试对象,归类为基本几何形状的分割组合;对其平面底图进行简化剖分,分割成若干个常见的简单建筑并进行组合。在建筑的正南方有一块高坡,符合通视受限中的地形受限条件。

      根据本文提出的分割组合建筑地形受限条件下移动AR注册策略与处理流程,对科学会堂进行AR注册和识别实验。图 10(a)为重新剖分所得组合建筑注册点的位置分布;图 10(b)是在各个注册视点获取的注册影像。利用采集到的注册影像建立影像识别库,开发AR应用app,在地面不同位置穿行漫游识别效果如图 11所示。

      图  10  科学会堂注册视点分布与注册影像采集

      Figure 10.  Viewpoints and Images of Science Hall

      图  11  科学会堂AR应用识别效果图

      Figure 11.  AR Effects of Science Hall

      在科学会堂周围任意选取10个位置分别进行对比实验。识别点的位置分布如图 12所示。

      图  12  科学会堂周边10个识别位置分布

      Figure 12.  Test Positions Around Science Hall

      表 2是在不同识别点进行建筑识别的实验结果,基于视锥剖分的注册策略开发的app在识别实验中全部能正确识别,而基于建筑立面朝向采集注册影像方法开发的app在识别实验中有4个位置无法正常识别。此外,采用基于视锥剖分的策略开发的app识别用时要短,识别效率高。图 13为同一位置对比识别效果图。

      表 2  科学会堂识别结果与时间对比

      Table 2.  Comparison of Time and Results for Science Hall

      识别位置 视锥剖分注册策略 立面朝向注册影像
      识别结果 时间/s 识别结果 时间/s
      位置1 正确 10 错误 14
      位置2 正确 9 正确 11
      位置3 正确 3 正确 4
      位置4 正确 8 错误
      位置5 正确 9 错误
      位置6 正确 11 错误
      位置7 正确 7 错误
      位置8 正确 4 正确 7
      位置9 正确 7 正确 7
      位置10 正确 11 正确 13

      图  13  科学会堂识别情况对比图

      Figure 13.  Comparison of Identification for Science Hall

    • 本文系统地分析了模板影像识别方案下典型几何形状建筑数量少而全面的注册视点选取方法,提出基于视锥剖分的移动AR注册策略。根据户外建筑常见的形状分类,考虑实际环境下的遮挡受限与地形受限情况,通过设定不同距离,对受限区域重新剖分以及未受限区域等角视锥剖分选取注册视点。以大学校园内典型建筑为例进行了实验,基于Vuforia开发移动AR app,并使用普通Android平板电脑进行应用实验,达到预期的效果。但本文仅针对室外环境的单体或独立建筑群应用,并未针对广域开阔空间中连续实体的应用,后期需要进一步推广其应用基础与适用范围,为户外AR的广泛应用提供有效的依据。

参考文献 (18)

目录

    /

    返回文章
    返回