留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向城市增强现实信息标注的建筑物场景结构提取方法

徐旺 游雄 张威巍 陈冰 胡宗敏

徐旺, 游雄, 张威巍, 陈冰, 胡宗敏. 面向城市增强现实信息标注的建筑物场景结构提取方法[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20200373
引用本文: 徐旺, 游雄, 张威巍, 陈冰, 胡宗敏. 面向城市增强现实信息标注的建筑物场景结构提取方法[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20200373
XU Wang, YOU Xiong, ZHANG Weiwei, CHEN Bing, HU Zongmin. Building SceneStructure Extraction Method for Urban Augmented Reality Annotation[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20200373
Citation: XU Wang, YOU Xiong, ZHANG Weiwei, CHEN Bing, HU Zongmin. Building SceneStructure Extraction Method for Urban Augmented Reality Annotation[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20200373

面向城市增强现实信息标注的建筑物场景结构提取方法

doi: 10.13203/j.whugis20200373
基金项目: 

地理环境智能感知关键技术与应用研究(中原学者科学家工作室科研项目)。

详细信息
    作者简介:

    徐旺,博士生,主要从事战场环境感知与增强现实的理论与方法研究。sirenargiser@126.com

  • 中图分类号: P208

Building SceneStructure Extraction Method for Urban Augmented Reality Annotation

Funds: 

Research on Key Technology and Application of Geographic Environment Intelligent Perception(Scientific Research Project of Zhongyuan Scholar Scientist Studio)

  • 摘要: 在信息标注中融入场景结构信息,能有效解决城市AR信息指示不明、空间遮挡表达不清和视图布局叠置等问题。针对城市AR信息标注中场景结构缺失的问题,提出了一种考虑地理语义且兼顾精度、效率和稳健性的建筑物场景结构提取方法。首先构建了面向建筑物场景结构提取的场景感知网络,从单张场景图像中提取语义、深度和法向量信息;然后将其转化为建筑物立面角点和朝向等结构特征,并计算与2D地图中建筑物轮廓之间的最佳匹配;最终将场景图像按建筑物立面进行重构,提取区域轮廓、场景深度和立面朝向等场景结构。试验中采用Google街景数据生成的9470组样本训练和测试场景感知网络,并在Graz地区32组建筑物场景中测试场景结构提取的有效性。结果表明该方法能达到近实时的效果,且立面轮廓更规则。在存在一定配准误差或局部遮挡的条件下,立面提取的质量显著优于基于地图解析场景图像的方法,具有更好的稳健性。
  • [1] You X, Zhang W W, Ma M, et al.Survey on Urban Warfare Augmented Reality[J].ISPRS International Journal of Geo-Information, 2018, 7(2):46
    [2] Lehikoinen J, Suomela R.WalkMap:Developing an Augmented Reality Map Application for Wearable Computers[J].Virtual Reality, 2002, 6(1):33-44
    [3] Meawad F.InterAKT:A mobile augmented reality browser for geo-social mashups[C]//20164th International Conference on User Science and Engineering (i-USEr).Melaka, Malaysia.2016:167-171
    [4] Grasset R, Langlotz T, Kalkofen D, et al.Image-driven view management for augmented reality browsers[C]//2012 IEEE International Symposium on Mixed and Augmented Reality.Atlanta, GA, USA.2012:177-186
    [5] Jia J Q, Elezovikj S, Fan H, et al.Semantic-Aware Label Placement for Augmented Reality in Street View[J].The Visual Computer, 2021, 37(7):1805-1819
    [6] Langlotz T, Nguyen T, Schmalstieg D, et al.NextGeneration Augmented Reality Browsers:Rich, Seamless, and Adaptive[J].Proceedings of the IEEE, 2014, 102(2):155-169
    [7] Zollmann S, Poglitsch C, Ventura J.VISGIS:Dynamic situated visualization for geographic information systems[C]//2016 International Conference on Image and Vision Computing New Zealand (IVCNZ).Palmerston North, New Zealand.2016:1-6
    [8] Matthew W.How Super Vision Will Change the Way We See the World[OL].https://www.bbc.com/news-/business-42097613, 2017
    [9] Bell B, Feiner S, Höllerer T.View Management for Virtual and Augmented Reality[C]//Proceedings of the 14th annual ACM symposium on User interface software and technology.Orlando, Florida.2001:101-110
    [10] Fond A, Berger M O, Simon G.Prior-based facade rectification for AR in urban environment[C]//2015 IEEE International Symposium on Mixed and Augmented Reality Workshops.Fukuoka, Japan.2015:94-99
    [11] Zollmann S, Reitmayr G.Dense Depth Maps from Sparse Models and Image Coherence for Augmented Reality[C]//Proceedings of the 18th ACM symposium on Virtual reality software and technology.Toronto, Ontario, Canada.2012:53-60
    [12] Nekrasov V, Dharmasiri T, Spek A, et al.Real-Time Joint Semantic Segmentation and Depth Estimation Using Asymmetric Annotations[C]//The 2019 International Conference on Robotics and Automation, Montreal, QC, Canada, 2019
    [13] Zhang Z, Cui Z, Xu C, et al.Joint Task-Recursive Learning for Semantic Segmentation and Depth Estimation[C].ECCV, Munich, Germany, 2018
    [14] Hirzer M, Arth C, Roth P M, et al.Efficient 3D Tracking in Urban Environments with Semantic Segmentation[C].BMVC, London, United Kingdom, 2017
    [15] Armagan A, Hirzer M, Roth P M, et al.Accurate Camera Registration in Urban Environments Using High-Level Feature Matching[C].BMVC, London, United Kingdom, 2017
    [16] Yang F, Zhou Z.Recovering 3D Planes from a Single Image via Convolutional Neural Networks[C].ECCV, Munich, Germany, 2018
    [17] Liu C, Kim K, Gu J W, et al.PlaneRCNN:3D plane detection and reconstruction from a single image[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach, CA, USA.2019:4445-4454
    [18] Zeng Z L, Wu M Y, Zeng W, et al.Deep Recognition of Vanishing-Point-Constrained Building Planes in Urban Street Views[J].IEEE Transactions on Image Processing, 2020, 29:5912-5923
    [19] Chen B K, Gong C, Yang J.Importance-Aware Semantic Segmentation for Autonomous Vehicles[J].IEEE Transactions on Intelligent Transportation Systems, 2019, 20(1):137-148
    [20] Armagan A, Hirzer M, Roth P M, et al.Learning to align semantic segmentation and 2.5D maps for geolocalization[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu, HI, USA.2017:4590-4597
    [21] Yu C Q, Wang J B, Peng C, et al.BiSeNet:Bilateral Segmentation Network for Real-Time Semantic Segmentation[M]//Computer Vision-ECCV 2018.Cham:Springer International Publishing, 2018:334-349
    [22] Chaurasia A, Culurciello E.LinkNet:Exploiting encoder representations for efficient semantic segmentation[C]//2017 IEEE Visual Communications and Image Processing.St.Petersburg, FL, USA.2017:1-4
    [23] Laina I, Rupprecht C, Belagiannis V, et al.Deeper depth prediction with fully convolutional residual networks[C]//2016 Fourth International Conference on 3D Vision (3DV).Stanford, CA, USA.2016:239-248
    [24] Kirillov A, He K M, Girshick R, et al.Panoptic segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach, CA, USA.2019:9396-9405
    [25] Armagan A, Hirzer M, Lepetit V.Semantic segmentation for 3D localization in urban environments[C]//2017 Joint Urban Remote Sensing Event (JURSE).Dubai, United Arab Emirates.2017:1-4
    [26] Arth C, Pirchheim C, Ventura J, et al.Instant Outdoor Localization and SLAM Initialization from 2.5D Maps[J].IEEE Transactions on Visualization and Computer Graphics, 2015, 21(11):1309-1318
  • [1] 孟瑶, 李锐, 蒋捷, 王顺利, 吴华意.  基于建筑物信息的城市街道尺度人口估算 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190343
    [2] 陈博, 佘江峰, 谈俊忠, 马劲松, 吴国平.  三维场景中建筑物模型简化研究进展 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190470
    [3] 阮舜毅, 康俊锋.  移动增强现实可视化下灾害场景加载的优化方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190477
    [4] 高云龙, 张帆, 屈孝志, 黄先锋, 崔婷婷.  结合样本自动选择与规则性约束的窗户提取方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20150225
    [5] 吕凤华, 舒宁, 龚颵, 郭清, 曲雪光.  利用多特征进行航空影像建筑物提取 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20140781
    [6] 刘晓龙, 张永红, 宋伟东.  时序PSInSAR研究建筑物高度信息提取 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20140239
    [7] 梁栋, 王红平, 刘修国, 沈永林.  基于平面基元组的建筑物场景点云自动配准方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20140682
    [8] 庞世燕, 刘亚文, 左志奇, 陈正富.  结合区域增长法和TIN边缘分割的建筑物立面几何特征提取 . 武汉大学学报 ● 信息科学版,
    [9] 徐文学, 杨必胜, 董震, 彭向阳, 麦晓明, 王珂, 高文武.  标记点过程用于点云建筑物提取 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20130044
    [10] 黄敏儿, 杜志强, 朱庆, 张叶廷, 胡翰.  利用像素高度图的三维建筑物屋顶和立面提取方法 . 武汉大学学报 ● 信息科学版,
    [11] 傅兴玉, 尤红建, 付琨, 张翰墨.  利用多尺度Hough变换提取高分辨率SAR图像建筑物L型结构 . 武汉大学学报 ● 信息科学版,
    [12] 魏征, 董震, 李清泉, 杨必胜.  车载LiDAR点云中建筑物立面位置边界的自动提取 . 武汉大学学报 ● 信息科学版,
    [13] 张帆, 黄先锋, 李德仁, 张璇.  基于直线感知增强的边缘提取算法 . 武汉大学学报 ● 信息科学版,
    [14] 曾齐红, 毛建华, 李先华, 刘学锋.  建筑物LiDAR点云的屋顶边界提取 . 武汉大学学报 ● 信息科学版,
    [15] 黄磊, 卢秀山, 梁勇.  基于激光扫描回光强度的建筑物立面信息提取与分类 . 武汉大学学报 ● 信息科学版,
    [16] 杜清运, 刘涛.  户外增强现实地理信息系统原型设计与实现 . 武汉大学学报 ● 信息科学版,
    [17] 卢秀山, 黄磊.  基于激光扫描数据的建筑物信息格网化提取方法 . 武汉大学学报 ● 信息科学版,
    [18] 郭海涛, 徐青, 张保明.  多重约束下的建筑物阴影提取 . 武汉大学学报 ● 信息科学版,
    [19] 何春阳, 曹鑫, 史培军, 李京.  基于Landsat7 ETM~+全色数据纹理和结构信息复合的城市建筑信息提取 . 武汉大学学报 ● 信息科学版,
    [20] 梅雪良, 张祖勋, 张剑清.  基于约束满足网络的建筑物阴影结构提取 . 武汉大学学报 ● 信息科学版,
  • 加载中
计量
  • 文章访问数:  103
  • HTML全文浏览量:  9
  • PDF下载量:  16
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-06-25

面向城市增强现实信息标注的建筑物场景结构提取方法

doi: 10.13203/j.whugis20200373
    基金项目:

    地理环境智能感知关键技术与应用研究(中原学者科学家工作室科研项目)。

    作者简介:

    徐旺,博士生,主要从事战场环境感知与增强现实的理论与方法研究。sirenargiser@126.com

  • 中图分类号: P208

摘要: 在信息标注中融入场景结构信息,能有效解决城市AR信息指示不明、空间遮挡表达不清和视图布局叠置等问题。针对城市AR信息标注中场景结构缺失的问题,提出了一种考虑地理语义且兼顾精度、效率和稳健性的建筑物场景结构提取方法。首先构建了面向建筑物场景结构提取的场景感知网络,从单张场景图像中提取语义、深度和法向量信息;然后将其转化为建筑物立面角点和朝向等结构特征,并计算与2D地图中建筑物轮廓之间的最佳匹配;最终将场景图像按建筑物立面进行重构,提取区域轮廓、场景深度和立面朝向等场景结构。试验中采用Google街景数据生成的9470组样本训练和测试场景感知网络,并在Graz地区32组建筑物场景中测试场景结构提取的有效性。结果表明该方法能达到近实时的效果,且立面轮廓更规则。在存在一定配准误差或局部遮挡的条件下,立面提取的质量显著优于基于地图解析场景图像的方法,具有更好的稳健性。

English Abstract

徐旺, 游雄, 张威巍, 陈冰, 胡宗敏. 面向城市增强现实信息标注的建筑物场景结构提取方法[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20200373
引用本文: 徐旺, 游雄, 张威巍, 陈冰, 胡宗敏. 面向城市增强现实信息标注的建筑物场景结构提取方法[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20200373
XU Wang, YOU Xiong, ZHANG Weiwei, CHEN Bing, HU Zongmin. Building SceneStructure Extraction Method for Urban Augmented Reality Annotation[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20200373
Citation: XU Wang, YOU Xiong, ZHANG Weiwei, CHEN Bing, HU Zongmin. Building SceneStructure Extraction Method for Urban Augmented Reality Annotation[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20200373
参考文献 (26)

目录

    /

    返回文章
    返回