留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

街景影像下的临街建筑风格映射及地图生成方法

徐虹 王禄斌 方志祥 何明辉 侯学成 左亮 管昉立 熊策 龚毅宇 庞晴霖 张涵 孙树藤 娜迪热∙艾麦尔

徐虹, 王禄斌, 方志祥, 何明辉, 侯学成, 左亮, 管昉立, 熊策, 龚毅宇, 庞晴霖, 张涵, 孙树藤, 娜迪热∙艾麦尔. 街景影像下的临街建筑风格映射及地图生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
引用本文: 徐虹, 王禄斌, 方志祥, 何明辉, 侯学成, 左亮, 管昉立, 熊策, 龚毅宇, 庞晴霖, 张涵, 孙树藤, 娜迪热∙艾麦尔. 街景影像下的临街建筑风格映射及地图生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
XU Hong, WANG Lubin, FANG Zhixiang, HE Minghui, HOU Xuecheng, ZUO Liang, GUAN Fangli, XIONG Ce, GONG Yiyu, PANG Qinglin, ZHANG Han, SUN Shuteng, NADIRE Aimaier. Street-Facing Architectural Image Mapping and Architectural Style Map Generation Method Using Street View Images[J]. Geomatics and Information Science of Wuhan University, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
Citation: XU Hong, WANG Lubin, FANG Zhixiang, HE Minghui, HOU Xuecheng, ZUO Liang, GUAN Fangli, XIONG Ce, GONG Yiyu, PANG Qinglin, ZHANG Han, SUN Shuteng, NADIRE Aimaier. Street-Facing Architectural Image Mapping and Architectural Style Map Generation Method Using Street View Images[J]. Geomatics and Information Science of Wuhan University, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445

街景影像下的临街建筑风格映射及地图生成方法

doi: 10.13203/j.whugis20200445
基金项目: 

国家自然科学基金 41771473

详细信息
    作者简介:

    徐虹,博士,副教授,主要从事城乡规划与设计、城市与建筑遗产保护、数字城市与建筑等方面的研究。xuhong@wust.edu.cn

    通讯作者: 王禄斌,硕士生。lbwang@whu.edu.cn
  • 中图分类号: P283; P208

Street-Facing Architectural Image Mapping and Architectural Style Map Generation Method Using Street View Images

Funds: 

The National Natural Science Foundation of China 41771473

More Information
    Author Bio:

    XU Hong, PhD, associate professor, specializes in urban and rural planning and design, urban and built heritage preservation. E-mail: xuhong@wust.edu.cn

    Corresponding author: WANG Lubin, postgraduate. E-mail: lbwang@whu.edu.cn
  • 摘要: 精细化的城市建筑风格地图已成为古建筑保护、城市规划、旅游资源开发的重要参考依据。但城市建筑众多,信息采集困难,仅靠人工难以实现成图,因此提出了面向街景影像建筑区域匹配的建筑风格地图生成方法。首先,在提取特征建筑风格影像的基础上,结合球形全景影像的空间几何约束和图像特征,通过匹配同名建筑区域构建双像建筑区域点位映射;然后,利用街景采集点到建筑俯视轮廓的方位范围,提出单像建筑区域方位映射,建立街景建筑区域与单体建筑俯视轮廓的空间匹配关系;最后,综合判定各单体建筑的风格属性,生成精细尺度的建筑风格地图。实验结果表明,基于单、双像位置映射的建筑区域匹配正确率分别达80.3%和85.1%,且19类建筑风格地图的分类精确率为55.1%,召回率为76.4%,在一定程度上能反映大范围的城市建筑风格的地理分布特征。
  • 图  1  建筑风格地图生成方法流程图

    Figure  1.  Flowchart of Architectural Style Map Production Method

    图  2  同名建筑区域示例

    Figure  2.  An Example of Two Corresponding Architectural Images

    图  3  同名建筑区域匹配流程图

    Figure  3.  Flowchart of Matching Two Corresponding Architectural Images

    图  4  街景建筑区域映射方法流程图

    Figure  4.  Flowchart of Building Outline Mapping Methods Based on Architectural Area in Street View

    图  5  双像建筑区域点位映射示意图

    Figure  5.  Location Mapping Method Based on a Panoramic Image Pair

    图  6  单像建筑区域方位映射示意图

    Figure  6.  Diagram of Azimuth Mapping Method Based on a Panoramic Image

    图  7  两个方位范围交并比的定义

    Figure  7.  Definition of Two Azimuth Coverage ?s IoU

    图  8  点到建筑俯视轮廓的方位范围示意图

    Figure  8.  Diagram of Azimuth Coverage from One Position to Building Outline

    图  9  单体建筑轮廓匹配多个建筑区域影像的示意图

    Figure  9.  Diagram of One Building Outline Matching Mutiple Architectural Images

    图  10  实验区域及代表性街区或景点的位置分布

    Figure  10.  Experimental Region and Location Distribution of Representative Blocks or Scenic Spots

    图  11  各类建筑风格的原始标定数量

    Figure  11.  Number of Calibration of Different Architectural Styles

    图  12  测试集的建筑区域检测结果示例

    Figure  12.  Selected Examples of Architectural Area Detection Results on Test Set

    图  13  同名建筑区域匹配结果的混淆矩阵

    Figure  13.  Confusion Matrix of Matching Results with the Same Name Architectural Area

    图  14  相邻两张街景的同名建筑区域匹配过程

    Figure  14.  Matching Process of Two Corresponding Architectural Areas in an Image Pair

    图  15  两种映射方法的耗时对比

    Figure  15.  Time Consumption Comparison of Two Mapping Methods

    图  16  北京市建筑风格地图

    Figure  16.  Architectural Style Map of Beijing

    图  17  西安市建筑风格地图

    Figure  17.  Architectural Style Map of Xi'an

    图  18  上海市建筑风格地图

    Figure  18.  Architectural Style Map of Shanghai

    图  19  武汉市建筑风格地图

    Figure  19.  Architectural Style Map of Wuhan

    图  20  建筑风格地图分类精度条形图

    Figure  20.  Bar Chart of Classification Results of Architectural Styles

    表  1  各类风格建筑区域的检测精度表

    Table  1.   Detection Precision of Architectural Area of Different Styles on Test Set

    建筑区域的风格类别 AP/%
    战国时期楚国建筑风格 69.23
    汉代建筑风格 57.17
    唐代建筑风格 89.43
    宋代建筑风格 86.73
    元代建筑风格 73.61
    明代建筑风格 78.53
    清代建筑风格 79.59
    京派民居 88.53
    苏派民居 72.19
    徽派民居 84.37
    民国民居 78.61
    现代建筑风格 84.13
    古希腊建筑风格 76.97
    古罗马建筑风格 73.37
    哥特式建筑风格 63.17
    法国古典风格 43.85
    巴洛克建筑风格 48.29
    拜占庭建筑风格 89.20
    其他西式风格 65.40
    mAP 73.81
    下载: 导出CSV

    表  2  两种同名建筑区域匹配方法的精度对比结果

    Table  2.   Accuracy Comparison of Two Matching Methods

    同名建筑区域匹配方法 精确率/% 召回率/% F1分数 耗时/ms
    本文方法 86.1 90.3 0.882 180.1
    核线约束下的SURF匹配 66.7 94.2 0.781 241.6
    下载: 导出CSV

    表  3  两种位置映射方法准确率的对比结果

    Table  3.   Accuracy Results of Two Mapping Methods

    位置映射方法 正确映射/个 错误映射/个 映射失败/个
    单像方位映射 106 26 18
    双像点位映射 63 11 76
    下载: 导出CSV

    表  4  存在多映射问题的单体建筑数量

    Table  4.   Number of Buildings with Multiple Mapping Problems

    位置映射方法 成功映射的建筑/个 存在多映射的建筑/个
    单像方位映射 13 522 5 805
    双像点位映射 9 595 2 245
    下载: 导出CSV
  • [1] Goel A, Juneja M, Jawahar C V. Are Buildings Only Instances?: Exploration in Architectural Style Ca- tegories[C]//The Eighth Indian Conference on Computer Vision, Graphics and Image Processing, New York, USA, 2012
    [2] Zhang Luming, Song Mingli, Liu Xiao, et al. Recognizing Architecture Styles by Hierarchical Sparse Coding of Blocklets[J]. Information Sciences, 2014, 254: 141-154 doi:  10.1016/j.ins.2013.08.020
    [3] Zhao Peipei, Miao Qiguang, Song Jianfeng, et al. Architectural Style Classification Based on Feature Extraction Module[J]. IEEE Access, 2018, 6: 52 598-52 606 doi:  10.1109/ACCESS.2018.2869976
    [4] 沈佳洁, 潘励, 胡翔云. 可变形部件模型在高分辨率遥感影像建筑物检测中的应用[J]. 武汉大学学报∙信息科学版, 2017, 42(9): 1 285-1 291 https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201709015.htm

    Shen Jiajie, Pan Li, Hu Xiangyun. Building Detection from High Resolution Remote Sensing Imagery Based on a Deformable Part Model[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1 285-1 291 https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201709015.htm
    [5] 赵佩佩. 基于集成投影及卷积神经网络的建筑风格分类算法研究[D]. 西安: 西安电子科技大学, 2015

    Zhao Peipei. Architectural Style Classification Algorithms Research Based on Ensemble Projection and Convolution Neural Network[D]. Xi'an: Xidian University, 2015
    [6] Cao Rui, Zhu Jiasong, Tu Wei, et al. Integrating Aerial and Street View Images for Urban Land Use Classification[J]. Remote Sensing, 2018, 10(10): 1 553-1 575 doi:  10.3390/rs10101553
    [7] Wolff M, Collins R T, Liu Yanxi.Regularity-Driven Building Facade Matching Between Aerial and Street Views[C]//IEEE Conference on Computer Vision and Pattern Recognition, Washington D C, USA, 2016
    [8] 宋为刚. 基于街景与航拍图像配准的视觉定位技术[D]. 苏州: 苏州大学, 2018

    Song Weigang. A Visual Localization Technique Based on Street View and Aerial Image Registration[D]. Suzhou: Soochow University, 2018
    [9] Sun Bin, Chen Chen, Zhu Yingying, et al. GEOCAPSNET: Ground to Aerial View Image Geo-Localization Using Capsule Network[C]//IEEE International Conference on Multimedia and Expo, Washington D C, SA, 2019
    [10] 熊曦. 基于智能手机单张照片的建筑物快速定位算法[D]. 北京: 清华大学, 2015

    Xiong Xi, Research on Fast Single-Image-Based Building Localization with a Smartphone[D]. Beijing: Tsinghua University, 2015
    [11] 陈运, 蔡忠亮, 李伯钊, 等. 一种拍摄目标的地理位置标注方法[J]. 测绘地理信息, 2020, 45(5): 142-145 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202005032.htm

    Chen Yun, Cai Zhongliang, Li Bozhao, et al. A Geo-location Computation Method of Objects in the Photo[J]. Journal of Geomatics, 2020, 45(5): 142-145 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202005032.htm
    [12] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1 137-1 149 doi:  10.1109/TPAMI.2016.2577031
    [13] Bay H, Ess A, Tuytelaars T. Speeded Up Robust Features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359 doi:  10.1016/j.cviu.2007.09.014
    [14] 吕凤华, 舒宁, 龚龑, 等. 利用多特征进行航空影像建筑物提取[J]. 武汉大学学报∙信息科学版, 2017, 42(5): 656-660 https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201705014.htm

    Lü Fenghua, Shu Ning, Gong Yan, et al. Regular Building Extraction from High Resolution Image Based on Multilevel-Features[J]. Geomatics and Information Science of Wuhan University, 2017, 42(5): 656-660 https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201705014.htm
    [15] 吴高巍, 陶卿, 王珏, 等. 基于后验概率的支持向量机[J]. 计算机研究与发展, 2005, 42(2): 196-202 https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ200502002.htm

    Wu Gaowei, Tao Qing, Wang Jue, et al. Support Vector Machines Based on Posteriori Probability[J]. Journal of Computer Research and Development, 2005, 42(2): 196-202 https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ200502002.htm
    [16] 谢东海, 钟若飞, 吴俣, 等. 球面全景影像相对定向与精度验证[J]. 测绘学报, 2017, 46(11): 1 822-1 829 doi:  10.11947/j.AGCS.2017.20160645

    Xie Donghai, Zhong Ruofei, Wu Yu, et al. Relative Pose Estimation and Accuracy Verification of Spherical Panoramic Image[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(11): 1 822-1 829 doi:  10.11947/j.AGCS.2017.20160645
    [17] 刘帅, 陈军, 孙敏, 等. 双球面投影几何可量测全景模型的构建[J]. 计算机辅助设计与图形学学报, 2015, 27(4): 657-665 https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201504012.htm

    Liu Shuai, Chen Jun, Sun Min, et al. Measurable Panorama Construction Based on Binocular Spherical Projective Geometry[J]. Journal of Computer Aided Design and Computer Graphics, 2015, 27(4): 657-665 https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201504012.htm
    [18] 张春森, 王西旗, 郭丙轩. 城市环境下基于C/S架构的影像空间定位[J]. 武汉大学学报∙信息科学版, 2018, 43(7): 978-983 https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201807002.htm

    Zhang Chunsen, Wang Xiqi, Guo Bingxuan. Space Location of Image in Urban Environments Based on C/S Structure[J]. Geomatics and Information Scien- ce of Wuhan University, 2018, 43(7): 978-983 https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201807002.htm
    [19] 吴幼丝. 球形全景影像位姿估计[D]. 武汉: 武汉大学, 2017

    Wu Yousi. Position and Orientation Estimation of Spherical Panorama Image[D]. Wuhan: Wuhan University, 2017
    [20] Guan Fangli, Fang Zhixiang, Yu Tao, et al. Detec- ting Visually Salient Scene Areas and Deriving Their Relative Spatial Relations from Continuous Street-View Panoramas[J]. International Journal of Digital Earth, 2020, 13(12): 1 504-1 531 doi:  10.1080/17538947.2020.1731618
    [21] 王志旋, 钟若飞, 谢东海. 球面全景影像自动测量路灯坐标的方法[J]. 中国图象图形学报, 2018, 23(9): 1 371-1 381 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201809010.htm

    Wang Zhixuan, Zhong Ruofei, Xie Donghai. Automatically Measuring the Coordinates of Streetlights in Vehicle-Borne Spherical Images[J]. Journal of Image and Graphics, 2018, 23(9): 1 371-1 381 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201809010.htm
    [22] Hwang C L, Yoon K, Hwang C L, et al. Multiple Attribute Decision Making[J]. Lecture Notes in Economics and Mathematical Systems, 1981, 404(4): 287-288 http://www.researchgate.net/publication/238761193_Multiple_Attribute_Decision_Making_-_Methods_and_Application_A_State_of_the_Art_Survey
    [23] Kang Jian, Körner M, Wang Yuanyuan, et al. Building Instance Classification Using Street View Images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 44-59 doi:  10.1016/j.isprsjprs.2018.02.006
  • [1] 林学楷, 许才军.  深度学习驱动的地震目录构建:PhaseNet和EqT模型的对比与评估 . 武汉大学学报 ● 信息科学版, 2022, 47(6): 855-865. doi: 10.13203/j.whugis20220197
    [2] 李鹏程, 白文浩.  基于Transformer结构的遥感影像敏感目标自动隐藏方法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1287-1297. doi: 10.13203/j.whugis20220219
    [3] 郭从洲, 李可, 李贺, 童晓冲, 王习文.  遥感图像质量等级分类的深度卷积神经网络方法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
    [4] 高奎亮, 余旭初, 张鹏强, 谭熊, 刘冰.  利用胶囊网络实现高光谱影像空谱联合分类 . 武汉大学学报 ● 信息科学版, 2022, 47(3): 428-437. doi: 10.13203/j.whugis20200008
    [5] 邵振峰, 孙悦鸣, 席江波, 李岩.  智能优化学习的高空间分辨率遥感影像语义分割 . 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
    [6] 赵之若, 王少宇, 王心宇, 钟燕飞.  一种改进的火星车多光谱影像深度新颖目标探测方法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1328-1335. doi: 10.13203/j.whugis20220119
    [7] 李星华, 白学辰, 李正军, 左芝勇.  面向高分影像建筑物提取的多层次特征融合网络 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1236-1244. doi: 10.13203/j.whugis20210506
    [8] 李彦胜, 张永军.  耦合知识图谱和深度学习的新一代遥感影像解译范式 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1176-1190. doi: 10.13203/j.whugis20210652
    [9] 张宇, 江鹏, 郭文飞, 张丹, 韩震.  一种利用两阶段学习模型的水下阵列定位方法 . 武汉大学学报 ● 信息科学版, 2021, 46(12): 1889-1899. doi: 10.13203/j.whugis20210466
    [10] 柴华彬, 严超, 邹友峰, 陈正超.  利用PSP Net实现湖北省遥感影像土地覆盖分类 . 武汉大学学报 ● 信息科学版, 2021, 46(8): 1224-1232. doi: 10.13203/j.whugis20190296
    [11] 陈行, 罗斌.  利用动态上采样滤波深度网络进行多角度遥感影像超分辨率重建 . 武汉大学学报 ● 信息科学版, 2021, 46(11): 1716-1726. doi: 10.13203/j.whugis20200651
    [12] 季顺平, 罗冲, 刘瑾.  基于深度学习的立体影像密集匹配方法综述 . 武汉大学学报 ● 信息科学版, 2021, 46(2): 193-202. doi: 10.13203/j.whugis20200620
    [13] 郭旦怀, 张鸣珂, 贾楠, 王彦棡.  融合深度学习技术的用户兴趣点推荐研究综述 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1890-1902. doi: 10.13203/j.whugis20200334
    [14] 巨袁臻, 许强, 金时超, 李为乐, 董秀军, 郭庆华.  使用深度学习方法实现黄土滑坡自动识别 . 武汉大学学报 ● 信息科学版, 2020, 45(11): 1747-1755. doi: 10.13203/j.whugis20200132
    [15] 陈鹏, 汪本康, 高飒, 童小华, 卢文胜, 徐胜华.  利用ResNet进行建筑物倒塌评估 . 武汉大学学报 ● 信息科学版, 2020, 45(8): 1179-1184. doi: 10.13203/j.whugis20200135
    [16] 潘银, 邵振峰, 程涛, 贺蔚.  利用深度学习模型进行城市内涝影响分析 . 武汉大学学报 ● 信息科学版, 2019, 44(1): 132-138. doi: 10.13203/j.whugis20170217
    [17] 邵振峰, 张源, 黄昕, 朱秀丽, 吴亮, 万波.  基于多源高分辨率遥感影像的2 m不透水面一张图提取 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1909-1915. doi: 10.13203/j.whugis20180196
    [18] 樊恒, 徐俊, 邓勇, 向金海.  基于深度学习的人体行为识别 . 武汉大学学报 ● 信息科学版, 2016, 41(4): 492-497. doi: 10.13203/j.whugis20140110
    [19] 何培培, 万幼川, 高贤君, 秦家鑫.  基于彩色信息尺度不变特征的街景影像匹配 . 武汉大学学报 ● 信息科学版, 2014, 39(7): 867-872.
    [20] 赫晓慧, 陈明扬, 李盼乐, 田智慧, 周广胜.  结合DCNN与短距条件随机场的遥感影像道路提取 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210464
  • 加载中
图(20) / 表(4)
计量
  • 文章访问数:  726
  • HTML全文浏览量:  192
  • PDF下载量:  114
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-08-25
  • 刊出日期:  2021-05-05

街景影像下的临街建筑风格映射及地图生成方法

doi: 10.13203/j.whugis20200445
    基金项目:

    国家自然科学基金 41771473

    作者简介:

    徐虹,博士,副教授,主要从事城乡规划与设计、城市与建筑遗产保护、数字城市与建筑等方面的研究。xuhong@wust.edu.cn

    通讯作者: 王禄斌,硕士生。lbwang@whu.edu.cn
  • 中图分类号: P283; P208

摘要: 精细化的城市建筑风格地图已成为古建筑保护、城市规划、旅游资源开发的重要参考依据。但城市建筑众多,信息采集困难,仅靠人工难以实现成图,因此提出了面向街景影像建筑区域匹配的建筑风格地图生成方法。首先,在提取特征建筑风格影像的基础上,结合球形全景影像的空间几何约束和图像特征,通过匹配同名建筑区域构建双像建筑区域点位映射;然后,利用街景采集点到建筑俯视轮廓的方位范围,提出单像建筑区域方位映射,建立街景建筑区域与单体建筑俯视轮廓的空间匹配关系;最后,综合判定各单体建筑的风格属性,生成精细尺度的建筑风格地图。实验结果表明,基于单、双像位置映射的建筑区域匹配正确率分别达80.3%和85.1%,且19类建筑风格地图的分类精确率为55.1%,召回率为76.4%,在一定程度上能反映大范围的城市建筑风格的地理分布特征。

English Abstract

徐虹, 王禄斌, 方志祥, 何明辉, 侯学成, 左亮, 管昉立, 熊策, 龚毅宇, 庞晴霖, 张涵, 孙树藤, 娜迪热∙艾麦尔. 街景影像下的临街建筑风格映射及地图生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
引用本文: 徐虹, 王禄斌, 方志祥, 何明辉, 侯学成, 左亮, 管昉立, 熊策, 龚毅宇, 庞晴霖, 张涵, 孙树藤, 娜迪热∙艾麦尔. 街景影像下的临街建筑风格映射及地图生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
XU Hong, WANG Lubin, FANG Zhixiang, HE Minghui, HOU Xuecheng, ZUO Liang, GUAN Fangli, XIONG Ce, GONG Yiyu, PANG Qinglin, ZHANG Han, SUN Shuteng, NADIRE Aimaier. Street-Facing Architectural Image Mapping and Architectural Style Map Generation Method Using Street View Images[J]. Geomatics and Information Science of Wuhan University, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
Citation: XU Hong, WANG Lubin, FANG Zhixiang, HE Minghui, HOU Xuecheng, ZUO Liang, GUAN Fangli, XIONG Ce, GONG Yiyu, PANG Qinglin, ZHANG Han, SUN Shuteng, NADIRE Aimaier. Street-Facing Architectural Image Mapping and Architectural Style Map Generation Method Using Street View Images[J]. Geomatics and Information Science of Wuhan University, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
  • 每个地域往往具有特定的建筑风格特征,精细化探究建筑风格的地理分布有利于历史古建筑的保护、特色旅游资源的开发以及城市建筑区的科学规划。然而城市建筑数量多、区域广,人工采集和调查不满足大范围作业的需求。近年来,以谷歌为代表的互联网公司推出城市街景影像(street view images,SVI)。街景影像分辨率高,含有全方位的城市街道景观以及精确的位置和姿态信息,为探究城市建筑风格的地理分布提供了可能。

    街景建筑区域的风格识别与地图匹配是生成城市建筑风格地图的技术难点。一方面,建筑风格特征复杂多样,图像分类困难。相比传统分类模型[1-4],卷积神经网络[5](convolutional nueral network,CNN)在建筑风格分类上的精度更高。另一方面,建筑图像的跨视角匹配成为建筑地理定位和土地利用分类[6]等领域的重要手段,现有研究主要从单一建筑的空间几何特征考量[7-11],不适合处理场景复杂、建筑众多的全景像片。因此,本文借助深度学习实现街景建筑区域的风格分类,并建立建筑影像与建筑俯视轮廓的映射关系,精细化探究大范围城市建筑风格地图的生成方法。

    • 更快的基于区域CNN(faster region-based CNN,Faster R-CNN)目标检测模型[12]可以提取各类风格的建筑目标区域。在此基础上,采用双像建筑区域点位映射方法,通过匹配相邻两张街景影像的同名建筑区域来估算每个单体建筑的实地位置,建立与建筑轮廓的点位映射关系。针对无同名建筑区域的建筑影像,本文提出了单像建筑区域方位映射方法,通过街景与地图中建筑物方位角的对应关系实现单体建筑影像与对应建筑轮廓的匹配。对成功匹配的建筑轮廓获取其建筑风格属性,生成城市建筑风格地图。本文方法的流程见图 1图 1中,PASCAL VOC是国际顶级的计算机视觉竞赛提供的标准格式的目标检测数据集。

      图  1  建筑风格地图生成方法流程图

      Figure 1.  Flowchart of Architectural Style Map Production Method

    • 同名建筑区域是指相邻两张街景中代表同一建筑物的影像区域,是进行双像建筑区域点位映射的必要条件(见图 2)。本文首先通过建筑影像的纹理和颜色特征剔除相似度小的单体建筑区域影像对,然后对少量的候选影像对进行核线约束下的加速稳健特征[13](speeded up robust features,SURF)匹配,得到最佳同名建筑区域及核线距离最近的一个同名点对,用于前方交会定位,匹配流程如图 3所示。

      图  2  同名建筑区域示例

      Figure 2.  An Example of Two Corresponding Architectural Images

      图  3  同名建筑区域匹配流程图

      Figure 3.  Flowchart of Matching Two Corresponding Architectural Images

      街景单体建筑影像的纹理特征采用不同方向上的灰度共生矩阵[14](gary level co-occurrence matrix,GLCM)的熵、二阶矩、对比度和逆差矩表示,本文选取0°、45°、90°和135°这4个方向的灰度共生矩阵,构成16维的纹理特征向量。色调、饱和度、亮度(hue,saturation,value,HSV)颜色空间的低阶矩能很好地反映图像明暗程度、颜色分布范围和分布对称性,共生成9维的颜色特征向量。将两个特征向量融合,得到代表建筑区域的25维全局特征。

      两个单体建筑区域特征向量的差向量可作为判定相似程度的特征向量。首先,将差向量作为后验概率的支持向量机[15](posteriori probability support vector machine,PPSVM)的输入,计算同名建筑区域的概率值,将概率值大于阈值的同类风格建筑区域对作为候选匹配对。然后,在候选匹配对中,以左片的单体建筑区域为基准,分别与右片的每个单体建筑区域进行球面核线约束[16]下的SURF匹配,选取同名点核线距离均值最小的右片建筑区域作为最佳匹配对。最后,在每个最佳匹配对中,取核线距离最小的一对同名点,通过前方交会得到建筑物的坐标信息。

      街景建筑影像形变较大,存在同名点匹配困难、误匹配较多的问题。对此,本文通过检验左、右片单体建筑影像区域中心点的核线距离是否小于阈值来辅助判别是否为同名建筑区域。

    • 建立街景影像中建筑区域与地图中建筑轮廓的对应关系,是生成建筑风格地图的关键。本文提出了双像建筑区域点位映射和单像建筑区域方位映射方法,流程如图 4所示。

      图  4  街景建筑区域映射方法流程图

      Figure 4.  Flowchart of Building Outline Mapping Methods Based on Architectural Area in Street View

    • 双像建筑区域点位映射需要满足两个条件:(1)相邻两张街景影像存在同名单体建筑区域;(2)两张影像可以完成相对定向。图 5显示了同名建筑区域点位映射的过程。图 5中,$ {P}_{1} $和$ {P}_{2} $为同名建筑区域的最佳同名点对;$ {S}_{1} $和$ {S}_{2} $是相邻两张街景影像的摄影中心,分别构成球形全景坐标系S1-X1Y1Z1S2-X2Y2Z2;$ P $是$ {P}_{1} $和$ {P}_{2} $对应的前方交会点。

      图  5  双像建筑区域点位映射示意图

      Figure 5.  Location Mapping Method Based on a Panoramic Image Pair

      完成两张街景的相对定向需要将平面街景影像转换成球形全景影像[17-18]。首先,采用随机抽样一致性(random sample consensus,RANSAC)的8点法[16, 19],由式(1)解算相邻两张街景的旋转矩阵和平移向量。然后,将同名点对进行前方交会,利用街景影像的坐标和姿态参数完成绝对定向[17],得到对应单体建筑的实地坐标。

      $$ \left\{\begin{array}{l}{\mathit{P}}_{2}\cdot \underset{3\times 3}{\mathit{E}}\cdot {\mathit{P}}_{1}=0\\ \mathit{E}={\left[\mathit{T}\right]}_{\times }\cdot {\mathit{R}}_{s}\end{array}\right. $$ (1)

      式中,$ \mathit{E} $为本质矩阵;$ {\mathit{P}}_{1} $和$ {\mathit{P}}_{2} $表示至少8对同名点球面坐标的矩阵;$ {\left[\mathit{T}\right]}_{\times } $表示平移向量$ \mathit{T} $的反对称矩阵;$ {\mathit{R}}_{s} $为像对的旋转矩阵。

      由于无法进行严格的绝对定向,估算的单体建筑位置点与建筑轮廓存在偏差。首先,通过限制前方交会距离小于150 m和交会角大于10°提高定位精度[20-21]。然后,采用空间近邻分析,使每个位置点匹配距离最近的单体建筑轮廓,且限制匹配距离小于10 m,提高单体建筑的匹配准确率。

    • 当球形全景像空间坐标系旋转至与地图坐标系平行时,单体建筑区域的方位范围与街景采集点到对应建筑轮廓的方位范围相同。图 6为建筑区域方位映射示意图,$ {S}_{1} $为街景影像的摄影中心,构成球形全景坐标系S1-X1Y1Z1

      图  6  单像建筑区域方位映射示意图

      Figure 6.  Diagram of Azimuth Mapping Method Based on a Panoramic Image

      在实际场景中,检测出的单体建筑区域范围存在偏差,地图中对应的建筑俯视轮廓也可能存在位置偏移,导致两个方位范围不严格相同。定义两个方位范围的交并比(intersection over union,IoU),用于描述单体建筑区域与建筑俯视轮廓的方位相似度(见图 7)。

      图  7  两个方位范围交并比的定义

      Figure 7.  Definition of Two Azimuth Coverage ?s IoU

      交并比$ \alpha $越接近1,则相似度越大;越接近0,则相似度越小。计算公式为:

      $$ \alpha =\frac{I\left[\right({a}_{i}, {b}_{i}), \mathrm{ }({c}_{j}, {d}_{j}\left)\right]}{U\left[\right({a}_{i}, {b}_{i}), \mathrm{ }({c}_{j}, {d}_{j}\left)\right]}\begin{array}{c}\end{array}(i, j=\mathrm{1, 2}, 3\cdots ) $$ (2)

      式中,$ ({a}_{i}, {b}_{i}) $表示第$ i $个建筑区域的方位角范围;$ ({c}_{j}, {d}_{j}) $表示街景采集点到第$ j $个建筑轮廓的方位角范围;$ I $表示两个方位范围的重合角度;$ U $表示两个方位范围的合并角度。

      所有单体建筑区域的方位范围构成集合$ {A}_{1}=\left\{\right({a}_{i}, {b}_{i}\left)\mathrm{ }\right|i=\mathrm{1, 2}, 3\cdots \} $。采集点到单个建筑轮廓的方位范围可以由采集点到建筑轮廓的两个边界方位角顺时针组成(见图 8),获取缓冲区内所有单体建筑轮廓的方位角范围,构成集合$ {A}_{2}=\left\{\right({c}_{j}, {d}_{j}\left)\mathrm{ }\right|j\in B\} $,$ B $表示缓冲区内的单体建筑轮廓集合。利用式(2)选取IoU最大的匹配对,完成单像建筑区域方位映射。

      图  8  点到建筑俯视轮廓的方位范围示意图

      Figure 8.  Diagram of Azimuth Coverage from One Position to Building Outline

    • 图 9描述了单个建筑轮廓匹配多个不同建筑区域影像的情形,其中$ {S}_{i}(i=\mathrm{1, 2}\dots 6) $代表各街景采集点位置,$ {P}_{1} $和$ {P}_{2} $代表两个建筑区域的映射点位置。单个建筑轮廓可能映射多类建筑风格(简称多映射问题),故需要确定每个建筑轮廓的唯一风格属性。

      图  9  单体建筑轮廓匹配多个建筑区域影像的示意图

      Figure 9.  Diagram of One Building Outline Matching Mutiple Architectural Images

      对于双像建筑区域点位映射结果,每个建筑轮廓可能匹配到多个建筑区域位置点。针对一个单体建筑轮廓,将匹配到的每类建筑风格的位置点各构成一个集合,考虑每个集合中所有位置点的数量$ {m}_{1} $、Faster R-CNN分类概率均值$ {m}_{2} $、到建筑轮廓的距离均值$ {m}_{3} $以及用于交会的同名点对的核线距离均值$ {m}_{4} $,用这4个参数构成每类建筑风格的评价指标,且权重相同。当一类建筑风格的$ {m}_{1} $和$ {m}_{2} $越大,$ {m}_{3} $和$ {m}_{4} $越小,该类风格的得分越高。将指标归一化、正向化后,构成的标准化矩阵$ \mathit{M} $为:

      $$ \mathit{M}=\left[\begin{array}{cccc}{m}_{\mathrm{1, 1}}& {m}_{\mathrm{1, 2}}& {m}_{\mathrm{1, 3}}& {m}_{\mathrm{1, 4}}\\ {m}_{\mathrm{2, 1}}& {m}_{\mathrm{2, 2}}& {m}_{\mathrm{2, 3}}& {m}_{\mathrm{2, 4}}\\ ⋮& ⋮& ⋮& ⋮\\ {m}_{\mathrm{19, 1}}& {m}_{\mathrm{19, 2}}& {m}_{\mathrm{19, 3}}& {m}_{\mathrm{19, 4}}\end{array}\right] $$ (3)

      式中,$ {m}_{i, j} $表示第$ i $类建筑风格的第$ j $个指标的标准化值。

      结合优劣解距离方法[22](technique for order preference by similarity to an ideal solution,TOPSIS),第$ i $类建筑风格的得分计算式如式(4)所示,取得分最高的建筑风格为该单体建筑轮廓的风格属性$ {s}_{i} $。

      $$ {s}_{i}=\frac{\sqrt{\sum _{j=1}^{4}({m}_{j}^{+}-{m}_{i, j}{)}^{2}}}{\sqrt{\sum _{j=1}^{4}({m}_{j}^{+}-{m}_{i, j}{)}^{2}}+\sqrt{\sum _{j=1}^{4}({m}_{j}^{-}-{m}_{i, j}{)}^{2}}} $$ (4)

      式中,$ {\mathit{m}}^{+} $为4维向量,且$ {\mathit{m}}^{+} $=[max($ {m}_{\mathrm{1, 1}} $,$ {m}_{\mathrm{2, 1}}\cdots {m}_{\mathrm{19, 1}} $),max($ {m}_{\mathrm{1, 2}} $,$ {m}_{\mathrm{2, 2}}\cdots {m}_{\mathrm{19, 2}} $)$ \cdots $];$ {\mathit{m}}^{-} $也为4维向量,且$ {\mathit{m}}^{-} $=[min($ {m}_{\mathrm{1, 1}} $,$ {m}_{\mathrm{2, 1}}\cdots {m}_{\mathrm{19, 1}} $),min($ {m}_{\mathrm{1, 2}} $,$ {m}_{\mathrm{2, 2}}\cdots {m}_{\mathrm{19, 2}} $)$ \cdots $]。

      针对单像建筑区域方位映射结果,考虑每个建筑区域影像与该建筑俯视轮廓的方位交并比和建筑区域影像的风格分类概率,利用式(4)确定建筑轮廓的唯一风格属性。

    • 本文对北京、上海、武汉、西安4座城市进行建筑风格地图生成实验,实验区域选取各类建筑风格分布密集的中心城区,并获取了2017年间共73 420张百度街景影像,以及共含约26.29万个建筑俯视轮廓的矢量地图数据(.shapfile格式)。每张街景影像分辨率为2 048×1 024像素,相邻两张影像的实地距离为8~20 m,两个街景影像对的实地距离为50~150 m,每张街景影像带有地理信息标签,包括影像拍摄地的经纬度、正北方向在影像中的方位角、影像的拍摄姿态信息和相邻街景的唯一标识符。

      为了训练检测街景建筑风格的Faster R-CNN网络,收集了4座城市中含有19类建筑风格的65个代表性景点或街区,如图 10所示。人工标注生成7 296张影像的PASCAL VOC样本集,训练样本和测试样本的数量比例为4∶1。图 11显示了各类建筑风格的原始标定数量,为了使训练样本数量均衡,将12类数量较少的建筑区域影像水平翻转,使样本数量增加一倍。

      图  10  实验区域及代表性街区或景点的位置分布

      Figure 10.  Experimental Region and Location Distribution of Representative Blocks or Scenic Spots

      图  11  各类建筑风格的原始标定数量

      Figure 11.  Number of Calibration of Different Architectural Styles

      为训练匹配同名建筑区域的支持向量机模型,人工截取200对同名建筑区域影像,每对同名建筑区域影像作为一个正样本,共获得200个正样本数据。同时,任意不同名建筑区域影像两两配对,共组成200个负样本。训练集和测试集的数量比例为3∶1。实验所采用的计算硬件配置为Intel 8 GB CPU,NVIDIA 1660Ti 6 GB GPU,算法由Python 3.6实现,深度学习框架采用TensorFlow-GPU 1.13,机器学习框架利用scikit-learn库,图像处理通过OpenCV库完成。

    • Faster R-CNN网络的参数设置为:权重衰减为0.000 5,学习率为0.001,动量参数为0.9,学习率衰减参数为0.1,区域建议网络层生成的候选检测框的数量为300,IoU为0.7,网络迭代次数为50 000次。采用测试集上的平均精度值(average precision,AP)作为Faster R-CNN的精度指标,结果见表 1,检测结果的总体精度(mean average precision,mAP)为各建筑风格类别检测的AP值的算术平均值。IoU设定为0.7时的测试集检测结果示例见图 12图 12中记录了建筑风格类型和检测概率值。

      表 1  各类风格建筑区域的检测精度表

      Table 1.  Detection Precision of Architectural Area of Different Styles on Test Set

      建筑区域的风格类别 AP/%
      战国时期楚国建筑风格 69.23
      汉代建筑风格 57.17
      唐代建筑风格 89.43
      宋代建筑风格 86.73
      元代建筑风格 73.61
      明代建筑风格 78.53
      清代建筑风格 79.59
      京派民居 88.53
      苏派民居 72.19
      徽派民居 84.37
      民国民居 78.61
      现代建筑风格 84.13
      古希腊建筑风格 76.97
      古罗马建筑风格 73.37
      哥特式建筑风格 63.17
      法国古典风格 43.85
      巴洛克建筑风格 48.29
      拜占庭建筑风格 89.20
      其他西式风格 65.40
      mAP 73.81

      图  12  测试集的建筑区域检测结果示例

      Figure 12.  Selected Examples of Architectural Area Detection Results on Test Set

    • 支持向量机选取高斯核函数。通过网格搜索确定模型最佳参数,经过十折交叉验证得到测试集上的AP为92%。最佳参数值包括核函数次数为1.0,Gamma为0.001,最大迭代次数为1 000。为真实反映匹配方法的精度,随机选取100个相邻街景像对,利用Faster R-CNN检测建筑区域,得到808个建筑区域匹配对,经人工核验,其中有206对真实同名建筑区域,如图 13所示。利用相同的检验数据,将本文方法与仅采用附加核线约束的SURF匹配结果的精确率、召回率和F1分数[23]进行对比,结果如表 2所示。

      图  13  同名建筑区域匹配结果的混淆矩阵

      Figure 13.  Confusion Matrix of Matching Results with the Same Name Architectural Area

      表 2  两种同名建筑区域匹配方法的精度对比结果

      Table 2.  Accuracy Comparison of Two Matching Methods

      同名建筑区域匹配方法 精确率/% 召回率/% F1分数 耗时/ms
      本文方法 86.1 90.3 0.882 180.1
      核线约束下的SURF匹配 66.7 94.2 0.781 241.6

      表 2可知,本文方法的F1分数相比SURF算法提高10.1%,匹配一个建筑区域对的平均耗时减少25.4%。召回率下降说明PPSVM在筛选候选匹配对时,存在将同名建筑区域误判成非同名建筑区域的情况,而核线约束下的SURF匹配能通过定量的核线距离关系辅助判别两建筑区域是否同名,在一定程度上减少对影像特征的依赖,但核线约束不具有唯一性,精确率降低。因此,融合影像特征和核线几何约束可以提高建筑区域匹配的精确率和时间效率。图 14展示了相邻两张街景进行同名建筑区域匹配的过程,左、右两张街景记录了建筑风格类型和检测概率值。

      图  14  相邻两张街景的同名建筑区域匹配过程

      Figure 14.  Matching Process of Two Corresponding Architectural Areas in an Image Pair

    • 为检验两种位置映射方法的准确率,实验选取150个不同的单体建筑区域影像,分别通过本文的两种方法映射至建筑俯视轮廓。结合街景影像,人工统计正确映射的单体建筑数量,得到表 3的结果。从表 3可以看出,对于单像方位映射方法,单体建筑区域与对应俯视轮廓的IoU均值为0.682,匹配正确率达80.3%,单个建筑区域完成方位映射的平均时间为0.017 s;双像点位映射得到的单体建筑位置点与对应俯视轮廓的匹配距离均值为5.498 m,匹配正确率为85.1%,一对同名建筑区域完成点位映射的平均时间为2.741 s。两种方法的时间效率对比如图 15所示。

      表 3  两种位置映射方法准确率的对比结果

      Table 3.  Accuracy Results of Two Mapping Methods

      位置映射方法 正确映射/个 错误映射/个 映射失败/个
      单像方位映射 106 26 18
      双像点位映射 63 11 76

      图  15  两种映射方法的耗时对比

      Figure 15.  Time Consumption Comparison of Two Mapping Methods

      表 3图 15可以看出,双像点位映射方法的正确率较高,但满足映射条件的街景像对的比例仅为49.33%,丢失了较多不同风格的建筑区域影像;同时,双像点位映射方法涉及同名建筑区域匹配和相对定向,计算耗时长,不适合处理海量街景数据。单像方位映射方法在保证一定精度的同时,成功率高,耗时短,但不适合处理过小的建筑区域。因此,在实际处理大量街景数据时,一般采用单像方位映射匹配建筑轮廓。当检测到过小的单体建筑区域时,可采用双像点位映射进行辅助定位匹配。

      表 4显示了在同一个区域两种映射方法导致多映射的单体建筑数量。在两种映射方法下,存在多映射的建筑数量占比分别为42.9%和23.4%。可见,单像方位映射出现多映射的比例高于双像点位映射,主要因为单像方位映射的成功率高,更多单体建筑影像匹配到建筑轮廓,导致出现较多的多匹配现象,这也进一步说明了建筑风格综合判定方法的必要性。

      表 4  存在多映射问题的单体建筑数量

      Table 4.  Number of Buildings with Multiple Mapping Problems

      位置映射方法 成功映射的建筑/个 存在多映射的建筑/个
      单像方位映射 13 522 5 805
      双像点位映射 9 595 2 245
    • 图 16~19为实验生成的北京、西安、上海、武汉4个城市的建筑风格地图。为检验地图的准确率,本文在生成结果中选取了331个单体建筑轮廓,人工标注其建筑风格特征作为先验信息。将实验结果与先验类别进行验证,得到图 20所示的建筑风格地图分类精度图。

      图  16  北京市建筑风格地图

      Figure 16.  Architectural Style Map of Beijing

      图  17  西安市建筑风格地图

      Figure 17.  Architectural Style Map of Xi'an

      图  18  上海市建筑风格地图

      Figure 18.  Architectural Style Map of Shanghai

      图  19  武汉市建筑风格地图

      Figure 19.  Architectural Style Map of Wuhan

      图  20  建筑风格地图分类精度条形图

      Figure 20.  Bar Chart of Classification Results of Architectural Styles

      由于实验区域中没有用于验证的元代、宋代以及法国古典风格的先验建筑轮廓信息,在忽略这3类建筑风格的情况下,建筑轮廓分类精确率的平均值为55.1%,召回率的平均值为76.4%,F1得分均值为0.601。结果表明,单体建筑轮廓的分类平均精确率不高,但能基本反映建筑风格的地理分布。此外,楚国风格、汉代风格、明代风格、民国民居风格、拜占庭风格的精确率远低于平均值。结合Faster R-CNN模型测试结果,分类精确率低的建筑风格对应的训练样本数量少。从建筑风格特征上考量,一方面,同一类建筑风格在不同地域有着内在差异,例如上海和武汉的民国民居在建筑立面外观和建筑结构上存在不同。另一方面,不同类的建筑风格有相似性,在建筑结构或构件上有相同或相似的元素,例如民国民居往往会采用欧式建筑立面,古典主义的欧式建筑会采用相同的窗形或柱式。上述两个因素会导致建筑风格的影像分类较困难,影响建筑风格地图的分类准确率。

    • 本文以城市街景影像为研究对象,在完成19类建筑风格影像提取的基础上,结合球形全景影像的空间几何与图像特征,探究同名建筑区域的匹配方法,建立单、双像建筑区域的位置映射关系,实现街景建筑区域影像与单体建筑俯视轮廓的匹配,实际生成了4座城市中心区域的建筑风格地图。在未来仍需进一步提高风格分类精度和地图的精细度。

参考文献 (23)

目录

    /

    返回文章
    返回