每个地域往往具有特定的建筑风格特征，精细化探究建筑风格的地理分布有利于历史古建筑的保护、特色旅游资源的开发以及城市建筑区的科学规划。然而城市建筑数量多、区域广，人工采集和调查不满足大范围作业的需求。近年来，以谷歌为代表的互联网公司推出城市街景影像（street view images，SVI）。街景影像分辨率高，含有全方位的城市街道景观以及精确的位置和姿态信息，为探究城市建筑风格的地理分布提供了可能。

街景建筑区域的风格识别与地图匹配是生成城市建筑风格地图的技术难点。一方面，建筑风格特征复杂多样，图像分类困难。相比传统分类模型^[1-4]，卷积神经网络^[5]（convolutional nueral network，CNN）在建筑风格分类上的精度更高。另一方面，建筑图像的跨视角匹配成为建筑地理定位和土地利用分类^[6]等领域的重要手段，现有研究主要从单一建筑的空间几何特征考量^[7-11]，不适合处理场景复杂、建筑众多的全景像片。因此，本文借助深度学习实现街景建筑区域的风格分类，并建立建筑影像与建筑俯视轮廓的映射关系，精细化探究大范围城市建筑风格地图的生成方法。

1 面向街景影像建筑区域匹配的建筑风格地图生成方法

更快的基于区域CNN（faster region-based CNN，Faster R-CNN）目标检测模型^[12]可以提取各类风格的建筑目标区域。在此基础上，采用双像建筑区域点位映射方法，通过匹配相邻两张街景影像的同名建筑区域来估算每个单体建筑的实地位置，建立与建筑轮廓的点位映射关系。针对无同名建筑区域的建筑影像，本文提出了单像建筑区域方位映射方法，通过街景与地图中建筑物方位角的对应关系实现单体建筑影像与对应建筑轮廓的匹配。对成功匹配的建筑轮廓获取其建筑风格属性，生成城市建筑风格地图。本文方法的流程见图 1。图 1中，PASCAL VOC是国际顶级的计算机视觉竞赛提供的标准格式的目标检测数据集。

图  1  建筑风格地图生成方法流程图

Figure  1.  Flowchart of Architectural Style Map Production Method

下载: 全尺寸图片 幻灯片

1.1   相邻街景中同名建筑区域的匹配方法

同名建筑区域是指相邻两张街景中代表同一建筑物的影像区域，是进行双像建筑区域点位映射的必要条件（见图 2）。本文首先通过建筑影像的纹理和颜色特征剔除相似度小的单体建筑区域影像对，然后对少量的候选影像对进行核线约束下的加速稳健特征^[13]（speeded up robust features，SURF）匹配，得到最佳同名建筑区域及核线距离最近的一个同名点对，用于前方交会定位，匹配流程如图 3所示。

图  2  同名建筑区域示例

Figure  2.  An Example of Two Corresponding Architectural Images

下载: 全尺寸图片 幻灯片

图  3  同名建筑区域匹配流程图

Figure  3.  Flowchart of Matching Two Corresponding Architectural Images

下载: 全尺寸图片 幻灯片

街景单体建筑影像的纹理特征采用不同方向上的灰度共生矩阵^[14]（gary level co-occurrence matrix，GLCM）的熵、二阶矩、对比度和逆差矩表示，本文选取0°、45°、90°和135°这4个方向的灰度共生矩阵，构成16维的纹理特征向量。色调、饱和度、亮度（hue，saturation，value，HSV）颜色空间的低阶矩能很好地反映图像明暗程度、颜色分布范围和分布对称性，共生成9维的颜色特征向量。将两个特征向量融合，得到代表建筑区域的25维全局特征。

两个单体建筑区域特征向量的差向量可作为判定相似程度的特征向量。首先，将差向量作为后验概率的支持向量机^[15]（posteriori probability support vector machine，PPSVM）的输入，计算同名建筑区域的概率值，将概率值大于阈值的同类风格建筑区域对作为候选匹配对。然后，在候选匹配对中，以左片的单体建筑区域为基准，分别与右片的每个单体建筑区域进行球面核线约束^[16]下的SURF匹配，选取同名点核线距离均值最小的右片建筑区域作为最佳匹配对。最后，在每个最佳匹配对中，取核线距离最小的一对同名点，通过前方交会得到建筑物的坐标信息。

街景建筑影像形变较大，存在同名点匹配困难、误匹配较多的问题。对此，本文通过检验左、右片单体建筑影像区域中心点的核线距离是否小于阈值来辅助判别是否为同名建筑区域。

1.2   街景影像中建筑区域的位置映射

建立街景影像中建筑区域与地图中建筑轮廓的对应关系，是生成建筑风格地图的关键。本文提出了双像建筑区域点位映射和单像建筑区域方位映射方法，流程如图 4所示。

图  4  街景建筑区域映射方法流程图

Figure  4.  Flowchart of Building Outline Mapping Methods Based on Architectural Area in Street View

下载: 全尺寸图片 幻灯片

1.2.1   双像建筑区域点位映射

双像建筑区域点位映射需要满足两个条件：（1）相邻两张街景影像存在同名单体建筑区域；（2）两张影像可以完成相对定向。图 5显示了同名建筑区域点位映射的过程。图 5中，$ {P}_{1} $和$ {P}_{2} $为同名建筑区域的最佳同名点对；$ {S}_{1} $和$ {S}_{2} $是相邻两张街景影像的摄影中心，分别构成球形全景坐标系S₁-X₁Y₁Z₁和S₂-X₂Y₂Z₂；$ P $是$ {P}_{1} $和$ {P}_{2} $对应的前方交会点。

图  5  双像建筑区域点位映射示意图

Figure  5.  Location Mapping Method Based on a Panoramic Image Pair

下载: 全尺寸图片 幻灯片

完成两张街景的相对定向需要将平面街景影像转换成球形全景影像^[17-18]。首先，采用随机抽样一致性（random sample consensus，RANSAC）的8点法^{[16, 19]}，由式（1）解算相邻两张街景的旋转矩阵和平移向量。然后，将同名点对进行前方交会，利用街景影像的坐标和姿态参数完成绝对定向^[17]，得到对应单体建筑的实地坐标。

式中，$ \mathit{E} $为本质矩阵；$ {\mathit{P}}_{1} $和$ {\mathit{P}}_{2} $表示至少8对同名点球面坐标的矩阵；$ {\left[\mathit{T}\right]}_{\times } $表示平移向量$ \mathit{T} $的反对称矩阵；$ {\mathit{R}}_{s} $为像对的旋转矩阵。

由于无法进行严格的绝对定向，估算的单体建筑位置点与建筑轮廓存在偏差。首先，通过限制前方交会距离小于150 m和交会角大于10°提高定位精度^[20-21]。然后，采用空间近邻分析，使每个位置点匹配距离最近的单体建筑轮廓，且限制匹配距离小于10 m，提高单体建筑的匹配准确率。

1.2.2   单像建筑区域方位映射

当球形全景像空间坐标系旋转至与地图坐标系平行时，单体建筑区域的方位范围与街景采集点到对应建筑轮廓的方位范围相同。图 6为建筑区域方位映射示意图，$ {S}_{1} $为街景影像的摄影中心，构成球形全景坐标系S₁-X₁Y₁Z₁。

图  6  单像建筑区域方位映射示意图

Figure  6.  Diagram of Azimuth Mapping Method Based on a Panoramic Image

下载: 全尺寸图片 幻灯片

在实际场景中，检测出的单体建筑区域范围存在偏差，地图中对应的建筑俯视轮廓也可能存在位置偏移，导致两个方位范围不严格相同。定义两个方位范围的交并比（intersection over union，IoU），用于描述单体建筑区域与建筑俯视轮廓的方位相似度（见图 7）。

图  7  两个方位范围交并比的定义

Figure  7.  Definition of Two Azimuth Coverage ?s IoU

下载: 全尺寸图片 幻灯片

交并比$ \alpha $越接近1，则相似度越大；越接近0，则相似度越小。计算公式为：

式中，$ ({a}_{i}, {b}_{i}) $表示第$ i $个建筑区域的方位角范围；$ ({c}_{j}, {d}_{j}) $表示街景采集点到第$ j $个建筑轮廓的方位角范围；$ I $表示两个方位范围的重合角度；$ U $表示两个方位范围的合并角度。

所有单体建筑区域的方位范围构成集合$ {A}_{1}=\left\{\right({a}_{i}, {b}_{i}\left)\mathrm{ }\right|i=\mathrm{1, 2}, 3\cdots \} $。采集点到单个建筑轮廓的方位范围可以由采集点到建筑轮廓的两个边界方位角顺时针组成（见图 8），获取缓冲区内所有单体建筑轮廓的方位角范围，构成集合$ {A}_{2}=\left\{\right({c}_{j}, {d}_{j}\left)\mathrm{ }\right|j\in B\} $，$ B $表示缓冲区内的单体建筑轮廓集合。利用式（2）选取IoU最大的匹配对，完成单像建筑区域方位映射。

图  8  点到建筑俯视轮廓的方位范围示意图

Figure  8.  Diagram of Azimuth Coverage from One Position to Building Outline

下载: 全尺寸图片 幻灯片

1.3   基于街景建筑区域匹配的单体建筑风格判定

图 9描述了单个建筑轮廓匹配多个不同建筑区域影像的情形，其中$ {S}_{i}(i=\mathrm{1, 2}\dots 6) $代表各街景采集点位置，$ {P}_{1} $和$ {P}_{2} $代表两个建筑区域的映射点位置。单个建筑轮廓可能映射多类建筑风格（简称多映射问题），故需要确定每个建筑轮廓的唯一风格属性。

图  9  单体建筑轮廓匹配多个建筑区域影像的示意图

Figure  9.  Diagram of One Building Outline Matching Mutiple Architectural Images

下载: 全尺寸图片 幻灯片

对于双像建筑区域点位映射结果，每个建筑轮廓可能匹配到多个建筑区域位置点。针对一个单体建筑轮廓，将匹配到的每类建筑风格的位置点各构成一个集合，考虑每个集合中所有位置点的数量$ {m}_{1} $、Faster R-CNN分类概率均值$ {m}_{2} $、到建筑轮廓的距离均值$ {m}_{3} $以及用于交会的同名点对的核线距离均值$ {m}_{4} $，用这4个参数构成每类建筑风格的评价指标，且权重相同。当一类建筑风格的$ {m}_{1} $和$ {m}_{2} $越大，$ {m}_{3} $和$ {m}_{4} $越小，该类风格的得分越高。将指标归一化、正向化后，构成的标准化矩阵$ \mathit{M} $为：

式中，$ {m}_{i, j} $表示第$ i $类建筑风格的第$ j $个指标的标准化值。

结合优劣解距离方法^[22]（technique for order preference by similarity to an ideal solution，TOPSIS），第$ i $类建筑风格的得分计算式如式（4）所示，取得分最高的建筑风格为该单体建筑轮廓的风格属性$ {s}_{i} $。

式中，$ {\mathit{m}}^{+} $为4维向量，且$ {\mathit{m}}^{+} $=[max（$ {m}_{\mathrm{1, 1}} $，$ {m}_{\mathrm{2, 1}}\cdots {m}_{\mathrm{19, 1}} $），max（$ {m}_{\mathrm{1, 2}} $，$ {m}_{\mathrm{2, 2}}\cdots {m}_{\mathrm{19, 2}} $）$ \cdots $]；$ {\mathit{m}}^{-} $也为4维向量，且$ {\mathit{m}}^{-} $=[min（$ {m}_{\mathrm{1, 1}} $，$ {m}_{\mathrm{2, 1}}\cdots {m}_{\mathrm{19, 1}} $），min（$ {m}_{\mathrm{1, 2}} $，$ {m}_{\mathrm{2, 2}}\cdots {m}_{\mathrm{19, 2}} $）$ \cdots $]。

针对单像建筑区域方位映射结果，考虑每个建筑区域影像与该建筑俯视轮廓的方位交并比和建筑区域影像的风格分类概率，利用式（4）确定建筑轮廓的唯一风格属性。

2 建筑风格映射及地图生成实验与结果

2.1   实验数据与环境

本文对北京、上海、武汉、西安4座城市进行建筑风格地图生成实验，实验区域选取各类建筑风格分布密集的中心城区，并获取了2017年间共73 420张百度街景影像，以及共含约26.29万个建筑俯视轮廓的矢量地图数据（.shapfile格式）。每张街景影像分辨率为2 048×1 024像素，相邻两张影像的实地距离为8~20 m，两个街景影像对的实地距离为50~150 m，每张街景影像带有地理信息标签，包括影像拍摄地的经纬度、正北方向在影像中的方位角、影像的拍摄姿态信息和相邻街景的唯一标识符。

为了训练检测街景建筑风格的Faster R-CNN网络，收集了4座城市中含有19类建筑风格的65个代表性景点或街区，如图 10所示。人工标注生成7 296张影像的PASCAL VOC样本集，训练样本和测试样本的数量比例为4∶1。图 11显示了各类建筑风格的原始标定数量，为了使训练样本数量均衡，将12类数量较少的建筑区域影像水平翻转，使样本数量增加一倍。

图  10  实验区域及代表性街区或景点的位置分布

Figure  10.  Experimental Region and Location Distribution of Representative Blocks or Scenic Spots

下载: 全尺寸图片 幻灯片

图  11  各类建筑风格的原始标定数量

Figure  11.  Number of Calibration of Different Architectural Styles

下载: 全尺寸图片 幻灯片

为训练匹配同名建筑区域的支持向量机模型，人工截取200对同名建筑区域影像，每对同名建筑区域影像作为一个正样本，共获得200个正样本数据。同时，任意不同名建筑区域影像两两配对，共组成200个负样本。训练集和测试集的数量比例为3∶1。实验所采用的计算硬件配置为Intel 8 GB CPU，NVIDIA 1660Ti 6 GB GPU，算法由Python 3.6实现，深度学习框架采用TensorFlow-GPU 1.13，机器学习框架利用scikit-learn库，图像处理通过OpenCV库完成。

2.2   匹配与位置映射精度

2.2.1   各类建筑风格的检测精度

Faster R-CNN网络的参数设置为：权重衰减为0.000 5，学习率为0.001，动量参数为0.9，学习率衰减参数为0.1，区域建议网络层生成的候选检测框的数量为300，IoU为0.7，网络迭代次数为50 000次。采用测试集上的平均精度值（average precision，AP）作为Faster R-CNN的精度指标，结果见表 1，检测结果的总体精度（mean average precision，mAP）为各建筑风格类别检测的AP值的算术平均值。IoU设定为0.7时的测试集检测结果示例见图 12，图 12中记录了建筑风格类型和检测概率值。

表  1  各类风格建筑区域的检测精度表

Table  1.  Detection Precision of Architectural Area of Different Styles on Test Set

建筑区域的风格类别	AP/%
战国时期楚国建筑风格	69.23
汉代建筑风格	57.17
唐代建筑风格	89.43
宋代建筑风格	86.73
元代建筑风格	73.61
明代建筑风格	78.53
清代建筑风格	79.59
京派民居	88.53
苏派民居	72.19
徽派民居	84.37
民国民居	78.61
现代建筑风格	84.13
古希腊建筑风格	76.97
古罗马建筑风格	73.37
哥特式建筑风格	63.17
法国古典风格	43.85
巴洛克建筑风格	48.29
拜占庭建筑风格	89.20
其他西式风格	65.40
mAP	73.81

下载: 导出CSV 

| 显示表格

图  12  测试集的建筑区域检测结果示例

Figure  12.  Selected Examples of Architectural Area Detection Results on Test Set

下载: 全尺寸图片 幻灯片

2.2.2   同名建筑区域匹配精度

支持向量机选取高斯核函数。通过网格搜索确定模型最佳参数，经过十折交叉验证得到测试集上的AP为92%。最佳参数值包括核函数次数为1.0，Gamma为0.001，最大迭代次数为1 000。为真实反映匹配方法的精度，随机选取100个相邻街景像对，利用Faster R-CNN检测建筑区域，得到808个建筑区域匹配对，经人工核验，其中有206对真实同名建筑区域，如图 13所示。利用相同的检验数据，将本文方法与仅采用附加核线约束的SURF匹配结果的精确率、召回率和F1分数^[23]进行对比，结果如表 2所示。

图  13  同名建筑区域匹配结果的混淆矩阵

Figure  13.  Confusion Matrix of Matching Results with the Same Name Architectural Area

下载: 全尺寸图片 幻灯片

表  2  两种同名建筑区域匹配方法的精度对比结果

Table  2.  Accuracy Comparison of Two Matching Methods

同名建筑区域匹配方法	精确率/%	召回率/%	F1分数	耗时/ms
本文方法	86.1	90.3	0.882	180.1
核线约束下的SURF匹配	66.7	94.2	0.781	241.6

下载: 导出CSV 

| 显示表格

由表 2可知，本文方法的F1分数相比SURF算法提高10.1%，匹配一个建筑区域对的平均耗时减少25.4%。召回率下降说明PPSVM在筛选候选匹配对时，存在将同名建筑区域误判成非同名建筑区域的情况，而核线约束下的SURF匹配能通过定量的核线距离关系辅助判别两建筑区域是否同名，在一定程度上减少对影像特征的依赖，但核线约束不具有唯一性，精确率降低。因此，融合影像特征和核线几何约束可以提高建筑区域匹配的精确率和时间效率。图 14展示了相邻两张街景进行同名建筑区域匹配的过程，左、右两张街景记录了建筑风格类型和检测概率值。

图  14  相邻两张街景的同名建筑区域匹配过程

Figure  14.  Matching Process of Two Corresponding Architectural Areas in an Image Pair

下载: 全尺寸图片 幻灯片

2.2.3   两种位置映射方法对比与分析

为检验两种位置映射方法的准确率，实验选取150个不同的单体建筑区域影像，分别通过本文的两种方法映射至建筑俯视轮廓。结合街景影像，人工统计正确映射的单体建筑数量，得到表 3的结果。从表 3可以看出，对于单像方位映射方法，单体建筑区域与对应俯视轮廓的IoU均值为0.682，匹配正确率达80.3%，单个建筑区域完成方位映射的平均时间为0.017 s；双像点位映射得到的单体建筑位置点与对应俯视轮廓的匹配距离均值为5.498 m，匹配正确率为85.1%，一对同名建筑区域完成点位映射的平均时间为2.741 s。两种方法的时间效率对比如图 15所示。

表  3  两种位置映射方法准确率的对比结果

Table  3.  Accuracy Results of Two Mapping Methods

位置映射方法	正确映射/个	错误映射/个	映射失败/个
单像方位映射	106	26	18
双像点位映射	63	11	76

下载: 导出CSV 

| 显示表格

图  15  两种映射方法的耗时对比

Figure  15.  Time Consumption Comparison of Two Mapping Methods

下载: 全尺寸图片 幻灯片

从表 3和图 15可以看出，双像点位映射方法的正确率较高，但满足映射条件的街景像对的比例仅为49.33%，丢失了较多不同风格的建筑区域影像；同时，双像点位映射方法涉及同名建筑区域匹配和相对定向，计算耗时长，不适合处理海量街景数据。单像方位映射方法在保证一定精度的同时，成功率高，耗时短，但不适合处理过小的建筑区域。因此，在实际处理大量街景数据时，一般采用单像方位映射匹配建筑轮廓。当检测到过小的单体建筑区域时，可采用双像点位映射进行辅助定位匹配。

表 4显示了在同一个区域两种映射方法导致多映射的单体建筑数量。在两种映射方法下，存在多映射的建筑数量占比分别为42.9%和23.4%。可见，单像方位映射出现多映射的比例高于双像点位映射，主要因为单像方位映射的成功率高，更多单体建筑影像匹配到建筑轮廓，导致出现较多的多匹配现象，这也进一步说明了建筑风格综合判定方法的必要性。

表  4  存在多映射问题的单体建筑数量

Table  4.  Number of Buildings with Multiple Mapping Problems

位置映射方法	成功映射的建筑/个	存在多映射的建筑/个
单像方位映射	13 522	5 805
双像点位映射	9 595	2 245

下载: 导出CSV 

| 显示表格

2.3   建筑风格地图准确率

图 16~19为实验生成的北京、西安、上海、武汉4个城市的建筑风格地图。为检验地图的准确率，本文在生成结果中选取了331个单体建筑轮廓，人工标注其建筑风格特征作为先验信息。将实验结果与先验类别进行验证，得到图 20所示的建筑风格地图分类精度图。

图  16  北京市建筑风格地图

Figure  16.  Architectural Style Map of Beijing

下载: 全尺寸图片 幻灯片

图  17  西安市建筑风格地图

Figure  17.  Architectural Style Map of Xi'an

下载: 全尺寸图片 幻灯片

图  18  上海市建筑风格地图

Figure  18.  Architectural Style Map of Shanghai

下载: 全尺寸图片 幻灯片

图  19  武汉市建筑风格地图

Figure  19.  Architectural Style Map of Wuhan

下载: 全尺寸图片 幻灯片

图  20  建筑风格地图分类精度条形图

Figure  20.  Bar Chart of Classification Results of Architectural Styles

下载: 全尺寸图片 幻灯片

由于实验区域中没有用于验证的元代、宋代以及法国古典风格的先验建筑轮廓信息，在忽略这3类建筑风格的情况下，建筑轮廓分类精确率的平均值为55.1%，召回率的平均值为76.4%，F1得分均值为0.601。结果表明，单体建筑轮廓的分类平均精确率不高，但能基本反映建筑风格的地理分布。此外，楚国风格、汉代风格、明代风格、民国民居风格、拜占庭风格的精确率远低于平均值。结合Faster R-CNN模型测试结果，分类精确率低的建筑风格对应的训练样本数量少。从建筑风格特征上考量，一方面，同一类建筑风格在不同地域有着内在差异，例如上海和武汉的民国民居在建筑立面外观和建筑结构上存在不同。另一方面，不同类的建筑风格有相似性，在建筑结构或构件上有相同或相似的元素，例如民国民居往往会采用欧式建筑立面，古典主义的欧式建筑会采用相同的窗形或柱式。上述两个因素会导致建筑风格的影像分类较困难，影响建筑风格地图的分类准确率。

3 结语

本文以城市街景影像为研究对象，在完成19类建筑风格影像提取的基础上，结合球形全景影像的空间几何与图像特征，探究同名建筑区域的匹配方法，建立单、双像建筑区域的位置映射关系，实现街景建筑区域影像与单体建筑俯视轮廓的匹配，实际生成了4座城市中心区域的建筑风格地图。在未来仍需进一步提高风格分类精度和地图的精细度。