一种高分影像建筑区分块表示与合并提取方法

陈一祥, 秦昆, 胡忠文, 曾诚

陈一祥, 秦昆, 胡忠文, 曾诚. 一种高分影像建筑区分块表示与合并提取方法[J]. 武汉大学学报 ( 信息科学版), 2019, 44(6): 908-916. DOI: 10.13203/j.whugis20170293
引用本文: 陈一祥, 秦昆, 胡忠文, 曾诚. 一种高分影像建筑区分块表示与合并提取方法[J]. 武汉大学学报 ( 信息科学版), 2019, 44(6): 908-916. DOI: 10.13203/j.whugis20170293
CHEN Yixiang, QIN Kun, HU Zhongwen, ZENG Cheng. Built-Up Area Extraction Based on Patch Representation and Merging for High-Resolution Satellite Images[J]. Geomatics and Information Science of Wuhan University, 2019, 44(6): 908-916. DOI: 10.13203/j.whugis20170293
Citation: CHEN Yixiang, QIN Kun, HU Zhongwen, ZENG Cheng. Built-Up Area Extraction Based on Patch Representation and Merging for High-Resolution Satellite Images[J]. Geomatics and Information Science of Wuhan University, 2019, 44(6): 908-916. DOI: 10.13203/j.whugis20170293

一种高分影像建筑区分块表示与合并提取方法

基金项目: 

国家自然科学基金 41501378

江苏省自然科学基金 BK20150835

四川省测绘地理信息科技项目 J2017ZC06

南京邮电大学引进人才科研启动基金 NY214196

详细信息
    作者简介:

    陈一祥, 博士, 讲师, 主要从事遥感图像处理与信息提取研究。chenyixiang@njupt.edu.cn

    通讯作者:

    秦昆, 博士, 教授。qink@whu.edu.cn

  • 中图分类号: P237

Built-Up Area Extraction Based on Patch Representation and Merging for High-Resolution Satellite Images

Funds: 

The National Natural Science Foundation of China 41501378

the Natural Science Foundation of Jiangsu Pro-vince of China BK20150835

Geographic Information Science and Technology Program of Sichuan Province J2017ZC06

NUPTSF NY214196

More Information
    Author Bio:

    CHEN Yixiang, PhD, lecturer, specializes in remote sensing image processing and information extraction. E-mail: chenyixiang@njupt.edu.cn

    Corresponding author:

    QIN Kun, PhD, professor. E-mail: qink@whu.edu.cn

  • 摘要: 建筑区是一种重要的人工地理要素,利用高分辨率卫星影像可以在更精细的尺度上获取建筑区信息。针对建筑区这类结构复杂、面积相对较大的地物类,提出一种分块表示与合并提取方法。首先,通过角点上下文约束来划分图像,并将获得的图像块作为影像处理的基本单元;然后,利用空间变异函数来建模每个图像块并提取特征描述参数,进一步通过主成分变换实现建筑区图像块的结构特征表示;最后,根据图像块空间结构特征的相似性实现建筑区的判别。实验结果表明,该方法能够有效实现高分影像建筑区的提取,并且对不同分辨率的高分影像表现出良好的适应性。
    Abstract: Built-up areas, which refer to the areas covered by buildings, are important man-made geographical objects, especially in an urban environment. With the increasing availability of high-resolution satellite images, built-up area information can be obtained at a much finer scale. However, the increased spatial resolution makes the built-up areas spectrally more heterogeneous and structurally more complex, which poses a big challenge to the automatic detection of built-up areas. In this paper, a novel built-up area extraction method is proposed based on patch representation and merging algorithm for high-resolution satellite images. First, with the corner context constraints, the image is subdivided into small patches, which are regarded as the basic units of image processing. Afterward, the spatial variability of the image patch is modeled through spatial semivariogram, and texture and structural features are extracted by well-defined parameters to characterize the curve of semivariogram, and to achieve the integrated representation of multiple features for each image patch through a principle component analysis (PCA). Finally, the built-up patches are classified by the similarity of the spatial structural features and further merged into built-up areas. The experiments are conducted on image data from sensors of ZY-3 and QuickBird, and the results show that the proposed method can effectively extract built-up areas from high-resolution satellite images and show good adaptability as the image resolution changes. By using patch-based representation and merging, it can not only avoid the shortcomings of the traditional pixel-based methods and the image segmentation in the object-oriented method, but also can facilitate the modeling and description of the texture and structural features of built-up areas.
  • 每个地域往往具有特定的建筑风格特征,精细化探究建筑风格的地理分布有利于历史古建筑的保护、特色旅游资源的开发以及城市建筑区的科学规划。然而城市建筑数量多、区域广,人工采集和调查不满足大范围作业的需求。近年来,以谷歌为代表的互联网公司推出城市街景影像(street view images,SVI)。街景影像分辨率高,含有全方位的城市街道景观以及精确的位置和姿态信息,为探究城市建筑风格的地理分布提供了可能。

    街景建筑区域的风格识别与地图匹配是生成城市建筑风格地图的技术难点。一方面,建筑风格特征复杂多样,图像分类困难。相比传统分类模型[1-4],卷积神经网络[5](convolutional nueral network,CNN)在建筑风格分类上的精度更高。另一方面,建筑图像的跨视角匹配成为建筑地理定位和土地利用分类[6]等领域的重要手段,现有研究主要从单一建筑的空间几何特征考量[7-11],不适合处理场景复杂、建筑众多的全景像片。因此,本文借助深度学习实现街景建筑区域的风格分类,并建立建筑影像与建筑俯视轮廓的映射关系,精细化探究大范围城市建筑风格地图的生成方法。

    更快的基于区域CNN(faster region-based CNN,Faster R-CNN)目标检测模型[12]可以提取各类风格的建筑目标区域。在此基础上,采用双像建筑区域点位映射方法,通过匹配相邻两张街景影像的同名建筑区域来估算每个单体建筑的实地位置,建立与建筑轮廓的点位映射关系。针对无同名建筑区域的建筑影像,本文提出了单像建筑区域方位映射方法,通过街景与地图中建筑物方位角的对应关系实现单体建筑影像与对应建筑轮廓的匹配。对成功匹配的建筑轮廓获取其建筑风格属性,生成城市建筑风格地图。本文方法的流程见图 1图 1中,PASCAL VOC是国际顶级的计算机视觉竞赛提供的标准格式的目标检测数据集。

    图  1  建筑风格地图生成方法流程图
    Figure  1.  Flowchart of Architectural Style Map Production Method

    同名建筑区域是指相邻两张街景中代表同一建筑物的影像区域,是进行双像建筑区域点位映射的必要条件(见图 2)。本文首先通过建筑影像的纹理和颜色特征剔除相似度小的单体建筑区域影像对,然后对少量的候选影像对进行核线约束下的加速稳健特征[13](speeded up robust features,SURF)匹配,得到最佳同名建筑区域及核线距离最近的一个同名点对,用于前方交会定位,匹配流程如图 3所示。

    图  2  同名建筑区域示例
    Figure  2.  An Example of Two Corresponding Architectural Images
    图  3  同名建筑区域匹配流程图
    Figure  3.  Flowchart of Matching Two Corresponding Architectural Images

    街景单体建筑影像的纹理特征采用不同方向上的灰度共生矩阵[14](gary level co-occurrence matrix,GLCM)的熵、二阶矩、对比度和逆差矩表示,本文选取0°、45°、90°和135°这4个方向的灰度共生矩阵,构成16维的纹理特征向量。色调、饱和度、亮度(hue,saturation,value,HSV)颜色空间的低阶矩能很好地反映图像明暗程度、颜色分布范围和分布对称性,共生成9维的颜色特征向量。将两个特征向量融合,得到代表建筑区域的25维全局特征。

    两个单体建筑区域特征向量的差向量可作为判定相似程度的特征向量。首先,将差向量作为后验概率的支持向量机[15](posteriori probability support vector machine,PPSVM)的输入,计算同名建筑区域的概率值,将概率值大于阈值的同类风格建筑区域对作为候选匹配对。然后,在候选匹配对中,以左片的单体建筑区域为基准,分别与右片的每个单体建筑区域进行球面核线约束[16]下的SURF匹配,选取同名点核线距离均值最小的右片建筑区域作为最佳匹配对。最后,在每个最佳匹配对中,取核线距离最小的一对同名点,通过前方交会得到建筑物的坐标信息。

    街景建筑影像形变较大,存在同名点匹配困难、误匹配较多的问题。对此,本文通过检验左、右片单体建筑影像区域中心点的核线距离是否小于阈值来辅助判别是否为同名建筑区域。

    建立街景影像中建筑区域与地图中建筑轮廓的对应关系,是生成建筑风格地图的关键。本文提出了双像建筑区域点位映射和单像建筑区域方位映射方法,流程如图 4所示。

    图  4  街景建筑区域映射方法流程图
    Figure  4.  Flowchart of Building Outline Mapping Methods Based on Architectural Area in Street View

    双像建筑区域点位映射需要满足两个条件:(1)相邻两张街景影像存在同名单体建筑区域;(2)两张影像可以完成相对定向。图 5显示了同名建筑区域点位映射的过程。图 5中,$ {P}_{1} $和$ {P}_{2} $为同名建筑区域的最佳同名点对;$ {S}_{1} $和$ {S}_{2} $是相邻两张街景影像的摄影中心,分别构成球形全景坐标系S1-X1Y1Z1S2-X2Y2Z2;$ P $是$ {P}_{1} $和$ {P}_{2} $对应的前方交会点。

    图  5  双像建筑区域点位映射示意图
    Figure  5.  Location Mapping Method Based on a Panoramic Image Pair

    完成两张街景的相对定向需要将平面街景影像转换成球形全景影像[17-18]。首先,采用随机抽样一致性(random sample consensus,RANSAC)的8点法[16, 19],由式(1)解算相邻两张街景的旋转矩阵和平移向量。然后,将同名点对进行前方交会,利用街景影像的坐标和姿态参数完成绝对定向[17],得到对应单体建筑的实地坐标。

    $$ \left\{\begin{array}{l}{\mathit{P}}_{2}\cdot \underset{3\times 3}{\mathit{E}}\cdot {\mathit{P}}_{1}=0\\ \mathit{E}={\left[\mathit{T}\right]}_{\times }\cdot {\mathit{R}}_{s}\end{array}\right. $$ (1)

    式中,$ \mathit{E} $为本质矩阵;$ {\mathit{P}}_{1} $和$ {\mathit{P}}_{2} $表示至少8对同名点球面坐标的矩阵;$ {\left[\mathit{T}\right]}_{\times } $表示平移向量$ \mathit{T} $的反对称矩阵;$ {\mathit{R}}_{s} $为像对的旋转矩阵。

    由于无法进行严格的绝对定向,估算的单体建筑位置点与建筑轮廓存在偏差。首先,通过限制前方交会距离小于150 m和交会角大于10°提高定位精度[20-21]。然后,采用空间近邻分析,使每个位置点匹配距离最近的单体建筑轮廓,且限制匹配距离小于10 m,提高单体建筑的匹配准确率。

    当球形全景像空间坐标系旋转至与地图坐标系平行时,单体建筑区域的方位范围与街景采集点到对应建筑轮廓的方位范围相同。图 6为建筑区域方位映射示意图,$ {S}_{1} $为街景影像的摄影中心,构成球形全景坐标系S1-X1Y1Z1

    图  6  单像建筑区域方位映射示意图
    Figure  6.  Diagram of Azimuth Mapping Method Based on a Panoramic Image

    在实际场景中,检测出的单体建筑区域范围存在偏差,地图中对应的建筑俯视轮廓也可能存在位置偏移,导致两个方位范围不严格相同。定义两个方位范围的交并比(intersection over union,IoU),用于描述单体建筑区域与建筑俯视轮廓的方位相似度(见图 7)。

    图  7  两个方位范围交并比的定义
    Figure  7.  Definition of Two Azimuth Coverage ?s IoU

    交并比$ \alpha $越接近1,则相似度越大;越接近0,则相似度越小。计算公式为:

    $$ \alpha =\frac{I\left[\right({a}_{i}, {b}_{i}), \mathrm{ }({c}_{j}, {d}_{j}\left)\right]}{U\left[\right({a}_{i}, {b}_{i}), \mathrm{ }({c}_{j}, {d}_{j}\left)\right]}\begin{array}{c}\end{array}(i, j=\mathrm{1, 2}, 3\cdots ) $$ (2)

    式中,$ ({a}_{i}, {b}_{i}) $表示第$ i $个建筑区域的方位角范围;$ ({c}_{j}, {d}_{j}) $表示街景采集点到第$ j $个建筑轮廓的方位角范围;$ I $表示两个方位范围的重合角度;$ U $表示两个方位范围的合并角度。

    所有单体建筑区域的方位范围构成集合$ {A}_{1}=\left\{\right({a}_{i}, {b}_{i}\left)\mathrm{ }\right|i=\mathrm{1, 2}, 3\cdots \} $。采集点到单个建筑轮廓的方位范围可以由采集点到建筑轮廓的两个边界方位角顺时针组成(见图 8),获取缓冲区内所有单体建筑轮廓的方位角范围,构成集合$ {A}_{2}=\left\{\right({c}_{j}, {d}_{j}\left)\mathrm{ }\right|j\in B\} $,$ B $表示缓冲区内的单体建筑轮廓集合。利用式(2)选取IoU最大的匹配对,完成单像建筑区域方位映射。

    图  8  点到建筑俯视轮廓的方位范围示意图
    Figure  8.  Diagram of Azimuth Coverage from One Position to Building Outline

    图 9描述了单个建筑轮廓匹配多个不同建筑区域影像的情形,其中$ {S}_{i}(i=\mathrm{1, 2}\dots 6) $代表各街景采集点位置,$ {P}_{1} $和$ {P}_{2} $代表两个建筑区域的映射点位置。单个建筑轮廓可能映射多类建筑风格(简称多映射问题),故需要确定每个建筑轮廓的唯一风格属性。

    图  9  单体建筑轮廓匹配多个建筑区域影像的示意图
    Figure  9.  Diagram of One Building Outline Matching Mutiple Architectural Images

    对于双像建筑区域点位映射结果,每个建筑轮廓可能匹配到多个建筑区域位置点。针对一个单体建筑轮廓,将匹配到的每类建筑风格的位置点各构成一个集合,考虑每个集合中所有位置点的数量$ {m}_{1} $、Faster R-CNN分类概率均值$ {m}_{2} $、到建筑轮廓的距离均值$ {m}_{3} $以及用于交会的同名点对的核线距离均值$ {m}_{4} $,用这4个参数构成每类建筑风格的评价指标,且权重相同。当一类建筑风格的$ {m}_{1} $和$ {m}_{2} $越大,$ {m}_{3} $和$ {m}_{4} $越小,该类风格的得分越高。将指标归一化、正向化后,构成的标准化矩阵$ \mathit{M} $为:

    $$ \mathit{M}=\left[\begin{array}{cccc}{m}_{\mathrm{1, 1}}& {m}_{\mathrm{1, 2}}& {m}_{\mathrm{1, 3}}& {m}_{\mathrm{1, 4}}\\ {m}_{\mathrm{2, 1}}& {m}_{\mathrm{2, 2}}& {m}_{\mathrm{2, 3}}& {m}_{\mathrm{2, 4}}\\ ⋮& ⋮& ⋮& ⋮\\ {m}_{\mathrm{19, 1}}& {m}_{\mathrm{19, 2}}& {m}_{\mathrm{19, 3}}& {m}_{\mathrm{19, 4}}\end{array}\right] $$ (3)

    式中,$ {m}_{i, j} $表示第$ i $类建筑风格的第$ j $个指标的标准化值。

    结合优劣解距离方法[22](technique for order preference by similarity to an ideal solution,TOPSIS),第$ i $类建筑风格的得分计算式如式(4)所示,取得分最高的建筑风格为该单体建筑轮廓的风格属性$ {s}_{i} $。

    $$ {s}_{i}=\frac{\sqrt{\sum _{j=1}^{4}({m}_{j}^{+}-{m}_{i, j}{)}^{2}}}{\sqrt{\sum _{j=1}^{4}({m}_{j}^{+}-{m}_{i, j}{)}^{2}}+\sqrt{\sum _{j=1}^{4}({m}_{j}^{-}-{m}_{i, j}{)}^{2}}} $$ (4)

    式中,$ {\mathit{m}}^{+} $为4维向量,且$ {\mathit{m}}^{+} $=[max($ {m}_{\mathrm{1, 1}} $,$ {m}_{\mathrm{2, 1}}\cdots {m}_{\mathrm{19, 1}} $),max($ {m}_{\mathrm{1, 2}} $,$ {m}_{\mathrm{2, 2}}\cdots {m}_{\mathrm{19, 2}} $)$ \cdots $];$ {\mathit{m}}^{-} $也为4维向量,且$ {\mathit{m}}^{-} $=[min($ {m}_{\mathrm{1, 1}} $,$ {m}_{\mathrm{2, 1}}\cdots {m}_{\mathrm{19, 1}} $),min($ {m}_{\mathrm{1, 2}} $,$ {m}_{\mathrm{2, 2}}\cdots {m}_{\mathrm{19, 2}} $)$ \cdots $]。

    针对单像建筑区域方位映射结果,考虑每个建筑区域影像与该建筑俯视轮廓的方位交并比和建筑区域影像的风格分类概率,利用式(4)确定建筑轮廓的唯一风格属性。

    本文对北京、上海、武汉、西安4座城市进行建筑风格地图生成实验,实验区域选取各类建筑风格分布密集的中心城区,并获取了2017年间共73 420张百度街景影像,以及共含约26.29万个建筑俯视轮廓的矢量地图数据(.shapfile格式)。每张街景影像分辨率为2 048×1 024像素,相邻两张影像的实地距离为8~20 m,两个街景影像对的实地距离为50~150 m,每张街景影像带有地理信息标签,包括影像拍摄地的经纬度、正北方向在影像中的方位角、影像的拍摄姿态信息和相邻街景的唯一标识符。

    为了训练检测街景建筑风格的Faster R-CNN网络,收集了4座城市中含有19类建筑风格的65个代表性景点或街区,如图 10所示。人工标注生成7 296张影像的PASCAL VOC样本集,训练样本和测试样本的数量比例为4∶1。图 11显示了各类建筑风格的原始标定数量,为了使训练样本数量均衡,将12类数量较少的建筑区域影像水平翻转,使样本数量增加一倍。

    图  10  实验区域及代表性街区或景点的位置分布
    Figure  10.  Experimental Region and Location Distribution of Representative Blocks or Scenic Spots
    图  11  各类建筑风格的原始标定数量
    Figure  11.  Number of Calibration of Different Architectural Styles

    为训练匹配同名建筑区域的支持向量机模型,人工截取200对同名建筑区域影像,每对同名建筑区域影像作为一个正样本,共获得200个正样本数据。同时,任意不同名建筑区域影像两两配对,共组成200个负样本。训练集和测试集的数量比例为3∶1。实验所采用的计算硬件配置为Intel 8 GB CPU,NVIDIA 1660Ti 6 GB GPU,算法由Python 3.6实现,深度学习框架采用TensorFlow-GPU 1.13,机器学习框架利用scikit-learn库,图像处理通过OpenCV库完成。

    Faster R-CNN网络的参数设置为:权重衰减为0.000 5,学习率为0.001,动量参数为0.9,学习率衰减参数为0.1,区域建议网络层生成的候选检测框的数量为300,IoU为0.7,网络迭代次数为50 000次。采用测试集上的平均精度值(average precision,AP)作为Faster R-CNN的精度指标,结果见表 1,检测结果的总体精度(mean average precision,mAP)为各建筑风格类别检测的AP值的算术平均值。IoU设定为0.7时的测试集检测结果示例见图 12图 12中记录了建筑风格类型和检测概率值。

    表  1  各类风格建筑区域的检测精度表
    Table  1.  Detection Precision of Architectural Area of Different Styles on Test Set
    建筑区域的风格类别 AP/%
    战国时期楚国建筑风格 69.23
    汉代建筑风格 57.17
    唐代建筑风格 89.43
    宋代建筑风格 86.73
    元代建筑风格 73.61
    明代建筑风格 78.53
    清代建筑风格 79.59
    京派民居 88.53
    苏派民居 72.19
    徽派民居 84.37
    民国民居 78.61
    现代建筑风格 84.13
    古希腊建筑风格 76.97
    古罗马建筑风格 73.37
    哥特式建筑风格 63.17
    法国古典风格 43.85
    巴洛克建筑风格 48.29
    拜占庭建筑风格 89.20
    其他西式风格 65.40
    mAP 73.81
    下载: 导出CSV 
    | 显示表格
    图  12  测试集的建筑区域检测结果示例
    Figure  12.  Selected Examples of Architectural Area Detection Results on Test Set

    支持向量机选取高斯核函数。通过网格搜索确定模型最佳参数,经过十折交叉验证得到测试集上的AP为92%。最佳参数值包括核函数次数为1.0,Gamma为0.001,最大迭代次数为1 000。为真实反映匹配方法的精度,随机选取100个相邻街景像对,利用Faster R-CNN检测建筑区域,得到808个建筑区域匹配对,经人工核验,其中有206对真实同名建筑区域,如图 13所示。利用相同的检验数据,将本文方法与仅采用附加核线约束的SURF匹配结果的精确率、召回率和F1分数[23]进行对比,结果如表 2所示。

    图  13  同名建筑区域匹配结果的混淆矩阵
    Figure  13.  Confusion Matrix of Matching Results with the Same Name Architectural Area
    表  2  两种同名建筑区域匹配方法的精度对比结果
    Table  2.  Accuracy Comparison of Two Matching Methods
    同名建筑区域匹配方法 精确率/% 召回率/% F1分数 耗时/ms
    本文方法 86.1 90.3 0.882 180.1
    核线约束下的SURF匹配 66.7 94.2 0.781 241.6
    下载: 导出CSV 
    | 显示表格

    表 2可知,本文方法的F1分数相比SURF算法提高10.1%,匹配一个建筑区域对的平均耗时减少25.4%。召回率下降说明PPSVM在筛选候选匹配对时,存在将同名建筑区域误判成非同名建筑区域的情况,而核线约束下的SURF匹配能通过定量的核线距离关系辅助判别两建筑区域是否同名,在一定程度上减少对影像特征的依赖,但核线约束不具有唯一性,精确率降低。因此,融合影像特征和核线几何约束可以提高建筑区域匹配的精确率和时间效率。图 14展示了相邻两张街景进行同名建筑区域匹配的过程,左、右两张街景记录了建筑风格类型和检测概率值。

    图  14  相邻两张街景的同名建筑区域匹配过程
    Figure  14.  Matching Process of Two Corresponding Architectural Areas in an Image Pair

    为检验两种位置映射方法的准确率,实验选取150个不同的单体建筑区域影像,分别通过本文的两种方法映射至建筑俯视轮廓。结合街景影像,人工统计正确映射的单体建筑数量,得到表 3的结果。从表 3可以看出,对于单像方位映射方法,单体建筑区域与对应俯视轮廓的IoU均值为0.682,匹配正确率达80.3%,单个建筑区域完成方位映射的平均时间为0.017 s;双像点位映射得到的单体建筑位置点与对应俯视轮廓的匹配距离均值为5.498 m,匹配正确率为85.1%,一对同名建筑区域完成点位映射的平均时间为2.741 s。两种方法的时间效率对比如图 15所示。

    表  3  两种位置映射方法准确率的对比结果
    Table  3.  Accuracy Results of Two Mapping Methods
    位置映射方法 正确映射/个 错误映射/个 映射失败/个
    单像方位映射 106 26 18
    双像点位映射 63 11 76
    下载: 导出CSV 
    | 显示表格
    图  15  两种映射方法的耗时对比
    Figure  15.  Time Consumption Comparison of Two Mapping Methods

    表 3图 15可以看出,双像点位映射方法的正确率较高,但满足映射条件的街景像对的比例仅为49.33%,丢失了较多不同风格的建筑区域影像;同时,双像点位映射方法涉及同名建筑区域匹配和相对定向,计算耗时长,不适合处理海量街景数据。单像方位映射方法在保证一定精度的同时,成功率高,耗时短,但不适合处理过小的建筑区域。因此,在实际处理大量街景数据时,一般采用单像方位映射匹配建筑轮廓。当检测到过小的单体建筑区域时,可采用双像点位映射进行辅助定位匹配。

    表 4显示了在同一个区域两种映射方法导致多映射的单体建筑数量。在两种映射方法下,存在多映射的建筑数量占比分别为42.9%和23.4%。可见,单像方位映射出现多映射的比例高于双像点位映射,主要因为单像方位映射的成功率高,更多单体建筑影像匹配到建筑轮廓,导致出现较多的多匹配现象,这也进一步说明了建筑风格综合判定方法的必要性。

    表  4  存在多映射问题的单体建筑数量
    Table  4.  Number of Buildings with Multiple Mapping Problems
    位置映射方法 成功映射的建筑/个 存在多映射的建筑/个
    单像方位映射 13 522 5 805
    双像点位映射 9 595 2 245
    下载: 导出CSV 
    | 显示表格

    图 16~19为实验生成的北京、西安、上海、武汉4个城市的建筑风格地图。为检验地图的准确率,本文在生成结果中选取了331个单体建筑轮廓,人工标注其建筑风格特征作为先验信息。将实验结果与先验类别进行验证,得到图 20所示的建筑风格地图分类精度图。

    图  16  北京市建筑风格地图
    Figure  16.  Architectural Style Map of Beijing
    图  17  西安市建筑风格地图
    Figure  17.  Architectural Style Map of Xi'an
    图  18  上海市建筑风格地图
    Figure  18.  Architectural Style Map of Shanghai
    图  19  武汉市建筑风格地图
    Figure  19.  Architectural Style Map of Wuhan
    图  20  建筑风格地图分类精度条形图
    Figure  20.  Bar Chart of Classification Results of Architectural Styles

    由于实验区域中没有用于验证的元代、宋代以及法国古典风格的先验建筑轮廓信息,在忽略这3类建筑风格的情况下,建筑轮廓分类精确率的平均值为55.1%,召回率的平均值为76.4%,F1得分均值为0.601。结果表明,单体建筑轮廓的分类平均精确率不高,但能基本反映建筑风格的地理分布。此外,楚国风格、汉代风格、明代风格、民国民居风格、拜占庭风格的精确率远低于平均值。结合Faster R-CNN模型测试结果,分类精确率低的建筑风格对应的训练样本数量少。从建筑风格特征上考量,一方面,同一类建筑风格在不同地域有着内在差异,例如上海和武汉的民国民居在建筑立面外观和建筑结构上存在不同。另一方面,不同类的建筑风格有相似性,在建筑结构或构件上有相同或相似的元素,例如民国民居往往会采用欧式建筑立面,古典主义的欧式建筑会采用相同的窗形或柱式。上述两个因素会导致建筑风格的影像分类较困难,影响建筑风格地图的分类准确率。

    本文以城市街景影像为研究对象,在完成19类建筑风格影像提取的基础上,结合球形全景影像的空间几何与图像特征,探究同名建筑区域的匹配方法,建立单、双像建筑区域的位置映射关系,实现街景建筑区域影像与单体建筑俯视轮廓的匹配,实际生成了4座城市中心区域的建筑风格地图。在未来仍需进一步提高风格分类精度和地图的精细度。

  • 图  1   角点约束的图像块划分及其分布

    Figure  1.   Image Patches Defined by Corners and Their Spatial Distribution

    图  2   变异函数曲线

    Figure  2.   Semivariogram Curve

    图  3   ZY-3影像建筑区提取实验结果

    Figure  3.   Built-Up Extraction Results for ZY-3 Images

    图  4   QuickBird影像建筑区提取实验结果

    Figure  4.   Built-Up Extraction Results for QuickBird Images

    图  5   本文方法与其他方法的F-Measure值比较

    Figure  5.   Comparison of F-Measure Values of Our Proposed Method with Others

    表  1   建筑区提取精度评价结果

    Table  1   Evaluation Results of Built-Up Area Extraction

    数据集 使用不同主成分(PC)特征的F-Measure值 累计贡献率
    PC1 PC2 PC3 PC4 PC5 PC1-3 PC1 PC1-3
    ZY-3_1 0.945 5 0.941 4 0.949 4 0.892 1 0.269 8 0.949 4 0.872 6 0.990 3
    ZY-3_2 0.896 5 0.391 8 0.895 8 0.854 9 0.803 5 0.896 5 0.882 4 0.992 3
    ZY-3_3 0.925 4 0.892 6 0.937 6 0.935 9 0.117 7 0.937 6 0.887 2 0.994 0
    ZY-3_4 0.942 0 0.484 7 0.945 2 0.922 1 0.766 6 0.945 2 0.898 5 0.993 9
    ZY-3_5 0.647 8 0.774 2 0.784 8 0.649 1 0.104 8 0.784 8 0.830 9 0.993 9
    ZY-3_6 0.734 1 0.415 6 0.791 1 0.613 9 0.464 4 0.791 1 0.879 7 0.995 6
    ZY-3_7 0.819 2 0.867 7 0.890 7 0.849 7 0.218 5 0.890 7 0.888 2 0.995 5
    ZY-3_8 0.804 0 0.815 8 0.831 2 0.759 7 0.017 3 0.831 2 0.858 1 0.994 1
    QB1 0.910 4 0.900 7 0.901 0 0.906 3 0.845 8 0.910 4 0.947 0 0.994 2
    QB2 0.925 9 0.851 7 0.861 3 0.848 8 0.712 1 0.925 9 0.965 8 0.995 2
    QB3 0.883 1 0.890 1 0.875 3 0.514 4 0.510 9 0.890 1 0.963 6 0.997 3
    QB4 0.914 9 0.958 0 0.921 2 0.921 2 0.923 6 0.958 0 0.911 8 0.987 6
    QB5 0.823 6 0.905 1 0.835 1 0.174 6 0.790 1 0.905 1 0.939 9 0.991 7
    QB6 0.903 0 0.906 2 0.932 9 0.837 1 0.916 8 0.932 9 0.866 7 0.992 2
    QB7 0.695 8 0.570 7 0.761 2 0.139 7 0.602 5 0.761 2 0.977 3 0.998 3
    QB8 0.692 9 0.723 1 0.791 0 0.211 8 0.498 7 0.791 0 0.952 3 0.995 5
    QB9 0.792 3 0.763 1 0.904 2 0.835 4 0.790 3 0.904 2 0.932 7 0.994 1
    下载: 导出CSV
  • [1]

    Pesaresi M, Gerhardinger A, Kayitakire F. A Robust Built-Up Area Presence Index by Anisotropic Rotation-Invariant Textural Measure[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2008, 1(3):180-192 doi: 10.1109/JSTARS.2008.2002869

    [2] 陈洪, 陶超, 邹峥嵘, 等.一种新的高分辨率遥感影像城区提取方法[J].武汉大学学报·信息科学版, 2013, 38(9):1063-1067 http://ch.whu.edu.cn/CN/abstract/abstract2752.shtml

    Chen Hong, Tao Chao, Zou Zhengrong, et al. Automatic Urban Area Extraction Using a Gabor Filter and High-Resolution Remote Sensing Imagery[J]. Geomatics and Information Science of Wuhan University, 2013, 38(9):1063-1067 http://ch.whu.edu.cn/CN/abstract/abstract2752.shtml

    [3] 曹建农, 王平禄, 董昱威.高分辨率遥感影像上居民地自动提取方法[J].武汉大学学报·信息科学版, 2014, 39(7):831-837 http://ch.whu.edu.cn/CN/abstract/abstract3029.shtml

    Cao Jiannong, Wang Pinglu, Dong Yuwei. Automatic Extraction Technique of Residential Areas in High Resolution Remote Sensing Image[J]. Geomatics and Information Science of Wuhan University, 2014, 39(7):831-837 http://ch.whu.edu.cn/CN/abstract/abstract3029.shtml

    [4] 胡华龙, 薛武, 秦志远.基于小波纹理和基元合并的高分影像居民地提取[J].国土资源遥感, 2017, 29(1):21-28 http://d.old.wanfangdata.com.cn/Periodical/gtzyyg201701004

    Hu Hualong, Xue Wu, Qin Zhiyuan. Extraction of Residential Area from High Resolution Images Based on Wavelet Texture and Primitive Merging[J]. Remote Sensing for Land and Resources, 2017, 29(1):21-28 http://d.old.wanfangdata.com.cn/Periodical/gtzyyg201701004

    [5] 沈小乐, 邵振峰, 田英洁.纹理特征与视觉注意相结合的建筑区提取[J].测绘学报, 2014, 43(8):842-847 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201408011.htm

    Shen Xiaole, Shao Zhenfeng, Tian Yingjie. Built-Up Areas Extraction by Textural Feature and Visual Attention Mechanism[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(8):842-847 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201408011.htm

    [6]

    Shao Z, Tian Y, Shen X. BASI:A New Index to Extract Built-Up Areas from High-Resolution Remote Sensing Images by Visual Attention Model[J]. Remote Sensing Letter, 2014, 5(4):305-314 doi: 10.1080/2150704X.2014.889861

    [7] 林晨曦, 周艺, 王世新, 等.基于变差函数的中高分辨率SAR影像农村建筑区提取[J].中国图象图形学报, 2016, 21(5):674-682 http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201605015

    Lin Chenxi, Zhou Yi, Wang Shixin, et al. Variogram-Based Rural Build-Up Area Extraction from Middle and High Resolution SAR Images[J]. Journal of Image and Graphics, 2016, 21(5):674-682 http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201605015

    [8]

    Sirmacek B, Vnsalan C. Urban Area Detection Using Local Feature Points and Spatial Voting[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7(1):146-150 doi: 10.1109/LGRS.2009.2028744

    [9]

    Kovács A, Szirányi T. Improved Harris Feature Point Set for Orientation-Sensitive Urban-Area Detection in Aerial Images[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(4):796-800 doi: 10.1109/LGRS.2012.2224315

    [10] 陶超, 邹峥嵘, 丁晓利.利用角点进行高分辨率遥感影像居民地检测方法[J].测绘学报, 2014, 43(2):164-169, 192 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201402001

    Tao Chao, Zou Zhengrong, Ding Xiaoli. Residential Area Detection from High-Resolution Remote Sen-sing Imagery Using Corner Distribution[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(2):164-169, 192 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201402001

    [11]

    Ning X, Lin X. An Index Based on Joint Density of Corners and Line Segments for Built-Up Area Detection from High Resolution Satellite Imagery[J]. ISPRS International Journal of Geo-Information, 2017, 6(11):1-19 http://www.researchgate.net/publication/320812908_An_Index_Based_on_Joint_Density_of_Corners_and_Line_Segments_for_Built-Up_Area_Detection_from_High_Resolution_Satellite_Imagery

    [12] 倪欢, 林祥国, 宁晓.直角点特征引导的遥感影像居民地提取方法[J].武汉大学学报·信息科学版, 2017, 42(5):648-655 http://ch.whu.edu.cn/CN/abstract/abstract5732.shtml

    Ni Huan, Lin Xiangguo, Ning Xiao. A Method for Extracting Human Settlements from Remote Sen-sing Image Using Right Angle Corners Features[J]. Geomatics and Information Science of Wuhan University, 2017, 42(5):648-655 http://ch.whu.edu.cn/CN/abstract/abstract5732.shtml

    [13] 温奇, 李苓苓, 刘庆杰, 等.基于视觉显著性和图分割的高分辨率遥感影像中人工目标区域提取[J].测绘学报, 2013, 42(6):831-837 http://d.old.wanfangdata.com.cn/Periodical/chxb201306007

    Wen Qi, Li Lingling, Liu Qingjie, et al. A Man-Made Object Area Extraction Method Based on Vi-sual Saliency Detection and Graph-cut Segmentation for High Resolution Remote Sensing Imagery[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6):831-837 http://d.old.wanfangdata.com.cn/Periodical/chxb201306007

    [14]

    Hu Z, Li Q, Zhang Q, et al. Representation of Block-Based Image Features in a Multi-Scale Framework for Built-Up Area Detection[J]. Remote Sensing, 2016, 8(2):155-174 doi: 10.3390/rs8020155

    [15]

    Balaguer A, Ruiz L A, Hermosilla T, et al. Definition of a Comprehensive Set of Texture Semivariogram Features and Their Evaluation for Object-Oriented Image Classification[J]. Computers & Geosciences, 2010, 36(2):231-240 https://www.sciencedirect.com/science/article/pii/S0098300409002374

  • 期刊类型引用(1)

    1. Jianjun ZHU,Leyang WANG,Jun HU,Bofeng LI,Haiqiang FU,Yibin YAO. Recent Advances in the Geodesy Data Processing. Journal of Geodesy and Geoinformation Science. 2023(03): 33-45 . 必应学术

    其他类型引用(2)

图(5)  /  表(1)
计量
  • 文章访问数:  1141
  • HTML全文浏览量:  215
  • PDF下载量:  111
  • 被引次数: 3
出版历程
  • 收稿日期:  2018-08-22
  • 发布日期:  2019-06-04

目录

/

返回文章
返回