基于多特征融合与对象边界联合约束网络的建筑物提取

高贤君; 冉树浩; 张广斌; 杨元维

doi:10.13203/j.whugis20210520

基于多特征融合与对象边界联合约束网络的建筑物提取

doi: 10.13203/j.whugis20210520

1 长江大学地球科学学院, 湖北武汉, 430100;
2 城市空间信息工程北京市重点实验室, 北京, 100045;
3 湖南科技大学测绘遥感信息工程湖南省重点实验室, 湖南湘潭, 411201

基金项目:

城市空间信息工程北京重点实验室开放基金（20210205）；城市轨道交通数字化建设与评价技术国家工程实验室开放基金（2021ZH02）；湖南科技大学测绘与遥感地理信息工程湖南省重点实验室开放基金（E22133）；海南省地球观测重点实验室开放研究基金（2020LDE001）；国家自然科学基金（41872129）。

详细信息

作者简介:
高贤君，博士，副教授，主要从事高分辨率图像目标自动识别的理论和方法研究。电子邮件：junxgao@yangtzeu.edu.cn

中图分类号: TP751.1

Building Extraction Based on Multi-feature Fusion and Object-boundary Joint Constraint Network

1 School of Geosciences, Yangtze University, Wuhan 430100, China;
2 Beijing Key Laboratory of Urban Spatial Information Engineering, Beijing Institute of Surveying and Mapping, Beijing 100045, China;
3 Hunan Provincial Key Laboratory of Geo-Information Engineering in Surveying, Mapping and Remote Sensing, Hunan University of Science and Technology, Xiangtan 411201, China

Funds:

The Open Fund of Beijing Key Laboratory of Urban Spatial Information Engineering (No.20210205)

摘要: 针对现有全卷积神经网络因光谱混杂，造成建筑物漏检和误检，以及边界缺失的问题，设计了一种基于多特征融合与对象边界联合约束网络的高分辨率遥感影像建筑物提取方法。该方法基于编解码结构，并在编码阶段末端融入连续空洞空间金字塔模块，以在不损失过多有效信息的前提下进行多尺度特征提取和融合；在解码阶段，通过实现基于对象和边界的多输出融合约束结构，为网络融入更多准确的建筑物特征并细化边界；在编码与解码阶段间的横向跳级连接中引入卷积块注意力机制，以增强有效特征。此外，解码阶段的多层级输出结果还被用于构建分段多尺度加权损失函数，实现对网络参数的精细化更新。在WHU和Massachusetts建筑物数据集上进行对比试验分析，其中IoU和F₁分数分别达到了90.44%、94.98%和72.57%、84.10%，且模型的复杂度与效率均优于MFCNN与BRRNet。
- 建筑物提取 /
- 全卷积神经网络 /
- 多尺度特征 /
- 注意力机制 /
- 联合约束
Abstract: Objectives: Accurately and automatically extracting buildings from high-resolution remote sensing images is of great significance in many aspects, such as urban planning, map data updating, emergency response, etc.The problems of missing and wrong detection of buildings and missing boundaries caused by spectrum confusion still exist in the existing full convolution neural networks (FCN). Methods: In order to overcome the limitations, a multi-feature fusion and object-boundary joint constraint network was presented in this paper. The method is based on an encoding and decoding structure. In the encoding stage, the continuous-atrous spatial pyramid module (CSPM) is positioned at the end to extract and combine multi-scale features without sacrificing too much useful information. In the decoding stage, more accurate building features are integrated into the network and the boundary is refined, by implementing the multi-output fusion constraint structure (MFCS) based on object and boundary. In the skip connection between the encoding and decoding stages, the convolutional block attention module (CBAM) is introduced to enhance the effective features. Furthermore, the multi-level output results from the decoding stage are used to build a piecewise multi-scale weighted loss function for fine network parameter updating. Results: Comparative experimental analysis was performed on the WHU and Massachusetts building datasets. The results show that:(1) The buildings extraction results proposed by the proposed method are closer to the ground truth. (2) The quantitative evaluation result is higher than the other five state-of-the-art approaches. Specifically, IoU and F₁-Score on Massachusetts and WHU building datasets reached 90.44%, 94.98%, and 72.57%, 84.10%, respectively. (3) The proposed model outperforms the MFCNN and BRRNet in both complexity and efficiency. Conclusions: The proposed method not only improves the accuracy and integrity of extraction results in spectral obfuscation buildings, but also maintains a good boundary. It has strong scale robustness.
- building extraction /
- fully convolutional neural network /
- multi-scale features /
- attention mechanism /
- joint constraint

[1]	Long J, Shelhamer E, Darrell T.Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston, MA, USA.:3431-3440
[2]	Szegedy C, Liu W, Jia Y Q, et al.Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston, MA.:1-9
[3]	Zhao H S, Shi J P, Qi X J, et al.Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu, HI, USA.:6230-6239
[4]	Chen L C, Papandreou G, Kokkinos I, et al.DeepLab:Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFS[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4):834-848
[5]	Chen L C, Papandreou G, Schroff F, et al.Rethinking Atrous Convolution for Semantic Image Segmentation[EB/OL].2017:arXiv:1706.05587.https://arxiv.org/abs/1706.05587
[6]	Badrinarayanan V, Kendall A, Cipolla R.SegNet:A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12):2481-2495
[7]	Ronneberger O, Fischer P, Brox T.U-Net:Convolutional Networks for Biomedical Image Segmentation[C]//Medical Image Computing and Computer-Assisted Intervention-MICCAI, Munich, Germany, 2015
[8]	Diakogiannis F I, Waldner F, Caccetta P, et al.ResUNet-A[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162:94-114
[9]	Shao Z F, Tang P H, Wang Z Y, et al.BRRNet:A Fully Convolutional Neural Network for Automatic Building Extraction from High-Resolution Remote Sensing Images[J].Remote Sensing, 2020, 12(6):1050
[10]	Wei S Q, Ji S P, Lu M.Toward Automatic Building Footprint Delineation from Aerial Images Using CNN and Regularization[J].IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(3):2178-2189
[11]	Xie Y K, Zhu J, Cao Y G, et al.Refined Extraction of Building Outlines from High-Resolution Remote Sensing Imagery Based on a Multifeature Convolutional Neural Network and Morphological Filtering[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13:1842-1855
[12]	Woo S, Park J, Lee J Y, et al.CBAM:Convolutional Block Attention Module[EB/OL].2018:arXiv:1807.06521.https://arxiv.org/abs/1807.06521
[13]	Wang P Q, Chen P F, Yuan Y, et al.Understanding convolution for semantic segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision.Lake Tahoe, NV, USA.:1451-1460
[14]	Fu J, Liu J, Tian H J, et al.Dual attention network for scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach, CA, USA.:3141-3149
[15]	Lin T Y, Dollár P, Girshick R, et al.Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu, HI, USA.:936-944
[16]	Milletari F, Navab N, Ahmadi S A.V-net:Fully convolutional neural networks for volumetric medical image segmentation[C]//2016 Fourth International Conference on 3D Vision (3DV).Stanford, CA, USA.:565-571
[17]	He S, Jiang W S.Boundary-Assisted Learning for Building Extraction from Optical Remote Sensing Imagery[J].Remote Sensing, 2021, 13(4):760
[18]	Mnih V.Machine Learning for Aerial Image Labeling[D].Toronto:University of Toronto, 2013

[1]	孙一帆, 余旭初, 谭熊, 刘冰, 高奎亮. 面向小样本高光谱影像分类的轻量化关系网络 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20210157
[2]	梁烽, 张瑞祥, 柴英特, 陈金勇, 茹国宝, 杨文. 一种结合上下文与边缘注意力的SAR图像海陆分割深度网络方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20210078
[3]	李星华, 白学辰, 李正军, 左芝勇. 面向高分影像建筑物提取的多层次特征融合网络 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20210506
[4]	周于涛, 吴华意, 成洪权, 郑杰, 李学锡. 结合自注意力机制和结伴行为特征的行人轨迹预测模型 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20200159
[5]	眭海刚, 黄立洪, 刘超贤. 利用具有注意力的Mask R-CNN检测震害建筑物立面损毁 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20200158
[6]	林恒, 龚威, 史硕. 利用等边长正交格网进行层次聚合聚类 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20150668
[7]	吕凤华, 舒宁, 龚颵, 郭清, 曲雪光. 利用多特征进行航空影像建筑物提取 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20140781
[8]	高贤君, 郑学冬, 沈大江, 杨元维, 张佳华. 城郊高分影像中利用阴影的建筑物自动提取 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20150766
[9]	黄荣刚, 杨必胜, 李健平, 田茂, 梁新美. 利用目标区域拓扑关系图提取建筑物点云 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20160112
[10]	呙维, 胡涛, 廖明生, 陈呈辉. 用于高分辨率SAR影像建筑物提取的对象级高亮特征描述方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20120705
[11]	黄晓东, 刘修国, 陈启浩, 陈奇. 一种综合多特征的全极化SAR建筑物分割模型 . 武汉大学学报 ● 信息科学版,
[12]	吴炜, 骆剑承, 沈占锋, 朱志文. 光谱和形状特征相结合的高分辨率遥感图像的建筑物提取方法 . 武汉大学学报 ● 信息科学版,
[13]	傅兴玉, 尤红建, 付琨, 张翰墨. 利用多尺度Hough变换提取高分辨率SAR图像建筑物L型结构 . 武汉大学学报 ● 信息科学版,
[14]	郭海涛, 徐青, 张保明. 多重约束下的建筑物阴影提取 . 武汉大学学报 ● 信息科学版,
[15]	李必军, 方志祥, 任娟. 从激光扫描数据中进行建筑物特征提取研究 . 武汉大学学报 ● 信息科学版,
[16]	尤红建, 苏林, 李树楷. 利用机载三维成像仪的DSM数据自动提取建筑物 . 武汉大学学报 ● 信息科学版,
[17]	刘少创, 林宗坚. 基于可变模板的航空影像中建筑物提取 . 武汉大学学报 ● 信息科学版,
[18]	梅雪良, 张祖勋, 张剑清. 基于约束满足网络的建筑物阴影结构提取 . 武汉大学学报 ● 信息科学版,
[19]	韦豪东, 易尧华, 余长慧, 林立宇. 融合注意力与序列单元的文本超分辨率 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20220158
[20]	任诗曼, 朱军, 方铮, 李闯农, 梁策, 谢亚坤, 李维炼, 张天奕. 联合多尺度注意力机制与边缘约束的SPOT7影像林地提取方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20210251

点击查看大图

计量

文章访问数: 67
HTML全文浏览量: 4
PDF下载量: 9
被引次数: 0

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于多特征融合与对象边界联合约束网络的建筑物提取

doi: 10.13203/j.whugis20210520

作者简介:
高贤君，博士，副教授，主要从事高分辨率图像目标自动识别的理论和方法研究。电子邮件：junxgao@yangtzeu.edu.cn

Building Extraction Based on Multi-feature Fusion and Object-boundary Joint Constraint Network

计量

基于多特征融合与对象边界联合约束网络的建筑物提取

doi: 10.13203/j.whugis20210520

1 长江大学地球科学学院, 湖北武汉, 430100;

2 城市空间信息工程北京市重点实验室, 北京, 100045;

3 湖南科技大学测绘遥感信息工程湖南省重点实验室, 湖南湘潭, 411201

作者简介:
高贤君，博士，副教授，主要从事高分辨率图像目标自动识别的理论和方法研究。电子邮件：junxgao@yangtzeu.edu.cn

English Abstract

Building Extraction Based on Multi-feature Fusion and Object-boundary Joint Constraint Network

全文HTML

目录

留言板

基于多特征融合与对象边界联合约束网络的建筑物提取

doi: 10.13203/j.whugis20210520

作者简介: 高贤君，博士，副教授，主要从事高分辨率图像目标自动识别的理论和方法研究。电子邮件：junxgao@yangtzeu.edu.cn

Building Extraction Based on Multi-feature Fusion and Object-boundary Joint Constraint Network

计量

出版历程

基于多特征融合与对象边界联合约束网络的建筑物提取

doi: 10.13203/j.whugis20210520

1 长江大学 地球科学学院, 湖北 武汉, 430100; 2 城市空间信息工程北京市重点实验室, 北京, 100045; 3 湖南科技大学测绘遥感信息工程湖南省重点实验室, 湖南 湘潭, 411201

作者简介: 高贤君，博士，副教授，主要从事高分辨率图像目标自动识别的理论和方法研究。电子邮件：junxgao@yangtzeu.edu.cn

English Abstract

Building Extraction Based on Multi-feature Fusion and Object-boundary Joint Constraint Network

全文HTML

目录

作者简介:
高贤君，博士，副教授，主要从事高分辨率图像目标自动识别的理论和方法研究。电子邮件：junxgao@yangtzeu.edu.cn

1 长江大学地球科学学院, 湖北武汉, 430100;

2 城市空间信息工程北京市重点实验室, 北京, 100045;

3 湖南科技大学测绘遥感信息工程湖南省重点实验室, 湖南湘潭, 411201

作者简介:
高贤君，博士，副教授，主要从事高分辨率图像目标自动识别的理论和方法研究。电子邮件：junxgao@yangtzeu.edu.cn