快速检索        
  武汉大学学报·信息科学版  2016, Vol. 41 Issue (4): 427-433

文章信息

龚健雅, 彭飞飞, 王乐, 吴华意
GONG Jianya, PENG Feifei, WANG Le, WU Huayi
利用视差进行立体像对的建成区检测方法
Built-up Area Detection from a Stereo Pair Using Disparity Information
武汉大学学报·信息科学版, 2016, 41(4): 427-433
Geomatics and Information Science of Wuhan University, 2016, 41(4): 427-433
http://dx.doi.org/10.13203/j.whugis20150658

文章历史

收稿日期: 2015-11-05

利用视差进行立体像对的建成区检测方法
龚健雅1,2,3, 彭飞飞1 , 王乐3,4, 吴华意1,3    
1. 武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉, 430079;
2. 武汉大学遥感信息工程学院, 湖北 武汉, 430079;
3. 地球空间信息技术协同创新中心, 湖北 武汉, 430079;
4. 美国纽约州立大学布法罗分校地理系, 纽约 布法罗, 14261
摘要: 建成区的建筑物等地物通常高于周围地表,因此高度梯度在其边缘发生突变。从立体像对生成两幅核线影像及其对应的视差图,然后利用该规律由视差图生成立体像对视差指数(stereo pair disparity index,SPDI)图。对SPDI图的高值像素进行空间聚类,得到该视差图对应的核线影像中的建成区结果,并且该结果可投影定位于立体像对的原始影像。此外,对于立体像对的两幅影像中分别检测的不一致结果,由于视差图包含了同名点间的对应关系,因此利用视差图有利于对齐不一致结果。然后,对取交集可获得高可信度的、一致的建成区结果。最后,采用两组立体像对进行试验验证,结果表明该方法可从立体像对检测出高精度的建成区。
关键词: 建成区     立体像对     视差     高度     立体像对视差指数    
Built-up Area Detection from a Stereo Pair Using Disparity Information
GONG Jianya1,2,3, PENG Feifei1 , WANG Le3,4, WU Huayi1,3    
1. State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China;
2. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China;
3. Collaborative Innovation Center of Geospatial Technology, Wuhan 430079, China;
4. Department of Geography, The State University of New York at Buffalo, Buffalo 14261, USA
First author: GONG Jianya, PhD, professor, the Academician of the Chinese Academy of Sciences, specializes in geoinformatics and photogrammetry. E-mail: gongjy@whu.edu.cn
Corresponding author: PENG Feifei, PhD candidate. E-mail: feifpeng@whu.edu.cn
Foundation support: The National Science and Technology Major Project on High Resolution Earth Observation Systems, No. 07-Y30B10-9001-14/16.
Abstract: Height gradient values change around their boundary pixels significantly since buildings in built-up areas are often higher than the surroundings. A Stereo Pair Disparity Index(SPDI) image is produced from the disparity image generated from epipolar images of a stereo pair. Built-up area results in an epipolar image are obtained by executing spatial clustering on pixels with high values in the SPDI image, and can be located in the raw image of a stereo pair. However, built-up area results that are separately detected from two images are inconsistent, and cannot be aligned because of the disparity between the homonymous points. To address this problem., the generated disparity images were aligned and overlayed to achieve reliable, consistent results. Experimental results show that built-up areas were identified from two stereo pairs accurately through our method.
Key words: built-up area     stereo pair     disparity     height     stereo pair disparity index(SPDI)    

传统的建成区检测方法是基于遥感影像的纹理、光谱、形状等平面特征[1, 2, 3, 4, 5, 6, 7]进行检测的。在高分辨率影像中,“同物异谱,异物同谱”现象降低了平面特征对不同地物类别的区分性[8],进而也降低了建成区与非建成区[9]的区分性。在全色波段中,该问题尤为突出。例如,纹理特征难以区分顶部纹理单一的大型建筑物与其周围具有相似纹理的道路,导致该建成区可能被误认为非建成区。但是,同一类别的地物(比如道路)通常具有相似的高度,而不同类别的地物(比如道路和建筑物)通常具有不同的高度[8, 10]。因此,高度信息有利于区分不同类别地物[11, 12, 13]。建成区的建筑物等地物通常高于周围地表,因此高度信息具有提高建成区与非建成区的区分性的潜力。

高度信息可以从航空或卫星立体影像中获取[14]。相对于航空传感器,卫星传感器具有不受航空管制、能快速拍摄大面积区域等优点。并且,很多高分辨率卫星具有立体观测能力[15],比如IKONOS、QuickBird、GeoEye-1、WorldView-1/2/3、Cartosat-1/2、Pleiades-HR、ALOS-PRISM和我国的资源三号、天绘一号卫星等。它们采集了海量卫星立体影像,可作为提取建成区信息的数据源。现有的建成区检测方法[1, 2]并没有利用高度信息,本文提出利用高度信息检测建成区的新方法。

对于从立体影像提取的高度信息,按照投影方式可分为两类:(1) 正射投影方式,比如数字表面模型(digital surface model,DSM)\数字高程模型(digital elevation model,DEM) [10, 13];(2) 倾斜投影方式,比如视差图[16]。对于立体像对的具有观测倾角的影像,正射投影的高度信息难以直接反映它的各像素的高度值。倾斜投影的视差信息则不受该问题的困扰,且基于其检测得到的建成区结果可直接定位为原始的、具有观测倾角的影像。此外,对于立体像对的两幅影像,视差信息[17, 18]包含了同名点之间的坐标对应关系,有利于检测出一致的建成区结果。因此,本文利用倾斜投影的视差进行立体像对的建成区检测。

1 基于视差的建成区检测方法

利用视差进行立体像对的建成区检测方法的流程如图 1所示。首先,由立体像对生成两幅核线影像[19],并使用半全局约束立体匹配(semi-global matching,SGM)算法[20]计算得到这两幅核线影像对应的视差图。在视差图中,由各像素的视差值d可计算出它的高度值h[21]

图 1 利用视差进行立体像对的建成区检测流程图 Fig. 1 Flowchart of Detecting Built-up Areas from a Stereo Pair by Using Disparity Information

式中,B/H为基高比;L为影像地面分辨率。在视差图中,建成区的建筑物等地物边缘的视差梯度值会发生突变,因为它们高于周围地表。利用该规律,可以检测出视差图中的兴趣直线段。用于计算梯度的偏移向量会影响视差梯度值,进而影响兴趣直线段检测结果。为了消除单个特定偏移向量的影响,使用一系列的偏移向量来检测兴趣直线段。利用这些检测出的兴趣直线段,可计算出该视差图对应的SPDI图。最后,基于SPDI检测出建成区范围,并在视差图的辅助下定位于原始地理投影的立体像对。

1.1 偏移向量定义

用于计算视差梯度的一系列偏移向量如图 2所示。图 2(a)中,数字表示偏移尺寸,并且不局限于图中所标示的3个数字。箭头代表偏移向量,而不同颜色的箭头代表不同尺寸的偏移向量。由于偏移向量沿中心点的对称向量在计算梯度时等价,所以仅采用了图 2(a)右上部分的偏移向量。图 2(b)中,每个单元格的上部的值为该偏移向量值本身,下部的值为该偏移向量的二维编号。偏移向量的二维编号与偏移向量值本身之间的关系如式(2):

图 2 用于计算视差梯度的偏移向量 Fig. 2 Displacement Vectors for Disparity Gradient Calculation

式中,s为偏移尺寸;m为相同偏移尺寸的偏移向量逆时针编号(双箭头的线所示),并且1≤m≤4s。当指定最大偏移尺寸取t时,所有可行的偏移尺寸s的取值范围为1≤st,而所有偏移向量的总数为2t(t+1)。

1.2 兴趣直线段检测

基于单个偏移向量检测出视差图中的兴趣直线段的主要流程如下。首先,基于该偏移向量(Δxy),由视差图生成视差梯度图。其中,每个像素的视差梯度grad(i,j)为:

式中,d(i,j)为对应像素的视差值。然后,将该视差梯度图分解为一系列平行于该偏移向量的剖面线,如图 3所示。图 3中,蓝色箭头为该偏移向量,每个方格为图中一个像素,每条红色虚线为一条剖面线。最后,在单条剖面线中,分别进行兴趣直线段检测。

图 3 生成剖面线的示例 Fig. 3 Examples of Obtaining Profile Files

在单条剖面线中,基于视差梯度的变化规律进行兴趣直线段检测。在剖面线中,对于连续的视差值较大的像素,边缘附近的视差梯度发生突变。例如,对于图 4 (a)的横轴编号为3~6的像素,它们具有较大的视差值;在图 4(b)中横轴编号为2和6的像素具有较大的视差梯度的绝对值。对于一个像素的视差梯度,其正负号反映了该剖面线上右侧像素的视差值与该像素的视差值的大小关系。若像素的视差梯度为正数,则表示前者大于后者;若像素的视差梯度为0,则表示前者等于后者;若像素的视差梯度为负数,则表示前者小于后者。视差梯度绝对值较小的像素极可能为地上地物的内部像素或地表的像素,而视差梯度绝对值较大的像素极可能为建筑物等地上地物的边缘像素。而且,对于单个地上地物在单条剖面线上的两个边缘,呈现正负视差梯度配对的规律。例如,图 4(b)中的红色虚线连接的两点表示配对关系,它们决定的兴趣直线段如图 4(c)中红色线段所示。检测出的该兴趣直线段如式(4):

图 4 检测兴趣直线段示例 Fig. 4 An Example of Detecting Interesting Line Segments

式中,ph1为给定的视差梯度绝对值的阈值。由于该兴趣直线段与计算所用的偏移向量(Δxy)有关,应进行纠正消除该影响。纠正后的兴趣直线段如式(5)所示:

例如,图 4(d)中的蓝色线段为图 4(c)对应的、消除了偏移向量影响后的兴趣直线段。

1.3 立体像对视差指数(SPDI)计算

对于视差图,分别利用各个偏移向量按照上述步骤检测出兴趣直线段后,可计算出每个像素的SPDI。各个像素的SPDI值受其所在的兴趣直线段的长度、视差之差的影响。兴趣直线段的长度l对SPDI的影响如式(6):

式中,pl1pl2为参数,可参照影像中的大多数建筑物的尺寸大小进行设置。在视差图中,利用单个偏移向量检测出的建筑物区域的、平行于该偏移向量的兴趣直线段的长度大小不等。pl1pl2参数可分别设置为检测出的所有兴趣直线段的长度最小值与最大值。

兴趣直线段与周围像素的视差之差对SPDI的影响如式(7)所示:

式中,di为兴趣直线段的所有像素的视差平均值与周围像素的视差值的差值,即视差之差。ph1ph2为参数,可参考影像中的大多数建筑物的高度值进行设置。对于建筑物的高度,利用基高比和影像分辨率,按照式(1)可计算出建筑物与周围地表的视差之差。与pl1pl2参数取值方法类似,ph1ph2可以分别设置为检测出的所有兴趣直线段与周围地表的视差之差的最小值与最大值。其中,ph1在进行检测兴趣直线段时,即式(4),也被使用。

完成上述计算后,可计算各个像素的SPDI值,生成SPDI图。每个像素(i,j)的SPDI值按式(8)计算:

式中,t为给定的最大偏移尺寸;2t(t+1)为所有偏移向量的总数;IkFk分别为基于第k个偏移向量检测出的该像素所在的兴趣直线段的长度、视差之差对SPDI的影响。如果基于k个偏移向量检测兴趣直线段时,该像素不属于任何兴趣直线段,则IkFk均取零值。SPDI值反映了该像元隶属于建成区的概率,而且0≤SPDI≤1。随着t的增大,计算所得的SPDI的鲁棒性可能更佳,但计算量将增大。

1.4 建成区检测

SPDI图中,高值像素所聚集的区域应为建成区。因此,首先删除图中SPDI值较小的像素,接着删除点密度较低的像素。最后,对剩余的像素点构建三角网,将该三角网的外轮廓作为该SPDI图对应的视差图中的建成区检测结果[22]

上述方法仅能检测出单幅视差图中的建成区范围,并不能作为立体像对检测的最终结果。对于立体像对的两幅视差图,可按照上述方法分别生成SPDI图并进行建成区检测。所得结果可能并不一致,但由于它们拍摄的是同一地区,因此这两项结果必须一致。这两项结果由于同名点之间的视差不能对齐,更不能用于求交集以获取一致的结果。而视差图有利于对齐这两项结果。

对齐立体像对的两幅视差图的结果时,仅需将其中一副视差图的建成区检测结果多边形的各个顶点像素定位于另一幅视差图,构成新的多边形。例如,对于视差图 1中的列号为X1的像素A,它的同名点像素B在视差图 2中的列号为X2,它们的行号相同。像素A的视差值d1=X2X1,则它定位于视差图 2的列号为X2=d1+X1,而行号不变。

对齐立体像对的两幅视差图的结果后,取交集可获得高可信度的、一致的建成区结果。最后,由于从视差图中检测的建成区结果为核线投影方式,将它转换为与原始立体像对相同的地理投影[19]。这样得到原始立体像对的建成区检测结果。

2 试验结果与分析 2.1 试验设计

为验证本文方法的有效性,将本文方法的结果与利用平面纹理特征方法[23]的高精度结果进行对比试验。试验采用两组立体像对,分别如图 5图 6所示。影像描述如表 1所示,其中立体像对1拍摄于2002年8月28日,立体像对2拍摄于2014年10月6日。由于立体像对的两幅影像在缩小显示时的视觉差异不显著,图中仅显示了其中的影像1。试验过程中,对两组立体像对设置相同试验参数:最大偏移尺寸t取2,pl1pl2分别取10和100,ph1ph2分别取5和30。

图 5 立体像对1 Fig. 5 Stereo Pair 1
图 6 立体像对2 Fig. 6 Stereo Pair 2
表 1 两组立体像对的影像描述 Tab. 1 Descriptions of Two Stereo Pairs
影像参数 立体像对1 立体像对2
影像1 影像2 影像1 影像2
传感器类型 QuickBird WorldView-3
拍摄时间 18:45:17 18:44:12 206:36:56 06:37:56
地面分辨率/m 0.8 0.8 0.4 0.4
卫星方位角/(°) 177.6 27.7 46.3 183.8
卫星高度角/(°) 59.8 60.1 81.3 58.8
观测倾角/(°) 27.1 26.5 8.1 28.1
交会角/(°) 57.8 38
基高比 1.1 0.72
2.2 试验结果

两组立体像对的试验结果分别如图 7图 8所示。本文方法从立体像对的两幅影像检测出的建成区范围是一致的,因此仅显示了影像1的检测结果。从图 7(a)图 8(a)可看出,高SPDI值的像素主要分布在建成区,而非建成区像素的SPDI值较低或为零值。虽然建筑物的部分像素具有SPDI零值,但它们并不会对建成区检测结果有较大影响,因为建成区由高SPDI值像素进行空间聚类生成。此外,视差图的高于周围地表的非建筑物地物的部分像素可能具有高SPDI值,例如图 7(a)的中上部区域的高大树木,或图 8(a)的左下角区域的立交桥。

图 7 立体像对1的结果 Fig. 7 Results for Stereo Pair 1
图 8 立体像对2的结果 Fig. 8 Results for Stereo Pair 2

图 7(c)图 8(c)图 7(d)图 8(d)显示了文献[23]方法从两幅影像中分别检测出的建成区范围。它们的检测范围并不一致,而且没有本文方法的结果完整。在图 8 (c)图 8(d) 的底部区域,矮小的树木聚集区被误认为建成区。

2.3 精度比较

常用的建成区检测结果评价指标为正确检测率和虚警率[4]。立体像对的建成区检测精度应以一组立体像对为单位总体评价,而不是仅在其中一幅影像中评价。立体像对的整体精度Aupair为:

式中,Au1Au2分别为该立体像对的两幅影像中分别计算的精度, OA1OA2分别为两幅影像的观测倾角。

两组立体像对的建成区检测精度如表 2所示。相比于文献[23]方法,本文方法中两组立体像对的正确检测率都有所提高,尤其是对于立体像对1而言。虽然本文方法对于立体像对1取得了稍高的虚警率,但该虚警率(0.06)仍处于较低水平。两种方法的虚警率均较低,大体相当。总体而言,本文方法比文献[23]方法的精度更优。

表 2 两组立体像对的建成区检测精度 Tab. 2 Accuracy of Built-up Areas Detected from Two Stereo Pairs
精度 立体像对1 立体像对2
本文 方法 文献 [ 23 ] 方法 本文 方法 文献 [ 23 ] 方 法
正确检测率 0.94 0.69 0.91 0.88
虚警率 0.06 0.02 0.01 0.06
3 结 语

本文提出了利用视差进行立体像对的建成区检测方法,验证了利用视差高度进行建成区检测的可行性和有效性。视差图不仅可以用于单幅影像中的建成区检测,也可用于对齐立体像对的两幅影像中分别检测的不一致结果。利用视差高度可以从立体像对检测出高精度的建成区范围。而海量卫星立体影像可作为建成区检测的重要数据源。

两组立体像对的试验结果表明,利用SPDI能有效区分建成区与非建成区。但是,单独利用SPDI并不能保证能将建筑物与高大树木等地物进行有效区分。对于SPDI易混淆的这两种地物,可使用归一化植被指数(normalized differential vegetation index,NDVI)进行有效区分。可从全色波段和多光谱影像提取平面特征(如纹理、形状、光谱特征),与SPDI结合使用,以提高建成区检测精度。此外,SPDI计算过程中的参数设置有待进一步研究。

参考文献
[1] Pesaresi M, Huadong G, Blaes X, et al. A Global Human Settlement Layer from Optical HR/VHR RS Data:Concept and First Results[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 6(5):2102-2131
[2] Graesser J, Cheriyadat A, Vatsavai R R, et al. Image Based Characterization of Formal and Informal Neighborhoods in an Urban Landscape[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(4):1164-1176
[3] Cao Jiannong, Wang Pinglu, Dong Yuwei. Automatic Extraction Technique of Residential Areas in High Resolution Remote Sensing Image[J]. Geomatics and Information Science of Wuhan University, 2014, 39(7):831-837(曹建农, 王平禄, 董昱威. 高分辨率遥感影像上居民地自动提取方法[J]. 武汉大学学报·信息科学版, 2014, 39(7):831-837)
[4] Tan Wenbin, Liu Bin, Zhang Zengxiang, et al. Remote Sensing Monitoring and Analyzing of the Urban Built-up Land Expansion in Kunming in 1974-2004[J]. Journal of Geo-Information Science, 2009, 11(1):117-124(谭文彬, 刘斌, 张增祥, 等. 近三十年来昆明市建成区扩展遥感监测与分析[J]. 地球信息科学学报, 2009, 11(1):117-124)
[5] Shi Beiqi, Liu Chun, Chen Neng, et al. Residential Area Recognition Using Texture Filtering from Hyper-spectral Remote Sensing Imagery[J]. Geomatics and Information Science of Wuhan University, 2012, 37(8):915-920(施蓓琦, 刘春, 陈能, 等. 利用高光谱遥感影像纹理滤波的城市居民地识别[J]. 武汉大学学报·信息科学版, 2012, 37(8):915-920)
[6] Pan Li, Zhang Zhihua, Zhang Jianqing. Residential Areas Recognition by Fusing Region Data and Edge Features[J]. Geomatics and Information Science of Wuhan University, 2006, 31(8):671-674(潘励, 张志华, 张剑清. 融合区域分割和边缘信息的居民地提取方法[J]. 武汉大学学报·信息科学版, 2006, 31(8):671-674)
[7] Mu Fengyun, Zhang Zengxiang, Chi Yaobin, et al. Dynamic Monitoring of Built-up Area in Beijing During 1973-2005 Based on Multi-original Remote Sensed Images[J]. Journal of Remote Sensing, 2007, 11(2):257-268(牟凤云, 张增祥, 迟耀斌, 等. 基于多源遥感数据的北京市1973-2005年间城市建成区的动态监测与驱动力分析[J]. 遥感学报, 2007, 11(2):257-268)
[8] Yan W Y, Shaker A, El-Ashmawy N. Urban Land Cover Classification Using Airborne LiDAR Data:A Review[J]. Remote Sensing of Environment, 2015, 158(0):295-310
[9] Ji Cunwei, Wu Fang, Gong Xianyong, et al. Expression Model for Settlement Incremental Information[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7):857-861(姬存伟, 武芳, 巩现勇, 等. 居民地要素增量信息表达模型研究[J]. 武汉大学学报·信息科学版, 2013, 38(7):857-861)
[10] Tong X, Xie H, Weng Q. Urban Land Cover Classification with Airborne Hyperspectral Data:What Features to Use?[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(10):3998-4009
[11] Longbotham N, Chaapel C, Bleiler L, et al. Very High Resolution Multiangle Urban Classification Analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(4):1155-1170
[12] Rau J, Jhan J, Hsu Y. Analysis of Oblique Aerial Images for Land Cover and Point Cloud Classification in an Urban Environment[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(3):1304-1319
[13] Rottensteiner F, Sohn G, Gerke M, et al. Results of the ISPRS Benchmark on Urban Object Detection and 3D Building Reconstruction[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93:256-271
[14] Poli D, Remondino F, Angiuli E, et al. Radiometric and Geometric Evaluation of GeoEye-1, WorldView-2 and Pléiades-1A Stereo Images for 3D Information Extraction[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 100:35-47
[15] Peng Feifei, Wang Le, Gong Jianya, et al. Development of a Framework for Stereo Image Retrieval With Both Height and Planar Features[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(2):800-815
[16] Yuan Xiuxiao, Duan Mengmeng, Cao Jinshan. A Seam Line Detection Algorithm for Orthophoto Mosaicking Based on Disparity Image[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(8):877-883(袁修孝, 段梦梦, 曹金山. 正射影像镶嵌线自动搜索的视差图算法[J]. 测绘学报, 2015, 44(8):877-883)
[17] Lemoine G, Bielski C M, Syryczynski J. Fast Surface Height Determination Using Multi-Angular WorldView-2 Ortho Ready Urban Scenes[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1):80-88
[18] Licciardi G A, Villa A, Dalla M M, et al. Retrieval of the Height of Buildings from WorldView-2 Multi-Angular Imagery Using Attribute Filters and Geometric Invariant Moments[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1):71-79
[19] Wang M, Hu F, Li J. Epipolar Resampling of Linear Pushbroom Satellite Imagery by a New Epipolarity Model[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66(3):347-355
[20] Hirschmuller H. Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2):328-341
[21] Morgan G L K, Liu Jiangou, Yan Hongshi. Precise Subpixel Disparity Measurement from Very Narrow Baseline Stereo[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(9):3424-3433
[22] Yan H, Weibel R. An Algorithm for Point Cluster Generalization Based on the Voronoi Diagram[J]. Computers & Geosciences, 2008, 34(8):939-954
[23] Sirmacek B, Unsalan C. Urban Area Detection Using Local Feature Points and Spatial Voting[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7(1):146-150