快速检索        
  武汉大学学报·信息科学版  2016, Vol. 41 Issue (5): 612-616

文章信息

李畅, 马浩, 董才林
LI Chang, MA Hao, DONG Cailin
建筑物近景可见光影像中树木遮挡区的非监督提取
Unsupervised Tree Occlusion Removal for Close-Range Building Images Under Condition of Visible Light
武汉大学学报·信息科学版, 2016, 41(5): 612-616
Geomatics and Information Science of Wuhan University, 2016, 41(5): 612-616
http://dx.doi.org/10.13203/j.whugis20140010

文章历史

收稿日期: 2015-06-29

建筑物近景可见光影像中树木遮挡区的非监督提取
李畅1, 2, 马浩3 , 董才林4    
1. 华中师范大学地理过程分析与模拟湖北省重点实验室, 湖北 武汉 , 430079;
2. 华中师范大学城市与环境科学学院, 湖北 武汉 , 430079;
3. 武汉大学遥感信息工程学院, 湖北 武汉 , 430079;
4. 华中师范大学数学与统计学学院, 湖北 武汉 , 430079
摘要: 针对已有算法在可见光条件下不能完整提取树木或者需要大量人工干预的缺陷,提出了一种基于CIE L*a*b色彩空间的利用冠层与树干空间拓扑关系和关键特征比值的非监督树木分割算法。首先,将RGB转换到CIE L*a*b色彩空间;然后,选择该空间中的关键特征进行Otsu自适应阈值分割;最后,利用数学形态学对分割区域进行去噪,结合冠层与树干的空间拓扑关系和色彩特征比值关系剔除伪树木区域。实验结果表明,本文方法能成功分割出冠层和树干遮挡且自动化程度高,可为近景建筑物三维重建的遮挡区修补提供检测基础。
关键词: 建筑影像    树木遮挡    CIE L*a*b色彩空间    自适应阈值分割    拓扑关系    
Unsupervised Tree Occlusion Removal for Close-Range Building Images Under Condition of Visible Light
LI Chang1,2, MA Hao3 , DONG Cailin4    
1. Hubei Province Key Laboratory for Geographical Process Analysing & Modelling, Central China Normal University, Wuhan 430079, China;
2. College of Urban and Environmental Science, Central China Normal University, Wuhan 430079, China;
3. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China;
4. School of Mathematics and Statistics, Central China Normal University, Wuhan 430079, China
First author: LI Chang, PhD, associate professor, specializes in research of digital photogrammetry and computer vision, remote sensing pattern recognition. E-mail: lcshaka@126.com
Corresponding author: MA Hao, PhD candidate. E-mail: mahao_fido@126.com
Foundation support: The National Natural Science Foundation of China, No. 41101407; the Natural Science Foundation of Hubei Province, China, Nos. 2014CFB377, 2010CDZ005; Self-determined Research Funds of CCNU from the Colleges’ Basic Research and Operation of MOE, No.CCNU15A02001.
Abstract: A new approach based on spatial relationships and key features ratio in CIE L*a*b color space is proposed for vegetation extraction to solve current problems in tree occlusion removal algorithms for visible light images, such as incompletely detected tree areas and mass human-computer interaction. First, the color space of an image is transformed from RGB to CIE L*a*b. Second, the classic Otsu method was used to segment the L channel and a channel image. Finally, morphology modification; the spatial topological relationship between crown and trunk and key feature ratio, were applied to acquire the final vegetation areas. Experimental results show that the proposed algorithm can successfully remove vegetation occlusions (i.e. canopies and trunks) with a high level of automation. This study can pave the way for occluded image repair and 3D reconstruction of close-range building images.
Key words: building images    vegetation occlusion    CIE L*a*b color space    image segmentation    topological relationship    

建筑影像的纹理恢复和三维重建中经常会遇到树木遮挡,一方面影响了建筑纹理的完整性,另一方面由于树的存在会产生噪声[1, 2],会对处理结果产生干扰,应该将树的遮挡去除。在可见光条件下,针对建筑影像中往往拥有较多直线信息的特点,Liu Yawen等将一幅图像分成大小相同的网格后,通过分析每个网格内部平行线的个数和密度去除街道、树木等遮挡[3]。康志忠依据色调和平行直线信息去除建筑影像上树木遮挡[4]。以上方法思路巧妙,但依赖于直线特征的提取。针对树木本身特征,文献[5, 6, 7]结合纹理和颜色两个特征来实现树木的遮挡去除,而依赖于纹理的方法往往需要预先采样,需要人机交互,导致自动化不高,是一种监督的遮挡去除方法。Zhang Yongjun等针对航空影像提出了基于CIE L*a*b色彩空间的行树与篱笆提取方法[7],该方法通过对a特征设定阈值来区分影像中的植被区域和非植被区域,其最大的优点是可同时提取彩红外影像和可见光影像中的树木。但是,该方法对于近景建筑物影像中的树木遮挡问题而言,仅仅依赖a特征只能提取树冠层(树叶)信息(航空影像通常获取的是树冠层信息),影像中树干部分不能识别出来,不能够实现对树木的完整识别和提取。而文献[8]在可见光条件下仅针对绿色植被进行提取,对于其他季节的影像如枯黄的树木没有进行探讨。因此,CIE L*a*b中的各特征还可以进行充分利用。另外,在实际中仅使用数学形态学方法进行后处理效果不佳,为了进一步提高树木分割的可靠性,本文针对绿色、黄色和红色树木,提出了一种基于冠层与树干空间关系和色彩特征比值的树木区域剔除方法。

1 色彩空间变换与可见光下树木遮挡提取策略 1.1 CIE L*a*b空间

在采集树木图像时,背景通常比较复杂,而且背景颜色多接近于目标颜色,而彩色图像分割能够克服灰度图像的一些不足[9, 10]。彩色图像处理时有多种彩色空间可供选择。其中,色彩空间CIE XYZ[11]将所有颜色定义在一个X+Y+Z=1的平面上,互相垂直的X、Y、Z三个坐标轴分别对应红、绿、蓝三种颜色,三个坐标值的变化范围都是从0到1。在该平面上有一个纯白色点,在CIE XYZ坐标系下的值为(Wx,Wy,Wz)=(0.312 779,0.329 184,0.358 037)。而CIE L*a*b色彩空间中用L、a、b三个相互垂直的坐标轴来表示一个色彩空间,是根据色度和亮度组成的3维空间图,L轴表示光照的明暗度,其变化范围为最暗(0)到最亮(100),黑在底端,白在顶端;a轴与b轴共同表示彩色的特性,a轴正方向代表红色的变化,负方向代表绿色的变化,并且影像中的绿色冠层信息越强颜色越深a的值就越小,但其绝对值越大[8]b轴正方向代表黄色的变化,并且影像中的黄色冠层信息越强颜色越深b的值就越大,但其绝对值越大,负方向代表蓝色的变化。CIE L*a*b空间的这种彩色特性正好与本文要提取的绿色、黄色和红色等树木颜色特性一致,与其他颜色空间相比更加适合于常见的树冠的提取。

CIE L*a*b可由CIE XYZ通过数学方法转换得到,各分量的计算公式为[8]

其中,(Xo,Yo,Zo)=(0.950 456,1,1.088 754);

1.2 可见光下树木遮挡提取策略

将常规的可见光RGB图像转化到CIE L*a*b空间后,利用该空间中的关键特征进行自适应阈值分割实现冠层和树干遮挡的自动分割。以绿色树木为例,总体算法流程如下所示。

1) 提取出a通道图像,由Otsu方法[10]得到该通道图像的阈值,当某个像素点的a值小于或等于阈值时,将该像素的坐标放入集合Ma中。遍历所有的像素点后,集合Ma中的点即为识别出的图像中绿色冠层信息。

2) 提取出L通道图像,并由Otsu方法得到该通道图像的阈值,由于L分量值从0到100,黑色在底端,对应的L值小,白色在顶端,对应的L值大,因此得到二值图像中黑色部分包含了树干所在区域,将二值图像中灰度值为0放入集合ML中。

3) 取集合M= MaML,将属于M中的像素点置为黑色,其他图像中的点值为白色,得到一幅新的二值图。

4)对3)中得到的二值图像进行数学形态学去噪和修正,通过空间拓扑关系以及关键特征比值进一步去除伪树木区域得到集合Mc,取T=McM,集合T即是最终检测出的树木所在位置信息。

若要分割秋冬季图像中的黄色冠层信息,则使用Otsu自适应阈值方法提取b通道信息并替代上述a信息即可。另外,对于可见光影像中的红色树木,由于a轴正方向代表红色的变化,影像中的红色冠层信息越强a的值就越大,其绝对值也越大。为了简练起见,下文在描述相关处理过程时,仅以a通道为例进行说明,不再分别对b分量进行重复描述。

2 冠层和树干提取 2.1 基于a特征或b特征的冠层提取

对于常规的RGB影像中的冠层信息,CIE L*a*ba分量总是负值,且冠层信息越强,其数值越小(a的取值范围为-110~110);而对于彩红外(CIR)影像,则a分量总是正值,且植被信息越强,其数值越大。因此,无论是RGB还是CIR影像,CIE L*a*b都可以有效地进行冠层信息的识别和分割[7]。本文使用Otsu方法对a通道图像进行阈值处理,以期能够提取出图像中大量的树冠信息。Otsu方法是以最小二乘法为原理,在灰度直方图的基础上提出的基于方差概念的图像分割方法。最大类间方差意味着分割时错分的几率最小,能给出最满意的分割阈值。通过Otsu进行阈值处理后,将得到的二值图像中的像素值为0的像素点的坐标放入集合Ma中,并用绿色将Ma中的点在原彩色图中对应位置标记出来。图 1(b)是树冠检测的结果,可以看出,虽然绝大部分树冠信息都被成功识别,但是颜色较深的树干、建筑物等非树冠信息也被错分为树冠,需要进一步利用其他信息进行剔除。

图 1 RGB影像及其CIE L*a*b分割结果 Fig. 1 RGB Image and Results of Segmentation by CIE L*a*b
2.2 基于L特征的树干提取

CIE L*a*b色彩空间中的L分量表示明暗度,取值0~100,黑色对应的L值小,白色对应的L值大,因此,可考虑利用L分量实现树干区域的提取。

以样本图 1为实验对象,首先得到L通道图像,对L通道图像选用Otsu算法自动选取最佳阈值进行分割。二值化后的图像中黑色区域包含了树干所在位置,将这些像素点的坐标值放入集合ML中并叠加在原RGB图像上后,图 2绿色部分即检测出的树干信息。可以看到,利用L特征可以检测影像中可能的树干区域。

图 2 树干检测结果 Fig. 2 Results of Trunks Detection
3 基于空间关系和特征比值的去噪方法

数学形态学的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状,以达到对图像分析和识别的目的[11],特别适合于二值图像的处理,可以尝试用于本文树冠区域或树干区域小斑点的滤除。

a特征和L特征检测出来的像素点进行合并,并在原图上显示出来(见图 3(a)),此时的效果对于进行建筑物三维重建和纹理恢复是非常不利的[12]。利用数学形态学修正后,效果如图 3(b)所示,其中被标记为绿色、蓝色以及品红色的区域都是经过形态学处理后保留下来的部分,虽然去除了图 3(a)背景中的部分绿色小斑点,但此时并不能将背景中所有的非树木区域去除。因此,本文采用冠层区域与树干区域的空间关系和特征比值进行进一步处理。

图 3 基于CIE L*a*b特征选择的自适应阈值分割过程 Fig. 3 Process of Segmentation by an Adaptive Threshold Based on Key Features in CIE L*a*b
3.1 基于冠层区域与树干区域相交关系的非树木区域剔除

树木区域和非树木区域最本质的区别就是空间拓扑关系。树木所在的区域中既有通过a分量检测出来的冠层信息又有L分量检测出来的树干信息,即这两个分量确定的区域满足冠层与树干相交的拓扑关系,这是由影像中冠层区域和树干区域之间边界的模糊性(不确定性)决定的。

根据空间拓扑关系将形态学处理后的结果在原始彩色图像上进行标记(如图 3(b)中6个绿色区域、两个蓝色区域和一个品红色区域),如图 3(b)绿色部分是满足相交关系的区域,蓝色部分和品红色部分则不满足,蓝色部分表示该区域只有检测出的树干信息而没有树冠信息,品红色块状区域表示该区域只有检测出的树冠信息而没有树干信息,因此被标记为蓝色或者粉红色的区域均不满足空间拓扑关系。因此,通过是否满足相交关系可以初步剔除图 3(b)中的被标记为蓝色和品红色的伪树木部分。

3.2 基于冠层分量大值与树干分量最大值比值的非树木区域剔除

实验表明,上述相交条件并不能剔除所有非树木区域。考虑到树木所在区域中a分量的取值范围较这些非树木区域中a的取值范围要广,对于可见光影像中的绿色植被信息,CIE L*a*ba总分量总是负值(即a<0),而且影像中的绿色冠层信息越强颜色越深a的值就越小,但其绝对值越大。另外,CIE L*a*b色彩空间中b轴正方向代表黄色的变化,针对秋冬季影像中的枯黄树木,影像中的黄色冠层信息越强颜色越深b的值就越大,其绝对值也越大。故而对于影像中的绿色树木,其所在区域中a分量绝对值能够取到较大的值,另外非树木区域与树木区域中L的值往往差别不大,因此,对于图 3(d)中的被标记为绿色的某一区域Ω,设MaΩa分量的绝对值的最大值为max|{a}|,MLΩL分量的均值为mean{L},若关键特征比值满足:

那么可以将该区域归类为树木所在区域,否则归为非树木区域。图 3(b)中的绿色区域的关键特征比值结果如表格1所示(标号是对应的)。根据经验取阈值T为0.55,可以成功剔除非树木区域。最后,将标号为①的绿色树木区域与图 3(a)中绿色区域求交得到最终的提取效果(见图 4)。

表 1 影像1区域的关键特征比值 Tab. 1 Key Feature Ratio of Each Area in Image 1
区域mean(L)max(a)max(|a|)/mean(L)
143.290 9-2.866 730.905 538
247.535 3-2.866 730.117 265
347.826-2.973 430.145 207
445.026 7-2.870 970.175 607
547.486 3-2.883 520.090 701 1
646.252 2-3.036 380.087 134 8

图 4 本文方法 Fig. 4 The Proposed Method
4 实验结果与分析

为了说明本文方法的适用性,把本文的算法应用于其他影像。图 5分别是绿色树木、黄色树木和红色树木的影像,经过本文算法的处理,均得到了满意的结果。

图 5 RGB影像及其CIE L*a*b分割结果 Fig. 5 RGB Image and Results of Segmentation by CIE L*a*b

5 结 语

本文针对近景建筑物可见光影像中常见的绿色、黄色和红色树木,提出了一种基于CIE L*a*b色彩空间的树木遮挡区自动提取方法。该方法基于树木冠层、树干与被遮挡建筑物的色彩和亮度差异对冠层和树干进行检测,然后利用冠层与树干区域的相交关系和色彩特征比值对提取结果进行进一步判别,剔除伪树木区域。

参考文献
[1] Criminisi A, Perez P, Toyama K. Region Filling and Object Removal by Exemplar-Based Image Inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9):1200-1212
[2] Shilpa J K, Gawande P D. Region Filling and Object Removal by Exemplar-Based Image Inpainting[J]. International Journal of Advanced Engineering Research and Studies, 2012, 1(2):135-137
[3] Liu Yawen, Guan Zhen. A Grid-Based Line Analysis for Street Occlusion Removal and Building Facade Texturing[C]. ASPRS Annual Conference, San Diego, California, 2010
[4] Kang Zhizhong. The Automatic Removal of Tree Occlusion on Building Facade Texture[J]. Nature Science of Shandong Science and Technology University, 2007,26(1):27-29(康志忠.建筑墙面纹理上树木遮挡的自动去除方法[J]. 山东科技大学学报·自然科学版,2007,26(1):27-29)
[5] Wang Xiaosong. Studies on Tree Image Extraction in a Complex Background[D]. Beijing:Beijing Forestry University, 2010(王晓松,复杂背景下树木图像提取研究[D]. 北京:北京林业大学,2010)
[6] Engels C, Tingdahl D, Vercruysse M, et al.Automatic Occlusion Removal from Facades for 3D Urban Reconstruction[J]. Lecture Notes in Computer Science, 2011, 6915(6):681-692
[7] Zhang Yongjun, Heipke C, Butenuth M, et al. Automatic Extraction of Wind Erosion Obstacles by Integration of GIS Data, DSM and Stereo Images[J]. International Journal of Remote Sensing, 2006, 27(8):1677-1690
[8] Seii E M. Theory Perceive the Color, Introduction to Graphic of Computer[EB/OL]. http://semmix.pl/color/default.htm, 2002
[9] Wang Dakai, Hou Yuqing, Peng Jinye. The PDE Methods of Image Processing[M]. Beijing:Science Publishing House, 2008(王大凯,侯榆青,彭进业.图像处理的偏微分方程方法[M]. 北京:科学出版社,2008)
[10] Otsu N. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Trans on Systems, Man, and Cybernetics, 1979, 9(1):62-66
[11] Zhang Yujin. Image Engineering[M]. Beijing:Tsinghua Publishing House, 2007(章毓晋.图像工程[M]. 北京:清华大学出版社,2007)
[12] Liu Yawen, Guan Zhen. Occlusion Removal for Building Facade Texturing[J]. Geomatics and Information Science of Wuhan University, 2005,30(11):1-5(刘亚文,关振.街景建筑物立面纹理遮挡恢复方法研究[J]. 武汉大学学报·信息科学版,2005,30(11):1-5)