-
随着GeoEye-1、WorldView-3等高分辨率遥感卫星的成功发射,目前高分辨率遥感影像已经被应用在遥感领域的方方面面,如地物要素分类、目标识别、城市变化检测等[1]。由于传统像素级分类及特征提取的方法(如灰度共生矩阵(gray level co-occurrence matrix, GLCM)[2]、像元形状指数(pixel shape index, PSI)[3]等)容易受到椒盐效应的影响[4],而面向对象特征提取方法更符合人脑的认知机制,因此,面向对象分析技术以其先天的优越性成为了近年来研究的主要方向[5-6]。
面向对象分析技术本质上可由影像分割和对象级特征提取两部分组成[7]。影像分割是面向对象分析技术的基础,而且分割结果的好坏往往直接影响地物分类及目标提取的精度。目前的影像分割方法更多地指向基于空间(纹理、结构、形状)信息的研究[8-9],只有很少的方法能够在区域增长的过程中有效地结合光谱信息和形态学信息[10]。文献[11]提出了一种利用差分形态学剖面表征影像空间特征的方法,但其仅利用形态学特征进行区域增长。文献[12]提出了一种基于最小生成树的多尺度分割算法,但是该方法在区域合并过程中仅考虑了光谱特征的影响。因此,本文在有限光谱信息的基础上,融合数学形态学提取的结构信息, 实现了一种基于区域增长的遥感影像分割算法,并在此基础上提取了面向对象的GLCM特征、面向对象的PSI特征,最后,利用目视判读和分类对比实验对上述方法进行了精度评价。
-
针对高分辨率遥感影像分割问题,目前有两种主流的解决思路:一是基于边缘提取的分割方法[13];二是基于区域生长的分割方法[14]。由于高分辨率遥感影像细节信息繁杂,噪声区域较多,而基于边缘提取的分割方法对噪声较为敏感,因此,本文的设计思路是采用基于区域生长的分割方法。
本文提出的影像分割方法基本流程如图 1所示。首先,在原始高分辨率遥感影像上提取差分多尺度形态学序列特征(differential morphological profiles, DMPs)[11],将光谱信息与DMPs信息相结合构成光谱DMPs(spectral DMPs, SDMPs)特征集,然后利用Hausdorff距离构建边权值[15],利用最小生成树Kruskal算法完成影像的初始分割[16],最后借鉴分形网络进化的区域合并方法完成区域合并[17],生成最终的分割结果图。
图 1 融合光谱及形态学信息的影像分割方法
Figure 1. Image Segmentation Method Using Spectral and Morphological Information
本文设计的影像分割方法主要包括以下几个关键步骤:
1) 种子点的选择。关于种子点选择大体上有人工选取、随机选择以及基于梯度的自动选择3种方法。人工选择因需要消耗大量的人力物力而不适合高分辨率遥感影像;随机选择(如从左上角像素开始生长)虽然不需要人工辅助,但是,该方法的分割结果易受生长顺序的影响[18]。本文采用的最小生成树Kruskal算法属于基于梯度的自动选择方法,其基本思想是将影像分割问题转化为一个图论中的树生长问题,初值种子点自动选取于边权值为最小值的一条边。
2) 同质性计算准则。在计算边权值之前,首先需要给出每个像素所对应的光谱-形态学特征集:
$$ M\left( x \right) = \left\{ \begin{array}{l} D_{{\rm{OBR}}}^\alpha \left( x \right), \forall \alpha \in \left[{1, 2 \ldots n} \right]\\ {S_i}, \forall i \in \left[{1, 2 \ldots m} \right]\\ D_{{\rm{OBR}}}^\alpha \left( x \right), \forall \alpha \in \left[{1, 2 \ldots n} \right] \end{array} \right. $$ (1) 式中,M(x)表示像素x的光谱-形态学特征集SDMPs;DOBRα表示尺度为α下的差分开重建;DCBRα表示尺度为α下的差分闭重建;Si表示影像各个波段的光谱值;m表示影像的波段数;n表示圆盘型结构元素的最大半径。α尺度下的差分开重建和差分闭重建的定义为:
$$ \begin{array}{l} D_{{\rm{OBR}}}^\alpha \left( x \right) = |\Pi _{{\rm{OBR}}}^\alpha \left( x \right) - \Pi _{{\rm{OBR}}}^{\alpha - 1}\left( x \right)|\\ \alpha \in \left[{1, n} \right]\\ D_{{\rm{CBR}}}^\alpha \left( x \right) = |\Pi _{{\rm{CBR}}}^\alpha \left( x \right) - \Pi _{{\rm{CBR}}}^{\alpha - 1}\left( x \right)|\\ \alpha \in \left[{1, n} \right] \end{array} $$ (2) 式中,ΠOBRα(x)和ΠCBRα(x)分别表示像素x在尺度α下的开重建和闭重建滤波。需要说明的是,由于光谱特征与形态学特征的数量级不同,在组成联合特征集之前,需要将所有特征值规划至0到1之间。
构成SDMPs特征集之后,需要利用Hausdorff距离计算相邻像素之间的梯度变化。Hausdorff距离被广泛应用于描述两条曲线之间的相似程度,同时也是度量两个点集之间距离的有效方法。假设A={a1, a2…am},B={b1, b2…bm}分别表示像素a和像素b的SDMPs特征集,则集合A、B的Hausdorff距离可表示为:
$$ \begin{array}{l} H\left( {A, B} \right) = {\rm{max}}\left[{h\left( {A, B} \right), h\left( {B, A} \right)} \right]\\ h\left( {A, B} \right) = {\rm{ma}}{{\rm{x}}_{a \epsilon A}}{\rm{mi}}{{\rm{n}}_{b \epsilon B}}\left( {\parallel a - b\parallel } \right)\\ h\left( {B, A} \right) = {\rm{ma}}{{\rm{x}}_{b \epsilon B}}{\rm{mi}}{{\rm{n}}_{a \epsilon A}}\left( {\parallel b - a\parallel } \right) \end{array} $$ (3) 式中,h(A, B)表示集合B中的所有点与集合A中相应最近点的最大值;h(B, A)同理,表示从集合A到集合B的单向Hausdorff距离;H(A, B)表示点集A、B之间的Hausdorff距离,取h(A, B)与h(B, A)中的较大值,反映两个点集的最大不匹配程度。
结合图论的思想,将影像中每个像素看作生成树中的顶点V,取每个像素的4邻域点对组成生成树的边E,每条边的边权值由式(3)中的H(A, B)计算得到。
3) 种子点生长法则。得到整幅图像的图模型后,分割结果从最低梯度值处的平坦区域开始生长,即将具有最小边权值的像素自动设置为初始种子点,然后,利用Kruskal算法进行图像的初始分割。Kruskal算法的基本思路是按边权值非递减顺序不断将具有最小边权值的边加入到树中,从而形成连通区域。生长过程中需要说明的主要有以下几个方面:
(1) 每条边的生长准则完成相同,即如果相邻像素与种子点之间的Hausdorff距离小于所设阈值Hm,则将该像素合并入种子点所在区域,并标定与种子点相同的区域编号;否则,停止区域在该待选像素方向上的生长。
(2) 所有具有相同最低梯度的边可以同时进行生长,且每个区域在生长过程中不用考虑该待选像素是否已经被赋予其他区域的编号。因此,在所有区域合并完毕后,有些像素会同时具备多个区域编号,此时,这些像素只能合并进入四邻域方向内具有最小边权值的区域。
(3) 该生长过程需要经历多次循环,每次循环完成后,都会生成若干个或大或小的区域,同时,也还会剩余大量不具备区域编号的像素。此时,继续将当前所有未被标记的最小边权值自动选取为种子点,重复上述生长步骤,直到所有像素都被标记为止。
4) 区域融合。初始分割结束后,影像往往处于“过分割状态”,即存在大量细碎而无意义的区域,因此,需要进行区域之间的融合。本文所采用的区域融合方法如下:
(1) 更新细分区域之间的邻域列表。
(2) 根据同质性区域内异质性指数最小的原则确定各区域的最佳合并区域。
(3) 统计区域内的光谱和形状特征,根据区域合并准则,判断两区域是否能够进行合并。
(4) 判断是否将所有区域进行了遍历,如果遍历完全,则转到步骤(5);否则,访问下一个区域,转到步骤(3)。
(5) 判断影像的区域数目是否减少,如果发生了变化,则转到步骤(1);否则,转到步骤(6)。
(6) 将小于像素数Sn的小区域按照最小区域异质性指数的基本原则合并进入相邻的大区域,并生成最终的分割结果图。
关于区域合并准则的制定问题,本文借鉴了分形网络进化理论中联合光谱特征和形状特征进行区域异质性计算的方法[17]。
-
本文在上述多尺度分割结果的基础上,进行了面向对象GLCM特征提取、面向对象PSI特征提取,其基本步骤如下:
1) 在原始影像的基础上,分别进行最优窗口尺寸Wb下的像素级GLCM特征提取,以及最优光谱相似性阈值Tb下的像素级PSI特征提取。与此同时,进行最优尺度参数Scale下光谱-形态学影像分割。需要说明的是,不同参数的最优值根据大量实验获得。GLCM特征包括能量(angular second moment, ASM)、同质性(homogeneity, HOM)、自相关(correlation, COR)、对比度(contrast, CON)、熵(entropy, ENT)共5维特征,PSI特征包括方向线长度平均值即像元形状指数(pixel shape index, PSI)、方向线最长值(Length)、方向线最短值(Width)、方向线长短值比例(Ratio)、方向线长度变化方差(variance, Var)共5维特征。
2) 统计各个分割区域内所有像素的GLCM、PSI特征平均值,从而获得对象级GLCM、PSI特征。
-
为了验证本文分割算法的有效性,设计了如下两组实验:一组实验主要验证算法的分割效果,使用QuickBird华盛顿地区的三波段RGB影像,影像大小为489×580像素;另一组实验主要验证算法的实现效率,选择了Pleiades同一地区的3波段RGB影像,影像大小为4 775×1 090像素。
本文利用eCognition 8.0软件、Meanshift算法[19]进行对比实验,针对第一幅影像,经过大量实验得到本文分割方法的最优实验参数为:Hm=0.025,Sn=30,光谱值权系数wcolor=0.9,形状紧致性权系数wcompact=0.5,Scale=60。与此同时,由于eCognition 8.0所需要的分割参数wcolor、wcompact、Scale与本文方法的参数完全一致,所以,同样可以保证其在最优参数下进行实验。另外,实验也对比了光谱域带宽hr=7、空间域带宽hs=6.5的Meanshift算法实验结果,分割结果对比如图 3、4所示。
图 3 本文方法、eCognition 8.0和Meanshift算法的分割结果对比图
Figure 3. Segmentation Results by the Proposed Method, eCognition 8.0 and Meanshift
图 4 本文方法、eCognition 8.0和Meanshift算法的局部放大图对比
Figure 4. Partial Enlarged View of Segmentation Results by the Proposed Method, eCognition 8.0 and Meanshift)
对比分析图 3、4的实验结果,可以发现本文方法的分割结果在整体效果上优于同参数的eCognition 8.0和Meanshift算法的分割效果。对于水体、植被等同质性较强的地物类别来说,3种方法的分割效果相当;而本文分割方法的优势在于房屋、阴影的分割效果较好,主要表现在房屋、阴影的边缘线定位较为准确,房屋、阴影自身的连通性较完好,而eCognition 8.0和Meanshift算法在分割房屋、阴影等弱边缘地区时出现了大量的双边缘现象。分析原因主要是因为本文分割方法有效地结合了影像的形态学信息,其中,差分多尺度开重建能够有效地提取影像上的亮特征,主要包括建筑物;而差分多尺度闭重建能够有效提取影像上的暗特征,主要包括阴影。
为了对3种分割方法的计算效率进行评估,利用Pleiades影像进行实验,实验过程中本文方法与eCognition 8.0采用相同的分割尺度参数,Meanshift采用最优分割结果下的参数,效率评估如表 1所示。
表 1 3种分割方法的计算效率评估/s
Table 1. Efficiency Assessment for Segmentation Methods/s
分割方法 本文方法 eCognition 8.0 Meanshift 实验耗时 45 61 65 通过表 1的耗时统计可以看出,本文方法在计算效率上比eCognition 8.0、Meanshift有一定的提升,分析原因主要是:基于并查集的Kruskal算法在图G(V, E)上的算法复杂度为O(|E|lg|V|),在渐进意义上计算效率是最高的。
-
1) 比较不同尺度(窗口大小w分别为3、5、7、9、11及面向对象)条件下,5维GLCM特征(ASM、HOM、COR、CON、ENT)的分类精度。
针对QuickBird影像,经过大量实验可得Wb=11。分类实验均采用8维特征(5维GLCM特征+3维光谱特征)输入径向基核函数支持向量机(radial basis function-support vector machine, RBF-SVM)的方式,并通过总体精度(overall accuracy, OA)的大小进行精度评价,评价结果如表 2所示。
表 2 不同尺度下GLCM特征的分类精度对比(%)
Table 2. Classification Accuracy Comparison for GLCM Features with Different Scales(%)
尺度 3 5 7 9 11 面向对象 OA 88.15 90.83 91.29 91.43 91.66 93.63 分析表 2可以得到以下结论:对象级GLCM特征能够取得比像素级GLCM特征更高的分类精度,从而说明了本文对象级空间特征提取方法的有效性。最优窗口尺度下的像素级GLCM分类结果图以及对象级GLCM分类结果图如图 5所示。
图 5 像素级和对象级GLCM的分类结果对比图
Figure 5. Classification Results by Optimal Pixel-Based GLCM and Object-Based GLCM
2) 比较不同尺度(光谱相似性阈值T1分别为10、20、30、40、50、60、70、80及面向对象)条件下,5维PSI特征(PSI、Length、Width、Ratio、Var)的分类精度。
针对QuickBird影像,经过大量实验可得Tb=70。分类实验均采用8维特征(5维PSI特征+3维光谱特征)输入RBF-SVM的方式,并通过总体精度的大小进行精度评价,评价结果如表 3所示。
表 3 不同尺度下PSI特征的分类精度对比
Table 3. Classification Accuracy for PSI Features with Different Scales
尺度 10 20 30 40 50 60 70 80 面向对象 OA(%) 90.80 89.54 89.73 90.51 91.42 90.07 92.12 92.06 93.98 分析表 3可以得到类似的结论:对象级PSI特征能够取得比像素级PSI特征更高的分类精度,从而再次说明了本文对象级空间特征提取方法的有效性。最优窗口尺度下的像素级PSI分类结果图以及对象级PSI分类结果图如图 6所示。
-
本文针对高分辨率遥感影像光谱信息有限、空间信息丰富的特点,提出了一种融合光谱信息和数学形态学信息的高分辨率遥感影像多尺度分割方法,并分别利用QuickBird影像、Pleiades影像对本文分割方法的效果、效率进行了测试。实验结果显示,本文的分割方法在效果和效率上皆优于eCognition8.0软件和Meanshift算法。得到分割结果之后,本文在此基础上提取了面向对象的GLCM特征和面向对象的PSI特征,并利用径向基核函数的支持向量机对比了对象级与像素级GLCM、PSI特征的分类结果,实验结果再次证明了本文分割算法的优效性。
当然,本文方法也存在一定的弊端,如较eCognition8.0多尺度分割方法和Meanshift算法具有更多的参数,而且参数的精确获取需要大量人工实验,如何自动化地获取最优分割参数是下一步的研究重点。
Objected-Based Structural Feature Extraction Method Using Spectral and Morphological Information
-
摘要: 针对传统的高分辨率遥感影像分割方法仅利用光谱特征或者形态学特征的弊端,提出了一种融合光谱信息和形态学信息的多尺度分割算法。该算法首先利用差分多尺度形态学序列特征与影像光谱特征构造光谱-形态学特征集,然后利用Hausdorff距离计算相邻像素的边权值并构造图模型,利用最小生成树Kruskal算法完成影像的初始分割,最后结合分形网络进化的区域异质性准则完成区域合并。在该分割结果的基础上,提出了面向对象的灰度共生矩阵特征和面向对象的像元形状指数特征。实验结果显示,所提出的分割方法在效果和效率上均优于eCognition 8.0和Meanshift算法,并且对象级灰度共生矩阵特征和对象级像元形状指数特征明显优于传统的像素级特征。
-
关键词:
- 差分形态学多尺度序列 /
- Hausdorff距离 /
- 对象级灰度共生矩阵 /
- 对象级像元形状指数
Abstract: In order to overcome the drawbacks of using either spectral or morphological features for traditional image segmentation methods, a multi-scale image segmentation method using both the spectral and morphological information is proposed. First of all, Differential Morphological Profiles are combined with spectral features to form spectral-morphological characteristics. Then, Hausdorff distance is implemented to calculate the weight of edges based on graph theory and minimum spanning tree algorithm Kruskal is applied to complete the initial segmentation of color images. Finally, the obtained segmentation result is refined by a region merging procedure with the regional heterogeneous criteria proposed in fractal network evolution. Furthermore, object-based Gray Level Co-occurrence Matrix and object-based Pixel Shape Index are proposed on the basis of segmentation results. Experimental results show that the proposed segmentation method is more effective and more efficient than eCognition software 8.0 and Meanshift algorithm. In addition, object-based Gray Level Co-occurrence Matrix and object-based Pixel Shape Index are apparently better than traditional pixel-based methods. -
表 1 3种分割方法的计算效率评估/s
Table 1. Efficiency Assessment for Segmentation Methods/s
分割方法 本文方法 eCognition 8.0 Meanshift 实验耗时 45 61 65 表 2 不同尺度下GLCM特征的分类精度对比(%)
Table 2. Classification Accuracy Comparison for GLCM Features with Different Scales(%)
尺度 3 5 7 9 11 面向对象 OA 88.15 90.83 91.29 91.43 91.66 93.63 表 3 不同尺度下PSI特征的分类精度对比
Table 3. Classification Accuracy for PSI Features with Different Scales
尺度 10 20 30 40 50 60 70 80 面向对象 OA(%) 90.80 89.54 89.73 90.51 91.42 90.07 92.12 92.06 93.98 -
[1] Dell'Acqua F, Gamba P, Ferrari A, et al.. Exploiting Spectral and Spatial Information in Hyper-spectral Urban Data with High Resolution[J]. IEEE Geoscience Remote Sensing letters, 2004, 1(4):322-326 [2] 张锦水, 何春阳, 潘耀忠, 等.基于SVM的多源信息复合的高空间分辨率遥感数据分类研究[J].遥感学报, 2006, 10(l):49-57 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=ygxb200601008 Zhang Jinshui, He Chunyang, Pan Yaozhong, et al. The High Spatial Resolution Remote Sensing Image Classification Based on SVM Method with the Multi-Source Data[J]. Journal of Remote Sensing, 2006, 10(l):49-57 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=ygxb200601008 [3] Huang Xin, Zhang Liangpei, Li Pingxiang. Classification and Extraction of Spatial Features in Urban Areas Using High-Resolution Multispectral Imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2007, 4(2):260-264 doi: 10.1109/LGRS.2006.890540 [4] 林栋, 秦志远, 杨婧玮, 等.高分辨率遥感影像多特征协同地物分类方法[J].测绘科学技术学报, 2014, 31(2):167-172 http://www.cnki.com.cn/Article/CJFDTotal-JFJC201402014.htm Lin Dong, Qin Zhiyuan, Yang Jingwei, et al. High Resolution Remotely Sensed Image Classification Method of Multi-Feature Collaboration[J]. Journal of Geomatics Science and Technology, 2014, 31(2):167-172 http://www.cnki.com.cn/Article/CJFDTotal-JFJC201402014.htm [5] Blaschke T. Object Based Image Analysis for Remote Sensing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(1):2-16 doi: 10.1016/j.isprsjprs.2009.06.004 [6] Blaschke T, Hay G J, Kelly M, et al. Geographic Object Based Image Analysis-Towards a New Paradigm[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 87:180-191 doi: 10.1016/j.isprsjprs.2013.09.014 [7] 周亚男, 骆剑承, 程熙, 等.多特征融入的自适应遥感影像多尺度分割[J].武汉大学学报·信息科学版, 2013, 38(1):19-22 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=whch201301005&dbname=CJFD&dbcode=CJFQ Zhou Yanan, Luo Jiancheng, Cheng Xi, et al. Adaptive Multi-scale Remote Sensing Imagery Segmentation Incorporated Multiple Features[J]. Geomatics and Information Science of Wuhan University, 2013, 38(1):19-22 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=whch201301005&dbname=CJFD&dbcode=CJFQ [8] Fauvel M, Benediktsson J A, Chanussot J, et al. Spectral and Spatial Classification of Hyperspectral Data Using SVMs and Morphological Profiles[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(11):3804-3814 doi: 10.1109/TGRS.2008.922034 [9] Dalla M, Benediktsson J A, Waske B, et al. Morphological Attribute Profiles for the Analysis of Very High Resolution Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(10):3747-3762 doi: 10.1109/TGRS.2010.2048116 [10] Liu Jing, Li Peijun, Wang Xue. A New Segmentation Method for very High Resolution Imagery Using Spectral and Morphological Information[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 101:145-162 doi: 10.1016/j.isprsjprs.2014.11.009 [11] Benediktsson J A, Palmason J A, Sveinsson J R. Classification of Hyperspectral Data from Urban Areas Based on Extended Morphological Profiles[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(3):480-491 doi: 10.1109/TGRS.2004.842478 [12] 崔卫红. 基于图论的面向对象的高分辨率影像分割方法研究[D]. 武汉: 武汉大学, 2010 Cui Weihong. Research on Graph Theory Based Object Oriented High Resolution Image Segmentation[D]. Wuhan: Wuhan University, 2010 [13] Li P, Xiao X. Multispectral Image Segmentation by a Multichannel Watershed-Based Approach[J]. International Journal of Remote Sensing, 2007, 28(19):4429-4452 doi: 10.1080/01431160601034910 [14] Carleer A P, Debeir O, Wolff E. Assessment of Very High Spatial Resolution Satellite Image Segmentations[J]. Photogramm Eng Remote Sens, 2005, 71(11):1285-1294 doi: 10.14358/PERS.71.11.1285 [15] Sim D G, Kwon O K, Park R H. Object Matching Algorithms Using Robust Hausdorff Distance Measures[J]. IEEE Trans Image Process, 1999, 8(3):425-429 doi: 10.1109/83.748897 [16] Felzenszwalb P F, Huttenloeher D P. Efficient Graph-Based Image Segmentation[J]. International Journal of Computer Vision. 2004, 59(2):167-181 doi: 10.1023/B:VISI.0000022288.19776.77 [17] Baatz M, Schäpe A. Multiresolution Segmentation: an Optimization Approach for High Quality Multi-scale Image Segmentation[C]. Angewandte Geographische Informations-Verarbeitung XⅡ, Karlsruhe, Germany, 2000 [18] Fan J, Zeng G, Body, M, et al. Seeded Region Growing:An Extensive and Comparative Study[J]. Pattern Recogn Lett, 2005, 26:1139-1156 doi: 10.1016/j.patrec.2004.10.010 [19] Comaniciu D, Meer P. Mean shift:A Robust Approach Toward Feature Space Analysis[J]. Pattern Analysis and Machine Intelligence, 2002, 24(5):603-619 doi: 10.1109/34.1000236 -