快速检索        
  武汉大学学报·信息科学版  2015, Vol. 40 Issue (9): 1180-1187

文章信息

程诗尧, 梅天灿, 刘国英
CHENG Shiyao, MEI Tiancan, LIU Guoying
顾及结构特征的多层次马尔科夫随机场模型在影像分类中的应用
Application of Multi-level MRF Using Structural Feature to Remote Sensing Image Classification
武汉大学学报·信息科学版, 2015, 40(9): 1180-1187
Geomatics and Information Science of Wuhan University, 2015, 40(9): 1180-1187
http://dx.doi.org/10.13203/j.whugis20130692

文章历史

收稿日期: 2013-11-15
顾及结构特征的多层次马尔科夫随机场模型在影像分类中的应用
程诗尧1, 梅天灿1 , 刘国英2    
1. 武汉大学电子信息学院, 湖北 武汉, 430072;
2. 安阳师范学院计算机与信息工程学院, 河南 安阳, 455002
摘要: 针对基于像素或基于区域的马尔科夫随机场(Markov random field,MRF)模型仅能描述单一层次影像数据特性的局限,提出了一种综合像素和区域特性的多层次MRF模型,以提高MRF模型表达遥感数据层次特性的能力。为利用高分辨率遥感影像几何结构信息来提高不同地物的可区分性,提出了一种描述地物结构特性的形状特征,用于区分光谱特性相似的不同地物。本文的分类算法包括两个过程:首先,基于像素和区域特征,采用多层次MRF模型进行初始分类;然后,基于形状特征采用SVM对第一步分类结果中易混淆的地物进行分类。根据不同地物采用合适特征量描述可在特征空间中增加可区分性的事实,采用形状特征对基于层次MRF 模型的错分类别进行再分类可有效改善分类精度。同现有基于单一层次的方法相比,实验结果表明该算法的分类性能有了明显的改善。
关键词: 马尔科夫随机场     贝叶斯置信传播     结构特征     影像分类    
Application of Multi-level MRF Using Structural Feature to Remote Sensing Image Classification
CHENG Shiyao1, MEI Tiancan1 , LIU Guoying2    
1. School of Electronic Information, Wuhan University, Wuhan 430072, China;
2. College of Computer and Information Engineering, Anyang Normal University, Anyang 455002, China
First author: CHENG Shiyao,master,specializes in remote sensing image processing.E-mail:chengshiyaowork@163.com
Corresponding author: MEI Tiancan,PhD,associate professor.E-mail:mtc@whu.edu.cn
Foundation support: The National Natural Science Foundation of China,Nos.40971219,41001251
Abstract: In order to unitize the image information at different level, this paper introduces a novel approach to integrate the pixel and region feature into MRF model. A structure feature descriptor is proposed to represent the structural characteristics of objects to disambiguate land cover types with similar spectral characteristics. The first step of the proposed algorithm is to classify the input image by using the multi-level MRF model, then the structural feature is used to classify the land cover types prone to misclassified based on the result of the first step. The proposed algorithm is evaluated by being compared with the result with single level MRF model and other existing classification method. Qualitative and quantitative experimental results show that the proposed algorithm can effectively capture the image data characteristics at different level which result in higher classification accuracy.
Key words: Markov random field     Bayesian belief propagation     structure feature     image classification    

随着影像空间分辨率的提高,基于像素光谱信息的分类方法难以有效克服高分影像中存在的“同物异谱”和“异物同谱”现象[1, 2]。在像素光谱信息的基础上,引入高分影像中目标的几何结构信息和空间上下文信息进行高分影像分类已经成为研究人员的一个共识[3]。马尔科夫随机场(Markov random field,MRF)模型作为描述数据相互作用关系的一种数学方法在影像数据上下文关系建模中得到了广泛应用[1, 2, 3]。综合MRF模型所描述的空间上下文信息和影像数据光谱特性及派生的几何结构信息,采用贝叶斯决策的方法进行统计分类成为高分影像分类的一个有效方法[4, 5]

文献[6]提出了基于MRF模型的矩形特征目标的提取算法;文献[7]提出了混合动态MRF模型,能更好地获取中低层尺度下物体的形状、纹理特征;文献[8]则构建了连续变量MRF模型,并与可分离滤波器组相结合,显著地减小了基于MRF模型的影像分类的计算复杂度;文献[9]针对MRF模型空间邻域像素对分类贡献难以确定的难题提出了基于空间引力的MRF模型,对高分影像有较好的分类结果。单尺度MRF模型不能同时解决提高区域边界精度和区域完整性这两方面需求,多尺度马尔科夫模型[10]可以有效地改善这一问题。文献[11]在此基础上提出了改进的多尺度马尔科夫模型的遥感影像分割方法。针对高分影像中结构信息丰富、细节明显的特点,人们将纹理、结构等特征信息引入分类模型,以提高分类精度。文献[12]采用基于像素的方式将结构特征和空间上下文信息引入影像分类模型进行影像分类;文献[13, 14]在区域分割的基础上,以区域为基元,基于区域特征进行分类,区域光谱信息更加稳定,可以描述更大范围的像素间相互作用。基于区域的分类方法假定每个区域只包含一个目标,分割区域轮廓对应目标边界。现有分割方法难以完全满足上述假定。另一方面,现有的MRF模型对不同的地物采用相同的特征向量进行描述,忽略了特征鉴别能力在不同类别之间的差异。

为综合利用不同层次特征的优点,以及在分类不同阶段利用区分能力不同的特征量,本文提出了一种顾及结构特征的层次MRF模型。首先,提出一种将像素和区域这两种不同层次特征统一到最大后验估计(maximum a posterior,MAP)-MRF框架的分类方法[15];在此基础上,采用支撑向量机(support vector machine,SVM)和本文提出的几何结构特征对光谱相似的地物目标进行后续分类。该方法的处理流程如图 1所示。

图 1 影像数据分类流程 Fig. 1 Flowchart of Classification
1 基于多层次特征的MRF模型

如何克服同一地物内部光谱变化范围较大带来的数据建模的困难以及描述更大范围的像素间的相互影响,是影响基于MRF模型分类结果的关键。

在区域分割基础上提取的特征是一个区域内部光谱特征的综合反映,比单个像素特征更稳定。像素特征和区域特征区分不同地物的能力并不相同。例如,房屋、道路等具有规则形状的地物通常具有较大的光谱变化范围,区域特征就比像素具有更大的区分能力。对于植被、水体等地物,像素特征变化较为平缓,基于像素的特征本身就可以准确描述地物特性。根据这一观察,本文提出了一种像素特征和区域特征对后验能量贡献可调整的观测场模型,即顾及结构特征的层次MRF模型(structure hierarchical MRF,SHMRF):

式中,Uf表示观测场能量的大小;等式右边的两项分别表示像素特征以及区域特征的观测场能量;XY分别表示观测场和标记场的随机变量;ypspec表示该像素的光谱特征;ygeop表示基于区域得到的特征;xp表示像素点标注场的一个实现;α、β为权重系数,分别表示像素特征和区域特征对后验能量的贡献。式(1)表示了后验能量由像素特征和区域特征两方面决定,通过选择α、β的值就可以调整区域特征和光谱特征在分类中所起的作用。理想情况下,针对不同的地物类别,α、β的值应该相应地进行改变。本文采用高斯分布描述光谱特征和结构特征,并选择二阶多级逻辑(multi-level logistic,MLL)模型描述标记场特性。

2 基于统计矩的结构特征提取

尽管组合区域与像素特征可提高大部分地物类别在特征空间中的可区分性,但仍有部分类别不能被有效区分。针对这一问题,本文提出了一种描述地物结构的像素特征用于MRF的后续分类。

文献[16]给出了一种基于光谱相似性的结构特征提取方法(length-width extraction algorithm,LWEA)用于区分道路和房屋。文献[7]在此基础上给出了一种结构特征(pixel shape index,PSI)的提取方法。在这两种特征提取方法的基础上,为了兼顾结构特征的描述能力和稳定性,本文给出了一种基于不同方向相似长度3阶统计矩的结构特征。

LWEA特征仅考虑两个特定方向的相似长度,因此存在两个问题:① 相似长度检测易受光照变化等噪声影响,检测结构鲁棒性不强;② 没有考虑其他方向相似长度的信息。图 2给出了第4节实验中道路和房屋目标的LWEA特征的散点分布图(x、y方向分别表示LWEA特征的长度、宽度,单位为像素)。可以看出,两类地物的LWEA特征没有显著分开,不能有效区分房屋和道路。

图 2 房屋和道路的LWEA特征散点图 Fig. 2 LWEA Features Scatterplot of Houses and Roads

图 3(a)图 3(b)分别给出了100个房屋和道路像素点在不同方向的相似长度分布图(x轴表示方向的变化,每10为一个单位;y轴表示相似长度的值,单位为像素)。由于道路和房屋的形状特性不同,它们两者在不同方向的长度分布有明显差异。道路像素点沿道路方向有一个明显的长度峰值,当偏离道路方向时,长度快速减小。房屋像素点虽然也有峰值,但峰值分布在不同的方向且偏离峰值后长度变化平缓。采用长度方向分布图可以区分道路和房屋,但是直接用长度分布作为结构特征,则仅结构特征就有18维(选定的方向数目)。为降低维数,选择长度分布的p阶中心矩来描述地物的结构特征,称为像素形状矩特征(pixel shape moment feature,PSMF)。文献[17]采用相同的矩特征描述图像中指定窗口的几何信息。本文定义的PSMF与文献[17]的区别在于:文献[17]是在指定窗口中统计灰度的直方图,然后基于直方图计算p阶矩以描述窗口中所包含统计的几何信息;本文定义的PSMF是计算每个像素在不同方向的相似长度,基于相似长度的分布计算p阶矩,从而描述每一个像素点的几何结构特征。设定Li为不同方向的相似长度,PSMF定义为:

图 3 房屋和道路不同方向的相似长度分布 Fig. 3 Similar Length Distribution in Different Directions

式中,v0表示长度分布的均值;n为选定方向数目;H(x)是一个阶跃函数。PSMF仅考虑了比均值大的长度Li对PSMF的影响,且Li比均值越大,对PSMF的贡献越大。根据图 3中房屋和道路的长度分布,可以预测道路应该具有比房屋更大的PSMF。图 4给出了对应的同一批样本PSMF值(方框表示道路,十字代表房屋),实际计算结果验证了道路确实具有比房屋更大的PSMF特征值。

图 4 道路和房屋的PSMF Fig. 4 PSMF Features Scatterplot of Houses and Roads
3 基于置信度传播的优化算法

本文采用贝叶斯置信度传播算法(Bayesian belief propagation,BP)[18, 19]求解MRF的优化解。

对应联合区域与像素特征的MRF模型,BP算法中的消息更新方式变为:

式中,mp→qt(fq)表示在第t次迭代下像素点p传递给像素点q的消息;fpfq表示像素节点p、q;v(fp-fq)表示像素点间的标注场能量大小;Dspep(fp)表示像素点光谱特征观测场能量;Drgnp(fp)表示像素点区域特征观测场能量;ms→pt-1(fp)表示在上一次迭代中其邻域传递给像素点p的消息;α、β分别为频谱关联势函数与区域关联势函数的加权系数,加权系数反映了在分类过程中光谱特征和区域特征对最终分类结果的贡献大小。消息迭代收敛后,每个像素节点的置信度为:

式(6)左边表示当前像素点的置信度大小。取使置信度函数最大的类别作为当前节点的分类类别。由式(6)可知,最终的置信度由两部分构成:一部分是当前节点的光谱和区域关联势函数,它代表当前节点自身对分类结果的影响;另一部分则是当前节点一阶邻域内的点对当前节点传递的消息,即当前节点邻域特征对其分类的影响。因此,不但要权衡每个节点自身特征中频谱和区域特征对分类的贡献,还要权衡节点自身和其邻域对其分类的贡献大小。故式(6)可改为:

式中,γ、θ分别为节点自身和邻域贡献的加权系数。实验证明,不同的加权系数对于分类结果是有明显影响的。在对节点进行类别判断时应合理地设置加权系数,使得最终的分类结果在依据节点特征信息的同时也充分利用了空间上下文信息。

本文所提的联合像素特征与区域特征的分类算法主要的计算步骤如下。

1) 使用均值漂移算法对图像进行过分割;

2) 计算分割后各区域的区域特征;

3) 进行SHMRF建模;

4) 分别用似然度函数定义像素与区域的观测场能量,用MLL模型定义标记场能量;

5) 采用BP算法估计标记场分布;

6) 迭代收敛后根据置信度大小完成分类;

7) 对分类结果中混淆的地物(房屋和道路),采用PSMF特征利用SVM进行序贯分类,得到最终分类结果。

4 实验与分析

为验证所提出算法的有效性,本文设计了3组实验。实验一,对第一阶段分类中不同的特征权重系数对分类结果的影响进行讨论;实验二,在第一阶段分类的基础上对SHMRF分类中易错分的类别进行序贯分类;实验三,对比不同优化方法的分类结果。3组实验均采用误差矩阵以及Kappa系数作为精度评定的定量指标。

实验数据采用高光谱数字图像采集实验系统拍摄的机载高光谱数据,影像覆盖区为华盛顿部分街区(简称为DC-HYDICE)。该数据共有220个波段,实验中选取了其中的3个波段(63、52、36)组成假彩色影像。影像大小为1 280像素×307像素,训练样本集和参考样本集分别如图 5所示。其中,各个类别训练样本个数如表 1所示。

图 5 实验数据及训练样本与参考样本 Fig. 5 Experimental Data and Training Sample and Reference Sample
表 1 用于实验的训练和参考样本 Tab. 1 Training and Reference Sample
分类类别样本数参考样本表示颜色
水体63829610
草地151739648
屋顶339440886
小路5421783
街道208624753
阴影951081
树木162224470
4.1 实验一

对第一阶段分类中不同的特征权重系数对分类结果的影响进行讨论。其中,在使用本文提出的改进算法时,先对实验数据进行区域分割[20]并计算区域特征。

在保证节点自身与其邻域对其贡献相等的条件下(即γθ同比例),分别计算α=1、β=0,α=0、β=1,α=0.5、β=0.5时的分类结果。分类结果的精度评定如表 2所示。其中,生产者精度对应于各类别的漏分误差,用户精度对应于各类别的错分误差。在仅依靠光谱特征进行分类时,由于水体与阴影这对类别的类间光谱特征十分相似,所以分类结果中混淆极为严重,也影响了整体的分类精度,而树木与草地等光谱信息区分性强的地物类别则得到较为准确的分类结果。水体与阴影在区域形状、纹理特征上有明显差异,利用这些差异(如像素长宽特征)就能有效地提高这两类的分类精度,但若仅通过结构信息进行分类,屋顶与草地等类别的分类精度将降低。当取α=0.5、β=0.5后,水体与阴影的分类精度明显提高,从而整体精度也随之提高。

表 2 实验一分类精度对比/% Tab. 2 Comparison of Classification Accuracy in Experiment One/%
方法分类类别 总体
精度/Kappa
水体草地屋顶小路街道阴影树木
光谱分类生产者精度38.8583.6454.0493.2181.2457.2685.571.85
用户精度85.591.9877.1513.7765.493.5887.1771.24
区域分类生产者精度88.1553.9582.2939.9981.9176.4194.2967.85
用户精度98.1798.2364.9661.7372.2428.6477.0167.74
本文分类生产者精度91.0184.4658.5189.6886.8469.293.2380.76
用户精度96.896.1581.1913.870.2746.686.7180.36

图 6图 7表示了不同的权重比例对最终分类结果造成的影响。其中,纵坐标表示分类精度,横坐标表示光谱特征与结构特征分别所占的比重(将其整体归一化为10)。从图 6中可直观地看出,影像在光谱与结构特征的比例为9∶1时分类效果最好,而其两端的分类效果最差。也就是说,不论是只依靠光谱信息还是结构信息进行分类,其效果都不如本文提出的将像素和区域这两种不同层次特征统一到MAP-MRF框架的分类方法。同理,图 7表示像素节点本身和其邻域特征对最终分类结果的影响。实验证明,本文提出的综合像素和区域两个层次特征的MRF模型充分利用了不同层次的信息,从而可以得到更好的分类结果。同时,理想的区域和光谱特征权重很难得到,如何根据不同的分类对象动态地调整权重系数也将是未来研究的一个重点。

图 6 光谱与区域混合加权分类精度曲线 Fig. 6 Mixed Weighted Classification Accuracy Curve by Spectral and Regional
图 7 自身与邻域权重加权分类曲线 Fig. 7 Mixed Weighted Classification Accuracy Curve by Itself and Neighborhoods
4.2 实验二

针对第一阶段分类中易错分的地物类别,利用PSMF特征对第一阶段分类结果采用SVM分类,以进一步提高分类精度。由表 2可以看出,尽管将像素和区域这两种不同层次特征统一到MAP-MRF框架的分类方法有效地提高了分类精度,但由于现有特征区分能力有限,使得一些类别的分类结果存在明显的混淆。例如屋顶与小路大量的混淆错分,使得屋顶的生产者精度明显降低,而小路的用户精度仅为13.8%。针对这一情况,本文使用PSMF特征,用SVM对屋顶与小路这对混淆类别进行序贯分类,即本文所提出的SHMRF序贯分类方法,最终的分类结果如表 3所示。由表 3可以直观地看出,经过序贯分类,屋顶与小路的混淆明显减少,整体分类精度也明显提高。实验证明,本文提出的PSMF特征很好兼顾了结构特征的描述能力和稳定性,可以更好地区分道路和房屋。

表 3 实验二分类结果误差矩阵 Tab. 3 Classification Error Matrix in Experiment Two
类别水体草地屋顶小路街道阴影树木用户精度/%
水体26 947603880362176596.8
草地24033 488499523042996.15
屋顶4564 02233 14401 3126121384.53
小路041611 68300091.07
街道1 3812036 331021 49525093170.27
阴影14052403017481846.6
树木57218712891760522 81486.71
生产者精度/%91.0184.4681.0694.3986.8469.293.23
整体精度=86.49%Kappa系数=86.11

若将全部特征混合并对所有地物类别进行分类,而不是针对“同物异谱”现象严重的地物类别,分类结果并不理想。将全部特征混合训练并对全部类别利用SVM进行分类,其结果与本文方法的对比见图 8。由于特征维数的提高以及高分影像本身的特点,最终的分类结果没有本文提出的SHMRF序贯分类方法理想。

图 8 SHMRF方法与SVM分类结果对比 Fig. 8 Comparison of the Classification Results by SVM and SHMRF
4.3 实验三

为比较本文提出的改进算法与现有常用的分类算法的性能,采用条件迭代模式算法(iterated conditional mode,ICM)和SVM分类方法与本文方法进行对比。分类结果如图 9所示,且定量精度如图 10所示。从分类结果中可以直观地看出,仅使用光谱特征的ICM算法对于水体与阴影这一组类别的分类也存在有较大错分,这直接影响了其分类的精度。虽然SVM算法对于水体有

图 9 不同的优化分类方法得到的分类结果 Fig. 9 Classification Results Obtained by Different Optimization Methods
图 10 不同方法分类精度对比 Fig. 10 Comparison of Classification Accuracy of Different Methods

较好的分类精度,但是它将全部的阴影类别错分。同时,观察SVM对于小路这一类别的分类,它得到了很好的生产者精度,但是用户精度却很低,生产者精度与用户精度实际上分别对应于丢失误差与包含误差。也就是说对于小路这一类别,SVM算法以大量的错分保证了绝大多数小路的正确分类,显然这样会直接影响其他类别的分类精度。而本文所提出的改进算法则克服了上述问题。

5 结 语

本文提出一种综合不同层次特征的MRF观测场模型,并针对高分遥感影像的特点提出了一种描述地物目标结构特性的特征,用于对MRF分类结果中易混淆的类别进行序贯分类。实验结果表明,本文提出的SHMRF模型相比单一层次的MRF模型,分类性能有了明显改善。对比实验证实了在层次MRF分类基础上,将所提出的结构特性用于后续分类进一步提高了分类性能。如何根据影像数据特性自适应地调整层次特征在分类中所起的作用是下一步研究方向,并尝试采用其他的方法来描述数据的特性,包括混合高斯模型、logistic回归模型以及基于SVM来估计数据的统计分布,从而准确描述影像数据统计特性,提高分类精度。

参考文献
[1] Xu Linlin, Li Jonathan. Bayesian Classification of Hyperspectral Imagery Based on Probabilistic Sparse Representation and Markov Random Field[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(4): 823-827
[2] Li Jun. Spectral-Spatial Hyperspectral Image Segmentation Using Subspace Sultinomial Logistic Regression and Markov Random Field[J]. IEEE Trans Geoscience and Remote Sensing, 2012, 50(3): 809-823
[3] Chen Zheng. Region-Based MRF Model with Optimized Initial Regions for Image Segmentation[C]. IEEE International Conference on Digital Object Identifier, Nanjing, 2011
[4] Chen Y. Hyperspectral Image Classification Using Dictionary-Based Sparse Representation[J]. IEEE Trans Geoscience and Remote Sensing, 2011, 49(10): 3 973-3 985
[5] Chen Y. Hyperspectral Image Classification via Kernel Sparse Representation[J]. IEEE Trans Geoscience and Remote Sensing, 2013, 51(1): 217-231
[6] Liu Yangxing. An MRF Model-Based Approach to the Detection of Rectangular Shape Objects in Color Images[J]. ELSEVIER Signal Processing, 2007, 87(11): 2 649-2 658
[7] Zhou Quan. Learning Dynamic Hybrid Markov Random Field for Image Labeling[J]. IEEE Trans Image Processing, 2013, 22(6): 2 219-2 232
[8] Sun Jian. Separable Markov Random Field Model and Its Applications in Low Level Vision[J]. IEEE Trans Image Processing, 2013, 22(1): 402-407
[9] Zhang Hua. Spatial-Attraction-Based Markov Random Field Approach for Classification of High Spatial Resolution Multispectral Imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(2): 489-493
[10] Bouman C. Multiple Resolution Segmentation of Textured Images[J]. IEEE Pattern Analysis and Machine Intelligence, 1991, 13(2): 99-113
[11] Shi Qiang, Chen Fenge. The Remote Sensing Image Segmentation Based on SVM Posterior Probability and Improved MSRF[J]. Geomatics and Information Science of Wuhan University, 2013, 38(2):195-200 (石强, 陈凤娥. SVM后验概率结合改进多尺度MRF的遥感影像分割方法[J]. 武汉大学学报\5信息科学版, 2013, 38(2):195-200)
[12] Bruzzone. L A Multilevel Context-Based System for Classification of very High Spatial Resolution Images[J]. IEEE Trans Geoscience and Remote Sensing, 2006, 44(9): 2 587-2 600
[13] Zhang Liangpei. A Pixel Shape Index Coupled With Spectral Information for Classification of High Spatial Resolution Remotely Sensed Imagery[J]. IEEE Trans Geoscience and Remote Sensing, 2006, 44(10): 2 950-2 961
[14] Wang Leiguang. Image Segmentation Using Multiregion-Resolution MRF Model[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(4): 816-820
[15] E Longjiang. Using a MAP-MRF Model to Improve 3D Mesh Segmentation Algorithms[C]. IEEE Southeastcon, Jacksonville, F L, 2013
[16] Shackelford A. A Hierarchical Fuzzy Classification Approach for High-Resolution Multispectral Data Over Urban Areas[J]. IEEE Trans Geoscience and Remote Sensing, 2003, 41(9): 1 920- 1 932
[17] Kumar S, Heber M. Discriminative Random Fields[J]. International Journal of Computer Vision, 2006, 68(2):179-201
[18] Felzenszwalb P F. Efficient Belief Propagation for Early Vision[J]. International Journal of Computer Vision, 2006, 70(1):41-45
[19] Yedidia J S. Constructing Free-Energy Approximations and Generalized Belief Propagation Algorithms[J]. IEEE Trans Information Theory, 2005, 51(7): 2 282-2 312
[20] Comaniciu D. Mean Shift: A Robust Approach toward Feature Space Analysis[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619