-
遥感图像融合在图像处理领域有着重要的地位，它是指通过一定的算法将至少两幅遥感影像的信息融合到一幅影像中，使一幅影像能更完整精确地表达多幅影像的信息[1]。不同遥感图像具有不同的空间分辨率、波谱分辨率、辐射分辨率以及时间分辨率，如果能结合不同分辨率的图像各自的优势，则能弥补单一影像的不足，极大地丰富遥感影像的信息。遥感图像融合有提高空间分辨率、改善图像几何精度、增强目标特征、提高分类精度、进行变化检测以及图像信息互补等优势，具有很好的应用意义[2]。目前，遥感图像的融合方法多种多样，对融合图像进行质量评价既可以评定融合方法的融合效果，决定各种融合方法的应用范围；也可以通过分析影响融合图像质量的因素，有针对性地改善融合方法，因此具有较高的研究价值。图像质量评价可分为主观评价和客观评价，主观评价是一种定性评价，评价结果主要取决于人的观察，这种方法比较简单，但由于不同的人观察角度不同，其结果非常不稳定；而客观评价是定量评价，它是从数学统计的角度建立相应的特征评价指标，然后通过这些指标比较融合效果的好坏来评估图像融合效果[3]。图像最终是由人观察的，应与人的主观感受相符，因此，客观评价中符合人眼主观感受的图像质量评价方法的研究代表了研究发展的趋势[3]。目前，比较常见的融合方法有加权融合、Brovey比值融合、Gram-Schmidt(GS)融合、HIS变换(hue intensity saturation transform)融合、主成分分析(principal component analysis，PCA)变换融合、YIQ变换融合、乘积融合、小波融合等[4-6]；用来评价融合图像的一些客观指标有光谱扭曲度、光谱偏差、光谱角、平均梯度、信息熵、相关系数等[7-8]。这些方法的提出都是基于图像像素考虑的，这与人眼对图像的观察角度不一致，对融合图像的评价结果也就与人眼的主观感受不相符。
考虑振幅非线性、对比敏感度函数和检测机制的层次结构3方面，Daly[9]和Lubin[10]分别提出了计算图像间可察觉失真的可视化差分预测算法和可视化差异模型算法。与这两种方法相比，Wang等[11-12]提出的结构相似度(structural similatity, SSIM)方法计算简单，通过提取图像亮度信息、对比度信息和结构信息，并将原始图像和失真图像3种信息的对比进行非线性综合，作为图像质量评价指标，具有更好的评价效果。在该方法基础上，文献[13]通过将图像分块计算局部方差结构相似度，文献[14]通过图像梯度计算对比度信息和结构信息，并增加梯度相位信息，提出了梯度相似度模型。
对全色和多光谱图像而言，遥感图像融合是将全色影像的空间细节信息和多光谱影像的光谱信息传递到融合后的影像中，因此可以通过分析融合图像的光谱信息和空间信息进行质量评价[15]，而考虑人类视觉特征的图像质量评价方法通常能得到很好的结果。与RGB空间相比，HIS空间与主观感受更一致，光谱信息的评价应在HIS空间进行。本文结合人类视觉系统的多通道分解和对比度敏感特征，通过对HIS空间的颜色失真和结构相似度进行修改，从光谱信息和空间信息两方面提出了新的融合图像质量评价方法。
-
人类视觉系统在观察图像时，通常会将其分解为不同的感觉分量，如颜色、方向或频率等，人眼对各个通道分量的感知程度并不相同[16]。对于频率，人眼对高频信息的失真比对低频信息的失真更敏感；对于方向，人眼对水平和垂直方向的信息比对角线方向敏感；而对于彩色图像的颜色，人眼对色调分量的敏感度要高于亮度分量和饱和度分量。
融合图像通常是在RGB空间上显示，人眼会将RGB颜色分解为色调、亮度和饱和度3个分量，这正好与HIS空间的H、I和S成分一致，其中色调和饱和度代表光谱信息，而亮度表示空间信息[17-18]，因此也可以通过将图像RGB空间转换为HIS空间完成人眼对图像的颜色分解。而对融合图像进行频率和方向的分解，可以通过Mallat算法[19]的小波分解来实现，该方法可以将图像分解为不同层的4个子带：低频部分(LL)表示主体结构的近似细节，水平高频影像(HL)表示图像的水平细节，垂直高频影像(LH)表示图像的垂直细节，对角线高频影像(HH)表示图像的对角细节。下一层小波系数是对上一层低频部分的分解，且频率依次降低一倍[20]。
-
人类视觉系统对系统的响应并不依赖目标的绝对亮度，而主要依赖目标和背景的亮度相对变化，可以使用对比度来对亮度相对变化进行有效衡量[21]。对比度敏感在图像上表现为人眼对不同对比度的区域敏感度不同，准确地提取人类视觉系统对比度敏感特征对评价遥感图像质量有重要作用，该特征能使评价结果更符合人眼主观感受。人眼视觉对比度敏感性可由对比敏感度函数(contrast sensitivity function, CSF)来度量，该函数是关于空间频率和方位的函数，目前最常见的是Mannos和Sakrison提出的CSF模型[22]：
$$ \begin{array}{*{20}{c}} {{\rm{CSF}}\left( f \right) = 2.6 \times \left( {0.019\;2 + 0.114f} \right) \cdot }\\ {\exp \left( { - {{\left( {0.114f} \right)}^{1.1}}} \right)} \end{array} $$ (1) 式中，$f = \sqrt {f_x^2 + f_y^2} $，fx、fy为水平方向和垂直方向的空间频率，单位为周期/(°)。
图像的空间频率可以由式(2)计算[23]：
$$ \left\{ \begin{array}{l} {f_x} = \sqrt {\frac{1}{{MN}}\sum\limits_{i = 0}^{M - 1} {\sum\limits_{j = 0}^{N - 1} {{{\left[ {I\left( {i,j} \right) - I\left( {i,j - 1} \right)} \right]}^2}} } } \\ {f_y} = \sqrt {\frac{1}{{MN}}\sum\limits_{i = 0}^{M - 1} {\sum\limits_{j = 0}^{N - 1} {{{\left[ {I\left( {i,j} \right) - I\left( {i - 1,j} \right)} \right]}^2}} } } \end{array} \right. $$ (2) 式中，M表示图像宽度；N表示图像高度；I(i, j)为图像块像素灰度值，将各个子块的频率进行归一化，映射到[0, 0.5]，映射公式如下：
$$ {f_{{\rm{nor}}}} = \frac{{f - {f_{\min }}}}{{2\left( {{f_{\max }} - {f_{\min }}} \right)}} $$ (3) CSF曲线如图 1所示，从图 1中可以看出，人眼对中等频率的信息最敏感，对低高频率信息不敏感，并且随着频率增大或减小，人眼的对比度敏感性下降，在图像表现为人眼对平滑区域和纹理区域不敏感，对边缘和轮廓等信息敏感。
图 1 CSF曲线
Figure 1. CSF Curve
-
对于彩色的融合图像，人眼在感知颜色时，最敏感的是颜色的种类，即色调H；其次为颜色的浓淡，即饱和度S；最后才是颜色的亮度[24]I，根据这一特点，可以重新定义颜色：
$$ C = 9{\rm{H}} + 3{\rm{S}} + {\rm{I}} $$ (4) 假设有两种颜色C1、C2，文献[24]经过实验定义颜色的差异ΔC为：
$$ \Delta C = \left\{ \begin{array}{l} \left| {{C_1} - {C_2}} \right|,\left| {{C_1} - {C_2}} \right| \le 1\;620\\ 3\;240 - \left| {{C_1} - {C_2}} \right|,\left| {{C_1} - {C_2}} \right| > 1\;620 \end{array} \right. $$ (5) 由此，可以定义两幅彩色图像的颜色失真：
$$ {E_c} = \frac{1}{{MN}}\sum\limits_{i = 0}^M {\sum\limits_{j = 0}^N {\Delta C} } $$ (6) 式中，M×N为图像大小；ΔC为两幅图像对应像素的颜色差异。Ec值越大，则图像颜色差异越大，如果用来评价融合图像质量，则图像光谱失真严重。
-
结构相似度(SSIM)是由Wang等[11-12]提出的一种自上而下的全新图像质量评价方法。该方法认为结构信息与图像的平均亮度和对比度无关，它能独立地表现图像结构，而这种结构通过图像细节信息体现，因此SSIM可以用来评价融合图像空间信息。SSIM的定义如下：
$$ \begin{array}{*{20}{c}} {{\rm{SSIM}}\left( {x,y} \right) = }\\ {{{\left[ {l\left( {x,y} \right)} \right]}^\alpha }{{\left[ {\beta \left( {x,y} \right)} \right]}^\beta }{{\left[ {s\left( {x,y} \right)} \right]}^\gamma }} \end{array} $$ (7) 式中，参数α>0，β>0，γ>0是用来调节亮度、对比度和结构信息3部分的权重，通常取α=β=γ=1；l(x, y)、c(x, y)、s(x, y)分别为亮度比较函数、对比度比较函数和结构比较函数，定义为：
$$ \begin{array}{*{20}{c}} {l\left( {x,y} \right) = \frac{{2{\mu _x}{\mu _y} + {C_1}}}{{\mu _x^2 + \mu _y^2 + {C_1}}},c\left( {x,y} \right) = \frac{{2{\sigma _x}{\sigma _y} + {C_2}}}{{\sigma _x^2 + \sigma _y^2 + {C_2}}},}\\ {s\left( {x,y} \right) = \frac{{{\sigma _{xy}} + {C_3}}}{{{\sigma _x}{\sigma _y} + {C_3}}}} \end{array} $$ (8) 式中，μx、μy、σx、σy、σxy分别为原始图像块和失真图像块亮度均值、标准差和协方差；C1、C2、C3是防止出现分母为0的情况设置的常数。通常取C1=(K1L)2，C2=(K2L)2，C3= C2/2，K1≪1，K2≪1，L是图像像素值的动态范围，L=255。结构相似度可以简化为：
$$ {\rm{SSIM}}\left( {x,y} \right) = \frac{{\left( {2{\mu _x}{\mu _y} + {C_1}} \right)\left( {2{\sigma _{xy}} + {C_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {C_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {C_2}} \right)}} $$ (9) 实际评价图像质量时，局部的SSIM评价算法能得到更好的结果。假设图像分为大小相等的无重叠或重叠的M个子块，计算每一小块的SSIM值后再求平均值即可得到局部结构相似度MSSIM：
$$ {\rm{MSSIM}}\left( {X,Y} \right) = \frac{1}{M}\sum\limits_{i = 1}^M {{\rm{SSIM}}\left( {{x_i},{y_i}} \right)} $$ (10) -
融合全色图像和多光谱图像的图像既要继承多光谱图像的光谱信息，又要具备全色图像的细节信息，因此可以从光谱信息和空间信息两方面来评价融合图像质量。基于对比度敏感特性，本文对颜色失真进行修改实现了光谱评价；基于小波变换对图像的频率和方向分解，本文对SSIM进行修改实现了空间评价，光谱评价和空间评价的综合就是融合图像的整体评价。具体步骤如下。
1) 将融合图像和多光谱图像从RGB空间转变到HIS空间。
2) 融合图像光谱信息评价，主要是光谱失真：
① 对融合图像和多光谱图像的H、I和S分量图进行分块，通过文献[11]以及本文实验，按8×8分块合适；
② 根据颜色失真公式计算融合图像每一子块的失真Eci(i表示分块)；
③计算对比度敏感度值CSFi。融合图像的I分量图表示了其亮度空间信息，依据该分量图计算各子块图像对应的对比度敏感度值CSFi；
④ 评价融合图像的光谱失真。假设子块图像数为n，则光谱评价为：
$$ {\rm{SPEC\_A}} = \sum\limits_{i = 1}^n {{\rm{CS}}{{\rm{F}}_i}} \times E_c^i $$ (11) 3) 融合图像空间信息评价，主要是空间分辨率的提高，I分量表示空间信息，因此主要对该分量进行处理：
① 对融合图像的I分量图和全色图像进行n层小波分解，n的取值有一定要求，n取太小，细节分量与近似分量分离不完全；n取太大，分解效率太低，且近似分量可能太少。本文n取4合适，融合图像分解的小波分量为各层的水平细节分量FHLi、垂直细节分量FLHi、对角线细节分量FHHi以及最终的近似分量FLL，全色图像对应的各层小波分量为BLLi、BHLi、BLHi和近似分量BHH；
② 计算融合图像I分量和全色图像各对应小波分量图之间的结构相似度SSIM，各层细节分量结构相似度为水平分量相似度SSIMHLi、垂直分量相似度SSIMLHi和对角线分量相似度SSIMHHi以及近似分量相似度SSIMLL；
③ 得到人眼对图像频率的对比度敏感度值CSFp，下标p是对该敏感度的标识，用来区别前文中出现的CSF。小波变换具有倍频特性，即第一层细节信息频率最大为f，第二层频率为第一层的1/2，以后每下一层频率都为上一层的1/2，根据小波分解层数，可以划分n+1个频率带，即f~f/2，f/2~f/4…f/2n~0频率带，按相同的比例将CSF曲线在[0，0.5]区间划分同样的区间，计算每一区间的平均CSF就可得到对应频率的对比度敏感度，各层细节分量对应对比度敏感度CSFDpi，近似分量对应对比度敏感度CSFAp；
④ 评价融合图像的空间信息。人眼对水平细节和垂直细节更敏感，而对对角线细节不敏感。因此可设水平分量相似度和垂直分量相似度权值为ω1，对角线分量相似度为ω2，且ω1+ω2=1，ω1>ω2，本文取ω1=0.6，ω2=0.4。每一层细节分量的相似度SSIMDi为：
$$ {\rm{SSIM}}_D^i = \frac{{{\omega _1}\left( {{\rm{SSIM}}_{{\rm{HL}}}^i + {\rm{SSIM}}_{{\rm{LH}}}^i} \right) + {\omega _2}{\rm{SSIM}}_{{\rm{HH}}}^i}}{{2{\omega _1} + {\omega _2}}} $$ (12) 结合近似分量相似度，最终融合图像的空间评价如下：
$$ \begin{array}{*{20}{c}} {{\rm{SPEC\_A}} = }\\ {\frac{{{\rm{CSF}}{{\rm{A}}_p} \times {\rm{SSI}}{{\rm{M}}_{{\rm{LL}}}} + \sum\limits_{i = 1}^n {{\rm{CSFD}}_p^i + {\rm{SSIM}}_D^i} }}{{{\rm{CSF}}{{\rm{A}}_p} + \sum\limits_{i = 1}^n {{\rm{CSFD}}_p^i} }}} \end{array} $$ (13) 4) 两种评价的综合。光谱信息的评价SPEC_A越小，融合图像光谱信息保持越好，质量越好；空间信息的评价SPACE_A越大，融合图像空间分辨率越高，质量越好。考虑光谱评价和空间评价结果与融合图像质量的一致性以及量级后，进行简单的线性加权，得到融合图像的最终质量评价：
$$ {\rm{FUSE\_A}} = \alpha \lg {\rm{SPEC\_A}} + \beta \lg \frac{1}{{{\rm{SPACE\_A}}}} $$ (14) 式中，α、β是光谱评价和空间评价的加权值，加权值越大，表示融合图像对应的那一方面越重要。可令α+β=1，本文取α=0.5，β=0.5。FUSE_A越小，融合图像质量越好，FUSE_A越大，融合图像质量越差。
-
实验选取的数据是法国城市Brest的SPOT5图像以及国内山东日照的高分二号卫星(GF-2)图像。SPOT5多光谱图像第一波段为绿波段，第二波段为红色波段，第三波段为近红外波段，空间分辨率为20 m，而全色波段空间分辨率为10 m，两者相差2倍。GF-2多光谱图像第一波段为蓝波段，第二波段为绿波段，第三波段为红波段，第四波段为近红外波段，空间分辨率为3.2 m，而全色波段空间分辨率为0.8 m，两者相差4倍。考虑到融合方法的效率问题，本文在配准后的多光谱图像和全色图像中裁取400×400像素的大小进行融合实验，裁取数据(多光谱图像是假彩色合成结果)见图 2。
图 2 SPOT5与GF-2多光谱图像和全色图像
Figure 2. Multi-spectral Image and Panchromatic Image of SPOT5 and GF-2
本文中SPOT5数据来源于http://cs.rsgs.ac.cn/cs_cn/query/query_txt.asp，GF-2数据来源于http://pan.baidu.com/s/1c2GooPa。多光谱和全色图像间的配准、两种图像的融合以及RGB空间到HIS空间的转换是基于ENVI4.8实现的，而融合图像的质量评价则通过MATLAB7.0实现。
对于多光谱图像和全色图像的融合，实验选择的融合方法为加权融合、Brovey比值融合、GS融合、HIS变换融合、PCA变换融合、YIQ变换融合和乘积融合，为了便于人眼观察，图像局部放大图见图 3和图 4。
图 3 SPOT5原图及融合图像局部放大(水岸)
Figure 3. Local Magnification of SPOT5 Original Image and Fused Images(Waterfront)
图 4 GF-2原图及融合图像局部放大(建筑物)
Figure 4. Local Magnification of GF-2 Original Image and Fused Images(Building)
本次实验对各种融合图像的质量评价包含3个方面：①融合图像光谱信息评价的新方法与传统方法的比较; ②融合图像空间信息评价的新方法与传统方法的比较; ③ 3个融合图像的综合评价与主观评价的一致性。
评价光谱信息的实验中，本文以光谱扭曲度、光谱偏差和光谱角为指标来进行评价。评价光谱信息的各个客观指标越大，融合图像光谱质量越差，反映在评价曲线上呈递减；反之，评价曲线递增，则方法的评价越好。两组数据的光谱评价结果见表 1、表 2、图 5(a)和图 6(a)；评价空间信息的实验中，本文与平均梯度、联合熵和空间相关系数3个指标比较，评价空间信息的各个客观指标越小，融合图像空间质量越差，评价曲线呈递减，则方法的评价越好，空间信息评价结果见表 3、表 4、图 5(b)和图 6(b)；综合评价融合图像的实验中，综合指标越大，融合质量越差，所以评价曲线递增性越好，则融合综合评价与主观评价越一致，综合评价结果见表 5、表 6、图 5(c)和图 6(c)。
表 1 不同方法的SPOT5融合图像光谱评价结果
Table 1. Spectral Assessment of SPOT5 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 6 2 1 3 4 7 5 光谱扭曲度 23.117 24.719 25.74 28.989 29.4 27.892 33.819 光谱偏差 1.143 80 0.678 34 1.406 70 0.566 91 1.404 80 1.604 80 0.587 45 光谱角 0.300 71 0.309 07 0.306 24 0.388 46 0.364 80 0.316 64 0.385 36 SPEC_A 365.73 294.14 290.33 319.07 337.74 505.61 347.02 表 2 不同方法的GF-2融合图像光谱评价结果
Table 2. Spectral Assessment of GF-2 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 6 2 1 4 3 7 5 光谱扭曲度 22.62 24.765 26.433 25.194 26.967 29.414 17.103 光谱偏差 0.283 29 0.308 56 0.305 03 0.236 37 0.312 77 0.428 15 0.209 00 光谱角 0.199 57 0.220 79 0.230 25 0.227 84 0.233 08 0.262 11 0.153 52 SPEC_A 437.09 345.57 309.84 365.68 329.59 595.17 404.68 
图 5 SPOT5评价曲线
Figure 5. SPOT5 Assessment Curves
图 6 GF-2评价曲线
Figure 6. GF-2 Assessment Curves
表 3 不同方法的SPOT5融合图像空间评价结果
Table 3. Space Assessment of SPOT5 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 3 4 1 5 2 6 7 相关系数 0.987 15 0.996 62 0.998 98 0.983 56 0.989 76 0.946 05 0.970 36 联合熵 11.284 10.825 12.271 10.558 12.147 12.501 10.967 平均梯度 18.839 24.786 24.765 23.188 23.621 24.011 14.951 SPACE_A 0.949 78 0.924 74 0.959 57 0.918 72 0.956 65 0.907 08 0.841 96 表 4 不同方法的GF-2融合图像空间评价结果
Table 4. Space Assessment of GF-2 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 5 4 1 6 3 2 7 相关系数 0.992 18 0.996 95 0.995 01 0.973 96 0.993 57 0.986 50 0.980 00 联合熵 10.363 9.787 4 10.825 9.289 8 10.742 10.857 10.822 平均梯度 11.727 14.544 14.543 14.192 14.409 15.268 10.096 SPACE_A 0.867 33 0.923 44 0.932 41 0.866 50 0.930 50 0.929 19 0.822 95 表 5 不同方法的SPOT5融合图像综合评价结果
Table 5. Overall Assessment of SPOT5 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 融合主观排序 5 2 1 3 4 7 6 SPEC_A 365.73 294.14 290.33 319.07 337.74 505.61 347.02 SPACE_A 0.949 78 0.924 74 0.959 57 0.918 72 0.956 65 0.907 08 0.841 96 FUSE_A 1.292 8 1.251 3 1.240 4 1.270 4 1.273 9 1.373 1 1.307 5 表 6 不同方法的GF-2融合图像综合评价结果
Table 6. Overall Assessment of GF-2 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 融合主观排序 5 3 1 4 2 7 6 SPEC_A 437.09 345.57 309.84 365.68 329.59 595.17 404.68 SPACE_A 0.867 33 0.923 44 0.932 41 0.866 50 0.930 50 0.929 19 0.822 95 FUSE_A 1.351 2 1.286 6 1.260 8 1.312 7 1.274 6 1.403 3 1.345 9 图 5(a)和图 6(a)的曲线体现了融合图像的光谱评价各指标与主观评价的一致性。从光谱评价曲线图中可以看到，光谱扭曲度、光谱偏差和光谱角对应的曲线呈现明显的起伏落差，说明对于两组融合数据的光谱评价，这3个指标与主观评价非常不一致。SPEC_A曲线在图 5(a)中呈递增，说明本文的指标对于SPOT5融合图像的评价与主观评价完全一致；图 6(a)的SPEC_A曲线除了在主观排序2和3之间有下降外，基本上是递增的，说明相比传统指标，本文提出的指标对GF-2融合图像的评价与主观评价有更好的一致性。
图 5(b)和图 6(b)的曲线体现了融合图像的空间评价各指标与主观评价的一致性。从空间评价曲线图中可以看到，联合熵、平均梯度对应的曲线呈现很大的起伏落差，说明这两个指标对于两组融合数据的空间评价与主观评价非常不一致；而相关系数对应的曲线大致是递减的，与主观评价的一致性更加明显；但对于不同的融合方法，相关系数之间的差别太小，可能会难以确定融合方法的优劣。图 5(b)中，本文SPACE_A曲线呈递减，并且不同融合图像的指标值有明显的差别，说明SPACE_A指标能够更好地评价SPOT5融合图像；在图 6(b)中，本文SPACE_A曲线虽有小的起伏，但SPACE_A与其他3个指标相比，曲线递增性很明显，说明SPACE_A指标与主观评价更一致，评价GF-2融合图像效果更好。
图 5(c)和图 6(c)体现了融合图像综合评价与主观评价的一致性，图 5(c)曲线呈递增，说明综合指标对于SPOT5融合图像的评价与主观评价完全一致，图 6(c)虽在主观评价5和6之间有下降，但总体上是呈递增的，说明综合指标对于GF-2融合图像的评价与主观评价有很好的一致性。综合评价与主观评价的一致性说明本文方法无论是光谱评价还是空间评价，都有很好的效果。
-
对遥感融合图像进行质量评价是十分必要的工作，但一些常用的客观指标存在与人眼主观评价不一致的问题。针对此，本文提出了一种新的融合图像质量评价方法。该方法主要是考虑融合图像空间信息和光谱信息，并综合这两方面的评价得到融合图像的整体评价。本文对SPOT5和GF-2多光谱图像和全色图像的7种融合图像进行了质量评价。实验表明，与传统的评价指标相比，评价融合图像空间信息和光谱信息的新方法与主观评价有更好的一致性，融合图像的整体评价验证了本文方法能够得到与主观评价一致的结果，方法具有可行性。
-
摘要: 图像质量评价是遥感图像融合必不可少的环节，对融合图像的客观评价具有较好的研究价值，好的客观评价指标应尽量与主观评价一致。针对全色图像和多光谱图像的融合质量评价，在考虑人类视觉系统的多通道分解和对比度敏感特性的基础上，首先修改颜色失真和结构相似度来分别评价光谱信息和空间信息，然后综合两者作为融合图像的整体评价。以SPOT5图像和高分二号卫星图像为原始数据，对7种融合图像的质量进行了评价。实验表明，对于高分辨率的遥感图像，这种引入了人类视觉特征的融合评价方法与主观评价有很好的一致性。Abstract: Image quality assessment plays an important role in remote sensing image fusion. Research on objective evaluation methods is of great value in this field. Because the fused images will be observed by human finally, the best objective evaluation index of image quality should be consistent with the subjective evaluation. After the human visual characteristics are introduced into, image quality evaluation method can get better result. Therefore, based on the multi channels decomposition and contrast sensitivity characteristics of human visual system, this paper proposes a new method to evaluate the fusion quality of panchromatic image and multispectral image. Firstly, the color distortion and structural similarity are modified to evaluate the spectral information and spatial information respectively. Secondly, they are integrated as the overall evaluation of fused image. According to the experiment evaluating quality of different fused images by SPOT image data and GF-2 image data, it proves that the proposed method is in good agreement with the subjective evaluation when the remote sensing image is high resolution data.
-
图 2 SPOT5与GF-2多光谱图像和全色图像
Figure 2. Multi-spectral Image and Panchromatic Image of SPOT5 and GF-2
图 3 SPOT5原图及融合图像局部放大(水岸)
Figure 3. Local Magnification of SPOT5 Original Image and Fused Images(Waterfront)
图 4 GF-2原图及融合图像局部放大(建筑物)
Figure 4. Local Magnification of GF-2 Original Image and Fused Images(Building)
表 1 不同方法的SPOT5融合图像光谱评价结果
Table 1. Spectral Assessment of SPOT5 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 6 2 1 3 4 7 5 光谱扭曲度 23.117 24.719 25.74 28.989 29.4 27.892 33.819 光谱偏差 1.143 80 0.678 34 1.406 70 0.566 91 1.404 80 1.604 80 0.587 45 光谱角 0.300 71 0.309 07 0.306 24 0.388 46 0.364 80 0.316 64 0.385 36 SPEC_A 365.73 294.14 290.33 319.07 337.74 505.61 347.02 
下载: 导出CSV
表 2 不同方法的GF-2融合图像光谱评价结果
Table 2. Spectral Assessment of GF-2 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 6 2 1 4 3 7 5 光谱扭曲度 22.62 24.765 26.433 25.194 26.967 29.414 17.103 光谱偏差 0.283 29 0.308 56 0.305 03 0.236 37 0.312 77 0.428 15 0.209 00 光谱角 0.199 57 0.220 79 0.230 25 0.227 84 0.233 08 0.262 11 0.153 52 SPEC_A 437.09 345.57 309.84 365.68 329.59 595.17 404.68
下载: 导出CSV
表 3 不同方法的SPOT5融合图像空间评价结果
Table 3. Space Assessment of SPOT5 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 3 4 1 5 2 6 7 相关系数 0.987 15 0.996 62 0.998 98 0.983 56 0.989 76 0.946 05 0.970 36 联合熵 11.284 10.825 12.271 10.558 12.147 12.501 10.967 平均梯度 18.839 24.786 24.765 23.188 23.621 24.011 14.951 SPACE_A 0.949 78 0.924 74 0.959 57 0.918 72 0.956 65 0.907 08 0.841 96
下载: 导出CSV
表 4 不同方法的GF-2融合图像空间评价结果
Table 4. Space Assessment of GF-2 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 主观排序 5 4 1 6 3 2 7 相关系数 0.992 18 0.996 95 0.995 01 0.973 96 0.993 57 0.986 50 0.980 00 联合熵 10.363 9.787 4 10.825 9.289 8 10.742 10.857 10.822 平均梯度 11.727 14.544 14.543 14.192 14.409 15.268 10.096 SPACE_A 0.867 33 0.923 44 0.932 41 0.866 50 0.930 50 0.929 19 0.822 95
下载: 导出CSV
表 5 不同方法的SPOT5融合图像综合评价结果
Table 5. Overall Assessment of SPOT5 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 融合主观排序 5 2 1 3 4 7 6 SPEC_A 365.73 294.14 290.33 319.07 337.74 505.61 347.02 SPACE_A 0.949 78 0.924 74 0.959 57 0.918 72 0.956 65 0.907 08 0.841 96 FUSE_A 1.292 8 1.251 3 1.240 4 1.270 4 1.273 9 1.373 1 1.307 5
下载: 导出CSV
表 6 不同方法的GF-2融合图像综合评价结果
Table 6. Overall Assessment of GF-2 Fused Image by Different Methods
评价指标 加权 Brovey GS HIS PCA YIQ 乘积 融合主观排序 5 3 1 4 2 7 6 SPEC_A 437.09 345.57 309.84 365.68 329.59 595.17 404.68 SPACE_A 0.867 33 0.923 44 0.932 41 0.866 50 0.930 50 0.929 19 0.822 95 FUSE_A 1.351 2 1.286 6 1.260 8 1.312 7 1.274 6 1.403 3 1.345 9
下载: 导出CSV
-
[1] PohI C, van Gend'eren J L. Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Application[J]. International Journal of Remote Sensing, 1998, 19(5): 823-854 doi: 10.1080/014311698215748 [2] 韩玲.多源遥感信息融合技术及多源信息在地学中的应用研究[D].西安: 西北大学, 2005 Han Ling. Study of Multi-source Remote Sensing Image Fusion Technology and Multi-source Information's Application to Geoscience[D]. Xi'an: Northwest University, 2005 [3] 马旭东.光学遥感影像压缩及融合的质量评价研究[D].武汉: 武汉大学, 2014 Ma Xudong. Research on Quality Assessment of Image Compression and Image Fusion for Optical Remote Sensing Image[D]. Wuhan: Wuhan University, 2014 [4] 李艳芳, 程新文, 金彪, 等.几种常见影像融合方法的比较[J].地理信息系统, 2009, 7(4):102-105 http://d.old.wanfangdata.com.cn/Periodical/dlkjxx200902036 Li Yanfang, Cheng Xinwen, Jin Biao, et al. Comparison of Several Common Image Fusion Methods[J]. Geospatial Information, 2009, 7(4): 102-105 http://d.old.wanfangdata.com.cn/Periodical/dlkjxx200902036 [5] Maria G A, Jose L S, Raguel G C, et al. Fusion of Multispectral and Panchromatic Images Using Improved HIS and PCA Mergers Based on Wavelet Decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 2002, 42(6): 1291-1299 doi: 10.1109-TGRS.2004.825593/ [6] 邢帅.多源遥感影像配准与融合技术的研究[D].郑州: 信息工程大学, 2004 Xing Shuai. Research on Image Registration and Image Fusion for Multi-sensors Remote Sensing Image[D]. Zhengzhou: Information Engineering University, 2004 [7] 王智均, 李德仁, 李清泉.多进制小波理论在SPOT和TM影像融合中的应用[J].武汉大学学报·信息科学版, 2001, 26(1):24-28 http://ch.whu.edu.cn/CN/abstract/abstract5033.shtml Wang Zhijun, Li Deren, Li Qingquan. Fusion of SPOT-P and TM Multispectral Image by M-band Wavelet Theory[J]. Geomatics and Information Science of Wuhan University, 2001, 26(1): 24-28 http://ch.whu.edu.cn/CN/abstract/abstract5033.shtml [8] 闫利, 岳昔娟, 崔晨风.一种定量确定遥感融合图像空间分辨率的方法[J].武汉大学学报·信息科学版, 2007, 32(8):667-670 http://ch.whu.edu.cn/CN/abstract/abstract1952.shtml Yan Li, Yue Xijuan, Cui Chenfeng. A Method to Quantitatively Determine Spatial Resolution of RS Fused Image[J]. Geomatics and Information Science of Wuhan University, 2007, 32(8): 667-670 http://ch.whu.edu.cn/CN/abstract/abstract1952.shtml [9] Daly S J. The Visible Difference Predictor: An Algorithm for the Assessment of Image Fidelity[J]. Digital Image and Human Vision, 1993, 1666: 179-206 doi: 10.1117-12.135952/ [10] Lubin J. A Visual Discrimination Model for Image System Design and Evaluation[OL]. https://doi.org/10.1142/9789812831200_0010,1995 [11] Wang Z, Bovik A C, Sheikh H R. et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Trans Image Processing, 2004, 13(4): 600-612 doi: 10.1109/TIP.2003.819861 [12] Wang Z, Bovik A C, Lu L. Why Is Image Quality Assessment so Difficult[C]. IEEE Int Conf Acoust Speech and Signal Processing, Orlando, FL, USA, 2002 [13] Aja-Fernandez S, Estepar R S J, Westin C F, et al. Image Quality Assessment Based on Local Variance[C]. The 28th IEEE EMBS Annual International Conference, New York, USA, 2006 [14] 马旭东, 闫利, 曹纬, 等.一种新的利用梯度信息的图像质量评价模型[J].武汉大学学报·信息科学版, 2014, 39(12):1412-1418 http://ch.whu.edu.cn/CN/abstract/abstract3133.shtml Ma Xudong, Yan Li, Cao Wei, et al. A New Image Quality Assessment Mode Based on the Gradient Information[J]. Geomatics and Information Science of Wuhan University, 2014, 39(12): 1412-1418 http://ch.whu.edu.cn/CN/abstract/abstract3133.shtml [15] 刘军, 邵振峰.基于特征结构相似度的遥感影像融合质量评价指标[J].光子学报, 2011, 40(1): 126-131 http://d.old.wanfangdata.com.cn/Periodical/gzxb201101027 Liu Jun, Shao Zhenfeng. Feature-Based Remote Sensing Image Fusion Quality Metrics Using Structure Similarity[J]. Acta Photonica Sinica, 2011, 40(1): 126-131 http://d.old.wanfangdata.com.cn/Periodical/gzxb201101027 [16] 刘书琴, 毋立芳, 宫玉, 等.图像质量评价综述[J].中国科技论文在线, 2011, 6(7): 501-506 doi: 10.3969/j.issn.2095-2783.2011.07.006 Liu Shuqin, Wu Lifang, Gong Yu, et al. Overview of Image Quality Assessment[J]. Sciencepaper Online, 2011, 6(7): 501-506 doi: 10.3969/j.issn.2095-2783.2011.07.006 [17] Carper W J. The Use of Intensity-Huesaturation Transformations for Merging SPOT Panchromatic and Multispectral Image Data[J]. Photogrammetric Engineering and Remote Sensing, 1990, 56(4): 459-467 [18] 刘宇琼.基于像素级多源遥感影像融合技术的研究[D].西安: 长安大学, 2007 Liu Yuqiong. Study on Pixel-Level Multi-source Remote Sensing Data Fusion Technique[D]. Xi'an: Chang'an University, 2007 [19] Mallat S G. A Theory for Multi-resolution Signal Decomposition: The Wavelet Representation[J]. IEEE Transation PAMI, 1989, 11(7): 674-693 doi: 10.1109/34.192463 [20] 王正友, 黄隆华.基于对比度敏感度的图像质量评价方法[J].计算机应用, 2006, 26(8): 1857-1859 http://d.old.wanfangdata.com.cn/Periodical/jsjyy200608032 Wang Zhengyou, Huang Longhua. Image Quality Assessment Method Based on Contrast Sensitivity[J]. Computer Application, 2006, 26(8): 1857-1859 http://d.old.wanfangdata.com.cn/Periodical/jsjyy200608032 [21] Shen J H. On the Foundations of Vision Modeling Ⅰ. Weber's Law and Weberized TV Restoration[J]. Physica D Nonlinear Phenomena, 2003, 175(3): 241-251 [22] Mannos J L, Sakrison D J. The Effects of a Visual Fidelity Criterion on the Encoding of Images[J]. IEEE Trans Information Theory, 1974, 4:525-536 [23] 胡许明, 张登福, 南栋, 等.基于人眼视觉特征的图像视觉质量评价方法[J].计算机应用, 2012, 32(7):1882-1884, 1889 http://cdmd.cnki.com.cn/Article/CDMD-10358-1014299853.htm Hu Xuming, Zhang Dengfu, Nan Dong, et al. Method of Image Visual Quality Evaluation Based on Human Visual Characteristics[J]. Computer Application, 2012, 32(7): 1882- 1884, 1889 http://cdmd.cnki.com.cn/Article/CDMD-10358-1014299853.htm [24] 李文娟.基于视觉特性的彩色图像质量评估研究[D].长春: 吉林大学, 2006 Li Wenjuan. Study on the Algorithms for HVS-Based Color Image Measurement[D]. Changchun: Jilin University, 2006 -
点击查看大图
图(6) / 表(6)
计量
- 文章访问数: 968
- HTML全文浏览量: 152
- PDF下载量: 187
- 被引次数: 0
