-
时空融合模型是一种能够同时提高遥感影像空间分辨率与时间分辨率的有效方法，在城市变化监测、全球变暖、森林生态等方面具有广泛的应用[1-5]。如何提高遥感影像时空融合的精度具有重要的现实意义。
时空自适应反射率模型[6](the spatial and temporal adaptive reflectance fusion model, STARFM)是一种经典的时空融合模型。它利用前一期30 m分辨率的Landsat数据和250/500 m分辨率的MODIS(moderate-resolution imaging spectroradiometer)数据，以及后一时期的MODIS数据，通过确定不同分辨率与不同时相影像间的时、空、谱的关系来确定每个像元融合的权重，从而融合生成后一时期类似Landsat空间分辨率的影像数据。由于STARFM模型具有高效稳定的特点，在其基础上出现了一批改进模型[6-12]。Zhu等[7]借鉴混合像元分解理论在STARFM的基础上提出改进型自适应反射率模型(enhanced STARFM, ESTARFM)。该方法提高了影像在异质区的混合像元的合成精度，但需要两个高分辨率与低分辨率的配对数据。考虑地类的变化信息，Hiker等[8]提出自适应遥感图像时空融合变化监测方法(spatial temporal adaptive algorithm for mapping reflectance change, STAARCH)，通过系列MODIS数据确定地类发生扰动变化的时间点，能够更加细致地反映地表空间和时间的变化。考虑MODIS与Landsat的传感器差异，Shen等[9]通过对不同地物类型分别利用STARFM建立模型，提高了影像的融合质量。
上述方法虽然一定程度上提高了影像时空融合的质量，但它们可能导致两方面的不足：①在空间邻近像元处理方面，STARFM模型使用固定大小的窗口寻求相似像元，但影像中既存在纹理特征丰富的区域，也存在纹理稀疏的区域，应该在融合模型中有所顾及。②STARFM模型采用各向同性的方法搜索相似像元，而实际影像是各向异性的，如在物体的边缘区域。Wu等[10, 13]将控制核引入STARFM模型，使用控制核函数优化权重的方法，提出自适应核回归融合模型(the adaptively local steering kernel regression fusion model, 2DSKRFM)。该模型实现窗口形状与大小随像元与局部邻域关系的自适应调节，但2DSKRFM模型仅利用空间邻域的灰度关系来确定控制核函数，没有顾及多波段光谱信息对控制核函数的影响。因此，本文进一步顾及遥感影像不同波段间的相关性[14, 15]，对2DSKRFM模型的控制核权重函数进行扩展，发展一种3DSKRFM融合模型。
-
在不计遥感影像空间定位误差与成像环境误差的前提下，STARFM模型认为, 预测时刻tj的高分辨影像地表反射率可以由其他时刻的高分辨率和低分辨率影像来融合获取。考虑到空间临近像元的光滑信息，对每个像元通过权重因子进行卷积运算进行融合，其模型如下：
$$ \begin{array}{*{20}{c}} {{\rho _L}\left( {{x_{w/2}},{y_{w/2}},{t_j}} \right) = \sum\limits_{i = 1}^w {\sum\limits_{j = 1}^w {{W_{ij}}\left( {{\rho _L}\left( {{x_i},{y_j},{t_i}} \right) - } \right.} } }\\ {\left. {{\rho _M}\left( {{x_i},{y_j},{t_i}} \right) + {\rho _M}\left( {{x_i},{y_j},{t_j}} \right)} \right)} \end{array} $$ (1) 式中，w表示窗口大小；Wij表示权重函数；(xw/2, yw/2)表示滑动窗口的中心像元；ρL、ρM分别表示高分辨率与低分辨率影像数据的反射率；(xi, yj)表示像元的位置；ti、tj表示影像的获取时间。STARFM确定Wij的方式是通过在固定窗口内搜索相似像元到目标像元的光谱距离、时间距离以及空间距离三者线性相乘。
考虑到STARFM模型没有顾及到影像中的纹理信息与各向异性等的特征，2DSKRFM模型利用影像局部梯度协方差矩阵提供的图像几何结构信息，实现权重自适应调节，则式(1)变为：
$$ \begin{array}{*{20}{c}} {\hat \rho \left( {{x_{w/2}},{y_{w/2}}} \right) = \hat Z\left( {w/2,w/2} \right) = }\\ {\arg \min \sum\limits_{i,j \in w} {{{\left[ {Q\left( {{x_i},{y_j}} \right) - Z\left( {{x_i},{y_j}} \right)} \right]}^2}W_{ij}^k} } \end{array} $$ (2) 式中，Q(xi, yj)=ρL(xi, yj, ti)－ρM(xi, yj, ti)+ρM(xi, yj, tj)；w为窗口的大小；(xw/2, yw/2)为窗口的中心位置；Z(xi, yj)为回归函数；Wijk为自适应回归核；$\hat \rho $(xw/2, yw/2)为预测像元的反射率值。
-
2DSKRFM模型通过引入自适应回归核Wijk确定权重，改进了空间的权重矩阵，实现权重大小与空间范围的自适应调节。但bn没有顾及遥感影像的多波段光谱信息，即回归核Wijk随波段不同而不同。本文综合利用遥感影像的空间和波段相关性，引入三维自适应回归核模型[16, 17]，将2DSKRFM模型扩展至3DSKRFM，以提高影像的时空融合精度，则式(2)改写为：
$$ \begin{array}{*{20}{c}} {\hat \rho \left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right) = \hat Z\left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right) = \arg \min }\\ {\sum\limits_{i,j,n \in \mathit{\Omega }} {{{\left[ {Q\left( {{x_i},{y_j},{b_n}} \right) - Z\left( {{x_i},{y_j},{b_n}} \right)} \right]}^2}W_{ijn}^{3D\ker }} } \end{array} $$ (3) 式中，bn表示第n个波段；Ω表示三维空间的立体窗口；$ \hat \rho $(xΩ/2, yΩ/2, bΩ/2)为预测像元的反射率值；Z(xi, yj, bn)为回归函数；Wijn3Dker表示三维的自适应控制核。由式(3)可以看出，Wijn3Dker改进了2DSKRFM的权重函数bn，引入了影像的波段相关性信息。对Z(xi, yj, bn)在(xΩ/2, yΩ/2, bΩ/2)点处进行泰勒级数展开，设βiT为泰勒展开式中Z(xi, yj, bn)的第i阶导数，记：
$$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{Q}} = \left[ {Q\left( {{x_1},{y_1},{b_1}} \right)Q\left( {{x_1},{y_1},{b_2}} \right) \cdots } \right.}\\ {\left. {Q\left( {{x_i},{y_j},{b_n}} \right)} \right]} \end{array} $$ (4) $$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{b}} = \left[ {\beta _0^{\rm{T}}\left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right)\beta _1^{\rm{T}}\left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right)} \right.}\\ {\left. { - \beta _N^{\rm{T}}\left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right)} \right]} \end{array} $$ (5) $$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{W}} = {\rm{diag}}\left[ {{W^{3D\ker }}\left( {{x_1} - {x_{w/2}},{y_1} - {y_{w/2}},{b_1} - } \right.} \right.}\\ {\left. {{b_{w/2}}} \right){W^{3D\ker }}\left( {{x_2} - {x_{w/2}},{y_2} - {y_{w/2}},{b_2} - {b_{w/2}}} \right) \cdots }\\ {\left. {{W^{3D\ker }}\left( {{x_i} - {x_{w/2}},{y_j} - {y_{w/2}},{b_n} - {b_{w/2}}} \right)} \right]} \end{array} $$ (6) 则式(3)的矩阵形式为：
$$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{\left\{ {{\beta _n}} \right\}} {{\left\| {\mathit{\boldsymbol{Q}} - {X_x}\mathit{\boldsymbol{b}}} \right\|}^2} = }\\ {\mathop {\min }\limits_{\left\{ {{\beta _n}} \right\}} {{\left( {\mathit{\boldsymbol{Q}} - {X_x}\mathit{\boldsymbol{b}}} \right)}^{\rm{T}}}\mathit{\boldsymbol{W}}\left( {\mathit{\boldsymbol{Q}} - {X_x}\mathit{\boldsymbol{b}}} \right)} \end{array} $$ (7) 式中，Xx为每个元素泰勒展开式中的多次项，求解式(7)可以得到所预测像元的值：
$$ \hat Z\left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right) = {{\hat \beta }_0} = {\left( {\mathit{\boldsymbol{X}}_x^{\rm{T}}\mathit{\boldsymbol{W}}{\mathit{\boldsymbol{X}}_x}} \right)^{ - 1}}\mathit{\boldsymbol{X}}_x^{\rm{T}}\mathit{\boldsymbol{WQ}} $$ (8) 式(8)表明W是模型中最重要的一个参数，决定了模型的效果。由式(6)可知，W的值由Wijn3Dker决定，因此考虑式(3)中的Wijn3Dker采用高斯核函数，则Wijn3Dker具体展开为：
$$ \begin{array}{*{20}{c}} {W_{ijn}^{3D\ker } = \frac{{\sqrt {\det \left( {{\mathit{\boldsymbol{C}}_{\mathit{\Omega }/2}}} \right)} }}{{2{\rm{ \mathsf{ π} }}{h^2}}}\exp \left\{ { - \frac{{{{\left( {Q\left( {{x_i},{y_j},{b_n}} \right) - Q\left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right)} \right)}^{\rm{T}}}}}{{2{h^2}}} \cdot } \right.}\\ {\left. {\frac{{{\mathit{\boldsymbol{C}}_{\mathit{\Omega }/2}}\left( {Q\left( {{x_i},{y_j},{b_n}} \right) - Q\left( {{x_{\mathit{\Omega }/2}},{y_{\mathit{\Omega }/2}},{b_{\mathit{\Omega }/2}}} \right)} \right)}}{{2{h^2}}}} \right\}} \end{array} $$ (9) 式中，h表示平滑参数；CΩ/2表示以(xΩ/2, yΩ/2, bΩ/2)为中心, Ω为窗口大小的局部梯度协方差矩阵，其数值决定三维核的形状；det(·)表示矩阵的行列式。由于局部梯度协方差随像元大小及其空间位置的不同而变化，确保三维核能自适应表达图像的局部变化信息。对CΩ/2进行特征值分解，可以得到具体三维变化的参数：
$$ {\mathit{\boldsymbol{C}}_{\mathit{\Omega }/2}} = \mathit{\boldsymbol{\lambda }}\sum\limits_{j = 1}^3 {{\mathit{\boldsymbol{\mu }}_j}{\mathit{\boldsymbol{r}}_j}\mathit{\boldsymbol{r}}_j^{\rm{T}}} $$ (10) 式中，j表示第j维波段；向量λ表示缩放尺度参数；μj表示伸缩参数；rj表示旋转参数；它们对三维核大小、形状的影响如图 1所示。
图 1 参数对核的大小与形状的影响示意图
Figure 1. Schematic Representation of the Effects of the Parameters Exert on the Size and Shape of the Regression Kernel
λ、μj、rj的3个参数值可以通过(xi, yj, bn)处的像元值沿x、y、b方向的一阶梯度构成的矩阵Gi作奇异值分解获得：
$$ {\mathit{\boldsymbol{G}}_i} = {\mathit{\boldsymbol{U}}_i}{\mathit{\boldsymbol{S}}_i}\mathit{\boldsymbol{H}}_i^{\rm{T}} $$ (11) 式中，Uj表示奇异值分解中第一个酉矩阵；Hi=[h1 h2 h3]定义了CΩ/2的旋转向量因子rj。Si是一个3×3阶的对角矩阵，决定了拉伸参数μj的值，表达式为：
$$ {\mu _1} = \frac{{{s_1} + \eta }}{{{s_2}{s_3} + \eta }},{\mu _2} = \frac{{{s_2} + \eta }}{{{s_1}{s_3} + \eta }},{\mu _3} = \frac{{{s_3} + \eta }}{{{s_1}{s_2} + \eta }} $$ (12) 式中，s1、s2、s3为Si对角线的值；η表示正则化参数，用来防止核的形状变得无限的窄和长。μj作用的直观理解为在遥感影像中植被等平坦区域(s1≈s2≈s3)保持三维核的形状为球型，而在不同地物边缘区域(s1≫s2≫s3)三维核的形状拉伸为椭球形，实现了各向异性的相似像元搜索。同时Si也决定了缩放尺度参数λ的值：
$$ \mathit{\boldsymbol{\lambda }} = \left( {\frac{{{s_1}{s_2}{s_3} + \eta }}{M}} \right) $$ (13) 式中，η表示正则化参数；M为Ω窗口内像元的个数。
-
为了验证本文的方法，分别利用合成数据与真实数据进行实验。合成数据(图 2)为鄱阳湖区域的TM数据，通过双线性下采样生成大小为400像元×400像元的图像。图 2(a)是以近红外、中红外和红光3个波段为红-绿-蓝组合显示的假彩色的ETM+影像，获取时间为2004年2月15日。图 2(c)是与图 2(a)对应波段下采样的图像。图 2(b)是2004年4月19日的ETM+图像，其对应的下采样如图 2(d)所示。由于近红外、中红外、红光3个波段合成的图像色彩反差明显，层次丰富，而且各类地物的色彩显示规律与常规合成片相似，易于区分陆地和水体边界的确定[14, 15]。
图 2 鄱阳湖地区ETM+和MODIS假彩色合成数据
Figure 2. Pairs of Images Shown with False-Color Composites in Poyang Lake Area
福州地区的真实数据如图 3所示。图 3(a)和图 3(c)分别为2014年12月5日ETM+和MODIS的标准假彩色图像。图 3(b)和图 3(d)表示2012年12月31日ETM+和MODIS的标准假彩色图像。
图 3 福州地区两组ETM+和MODIS假彩色合成数据
Figure 3. Pairs of Images Shown with False-Color Composites in Fuzhou City
为验证所提出方法，本文从以下3个方面进行试验：①目视比较STARFM、2DSKRFM和3DSKRFM的融合效果；②定量比较STARFM、2DSKRFM和3DSKRFM的融合效果；③分析噪声情况下3DSKRFM模型试验。
-
1) 定性分析
实验使用图 2(b)~2(d)数据来融合生成图 2(a)的影像，并与图 2(a)的真实影像比较进行效果评价。模拟数据合成数据的融合结果如图 4所示，从左往右依次表示STARFM、2DSKRFM、3DSKRFM模型生成的影像。可以看出，3种模型都能生成目视效果较好的融合影像。与真实影像仔细比较，发现图 4中融合影像在椭圆区域，即图 2(c)、2(d)左下角地物变化较大区域，与真实影像目视上有较大偏差。
图 4 STARFM、2DSKRFM和3DSKRFM 3种模型生成的鄱阳湖地区融合影像
Figure 4. The Predicted Reflectance Images of the Poyang Lake Dataset Using STARFM、2DSKRFM and 3DSKRFM
为了进一步比较3种模型的效果，分别将融合影像的每个波段与真实影像每个波段作散点图比较。结果如图 5所示，其中第一列表示在红光波段(band3_Red:TM2004215)3种模型融合的影像与真实影像的散点图，第二列与第三列分别表示在近红外波段(Band4_NIR:TM20040215)和短波红外段(Band5_SWIRI:TM20040215)的散点图。图 5表明这3种方法得到影像与真实影像相关性均较好，比较第三行与前两行的散点分布，可以看出3DSKRFM模型生成影像与真实影像的散点分布更集中在y=x的两侧，其相关系数(CC)分别为0.734 8、0.834 7和0.873 1。3DSKRFM在3个模型中相关系数均为最高，因而生成的影像效果略优于另外2种方法。
图 5 鄱阳湖地区融合影像与真实影像的散点图分布
Figure 5. Scatter Plots of Predicted Against Actual Reflectances with the Poyang Lake Dataset
福州地区的真实数据的融合结果如图 6所示，从左往右依次表示STARFM、2DSKRFM和3DSKRFM模型生成的融合影像。可以看出, 3种融合模型生成的融合影像质量均较好，目视上差异不大。图 7是融合影像与真实影像每个波段的散点图，1~3列分别表示在绿(Band2_Green)波段、红(Band3_Red)波段以及近红外(Band4_NIR)波段3种模型融合的影像与真实影像的散点图。可以看出，图 7(c)的散点分布相比图 7(a)、7(b)集中于y=x两侧，同样表明3DSKRFM的生成影像与真实影像的相关系数最高，分别为0.849 7、0.845 6和0.848 5。
图 6 3种模型生成的福州地区融合影像
Figure 6. The Predicted Reflectance Images of the Fuzhou Dataset
图 7 福州地区融合影像与真实影像的散点图分布
Figure 7. Scatter Plots of Predicted Against Actual Reflectance with the Fuzhou Dataset
2) 定量比较分析
为了定量评价3种融合方法，本文使用绝对平均误差(average absolute difference，AAD)、均方根误差(root mean square error，RMSE)、结构相似性(structure similarity index，SSIM)以及峰值信噪比(peak signal-to-noise ratio，PSNR)4个质量评价指标进行评价[18], 其定义见式(14)~(17)。AAD是一种能够直接反映融合影像像元值与真实影像像元值差值的评价指标，RMSE则是目前影像质量评价广泛使用的评价指标，AAD和RMSE越小表明融合影像与真实影像越相似。SSIM是常用于表示融合影像与真实影像总体上的结构相似性的指标[19]，而PSNR则是通过比较融合影像与真实影像的峰值信噪比反映融合影像质量的评价指标[20]。一般地，SSIM与PSNR越大表示融合影像的质量越好。定量评价的计算结果见表 1，其中融合效果最佳的一个用黑体表示。
表 1 不同质量指标对3种方法生成融合影像的质量评价
Table 1. Quantitative Comparision of the Prediction Accuracy of 3DSKRFM and Other Methods
数据 方法 AAD/(%) RMSE/(%) SSIM PSNR SWIR NIR Red SWIR NIR Red SWIR NIR Red SWIR NIR Red STARFM 0.028 0 0.011 6 0.029 2 0.038 1 0.015 3 0.040 0 0.766 0 0.907 6 0.738 0 28.392 0 36.303 2 27.948 2 鄱阳湖 SKRFM 0.026 3 0.011 1 0.029 2 0.035 6 0.014 6 0.040 0 0.779 9 0.914 2 0.738 0 28.950 1 36.712 4 27.948 7 3DSKRFM 0.025 9 0.010 7 0.028 9 0.035 1 0.014 2 0.039 7 0.784 4 0.921 6 0.738 1 29.085 7 36.971 7 28.021 2 STARFM 0.025 3 0.013 9 0.012 3 0.036 6 0.022 7 0.020 3 0.804 3 0.860 5 0.881 3 28.727 4 32.874 5 33.864 4 福州 SKRFM 0.025 2 0.013 8 0.012 2 0.036 6 0.022 6 0.020 2 0.804 4 0.860 6 0.881 5 28.729 4 32.887 9 33.881 6 3DSKRFM 0.025 0 0.013 5 0.011 9 0.035 9 0.022 2 0.019 8 0.804 9 0.862 6 0.883 4 28.882 0 33.034 5 34.034 7 $$ {\rm{AAD}} = \frac{1}{N}\sum\limits_{i = 1}^N {{\rm{abs}}\left( {{I_i} - {{\hat I}_i}} \right)} $$ (14) $$ {\rm{RMSE}} = \sqrt {\frac{1}{N}\sum\limits_{i = 1}^N {{{\left( {{I_i} - {{\hat I}_i}} \right)}^2}} } $$ (15) $$ \begin{array}{*{20}{c}} {{\rm{SSIM}} = {{\left[ {\frac{{{\sigma _{fr}} + {C_1}}}{{{\sigma _f}{\sigma _r} + {C_1}}}} \right]}^\alpha } \cdot {{\left[ {\frac{{2{\mu _f}{\mu _r} + {C_2}}}{{\mu _f^2 + \mu _r^2 + {C_2}}}} \right]}^\beta } \cdot }\\ {{{\left[ {\frac{{2{\sigma _f}{\sigma _r} + {C_3}}}{{\sigma _f^2 + \sigma _r^2 + {C_3}}}} \right]}^\gamma }} \end{array} $$ (16) $$ {\rm{PSNR}} = 10\lg \left( {\frac{{{D^2}N}}{{\sum\limits_{i = 1}^N {{{\left( {{I_i} - {{\hat I}_i}} \right)}^2}} }}} \right) $$ (17) 式(14)、(15)、(17)中，N表示像元个数；Ii表示融合影像中第i个像元的值；$ \hat I $表示真实影像中第i个像元的值；D是常量。式(16)中，α、β、γ是调节相关系数、均值相关性、对比度相对性的系数；σf表示融合影像的方差；σr表示真实影像的方差；σfr表示两影像的协方差；C1、C2、C3是为了防止分母过小的常数。
从表 1可以看出，3DSKRFM生成的融合影像质量效果最佳，相比STARFM模型，鄱阳湖地区数据的AAD平均减低了0.001 1，RMSE平均减低了0.001 5，SSIM平均提高了0.010 8，PSNR平均提高了0.478 4。2DSKRFM生成的融合影像的质量相比STARFM生成的融合影像也有所提升，AAD和RMSE分别降低了0.000 7和0.001 0，而SSIM和PSNR分别提高了0.006 8和0.322 6。相似地，3DSKRFM在福州地区数据融合的定量评价结果也是最高，相比于2DSKRFM生成的融合影像，AAD平均减低了0.000 3，RMSE平均减低了0.000 5，SSIM平均提高了0.001 5，PSNR平均提高了0.150 7，而2DSKRFM生成的融合影像效果略优于STARFM。以上实验一致性表明本文的方法优于STARFM和2DSKRFM模型。2DSKRFM和3DSKRFM优于STARFM，是由于它们优化了融合的权重；相比与2DSKRFM模型，3DSKRFM的优势是能够更加精确地确定控制核的大小和权重参数。
3) 鲁棒性分析
为了分析3DSKRFM模型对影像噪声的敏感性，进一步分析不同噪声水平下不同方法的融合结果。如果在噪声水平比较大的情况下仍然可以取得较好的融合结果，表明该模型适用于影像质量不高或者时相变化较大的情形。在图 2(b)~2(d)的实验数据中分别添加均值为0，方差依次为0.002 5、0.005、0.007 5、0.01、0.015、0.02的白高斯噪声，当方差为0.02时对应的信噪比为9.5 dB，并观测不同模型所产生的融合效果，来比较STARFM、2DSKRFM和3DSKRFM模型对噪声的敏感度，计算结果如图 8所示。图 8中横轴表示所加高斯噪声方差的大小，纵轴表示融合效果的峰值信噪比(PSNR)，PSNR越大表明融合影像的质量越好。可以看出，随着高斯噪声的增大，3DSKRFM、2DSKRFM以及SKRFM融合效果都有所下降，当所加高斯噪声方差为0.005时，3DSKRFM、2DSKRFM和STARFM这3种模型的PSNR为31.915 dB、31.669 dB和31.641 dB，相比初始值分别减少了0.068 dB、0.163 dB以及0.181 dB。当所加高斯噪声方差为0.015时，3DSKRFM、2DSKRFM、STARFM这3种模型的PSNR为31.351 dB、30.529 dB、30.442 dB，相比初始值分别减少0.632 dB、1.303 dB、1.380 dB，这表明2DSKRFM与STARFM的下降速度远大于3DSKRFM。因而随着噪声强度的增加，3DSKRFM比2DSKRFM和STARFM更加稳定，具有更强的鲁棒性。
图 8 3种模型随噪声增大的变化趋势
Figure 8. Comparisons of Different Variation Trend with the Increase of Noise
-
本文利用遥感影像多光谱以及空间异质性的特征，发展一种新的时空融合方法。该方法提取了图像的多波段几何结构信息，实现了时空融合模型的权重自适应调节。实验证明3DSKRFM明显优于传统的STARFM和2DSKRFM融合模型，并且具有很好的影像抗噪声能力，适用于遥感影像时空融合的实际需求。但本文的方法对遥感影像时间信息考虑不足，对于短时期内变化较大的地物融合效果不佳，后续如何结合更多的遥感影像时间维度信息提高融合效果是需要进一步考虑的问题。
Spatio-Temporal Reflectance Fusion Based on 3D Steering Kernel Regression Techniques
-
摘要: 时空融合是解决遥感数据高重访周期与高空间分辨率矛盾的一种有效方法。发展了一种综合利用遥感数据空间与光谱信息的三维自适应核回归反射率模型（three-dimensional adaptively local steering kernel regression fusion model，3DSKRFM），通过提取每个像元的三维控制核（steering kernel）的局部信息，使时空融合过程中的权重自适应调节，提高遥感时空融合的精度。利用两组ETM+和MODIS（moderate-resolution imaging spectroradiometer）数据进行实验测试，结果表明3DSKRFM相比STARFM和2DSKRFM模型具有两方面的优势：一是充分利用遥感影像多波段的优势，提高融合精度；二是具有更强的鲁棒性，满足实际影像时空融合的需求。Abstract: Spationtemporal fusion is an effective way to overcome contradictions between high temporal resolution and high spatial resolution of remote sensing, which has a wide range of applications in the city change monitoring, global warming, forest ecology and other environmental issues. STARFM model is a kind of classical and widely used remote sensing Spationtemporal fusion model, but it has two disadvantages. 1) STARFM model uses a fixed-size window to find similar pixels. Because there are both texture-poor areas and texture-abundant areas in an image, the window size should be taken into consideration in Spationtemporal fusion model. 2) STARFM is an isotropic-based algorithm used to determine similar pixels, but images often exhibit heterogeneous isotropic reflectances, especially in the edges of materials. The paper introduces a three-dimensional adaptively local steering kernel regression fusion model (3DSKRFM) to extract local information for each pixel, that is, using the band information of remote sensing data as the third dimension information of the steering kernel, and then using the three-dimensional gradient covariance matrix to obtain the image local geometry information, to achieve its adaptive weight. As a result, it can improve precision of spatiotemporal fusion of remote sensing image. Two datasets associated with ETM+ and MODIS images of Poyang Lake and Fuzhou region are adopted and fusion results of three relational models are compared from the perspective of the quantitative and qualitative in the experiments and the experiments show that 3DSKRFM model not only have the best fusion result, but also have the best ability to deal with noisy image when compared with STARFM and 2DSKRFM models.
-
Key words:
- spatiotemporal fusion /
- 3D kernel regression /
- adaptive /
- predication accuracy /
- remote sensing image
-
图 1 参数对核的大小与形状的影响示意图
Figure 1. Schematic Representation of the Effects of the Parameters Exert on the Size and Shape of the Regression Kernel
图 2 鄱阳湖地区ETM+和MODIS假彩色合成数据
Figure 2. Pairs of Images Shown with False-Color Composites in Poyang Lake Area
图 3 福州地区两组ETM+和MODIS假彩色合成数据
Figure 3. Pairs of Images Shown with False-Color Composites in Fuzhou City
图 4 STARFM、2DSKRFM和3DSKRFM 3种模型生成的鄱阳湖地区融合影像
Figure 4. The Predicted Reflectance Images of the Poyang Lake Dataset Using STARFM、2DSKRFM and 3DSKRFM
图 5 鄱阳湖地区融合影像与真实影像的散点图分布
Figure 5. Scatter Plots of Predicted Against Actual Reflectances with the Poyang Lake Dataset
图 7 福州地区融合影像与真实影像的散点图分布
Figure 7. Scatter Plots of Predicted Against Actual Reflectance with the Fuzhou Dataset
图 8 3种模型随噪声增大的变化趋势
Figure 8. Comparisons of Different Variation Trend with the Increase of Noise
表 1 不同质量指标对3种方法生成融合影像的质量评价
Table 1. Quantitative Comparision of the Prediction Accuracy of 3DSKRFM and Other Methods
数据 方法 AAD/(%) RMSE/(%) SSIM PSNR SWIR NIR Red SWIR NIR Red SWIR NIR Red SWIR NIR Red STARFM 0.028 0 0.011 6 0.029 2 0.038 1 0.015 3 0.040 0 0.766 0 0.907 6 0.738 0 28.392 0 36.303 2 27.948 2 鄱阳湖 SKRFM 0.026 3 0.011 1 0.029 2 0.035 6 0.014 6 0.040 0 0.779 9 0.914 2 0.738 0 28.950 1 36.712 4 27.948 7 3DSKRFM 0.025 9 0.010 7 0.028 9 0.035 1 0.014 2 0.039 7 0.784 4 0.921 6 0.738 1 29.085 7 36.971 7 28.021 2 STARFM 0.025 3 0.013 9 0.012 3 0.036 6 0.022 7 0.020 3 0.804 3 0.860 5 0.881 3 28.727 4 32.874 5 33.864 4 福州 SKRFM 0.025 2 0.013 8 0.012 2 0.036 6 0.022 6 0.020 2 0.804 4 0.860 6 0.881 5 28.729 4 32.887 9 33.881 6 3DSKRFM 0.025 0 0.013 5 0.011 9 0.035 9 0.022 2 0.019 8 0.804 9 0.862 6 0.883 4 28.882 0 33.034 5 34.034 7 
下载: 导出CSV
-
[1] Masek J G, Huang C, Wolfe R, et al. North American Forest Disturbance Mapped from a Decadal Landsat Record[J]. Remote Sensing of Environment, 2008, 112(6):2914-2926 doi: 10.1016/j.rse.2008.02.010 [2] Huang B, Wang J, Song H, et al. Generating High Spatiotemporal Resolution Land Surface Temperature for Urban Heat Island Monitoring[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(5):1011-1015 doi: 10.1109/LGRS.2012.2227930 [3] Hansen M C, Roy D P, Lindquist E, et al. A Method for Integrating MODIS and Landsat Data for Systematic Monitoring of Forest Cover and Change in the Congo Basin[J]. Remote Sensing of Environment, 2008, 112(5):2495-2513 doi: 10.1016/j.rse.2007.11.012 [4] Walker J J, De Beurs K M, Wynne R H. Dryland Vegetation Phenology Across an Elevation Gradient in Arizona, USA, Investigated with Fused MODIS and Landsat Data[J]. Remote Sensing of Environment, 2014, 144:85-97 doi: 10.1016/j.rse.2014.01.007 [5] Schmidt M, Lucas R, Bunting P, et al. Multi-resolution Time Series Imagery for Forest Disturbance and Regrowth Monitoring in Queensland, Australia[J]. Remote Sensing of Environment, 2015(158):156-168 https://espace.library.uq.edu.au/view/UQ:347467 [6] Gao F, Masek J, Schwaller M, et al. On the Blending of the Landsat and MODIS Surface Reflectance:Predicting Daily Landsat Surface Reflectance[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(8):2207-2218 doi: 10.1109/TGRS.2006.872081 [7] Zhu X, Chen J, Gao F, et al. An Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model for Complex Heterogeneous Regions[J]. Remote Sensing of Environment, 2010, 114(11):2610-2623 doi: 10.1016/j.rse.2010.05.032 [8] Hilker T, Wulder M A, Coops N C, et al. Generation of Dense Time Series Synthetic Landsat Data Through Data Blending with MODIS Using a Spatial and Temporal Adaptive Reflectance Fusion Model[J]. Remote Sensing of Environment, 2009, 113(9):1988-1999 doi: 10.1016/j.rse.2009.05.011 [9] Shen H, Wu P, Liu Y, et al. A Spatial and Temporal Reflectance Fusion Model Considering Sensor Observation Differences[J]. International Journal of Remote Sensing, 2013, 34(12):4367-4383 doi: 10.1080/01431161.2013.777488 [10] Wu B, Huang B, Cao K, et al. Improving Spatiotemporal Reflectance Fusion Using Image Inpainting and Steering Kernel Regression Techniques[J]. International Journal of Remote Sensing, 2017, 38(3):706-727 doi: 10.1080/01431161.2016.1271471 [11] Huang B, Zhang H. Spatio-Temporal Reflectance Fusion via Unmixing:Accounting for Both Phenological and Land-Cover Changes[J]. International Journal of Remote Sensing, 2014, 35(16):6213-6233 doi: 10.1080/01431161.2014.951097 [12] Xie D, Zhang J, Zhu X, et al. An Improved STARFM with Help of an Unmixing-Based Method to Generate High Spatial and Temporal Resolution Remote Sensing Data in Complex Heterogeneous Regions[J]. Sensors, 2016, 16(2), doi: 10.3390/s16020207 [13] Takeda H, Farsiu S, Milanfar P. Kernel Regression for Image Processing and Reconstruction[J]. IEEE Transactions on Image Processing, 2007, 16(2):349-366 doi: 10.1109/TIP.2006.888330 [14] 戴昌达, 雷莉萍. TM图像的光谱信息特征与最佳波段组合[J].遥感学报, 1989(4):282-292 http://industry.wanfangdata.com.cn/dl/Detail/ExternalResource?id=hjkxyjs200302007%5e3 Dai Changda, Lei Liping. The Information Characteristics of Thematic Mapper Data and the Optimal Band Combination[J]. J Remote Sens, 1989(4):282-292 http://industry.wanfangdata.com.cn/dl/Detail/ExternalResource?id=hjkxyjs200302007%5e3 [15] Markham B L, Storey J C, Williams D L, et al. Landsat Sensor Performance:History and Current Status[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(12):2691-2694 doi: 10.1109/TGRS.2004.840720 [16] 高昆, 刘莹, 王丽静, 等.基于高斯马尔科夫模型的高光谱异常目标检测算法研究[J].光谱学与光谱分析, 2015, 35(10):2846-2850 http://d.wanfangdata.com.cn/Periodical_gpxygpfx201510045.aspx Gao Kun, Liu Ying, Wang Lijing, et al. A Hyperspectral Imagery Anomaly Detection Algorithm Based on Gauss-Markov Model[J]. Spectroscopy and Spectral Analysis, 2015, 35(10):2846-2850 http://d.wanfangdata.com.cn/Periodical_gpxygpfx201510045.aspx [17] Takeda H, Milanfar P. Locally Adaptive Kernel Regression for Space-Time Super-Resolution[J]. Super-Resolution Imaging, Digital Imaging and Computer Vision, 2010:63-69 https://users.soe.ucsc.edu/~milanfar/publications/journal/3-DSKRChapter.pdf [18] Sheikh H R, Sabir M F, Bovik A C. A Statistical Evaluation of Recent Full Reference Image Quality Assessment Algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11):3440-3451 doi: 10.1109/TIP.2006.881959 [19] Wang Z, Bovik A C, Sheikh H R, et al. Image Quality Assessment:from Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4):600-612 doi: 10.1109/TIP.2003.819861 [20] Eskicioglu A M, Fisher P S. Image Quality Measures and Their Performance[J]. IEEE Transactions on Communications, 1995, 43(12):2959-2965 doi: 10.1109/26.477498 -
点击查看大图
计量
- 文章访问数: 1214
- HTML全文浏览量: 79
- PDF下载量: 248
- 被引次数: 0
