-
合成孔径雷达(synthetic aperture radar，SAR)具有空间分辨率高，能较好地反映地物的纹理和结构信息等特性[1, 2]。多光谱影像充分利用地物光谱反射特性，通过不同波段的组合来增加获取目标的信息量[3, 4]。通过图像融合的方法把SAR和多光谱影像信息按照一定的规则进行重新组合，得到一幅信息丰富、便于识别、易于后续应用的新影像，是遥感影像处理的一个有效方法[5]。
目前已有大量关于SAR和光学遥感影像的融合方法，主要有基于色彩空间变换的方法[6]、小波变换方法[7]、主成分分析(principal component analysis，PCA)变换方法[4]、多尺度多方向分解方法[8]和基于神经网络的方法[8, 9]等。这些研究都取得了较好的融合效果。但是，现有的SAR与多光谱图像融合算法大多从图像本身入手，将待融合图像作为一个普通的二维数字信号进行处理[3, 10]，没有考虑SAR与光学影像的成像机理和成像特性等本质属性之间的差异，在融合后影像的细节信息保有量和光谱信息捕获能力上仍存在缺陷。本文从SAR和多光谱遥感影像的成像机理入手，结合Shearlet变换以及脉冲耦合神经网络(pulse coupled neural network，PCNN)在图像处理领域的优势，提出了一种考虑成像特性的在Shearlet变换域下的SAR与多光谱遥感影像融合方法。
-
Lim等[11]于2010年提出了一种全新的图像多尺度多方向分解方法——Shearlet变换。与目前常见的几种多方向多尺度分解方法(小波分解、Contourlet分解[12]等)相比，Shearlet变换在影像融合领域相对具有优势[13, 14]。
如图 1 所示，Shearlet变换将多尺度分析和多方向分析分开进行，首先用非下采样拉普拉斯金字塔变换对图像进行多尺度分解，再对每一级拉普拉斯分解后的高频分量采用Shear滤波器组进行多方向分解。
图 1 Shearlet变换示意图
Figure 1. Workflow of Shearlet Transform
从图像融合的角度来看，Shearlet变换优越性明显[15, 16]。经Shearlet分解之后，SAR影像的低频系数包含了原图像大部分信息，图像能量相对集中，而高频系数则包含较多的纹理特征、几何特征等细节信息。低频和高频子带系数分别采用不同的融合规则进行计算，最后利用Shearlet逆变换重构，生成一副融合后的图像。
-
分解之后的低频部分包含了大部分的空间信息和光谱信息，即能量和光谱信息同时存在于该低频分量中。因此，能量测度可以作为一个衡量标准用在低频系数的融合上。融合过程中，在获得SAR影像高空间分辨率的同时要尽可能多地保留多光谱影像的光谱信息，避免融合后出现光谱扭曲过大的现象。同时，考虑到二维图像的连续性和地物分布、地类覆盖的区域性特点，设计了基于区域能量加权平均的低频系数融合规则，使融合结果尽可能多地包含SAR和多光谱影像空间信息的同时保留光谱信息。图像能量计算方法见式(1)：
(1) 式中，m、n别为图像区域的行、列数，根据试验分析，m=n=5较为合适；w(m, n)是在区域内(m, n)像素点的权值，采用距离测度原则，fX(m, n)为像点(m, n)处的灰度值。
(2) (3) (4) 式(2)和式(3)分别表示低频系数A和低频系数B的区域能量权，E(m, n)是区域(m, n)内的图像能量。式(4)中，PA(m, n)和PB(m, n)分别表示待融合的SAR和多光谱影像低频子带系数在(m, n)处的值；CL(m, n)表示(m, n)处的融合后低频子带系数。
高频子带系数包含了图像中绝大部分的纹理等细部特征，主要以边界、线条、轮廓等信息为主，这些信息对人的视觉冲击力较强。从人眼的视觉机理角度来看，辨别不同线状、面状要素和轮廓信息，主要是通过这些特征来区分的。而PCNN具有视觉信号处理的生理学基础[17]，它是基于视觉原理构建的简化神经网络模型，可以从复杂的背景下提取有效信息，其信号形式和处理机制更符合人类视觉神经系统[18]。使用PCNN来融合高频子带系数非常合适，通过PCNN神经元的点火频率与图像灰度的关系，可以有效提取图像的边界和轮廓信息[19, 20]。
在一个有限的图像区域(m, n)内，某个神经元的点火会引起周围具有相似亮度的神经元的点火，当两者的特性相差较大时，不会引起临近像元的立即点火。这种机制已经达到一种信息传递和耦合的效果，通过这种信息传递方式，把亮度相似的像元联系起来，在图像上表现为纹理特征的连续性和延伸性。PCNN输出的脉冲数与迭代次数和像素的亮度值有关，迭代完成之后会生成一个和原始图像大小一样的矩阵，称为点火图。对应像元位置的点火次数称为点火强度，点火强度计算方法见式(5):
(5) 式中，Y(i, j)(n)表示第n个时刻(i, j)处PCNN的输出；G(i, j)(n-1)表示前n-1个时刻(i, j)处PCNN输出脉冲数总和；G(i, j)(n)表示每个位置的点火次数总和，即点火图[21]。
图像的几何特征和纹理特征都是连续性的特征，为了提高融合效果的有效性，本文提出区域点火强度的概念。通过区域内的点火强度计算，能更好地体现纹理信息的特性。在求区域点火强度均值时采用加权平均方法，权值的大小采用中心像素距离测度来确定，见式(6)：
(6) (7) 式(7)中，Ei(x, y)表示区域点火强度；T-i(x, y)表示区域均值；Si(x, y)表示区域点火次数的标准差；a是调节因子，用于均值和标准差在系数选择中的权重。
-
基于Shearlet变换的SAR影像与多光谱遥感影像融合框架如图 2所示。
图 2 基于Shearlet变换的融合框架
Figure 2. Flowchart of Fusion Based on Shearlet Transform
-
本文选取的实验数据是TerraSAR-X X波段影像与Landsat-5 TM多光谱影像，具体见图 3。为了突出融合方法的有效性，在挑选影像时，选择了地类覆盖较为丰富的区域。TerraSAR-X影像获取日期是2010年3月4日，空间分辨率3 m，HH极化方式。Landsat-5 TM 数据获取日期是2010年3月26日，采用了4、3、2波段的合成影像，空间分辨率是30 m。
图 3 待融合遥感影像
Figure 3. Images for Fusion
-
为了说明本文方法的有效性，对比实验方案分别采用颜色空间变化法(HIS)、小波变换法(Wavelet)、轮廓波变换法(Contourlet)、非下采样轮廓波变换法(NSCT)、剪切波变换法(Shearlet)等5种常用或较为新颖的融合方法对实验数据进行融合处理，各种方法融合结果见图 4。
图 4 SAR和多光谱图像融合结果
Figure 4. Fusion Results of SAR and Multispectral Image
融合的目的是在保留SAR影像较高空间分辨率的同时充分提高影像的光谱信息，为SAR影像在实际应用中提供一个光谱信息通道作为辅助信息。因此，在评价指标的选取上，一是从空间分辨率、信息保有量和清晰度等角度出发，选取了均值、标准差、信息熵、平均梯度等4个指标。二是从光谱信息的保有量、与原图像的相关性等角度出发，选取了光谱扭曲度、互相关系数、交叉熵3个指标，主要用于评价融合后影像的光谱保有量和从原始影像获取的信息量多少。不同融合方法的各个评价指标对比见表 1和表 2。
表 1 不同融合方法下空间信息评价指标
Table 1. Evaluation Indexes of Spatial Information Using Different Fusion Methods
融合方法 均值 标准差 信息熵 平均梯度 HIS 101.581 60.091 7.773 44.709 Wavelet 114.929 63.989 7.476 22.576 Contourlet 114.291 63.980 7.535 24.196 NSCT 119.207 46.287 7.887 48.109 Shearlet 119.235 45.065 7.886 47.530 本文方法 124.254 67.089 7.898 48.190 表 2 不同融合方法下光谱信息评价指标
Table 2. Evaluation Indexes of Spectral Information Using Different Fusion Methods
融合方法 波段 光谱扭曲度 互相关系数 交叉熵 HIS R 63.220 0.302 3.072×10-2 G 53.715 0.331 3.831×10-2 B 45.334 0.175 9.390×10-2 Wavelet R 52.061 0.572 2.377×10-2 G 49.013 0.527 1.586×10-2 B 44.901 0.352 5.800×10-2 Contourlet R 52.281 0.571 2.420×10-2 G 49.101 0.526 1.636×10-2 B 44.925 0.351 5.920×10-2 NSCT R 30.051 0.801 5.460×10-3 G 29.037 0.728 2.000×10-4 B 25.546 0.546 7.300×10-4 Shearlet R 29.324 0.807 2.300×10-3 G 28.831 0.729 9.530×10-5 B 24.301 0.569 4.300×10-4 本文方法 R 28.924 0.816 5.856×10-4 G 27.801 0.743 9.537×10-7 B 23.778 0.575 1.335×10-5 从目视效果来看，HIS融合方法光谱失真较为严重，整体色调偏暗。选取色彩较为丰富的植被覆盖区和道路区域，局部细节对比见图 5，其中图 5(a)是HIS方法融合结果，图 5(b)是本文方法融合结果。这些特征与表 2的光谱扭曲度评价指标表现一致。图 5中两个区块的红色植被覆盖和黄色道路覆盖可以看到明显的光谱信息损失。因为多光谱影像的I分量中不仅包含丰富的空间信息，还包含大部分的光谱信息，仅拿I分量和SAR影像做简单的融合，势必造成光谱信息的丢失。而本文使用的方法有效地将I分量中空间信息和光谱信息进行分离，与过高低频子带系数不同地融合规则有效地保存了丰富的光谱信息。
图 5 HIS方法与本文方法融合结果局部对比
Figure 5. Local Contrast of Fusion Results of HIS Method and the Proposed Method
Wavelet、Contourlet、NSCT融合方法和本文提出的融合方法从结构上来说都属于多尺度多方向分解融合方法。实验中分解尺度都为三级，分解方向数除小波变换方法外都为8个方向。为了对比4种方法对细节的表现能力，选取了线状特征较为丰富的区域，包含道路、建筑、河流等线状要素，结果见图 6。观察发现，本文方法在细节表现能力上确实存在优势。例如道路边界的辨识度更高，水岸线更清晰，建筑的轮廓更为明显。这些结果与表 1 中的评价指标参数相吻合。
图 6 清晰度和线状特征的局部对比
Figure 6. Local Contrast of Definition and Linear Feature
从表 1和表 2的评价指标参数来看，在结果分析中本文提出的融合方法大部分均优于其他融合方法。为了更直观地展现评价结果的优劣，将表中参数转化为优化率呈现出来，见图 7。优化率计算方法是 [(A－B)/A]×100%。为了使优化率结果都以正数显示，对于均值、标准差、信息熵、平均梯度、互相关系数5个指标，A是本文方法结果，B是对比方法结果；对于光谱扭曲度和交叉熵2个指标，A是对比方法结果，B是本文方法结果。
图 7 融合结果评价指标优化率
Figure 7. The Optimization Rate of Evaluation Index for Fusion Results
图 7 中的纵坐标数值越大，说明本文相对于该方法的提升空间越高。Wavelet方法和Contourlet方法清晰度相对较差，而另外3种方法较好，与目视判读结果相一致。
本文方法在光谱保持能力方面较其他几种方法有显著优势，交叉熵在三个波段都有接近100%的提升幅度。互相关系数较HIS、小波变换 和Contourlet方法在R、G、B三个波段都有高于25%的提升幅度，其中蓝色波段的提升高于其他两两个波段。在光谱扭曲度方面也有不错的表现，与前3种融合方法相比有优于40%的提升幅度，其趋势基本与互相关系数保持一致。
-
本文根据SAR影像和多光谱影像的不同成像机理和影像特性，结合Shearlet变换在图像多尺度多方向分解的优越性，提出了基于Shearlet变换的SAR和多光谱遥感影像融合方法，融合过程中将空间信息和光谱信息分开处理。在融合规则的选取上，根据低频和高频不同的属性，有针对性地设计了基于图像能量的低频系数融合规则和基于PCNN点火强度的高频系数融合规则，在充分保留SAR影像高空间分辨率和丰富的纹理特征、几何特征的同时充分融合了多光谱影像的光谱信息。通过TerraSAR-X影像与Landsat-5 TM影像实验，验证了本文方法的优越性，不管是从主观目视判读方式还是从客观评价指标方式来看，融合后影像的质量确实得到了有效的提升，证明了该方法的有效性。
-
摘要: 针对合成孔径雷达（SAR）影像和多光谱遥感影像在融合时空间特征和光谱特征方面不能同时得到较大改善的问题，提出了一种基于成像特性的Shearlet变换域下的多源遥感影像融合方法。利用Shearlet变换的多方向和多尺度分解特性，将多光谱影像和SAR影像分别分解为高频和低频系数，从影像区域能量特征和区域相关性入手，设计了基于区域能量的低频系数融合规则和改进型的脉冲耦合神经网络的高频系数融合规则，使融合结果能够包含更多空间细节信息和光谱信息。利用TerraSAR-X、Landsat5-TM影像进行实验，结果表明该方法在提高影像空间细节表达能力的同时能够较好地融合更多的光谱信息。与小波变换、非下采样轮廓波变换（Nonsubsampled contourlet Transform，NSCT）等方法相比，该方法在空间信息保有量和光谱信息保有量方面都有明显的提升，其中交叉熵有接近100%的提升幅度，互相关系数有高于25%的提升幅度，光谱扭曲度有优于40%的提升幅度。Abstract: In terms of conventional methods for SAR image and multispectral image fusion can't integrate and reserve good spectral information and spatial resolution at the same time, a new fusion method based on the difference of imaging mechanism of SAR and multispectral images is proposed in this paper. Firstly, the original image is decomposed by Shearlet transform, and the high frequency and low frequency components are obtained respectively. The two components contain different detailed information of the image. Shearlet transform decomposes the image into multi-scale and multi-directional sub-band coefficients, which contain different image features. In addition, Shearlet inverse transform has good image reconstruction capability. And then, according to that the low frequency coefficient and the high frequency coefficient represent different meanings, we design the different fusion rule for them. The fusion rules of low frequency coefficients based on region energy and the high frequency coefficient based on improved pulse coupled neural network are designed. Finally, an information-rich image is obtained by inversing Shearlet transform. Therefore, the fusion results are richer and contain more spatial detail information and spectral information. In order to verify the effectiveness of the proposed method, a test is carried out with data from TerraSAR-X and Landsat5-TM, and the result shows that the proposed method is effective in improving the spatial resolution and keeping more spectral information. Compared with the methods of wavelet transform, contourlet transform, and NSCT transform, this method has a significant improvement in spatial information and spectral information. Cross entropy has a margin of improvement of nearly 100%. The correlation coefficient is higher than 25% increase, and the spectral distortion is better than 40% increase.
-
Key words:
- multisource image fusion /
- shearlet transform /
- difference of imaging property /
- SAR /
- Multi-spectral images /
- PCNN
-
图 5 HIS方法与本文方法融合结果局部对比
Figure 5. Local Contrast of Fusion Results of HIS Method and the Proposed Method
图 7 融合结果评价指标优化率
Figure 7. The Optimization Rate of Evaluation Index for Fusion Results
表 1 不同融合方法下空间信息评价指标
Table 1. Evaluation Indexes of Spatial Information Using Different Fusion Methods
融合方法 均值 标准差 信息熵 平均梯度 HIS 101.581 60.091 7.773 44.709 Wavelet 114.929 63.989 7.476 22.576 Contourlet 114.291 63.980 7.535 24.196 NSCT 119.207 46.287 7.887 48.109 Shearlet 119.235 45.065 7.886 47.530 本文方法 124.254 67.089 7.898 48.190 
下载: 导出CSV
表 2 不同融合方法下光谱信息评价指标
Table 2. Evaluation Indexes of Spectral Information Using Different Fusion Methods
融合方法 波段 光谱扭曲度 互相关系数 交叉熵 HIS R 63.220 0.302 3.072×10-2 G 53.715 0.331 3.831×10-2 B 45.334 0.175 9.390×10-2 Wavelet R 52.061 0.572 2.377×10-2 G 49.013 0.527 1.586×10-2 B 44.901 0.352 5.800×10-2 Contourlet R 52.281 0.571 2.420×10-2 G 49.101 0.526 1.636×10-2 B 44.925 0.351 5.920×10-2 NSCT R 30.051 0.801 5.460×10-3 G 29.037 0.728 2.000×10-4 B 25.546 0.546 7.300×10-4 Shearlet R 29.324 0.807 2.300×10-3 G 28.831 0.729 9.530×10-5 B 24.301 0.569 4.300×10-4 本文方法 R 28.924 0.816 5.856×10-4 G 27.801 0.743 9.537×10-7 B 23.778 0.575 1.335×10-5
下载: 导出CSV
-
[1] Chen Shaohui, Zhang Renhua, Su Hongbo, et al. SAR and Multispectral Image Fusion Using Generalized IHS Transform Based on a Trous Wavelet and Emd Decompositions[J]. Sensors Journal, IEEE, 2010, 10(3):737-745 doi: 10.1109/JSEN.2009.2038661 [2] Errico A, Angelino C V, Cicala L, et al. Detection of Environmental Hazards Through the Feature-Based Fusion of Optical and SAR Data:A Case Study in Southern Italy[J]. International Journal of Remote Sensing, 2015, 36(13):3 345-3 367 doi: 10.1080/01431161.2015.1054960 [3] Bai Luyi, Xu Changming, Wang Cong. A Review of Fusion Methods of Multi-Spectral Image[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(24):4 804-4 807 doi: 10.1016/j.ijleo.2015.09.201 [4] Yang Wenkao, Wang Jing, Guo Jing. A Novel Algorithm for Satellite Images Fusion Based on Compressed Sensing and PCA[J]. Mathematical Problems in Engineering, 2013:1-10 [5] Liu Jun, Huang Junyi, Liu Shuguang, et al. Human Visual System Consistent Quality Assessment for Remote Sensing Image Fusion[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 105:79-90 doi: 10.1016/j.isprsjprs.2014.12.018 [6] Bao Wenxing,Zhu Xiaoliang. A Novel Remote Sensing Image Fusion Approach Research Based on HSV Space and Biorthogonal Wavelet Packet Transform[J]. Journal of the Indian Society of Remote Sensing, 2015, 43(3):467-473 doi: 10.1007/s12524-014-0430-4 [7] Medina D R J, Pinilla R C, Joyanes A L. Two-Dimensional Fast Haar Wavelet Transform for Satellite-Image Fusion[J]. Journal of Applied Remote Sensing, 2013, 7(1):414-424 http://remotesensing.spiedigitallibrary.org/pdfaccess.ashx?url=/data/journals/appres/926148/jars_7_1_073698.pdf [8] Shi Cheng,Miao Qiguang, Xu Pengfei. A Novel Algorithm of Remote Sensing Image Fusion Based on Shearlets and PCNN[J]. Neurocomputing, 2013, 117:47-53 doi: 10.1016/j.neucom.2012.10.025 [9] Yang Shuyuan,Wang Min,Lu Yanxiong,et al. Fusion of Multiparametric SAR Images Based on Sw-nonsubsampled Contourlet and PCNN[J]. Signal Processing, 2009, 89(12):2 596-2 608 doi: 10.1016/j.sigpro.2009.04.027 [10] Zhang Jixian,Yang Jinghui,Zhao Zheng,et al. Block-regression Based Fusion of Optical and SAR Imagery for Feature Enhancement[J]. International Journal of Remote Sensing, 2010, 31(9):2 325-2 345 doi: 10.1080/01431160902980324 [11] Lim W Q. The Discrete Shearlet Transform:A New Directional Transform and Compactly Supported Shearlet Frames[J]. Image Processing, IEEE Transactions on, 2010, 19(5):1 166-1 180 doi: 10.1109/TIP.2010.2041410 [12] 刘军,李德仁, 邵振峰. 利用快速离散Curvelet变换的遥感影像融合[J]. 武汉大学学报·信息科学版, 2011, 36(3):333-337 http://ch.whu.edu.cn/CN/abstract/abstract491.shtml Liu Jun, Li Deren, Shao Zhenfeng. Fusion of Remote Sensing Images Based on Fast Discrete Curvelet Transform[J]. Geomatics and Information Science of Wuhan University, 2011, 36(3):333-337 http://ch.whu.edu.cn/CN/abstract/abstract491.shtml [13] Geng Peng,Wang Zhengyou,Zhang Zhigang,et al. Image Fusion by Pulse Couple Neural Network with Shearlet[J]. Optical Engineering, 2012, 51(6):1-7 https://www.researchgate.net/profile/Geng_Peng/publication/258687983_Image_fusion_by_pulse_couple_neural_network_with_shearlet/links/549a52eb0cf2d6581ab15b1b.pdf?origin=publication_list [14] 高国荣,许录平, 冯冬竹. 利用非抽样Shearlet域GSM模型进行图像去噪[J]. 武汉大学学报·信息科学版, 2013, 38(7):778-782 http://ch.whu.edu.cn/CN/abstract/abstract2689.shtml Gao Guorong, Xu Luping, Feng Dongzhu. Image Denoising Based on the NSST Domain GSM Model[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7):778-782 http://ch.whu.edu.cn/CN/abstract/abstract2689.shtml [15] Luo Xiaoqing,Zhang Zhancheng, Wu Xiaojun. A Novel Algorithm of Remote Sensing Image Fusion Based on Shift-invariant Shearlet Transform and Regional Selection[J]. AEU-International Journal of Electronics and Communications, 2016, 70(2):186-197 doi: 10.1016/j.aeue.2015.11.004 [16] Karami A,Heylen R, Scheunders P. Band-specific Shearlet-based Hyperspectral Image Noise Reduction[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2015, 53(9):5 054-5 066 doi: 10.1109/TGRS.2015.2417098 [17] Wang Zhaobin,Ma Yide,Cheng Feiyan,et al. Review of Pulse-coupled Neural Networks[J]. Image and Vision Computing, 2010, 28(1):5-13 doi: 10.1016/j.imavis.2009.06.007 [18] Li Min,Cai Wei, Tan Zheng. A Region-Based Multi-sensor Image Fusion Scheme Using Pulse-coupled Neural Network[J]. Pattern Recognition Letters, 2006, 27(16):1 948-1 956 doi: 10.1016/j.patrec.2006.05.004 [19] Wang Jingjing,Li Qian,Jia Zhenhong,et al. A Novel Multi-focus Image Fusion Method Using PCNN in Nonsubsampled Contourlet Transform Domain[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(20):2 508-2 511 doi: 10.1016/j.ijleo.2015.06.019 [20] Li Jiangyang, Peng Zhenming. Multi-Source Image Fusion Algorithm Based on Cellular Neural Networks with Genetic Algorithm[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(24):5 230-5 236 doi: 10.1016/j.ijleo.2015.09.187 [21] Chai Y,Li H F, Guo M Y. Multifocus Image Fusion Scheme Based on Features of Multiscale Products and PCNN in Lifting Stationary Wavelet Domain[J]. Optics Communications, 2011, 284(5):1 146-1 158 doi: 10.1016/j.optcom.2010.10.056 -
点击查看大图
图(7) / 表(2)
计量
- 文章访问数: 3061
- HTML全文浏览量: 119
- PDF下载量: 423
- 被引次数: 0
