留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于Shearlet变换的SAR与多光谱遥感影像融合

邰建豪 潘斌 赵珊珊 赵园

邰建豪, 潘斌, 赵珊珊, 赵园. 基于Shearlet变换的SAR与多光谱遥感影像融合[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768
引用本文: 邰建豪, 潘斌, 赵珊珊, 赵园. 基于Shearlet变换的SAR与多光谱遥感影像融合[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768
TAI Jianhao, PAN Bin, ZHAO Shanshan, ZHAO Yuan. SAR and Multispectral Remote Sensing Image Fusion Method Using Shearlet Transform[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768
Citation: TAI Jianhao, PAN Bin, ZHAO Shanshan, ZHAO Yuan. SAR and Multispectral Remote Sensing Image Fusion Method Using Shearlet Transform[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768

基于Shearlet变换的SAR与多光谱遥感影像融合

doi: 10.13203/j.whugis20150768
基金项目: 

国家973计划 No. 2012CB719901

详细信息
    作者简介:

    邰建豪,博士生,主要从事多源遥感影像融合以及SAR影像特征提取方法的研究。taijianhao@whu.edu.cn

    通讯作者: 潘斌,博士,教授。 E-mail:panbin@whu.edu.cn
  • 中图分类号: P237

SAR and Multispectral Remote Sensing Image Fusion Method Using Shearlet Transform

Funds: 

The National Key Basic Research Program of China (973 Program) No. 2012CB719901

More Information
    Author Bio:

    TAI Jianhao, PhD, specializes in multisource remote sensing image fusion and SAR image feature extraction. E-mail:taijianhao@whu.edu.cn

    Corresponding author: PAN Bin, PhD, professor. E-mail:panbin@whu.edu.cn
  • 摘要: 针对合成孔径雷达(SAR)影像和多光谱遥感影像在融合时空间特征和光谱特征方面不能同时得到较大改善的问题,提出了一种基于成像特性的Shearlet变换域下的多源遥感影像融合方法。利用Shearlet变换的多方向和多尺度分解特性,将多光谱影像和SAR影像分别分解为高频和低频系数,从影像区域能量特征和区域相关性入手,设计了基于区域能量的低频系数融合规则和改进型的脉冲耦合神经网络的高频系数融合规则,使融合结果能够包含更多空间细节信息和光谱信息。利用TerraSAR-X、Landsat5-TM影像进行实验,结果表明该方法在提高影像空间细节表达能力的同时能够较好地融合更多的光谱信息。与小波变换、非下采样轮廓波变换(Nonsubsampled contourlet Transform,NSCT)等方法相比,该方法在空间信息保有量和光谱信息保有量方面都有明显的提升,其中交叉熵有接近100%的提升幅度,互相关系数有高于25%的提升幅度,光谱扭曲度有优于40%的提升幅度。
  • 图  1  Shearlet变换示意图

    Figure  1.  Workflow of Shearlet Transform

    图  2  基于Shearlet变换的融合框架

    Figure  2.  Flowchart of Fusion Based on Shearlet Transform

    图  3  待融合遥感影像

    Figure  3.  Images for Fusion

    图  4  SAR和多光谱图像融合结果

    Figure  4.  Fusion Results of SAR and Multispectral Image

    图  5  HIS方法与本文方法融合结果局部对比

    Figure  5.  Local Contrast of Fusion Results of HIS Method and the Proposed Method

    图  6  清晰度和线状特征的局部对比

    Figure  6.  Local Contrast of Definition and Linear Feature

    图  7  融合结果评价指标优化率

    Figure  7.  The Optimization Rate of Evaluation Index for Fusion Results

    表  1  不同融合方法下空间信息评价指标

    Table  1.   Evaluation Indexes of Spatial Information Using Different Fusion Methods

    融合方法 均值 标准差 信息熵 平均梯度
    HIS 101.581 60.091 7.773 44.709
    Wavelet 114.929 63.989 7.476 22.576
    Contourlet 114.291 63.980 7.535 24.196
    NSCT 119.207 46.287 7.887 48.109
    Shearlet 119.235 45.065 7.886 47.530
    本文方法 124.254 67.089 7.898 48.190
    下载: 导出CSV

    表  2  不同融合方法下光谱信息评价指标

    Table  2.   Evaluation Indexes of Spectral Information Using Different Fusion Methods

    融合方法 波段 光谱扭曲度 互相关系数 交叉熵
    HIS R 63.220 0.302 3.072×10-2
    G 53.715 0.331 3.831×10-2
    B 45.334 0.175 9.390×10-2
    Wavelet R 52.061 0.572 2.377×10-2
    G 49.013 0.527 1.586×10-2
    B 44.901 0.352 5.800×10-2
    Contourlet R 52.281 0.571 2.420×10-2
    G 49.101 0.526 1.636×10-2
    B 44.925 0.351 5.920×10-2
    NSCT R 30.051 0.801 5.460×10-3
    G 29.037 0.728 2.000×10-4
    B 25.546 0.546 7.300×10-4
    Shearlet R 29.324 0.807 2.300×10-3
    G 28.831 0.729 9.530×10-5
    B 24.301 0.569 4.300×10-4
    本文方法 R 28.924 0.816 5.856×10-4
    G 27.801 0.743 9.537×10-7
    B 23.778 0.575 1.335×10-5
    下载: 导出CSV
  • [1] Chen Shaohui, Zhang Renhua, Su Hongbo, et al. SAR and Multispectral Image Fusion Using Generalized IHS Transform Based on a Trous Wavelet and Emd Decompositions[J]. Sensors Journal, IEEE, 2010, 10(3):737-745 doi:  10.1109/JSEN.2009.2038661
    [2] Errico A, Angelino C V, Cicala L, et al. Detection of Environmental Hazards Through the Feature-Based Fusion of Optical and SAR Data:A Case Study in Southern Italy[J]. International Journal of Remote Sensing, 2015, 36(13):3 345-3 367 doi:  10.1080/01431161.2015.1054960
    [3] Bai Luyi, Xu Changming, Wang Cong. A Review of Fusion Methods of Multi-Spectral Image[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(24):4 804-4 807 doi:  10.1016/j.ijleo.2015.09.201
    [4] Yang Wenkao, Wang Jing, Guo Jing. A Novel Algorithm for Satellite Images Fusion Based on Compressed Sensing and PCA[J]. Mathematical Problems in Engineering, 2013:1-10
    [5] Liu Jun, Huang Junyi, Liu Shuguang, et al. Human Visual System Consistent Quality Assessment for Remote Sensing Image Fusion[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 105:79-90 doi:  10.1016/j.isprsjprs.2014.12.018
    [6] Bao Wenxing,Zhu Xiaoliang. A Novel Remote Sensing Image Fusion Approach Research Based on HSV Space and Biorthogonal Wavelet Packet Transform[J]. Journal of the Indian Society of Remote Sensing, 2015, 43(3):467-473 doi:  10.1007/s12524-014-0430-4
    [7] Medina D R J, Pinilla R C, Joyanes A L. Two-Dimensional Fast Haar Wavelet Transform for Satellite-Image Fusion[J]. Journal of Applied Remote Sensing, 2013, 7(1):414-424 http://remotesensing.spiedigitallibrary.org/pdfaccess.ashx?url=/data/journals/appres/926148/jars_7_1_073698.pdf
    [8] Shi Cheng,Miao Qiguang, Xu Pengfei. A Novel Algorithm of Remote Sensing Image Fusion Based on Shearlets and PCNN[J]. Neurocomputing, 2013, 117:47-53 doi:  10.1016/j.neucom.2012.10.025
    [9] Yang Shuyuan,Wang Min,Lu Yanxiong,et al. Fusion of Multiparametric SAR Images Based on Sw-nonsubsampled Contourlet and PCNN[J]. Signal Processing, 2009, 89(12):2 596-2 608 doi:  10.1016/j.sigpro.2009.04.027
    [10] Zhang Jixian,Yang Jinghui,Zhao Zheng,et al. Block-regression Based Fusion of Optical and SAR Imagery for Feature Enhancement[J]. International Journal of Remote Sensing, 2010, 31(9):2 325-2 345 doi:  10.1080/01431160902980324
    [11] Lim W Q. The Discrete Shearlet Transform:A New Directional Transform and Compactly Supported Shearlet Frames[J]. Image Processing, IEEE Transactions on, 2010, 19(5):1 166-1 180 doi:  10.1109/TIP.2010.2041410
    [12] 刘军,李德仁, 邵振峰. 利用快速离散Curvelet变换的遥感影像融合[J]. 武汉大学学报·信息科学版, 2011, 36(3):333-337 http://ch.whu.edu.cn/CN/abstract/abstract491.shtml

    Liu Jun, Li Deren, Shao Zhenfeng. Fusion of Remote Sensing Images Based on Fast Discrete Curvelet Transform[J]. Geomatics and Information Science of Wuhan University, 2011, 36(3):333-337 http://ch.whu.edu.cn/CN/abstract/abstract491.shtml
    [13] Geng Peng,Wang Zhengyou,Zhang Zhigang,et al. Image Fusion by Pulse Couple Neural Network with Shearlet[J]. Optical Engineering, 2012, 51(6):1-7 https://www.researchgate.net/profile/Geng_Peng/publication/258687983_Image_fusion_by_pulse_couple_neural_network_with_shearlet/links/549a52eb0cf2d6581ab15b1b.pdf?origin=publication_list
    [14] 高国荣,许录平, 冯冬竹. 利用非抽样Shearlet域GSM模型进行图像去噪[J]. 武汉大学学报·信息科学版, 2013, 38(7):778-782 http://ch.whu.edu.cn/CN/abstract/abstract2689.shtml

    Gao Guorong, Xu Luping, Feng Dongzhu. Image Denoising Based on the NSST Domain GSM Model[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7):778-782 http://ch.whu.edu.cn/CN/abstract/abstract2689.shtml
    [15] Luo Xiaoqing,Zhang Zhancheng, Wu Xiaojun. A Novel Algorithm of Remote Sensing Image Fusion Based on Shift-invariant Shearlet Transform and Regional Selection[J]. AEU-International Journal of Electronics and Communications, 2016, 70(2):186-197 doi:  10.1016/j.aeue.2015.11.004
    [16] Karami A,Heylen R, Scheunders P. Band-specific Shearlet-based Hyperspectral Image Noise Reduction[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2015, 53(9):5 054-5 066 doi:  10.1109/TGRS.2015.2417098
    [17] Wang Zhaobin,Ma Yide,Cheng Feiyan,et al. Review of Pulse-coupled Neural Networks[J]. Image and Vision Computing, 2010, 28(1):5-13 doi:  10.1016/j.imavis.2009.06.007
    [18] Li Min,Cai Wei, Tan Zheng. A Region-Based Multi-sensor Image Fusion Scheme Using Pulse-coupled Neural Network[J]. Pattern Recognition Letters, 2006, 27(16):1 948-1 956 doi:  10.1016/j.patrec.2006.05.004
    [19] Wang Jingjing,Li Qian,Jia Zhenhong,et al. A Novel Multi-focus Image Fusion Method Using PCNN in Nonsubsampled Contourlet Transform Domain[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(20):2 508-2 511 doi:  10.1016/j.ijleo.2015.06.019
    [20] Li Jiangyang, Peng Zhenming. Multi-Source Image Fusion Algorithm Based on Cellular Neural Networks with Genetic Algorithm[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(24):5 230-5 236 doi:  10.1016/j.ijleo.2015.09.187
    [21] Chai Y,Li H F, Guo M Y. Multifocus Image Fusion Scheme Based on Features of Multiscale Products and PCNN in Lifting Stationary Wavelet Domain[J]. Optics Communications, 2011, 284(5):1 146-1 158 doi:  10.1016/j.optcom.2010.10.056
  • [1] 赵之若, 王少宇, 王心宇, 钟燕飞.  一种改进的火星车多光谱影像深度新颖目标探测方法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1328-1335. doi: 10.13203/j.whugis20220119
    [2] 李健伟, 曲长文, 彭书娟.  SAR图像舰船目标联合检测与方向估计 . 武汉大学学报 ● 信息科学版, 2019, 44(6): 901-907. doi: 10.13203/j.whugis20170328
    [3] 呙维, 彭旭, 刘异, 朱欣焰.  边缘约束下的分形网络分割算法 . 武汉大学学报 ● 信息科学版, 2019, 44(11): 1693-1699. doi: 10.13203/j.whugis20170262
    [4] 张波, 张瑞, 刘国祥, 刘巧, 蔡嘉伦, 于冰, 符茵, 李志林.  基于SAR影像的贡巴冰川末端冰湖年际变化监测及溃决规律分析 . 武汉大学学报 ● 信息科学版, 2019, 44(7): 1054-1064. doi: 10.13203/j.whugis20190087
    [5] 张过, 管志超.  卫星成像质量可靠性研究初探 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1954-1961. doi: 10.13203/j.whugis20180202
    [6] 向天烛, 高熔溶, 闫利, 徐振亮.  一种顾及区域特征差异的热红外与可见光图像多尺度融合方法 . 武汉大学学报 ● 信息科学版, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
    [7] 眭海刚, 华凤, 范一大, 刘俊怡.  利用GIS与贝叶斯网络进行高分辨率SAR影像道路损毁信息提取 . 武汉大学学报 ● 信息科学版, 2016, 41(5): 578-583. doi: 10.13203/j.whugis20140323
    [8] 郭际明, 黄长军, 喻小东, 聂智平.  利用BEMD-自适应滤波去除SAR干涉图噪声 . 武汉大学学报 ● 信息科学版, 2014, 39(4): 422-427. doi: 10.13203/j.whugis20120013
    [9] 梁志锋, 凌飞龙, 陈尔学.  全极化SAR数据的最大后验概率分类 . 武汉大学学报 ● 信息科学版, 2013, 38(6): 648-651.
    [10] 裴媛媛, 廖明生, 王寒梅.  时间序列SAR影像监测堤坝形变研究 . 武汉大学学报 ● 信息科学版, 2013, 38(3): 266-269.
    [11] 岳春宇, 江万寿.  一种利用级联滤波和松弛法的SAR图像配准方法 . 武汉大学学报 ● 信息科学版, 2012, 37(1): 43-45.
    [12] 肖金群, 李志伟, 汪长城, 丁晓利.  相位补偿SAR差分干涉提取山区DEM算法及精度分析 . 武汉大学学报 ● 信息科学版, 2012, 37(3): 334-338.
    [13] 杨书成, 黄国满, 赵争.  一种利用影像模拟制作SAR立体模型的方法 . 武汉大学学报 ● 信息科学版, 2012, 37(11): 1325-1328.
    [14] 邓少平, 李平湘, 张继贤, 黄国满.  基于乘积模型的极化SAR滤波 . 武汉大学学报 ● 信息科学版, 2011, 36(10): 1168-1171.
    [15] 史磊, 李平湘, 杨杰.  利用SIFT与粗差探测进行SAR影像配准 . 武汉大学学报 ● 信息科学版, 2010, 35(11): 1296-1299.
    [16] 尤红建, 傅琨.  基于分布模型差异的SAR变化检测 . 武汉大学学报 ● 信息科学版, 2008, 33(5): 454-456.
    [17] 王健, 向茂生, 李绍恩.  一种基于InSAR相干系数的SAR阴影提取方法 . 武汉大学学报 ● 信息科学版, 2005, 30(12): 1063-1066.
    [18] 刘楠, 舒宁.  多光谱影像纹理特征编码的算法研究 . 武汉大学学报 ● 信息科学版, 2005, 30(1): 15-18.
    [19] 舒宁.  关于多光谱和高光谱影像的纹理问题 . 武汉大学学报 ● 信息科学版, 2004, 29(4): 292-295.
    [20] 侯昭阳, 吕开云, 龚循强, 支君豪, 王楠.  一种结合低级视觉特征和PAPCNN的NSST域遥感影像融合方法 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20220168
  • 加载中
图(7) / 表(2)
计量
  • 文章访问数:  3061
  • HTML全文浏览量:  119
  • PDF下载量:  423
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-12-21
  • 刊出日期:  2017-04-05

基于Shearlet变换的SAR与多光谱遥感影像融合

doi: 10.13203/j.whugis20150768
    基金项目:

    国家973计划 No. 2012CB719901

    作者简介:

    邰建豪,博士生,主要从事多源遥感影像融合以及SAR影像特征提取方法的研究。taijianhao@whu.edu.cn

    通讯作者: 潘斌,博士,教授。 E-mail:panbin@whu.edu.cn
  • 中图分类号: P237

摘要: 针对合成孔径雷达(SAR)影像和多光谱遥感影像在融合时空间特征和光谱特征方面不能同时得到较大改善的问题,提出了一种基于成像特性的Shearlet变换域下的多源遥感影像融合方法。利用Shearlet变换的多方向和多尺度分解特性,将多光谱影像和SAR影像分别分解为高频和低频系数,从影像区域能量特征和区域相关性入手,设计了基于区域能量的低频系数融合规则和改进型的脉冲耦合神经网络的高频系数融合规则,使融合结果能够包含更多空间细节信息和光谱信息。利用TerraSAR-X、Landsat5-TM影像进行实验,结果表明该方法在提高影像空间细节表达能力的同时能够较好地融合更多的光谱信息。与小波变换、非下采样轮廓波变换(Nonsubsampled contourlet Transform,NSCT)等方法相比,该方法在空间信息保有量和光谱信息保有量方面都有明显的提升,其中交叉熵有接近100%的提升幅度,互相关系数有高于25%的提升幅度,光谱扭曲度有优于40%的提升幅度。

English Abstract

邰建豪, 潘斌, 赵珊珊, 赵园. 基于Shearlet变换的SAR与多光谱遥感影像融合[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768
引用本文: 邰建豪, 潘斌, 赵珊珊, 赵园. 基于Shearlet变换的SAR与多光谱遥感影像融合[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768
TAI Jianhao, PAN Bin, ZHAO Shanshan, ZHAO Yuan. SAR and Multispectral Remote Sensing Image Fusion Method Using Shearlet Transform[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768
Citation: TAI Jianhao, PAN Bin, ZHAO Shanshan, ZHAO Yuan. SAR and Multispectral Remote Sensing Image Fusion Method Using Shearlet Transform[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 468-474. doi: 10.13203/j.whugis20150768
  • 合成孔径雷达(synthetic aperture radar,SAR)具有空间分辨率高,能较好地反映地物的纹理和结构信息等特性[1, 2]。多光谱影像充分利用地物光谱反射特性,通过不同波段的组合来增加获取目标的信息量[3, 4]。通过图像融合的方法把SAR和多光谱影像信息按照一定的规则进行重新组合,得到一幅信息丰富、便于识别、易于后续应用的新影像,是遥感影像处理的一个有效方法[5]

    目前已有大量关于SAR和光学遥感影像的融合方法,主要有基于色彩空间变换的方法[6]、小波变换方法[7]、主成分分析(principal component analysis,PCA)变换方法[4]、多尺度多方向分解方法[8]和基于神经网络的方法[8, 9]等。这些研究都取得了较好的融合效果。但是,现有的SAR与多光谱图像融合算法大多从图像本身入手,将待融合图像作为一个普通的二维数字信号进行处理[3, 10],没有考虑SAR与光学影像的成像机理和成像特性等本质属性之间的差异,在融合后影像的细节信息保有量和光谱信息捕获能力上仍存在缺陷。本文从SAR和多光谱遥感影像的成像机理入手,结合Shearlet变换以及脉冲耦合神经网络(pulse coupled neural network,PCNN)在图像处理领域的优势,提出了一种考虑成像特性的在Shearlet变换域下的SAR与多光谱遥感影像融合方法。

    • Lim等[11]于2010年提出了一种全新的图像多尺度多方向分解方法——Shearlet变换。与目前常见的几种多方向多尺度分解方法(小波分解、Contourlet分解[12]等)相比,Shearlet变换在影像融合领域相对具有优势[13, 14]

      图 1 所示,Shearlet变换将多尺度分析和多方向分析分开进行,首先用非下采样拉普拉斯金字塔变换对图像进行多尺度分解,再对每一级拉普拉斯分解后的高频分量采用Shear滤波器组进行多方向分解。

      图  1  Shearlet变换示意图

      Figure 1.  Workflow of Shearlet Transform

      从图像融合的角度来看,Shearlet变换优越性明显[15, 16]。经Shearlet分解之后,SAR影像的低频系数包含了原图像大部分信息,图像能量相对集中,而高频系数则包含较多的纹理特征、几何特征等细节信息。低频和高频子带系数分别采用不同的融合规则进行计算,最后利用Shearlet逆变换重构,生成一副融合后的图像。

    • 分解之后的低频部分包含了大部分的空间信息和光谱信息,即能量和光谱信息同时存在于该低频分量中。因此,能量测度可以作为一个衡量标准用在低频系数的融合上。融合过程中,在获得SAR影像高空间分辨率的同时要尽可能多地保留多光谱影像的光谱信息,避免融合后出现光谱扭曲过大的现象。同时,考虑到二维图像的连续性和地物分布、地类覆盖的区域性特点,设计了基于区域能量加权平均的低频系数融合规则,使融合结果尽可能多地包含SAR和多光谱影像空间信息的同时保留光谱信息。图像能量计算方法见式(1):

      (1)

      式中,m、n别为图像区域的行、列数,根据试验分析,m=n=5较为合适;w(m, n)是在区域内(m, n)像素点的权值,采用距离测度原则,fX(m, n)为像点(m, n)处的灰度值。

      (2)
      (3)
      (4)

      式(2)和式(3)分别表示低频系数A和低频系数B的区域能量权,E(m, n)是区域(m, n)内的图像能量。式(4)中,PA(m, n)PB(m, n)分别表示待融合的SAR和多光谱影像低频子带系数在(m, n)处的值;CL(m, n)表示(m, n)处的融合后低频子带系数。

      高频子带系数包含了图像中绝大部分的纹理等细部特征,主要以边界、线条、轮廓等信息为主,这些信息对人的视觉冲击力较强。从人眼的视觉机理角度来看,辨别不同线状、面状要素和轮廓信息,主要是通过这些特征来区分的。而PCNN具有视觉信号处理的生理学基础[17],它是基于视觉原理构建的简化神经网络模型,可以从复杂的背景下提取有效信息,其信号形式和处理机制更符合人类视觉神经系统[18]。使用PCNN来融合高频子带系数非常合适,通过PCNN神经元的点火频率与图像灰度的关系,可以有效提取图像的边界和轮廓信息[19, 20]

      在一个有限的图像区域(m, n)内,某个神经元的点火会引起周围具有相似亮度的神经元的点火,当两者的特性相差较大时,不会引起临近像元的立即点火。这种机制已经达到一种信息传递和耦合的效果,通过这种信息传递方式,把亮度相似的像元联系起来,在图像上表现为纹理特征的连续性和延伸性。PCNN输出的脉冲数与迭代次数和像素的亮度值有关,迭代完成之后会生成一个和原始图像大小一样的矩阵,称为点火图。对应像元位置的点火次数称为点火强度,点火强度计算方法见式(5):

      (5)

      式中,Y(i, j)(n)表示第n个时刻(i, j)处PCNN的输出;G(i, j)(n-1)表示前n-1个时刻(i, j)处PCNN输出脉冲数总和;G(i, j)(n)表示每个位置的点火次数总和,即点火图[21]

      图像的几何特征和纹理特征都是连续性的特征,为了提高融合效果的有效性,本文提出区域点火强度的概念。通过区域内的点火强度计算,能更好地体现纹理信息的特性。在求区域点火强度均值时采用加权平均方法,权值的大小采用中心像素距离测度来确定,见式(6):

      (6)
      (7)

      式(7)中,Ei(x, y)表示区域点火强度;T-i(x, y)表示区域均值;Si(x, y)表示区域点火次数的标准差;a是调节因子,用于均值和标准差在系数选择中的权重。

    • 基于Shearlet变换的SAR影像与多光谱遥感影像融合框架如图 2所示。

      图  2  基于Shearlet变换的融合框架

      Figure 2.  Flowchart of Fusion Based on Shearlet Transform

    • 本文选取的实验数据是TerraSAR-X X波段影像与Landsat-5 TM多光谱影像,具体见图 3。为了突出融合方法的有效性,在挑选影像时,选择了地类覆盖较为丰富的区域。TerraSAR-X影像获取日期是2010年3月4日,空间分辨率3 m,HH极化方式。Landsat-5 TM 数据获取日期是2010年3月26日,采用了4、3、2波段的合成影像,空间分辨率是30 m。

      图  3  待融合遥感影像

      Figure 3.  Images for Fusion

    • 为了说明本文方法的有效性,对比实验方案分别采用颜色空间变化法(HIS)、小波变换法(Wavelet)、轮廓波变换法(Contourlet)、非下采样轮廓波变换法(NSCT)、剪切波变换法(Shearlet)等5种常用或较为新颖的融合方法对实验数据进行融合处理,各种方法融合结果见图 4

      图  4  SAR和多光谱图像融合结果

      Figure 4.  Fusion Results of SAR and Multispectral Image

      融合的目的是在保留SAR影像较高空间分辨率的同时充分提高影像的光谱信息,为SAR影像在实际应用中提供一个光谱信息通道作为辅助信息。因此,在评价指标的选取上,一是从空间分辨率、信息保有量和清晰度等角度出发,选取了均值、标准差、信息熵、平均梯度等4个指标。二是从光谱信息的保有量、与原图像的相关性等角度出发,选取了光谱扭曲度、互相关系数、交叉熵3个指标,主要用于评价融合后影像的光谱保有量和从原始影像获取的信息量多少。不同融合方法的各个评价指标对比见表 1表 2

      表 1  不同融合方法下空间信息评价指标

      Table 1.  Evaluation Indexes of Spatial Information Using Different Fusion Methods

      融合方法 均值 标准差 信息熵 平均梯度
      HIS 101.581 60.091 7.773 44.709
      Wavelet 114.929 63.989 7.476 22.576
      Contourlet 114.291 63.980 7.535 24.196
      NSCT 119.207 46.287 7.887 48.109
      Shearlet 119.235 45.065 7.886 47.530
      本文方法 124.254 67.089 7.898 48.190

      表 2  不同融合方法下光谱信息评价指标

      Table 2.  Evaluation Indexes of Spectral Information Using Different Fusion Methods

      融合方法 波段 光谱扭曲度 互相关系数 交叉熵
      HIS R 63.220 0.302 3.072×10-2
      G 53.715 0.331 3.831×10-2
      B 45.334 0.175 9.390×10-2
      Wavelet R 52.061 0.572 2.377×10-2
      G 49.013 0.527 1.586×10-2
      B 44.901 0.352 5.800×10-2
      Contourlet R 52.281 0.571 2.420×10-2
      G 49.101 0.526 1.636×10-2
      B 44.925 0.351 5.920×10-2
      NSCT R 30.051 0.801 5.460×10-3
      G 29.037 0.728 2.000×10-4
      B 25.546 0.546 7.300×10-4
      Shearlet R 29.324 0.807 2.300×10-3
      G 28.831 0.729 9.530×10-5
      B 24.301 0.569 4.300×10-4
      本文方法 R 28.924 0.816 5.856×10-4
      G 27.801 0.743 9.537×10-7
      B 23.778 0.575 1.335×10-5

      从目视效果来看,HIS融合方法光谱失真较为严重,整体色调偏暗。选取色彩较为丰富的植被覆盖区和道路区域,局部细节对比见图 5,其中图 5(a)是HIS方法融合结果,图 5(b)是本文方法融合结果。这些特征与表 2的光谱扭曲度评价指标表现一致。图 5中两个区块的红色植被覆盖和黄色道路覆盖可以看到明显的光谱信息损失。因为多光谱影像的I分量中不仅包含丰富的空间信息,还包含大部分的光谱信息,仅拿I分量和SAR影像做简单的融合,势必造成光谱信息的丢失。而本文使用的方法有效地将I分量中空间信息和光谱信息进行分离,与过高低频子带系数不同地融合规则有效地保存了丰富的光谱信息。

      图  5  HIS方法与本文方法融合结果局部对比

      Figure 5.  Local Contrast of Fusion Results of HIS Method and the Proposed Method

      Wavelet、Contourlet、NSCT融合方法和本文提出的融合方法从结构上来说都属于多尺度多方向分解融合方法。实验中分解尺度都为三级,分解方向数除小波变换方法外都为8个方向。为了对比4种方法对细节的表现能力,选取了线状特征较为丰富的区域,包含道路、建筑、河流等线状要素,结果见图 6。观察发现,本文方法在细节表现能力上确实存在优势。例如道路边界的辨识度更高,水岸线更清晰,建筑的轮廓更为明显。这些结果与表 1 中的评价指标参数相吻合。

      图  6  清晰度和线状特征的局部对比

      Figure 6.  Local Contrast of Definition and Linear Feature

      表 1表 2的评价指标参数来看,在结果分析中本文提出的融合方法大部分均优于其他融合方法。为了更直观地展现评价结果的优劣,将表中参数转化为优化率呈现出来,见图 7。优化率计算方法是 [(A-B)/A]×100%。为了使优化率结果都以正数显示,对于均值、标准差、信息熵、平均梯度、互相关系数5个指标,A是本文方法结果,B是对比方法结果;对于光谱扭曲度和交叉熵2个指标,A是对比方法结果,B是本文方法结果。

      图  7  融合结果评价指标优化率

      Figure 7.  The Optimization Rate of Evaluation Index for Fusion Results

      图 7 中的纵坐标数值越大,说明本文相对于该方法的提升空间越高。Wavelet方法和Contourlet方法清晰度相对较差,而另外3种方法较好,与目视判读结果相一致。

      本文方法在光谱保持能力方面较其他几种方法有显著优势,交叉熵在三个波段都有接近100%的提升幅度。互相关系数较HIS、小波变换 和Contourlet方法在R、G、B三个波段都有高于25%的提升幅度,其中蓝色波段的提升高于其他两两个波段。在光谱扭曲度方面也有不错的表现,与前3种融合方法相比有优于40%的提升幅度,其趋势基本与互相关系数保持一致。

    • 本文根据SAR影像和多光谱影像的不同成像机理和影像特性,结合Shearlet变换在图像多尺度多方向分解的优越性,提出了基于Shearlet变换的SAR和多光谱遥感影像融合方法,融合过程中将空间信息和光谱信息分开处理。在融合规则的选取上,根据低频和高频不同的属性,有针对性地设计了基于图像能量的低频系数融合规则和基于PCNN点火强度的高频系数融合规则,在充分保留SAR影像高空间分辨率和丰富的纹理特征、几何特征的同时充分融合了多光谱影像的光谱信息。通过TerraSAR-X影像与Landsat-5 TM影像实验,验证了本文方法的优越性,不管是从主观目视判读方式还是从客观评价指标方式来看,融合后影像的质量确实得到了有效的提升,证明了该方法的有效性。

参考文献 (21)

目录

    /

    返回文章
    返回