留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种顾及区域特征差异的热红外与可见光图像多尺度融合方法

向天烛 高熔溶 闫利 徐振亮

向天烛, 高熔溶, 闫利, 徐振亮. 一种顾及区域特征差异的热红外与可见光图像多尺度融合方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
引用本文: 向天烛, 高熔溶, 闫利, 徐振亮. 一种顾及区域特征差异的热红外与可见光图像多尺度融合方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
XIANG Tianzhu, GAO Rongrong, YAN Li, XU Zhenliang. Region Feature Based Multi-scale Fusion Method for Thermal Infrared and Visible Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
Citation: XIANG Tianzhu, GAO Rongrong, YAN Li, XU Zhenliang. Region Feature Based Multi-scale Fusion Method for Thermal Infrared and Visible Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007

一种顾及区域特征差异的热红外与可见光图像多尺度融合方法

doi: 10.13203/j.whugis20141007
基金项目: 

国家自然科学基金 41271456

详细信息
    作者简介:

    向天烛, 博士生, 主要从事遥感图像处理研究。tzxiang@whu.edu.cn

  • 中图分类号: TP751

Region Feature Based Multi-scale Fusion Method for Thermal Infrared and Visible Images

Funds: 

The National Natural Science Foundation of China 41271456

More Information
    Author Bio:

    XIANG Tianzhu, PhD candidate, specializes in remote sensing image processing. E-mail:tzxiang@whu.edu.cn

图(5) / 表(3)
计量
  • 文章访问数:  1143
  • HTML全文浏览量:  56
  • PDF下载量:  409
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-09-22
  • 刊出日期:  2017-07-05

一种顾及区域特征差异的热红外与可见光图像多尺度融合方法

doi: 10.13203/j.whugis20141007
    基金项目:

    国家自然科学基金 41271456

    作者简介:

    向天烛, 博士生, 主要从事遥感图像处理研究。tzxiang@whu.edu.cn

  • 中图分类号: TP751

摘要: 针对传统的热红外与可见光图像融合方法对比度低,容易出现边缘细节、目标等信息丢失或减弱的现象,提出一种顾及区域特征差异的热红外与可见光图像多尺度融合方法。首先采用自适应PCNN(脉冲耦合神经网络)模型和二维Renyi熵相结合的图像分割方法,分别对红外和可见光图像进行区域分割;然后利用非下采样Contourlet变换对原图像进行多尺度多方向分解,根据区域的特征差异设计不同的融合规则,融合热红外与可见光图像。实验结果表明,该方法不仅能有效地融合热红外图像的目标特征,还能更多地保留可见光图像丰富的背景信息,融合图像对比度高,在视觉效果和客观评价上优于传统融合方法。

English Abstract

向天烛, 高熔溶, 闫利, 徐振亮. 一种顾及区域特征差异的热红外与可见光图像多尺度融合方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
引用本文: 向天烛, 高熔溶, 闫利, 徐振亮. 一种顾及区域特征差异的热红外与可见光图像多尺度融合方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
XIANG Tianzhu, GAO Rongrong, YAN Li, XU Zhenliang. Region Feature Based Multi-scale Fusion Method for Thermal Infrared and Visible Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
Citation: XIANG Tianzhu, GAO Rongrong, YAN Li, XU Zhenliang. Region Feature Based Multi-scale Fusion Method for Thermal Infrared and Visible Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(7): 911-917. doi: 10.13203/j.whugis20141007
  • 热红外图像根据热辐射特性成像,可以准确捕捉到隐藏在低光照条件下或伪装的目标,但是对亮度变化不敏感,缺乏背景细节信息。可见光图像根据反射特性成像,光谱信息丰富,可以提供场景的几何和纹理细节信息。将红外与可见光图像进行融合,可以很好地综合红外图像的目标识别特性和可见光图像清晰的场景信息,从而提高在复杂环境下目标检测识别和定位能力。

    目前, 对像素级图像融合的研究比较多,现有的像素级图像融合方法主要有简单的图像融合(如加权平均法、像素选大选小法)、基于塔形分解的融合(如Laplacian金字塔方法)、基于小波及几何小波变换的图像融合三类方法。这些方法大都是基于单个像素点或者像素邻域窗口的,没有充分考虑像素间的相关性,忽视了红外与可见光图像背景和目标的差异。且由于红外与可见光图像的波段差异,对应位置像素代表的物理意义不同,因此使用单个像素或者邻域窗口的融合方法往往不够准确,采用基于区域的方法将更有意义,具有更好的稳健性[1]

    因此,国内外很多学者提出了基于区域的红外与可见光图像融合算法。文献[2]采用分水岭算法分割区域,根据不同区域特征加权融合,算法没有采用多尺度策略,融合图像对比度较低,目标不突出。文献[3]提出基于分水岭分割和非下采样均匀Curvelet变换的融合算法,但是该方法没有充分考虑目标和背景区域之间的特征差异。文献[4]提出了基于动态目标检测和小波变换的红外与可见光序列影像融合,文献[5]采用分水岭分割和双树复小波变换进行图像融合,都取得了很好的融合效果,但是由于采用的是小波变换,对图像特征提取不充分,具有一定的局限性。文献[6]根据谱残差方法计算红外图像的显著图,然后通过阈值处理得到分割结果,结合非下采样Contourlet变换(nonsub-sampled contourlet transform, NSCT)进行融合,融合规则只考虑了单个像素特性,对原始图像细节信息保留不够充分。文献[7]提出基于目标提取和Contourlet变换的方法融合红外与可见光图像, 融合痕迹明显,背景细节不够丰富。文献[8]采用最大Renyi熵提取红外目标,融合图像中目标区域选择红外像素值,背景区域选择可见光像素值,该方法容易产生边界痕迹,损失一些细节信息。

    针对以上问题,为了充分利用区域特征,融合更多有效的目标和背景信息,提出了一种顾及区域特征差异的热红外与可见光图像多尺度融合方法,并采用两组不同场景的红外与可见光图像进行实验,与其他融合方法进行对比,验证了本文算法的有效性。

    • 脉冲耦合神经网络(pulse coupled neural network, PCNN)已被广泛用于图像分割等方面[9]。PCNN用于图像分割时,具有相似输入的神经元同步激发脉冲,这样可以克服同一区域内幅度上的微小变化造成的影响,以及空间上的不连贯问题,从而完整地保留图像的区域信息。

      PCNN数学模型为:

      $$ {F_{ij}}\left( n \right) = {S_{ij}} $$ (1)
      $$ {L_{ij}}\left( n \right) = \sum\limits_{kl} {{W_{ijkl}}{Y_{kl}}\left( {n - 1} \right)} $$ (2)
      $$ {U_{ij}}\left( n \right) = {F_{ij}}\left( n \right)\left( {1 + \beta {L_{ij}}\left( n \right)} \right) $$ (3)
      $$ {\theta _{ij}}\left( n \right) = {\theta _{ij}}\left( {n - 1} \right) - \Delta + {V_\theta }{Y_{ij}}\left( n \right) $$ (4)
      $$ {Y_{ij}}\left( n \right) = \left\{ \begin{array}{l} 1,{U_{ij}}\left( n \right) \ge {\theta _{ij}}\left( n \right)\\ 0,其他 \end{array} \right. $$ (5)

      式中,Sij是外部输入激励;Fij是输入项;Lij是神经元链接输入;Uij是内部活动项;θij为动态阈值;Yij表示脉冲输出;n表示迭代次数。Wijkl为神经元之间的连接权系数矩阵,一般根据邻域神经元欧氏距离的倒数来确定,k, l表示神经元与周围链接的范围;Δ是动态阈值调整步长, Δ=1/nmax, nmax表示最大迭代次数,比如50次;Vθ为阈值幅度系数,本文设置为100;β为链接强度,采用空间频率[10]进行设置。

      PCNN模型只利用了神经元的点火特性,不能自动确定最优分割的迭代次数n,这里采用二维Renyi熵[11]作为PCNN的最优分割结果的判定准则。Renyi熵是一种广义的信息熵,考虑了两个子系统之间的相互作用,在图像阈值分割中比传统熵方法效果更好[8]。较之一维Renyi上,二维Renyi熵不仅利用了图像灰度信息,还包含空间邻域信息,具有更好的分割效果。

      由于红外与可见光波段不同,分割的区域存在差异,所以对原图像分别分割后,有必要对红外与可见光图像的区域进行关联处理[4],从而得到共同目标区域,单一目标区域和背景区域三类区域。然后根据不同区域特征差异,设计相应融合规则进行融合。

    • 由于小波等变换对图像分析能力有限[12],Da Cunda等提出了一种最优的二维图像表示方法——非下采样Contourlet变换,不仅具有小波的时频局部和多分辨率特性,还具有更好的方向性和平移不变性,能更有效地提取图像特征,更好地保留原图像细节信息,被广泛应用于图像融合中[10]

      原图像经NSCT分解后得到低频子带和高频子带,其中低频子带代表图像的近似分量,包含原图像的光谱信息;高频部分代表图像的细节分量,包括边缘、纹理等细节信息。因此,子带图像融合规则的选择是图像融合的关键,直接影响融合的质量。本文根据不同分割区域的特征差异以及高低频子带的特点,来设计图像融合规则,具体如下。

    • 在红外图像中,热目标区域的能量明显高于其他区域,对于共同目标区T,为了尽可能融合红外图像与可见光图像中的目标信息,低频部分根据区域的相似性,采用基于区域能量选择与加权的融合规则。红外图像I和可见光图像V中两个目标区域的相似性定义为:

      $$ \begin{array}{*{20}{c}} {S\left( T \right) = }\\ {\frac{{2\sum\nolimits_{\left( {x,y} \right) \in T} {C_{{j_0}}^V\left( {x,y} \right)C_{{j_0}}^I\left( {x,y} \right)} }}{{\sum\nolimits_{\left( {x,y} \right) \in T} {{{\left[ {C_{{j_0}}^V\left( {x,y} \right)} \right]}^2}} + \sum\nolimits_{\left( {x,y} \right) \in T} {{{\left[ {C_{{j_0}}^I\left( {x,y} \right)} \right]}^2}} }}} \end{array} $$ (12)

      区域能量计算为:

      $$ E_{{j_0}}^P\left( T \right) = \sum\nolimits_{\left( {x,y} \right) \in T} {{{\left| {C_{{j_0}}^P\left( {x,y} \right)} \right|}^2}} ,P = V,I $$ (13)

      式中, CIj0(x, y)、CVj0(x, y)分别表示红外图像和可见光图像低频子带j0中(x, y)处的系数值。如果S(T) < γ,其中γ是相似性阈值,取0.8,那么目标区域低频融合系数CFj0(x, y)为:

      $$ C_{{j_0}}^F\left( {x,y} \right) = \left\{ \begin{array}{l} C_{{j_0}}^V\left( {x,y} \right),E_{{j_0}}^V\left( T \right) \ge E_{{j_0}}^I\left( T \right)\\ C_{{j_0}}^I\left( {x,y} \right),E_{{j_0}}^I\left( T \right) > E_{{j_0}}^V\left( T \right) \end{array} \right. $$ (14)

      如果S(T)≥γ, 则说明两个目标区域有极大的相似性,采用加权平均的方法进行融合,权值根据式(15) 确定:

      $$ \left\{ \begin{array}{l} {\omega _1} = \frac{1}{2} - \frac{1}{2} \times \frac{{1 - S\left( T \right)}}{{1 - \gamma }}\\ {\omega _2} = 1 - {\omega _1} \end{array} \right. $$ (15)

      则融合系数为:

      $$ \begin{array}{*{20}{c}} {C_{{j_0}}^F\left( {x,y} \right) = }\\ {\left\{ \begin{array}{l} {\omega _1}C_{{j_0}}^I\left( {x,y} \right) + {\omega _2}C_{{j_0}}^V\left( {x,y} \right),E_{{j_0}}^I\left( T \right) \ge E_{{j_0}}^V\left( T \right)\\ {\omega _2}C_{{j_0}}^I\left( {x,y} \right) + {\omega _2}C_{{j_0}}^V\left( {x,y} \right),E_{{j_0}}^V\left( T \right) > E_{{j_0}}^I\left( T \right) \end{array} \right.} \end{array} $$ (16)

      对于高频部分,包含了大量的纹理、边缘等细节信息,为了提取更多的细节特征,采用系数绝对值取大的规则进行融合处理。

    • 由于红外与可见光传感器的成像机理不同,对于场景中同一目标,在两幅图像中的灰度分布特性一般存在较大差异。为了保证红外与可见光图像中的目标信息能够最大限度地综合到融合图像,对于单一目标区域R,高低频融合系数均取目标区域的系数。

    • 可见光图像光谱信息丰富,包含着大量的背景细节特征,同时红外图像背景区域也包含部分纹理细节信息。为了尽可能保留可见光图像场景信息,又不丢失红外图像中的背景信息,对于低频部分,首先使用结构相似度(structural similarity, SSIM)[13]来描述两个区域的结构相似性,根据结构相似度来决定采用选取还是加权策略。

      如果SSIM≥η,文中η取0.9,表明两个区域结构非常相似,采用取平均的方式融合。否则,融合系数取可见光图像低频对应区域的系数,尽可能保留可见光图像中的背景轮廓。

      对于高频部分,采用局部能量取大的方法进行融合。假设Cj, kF(x, y)表示高频第j层第k方向子带位置(x, y)的融合系数,则融合公式为:

      $$ C_{j,k}^F\left( {x,y} \right) = \left\{ \begin{array}{l} C_{j,k}^V\left( {x,y} \right),E_{j,k}^V\left( {x,y} \right) \ge E_{j,k}^I\left( {x,y} \right)\\ C_{j,k}^I\left( {x,y} \right),E_{j,k}^V\left( {x,y} \right) < E_{j,k}^I\left( {x,y} \right) \end{array} \right. $$ (19)
    • 为验证该算法的可行性和有效性,选取了两组不同场景下的红外与可见光图像进行实验,并对比了离散小波变换(discrete wavelet transform, DWT)、平稳小波变换(stationary wavelet transform, SWT)、NSCT等3种多尺度变换方法,以及像素融合、窗口融合、PCNN等3种融合规则。其中像素的融合规则是低频融合系数取平均,高频融合系数取模极大;窗口规则为低频系数取平均,高频系数采用邻域方差取大融合[14],PCNN融合参数见文献[15]。其他方法参数设置如下:DWT采用“db2”,3层分解;SWT采用“db2”,3层分解;NSCT采用“9/7”, “pkva”,[0, 2, 3, 4]。

      为了更好地对融合性能进行评价,除了对各种融合方法的融合结果进行主观评价外,文中还采用信息熵(information entropy, IE)、互信息(mutual information, MI)、标准差(standard deviation, SD)、QEQAB/F[16, 17]客观评价指标对融合性能进行评价。

      本文选取了“UN camp”和“Tank”两组实验数据进行融合实验,其红外和可见光原图像以及PCNN-Renyi分割结果如图 1图 2所示。第一组“UN Camp”图像,场景较为复杂,由图 1(a)1(b)可见,红外图像中,人物外形清楚可见,能够较好地识别出目标,但是目标所在场景模糊,栅栏、树木等很难辨识,背景细节较少;可见光图像中,由于行人与背景颜色相近或被树木遮挡,导致目标几乎无法分辨,但是灌木、栅栏等背景信息丰富。第二组“Tank”图像,场景较为简单,由图 2(a)2(b)可见,背景主要为树林和草地,红外图像中坦克目标清晰可见,尤其是坦克尾部亮度较高,但是背景信息匮乏,很难辨认坦克所在场景;而可见光图像中场景清晰,但是由于背景和坦克目标灰度相近,所以坦克目标不明显。图 1(c)~1(d)图 2(c)~2(d)为文中分割算法的分割结果,由此可见,该方法能较好地提取目标,将目标与背景分离,有利于后续融合处理。

      图  1  “Un Camp”红外与可见光图像及分割结果

      Figure 1.  Segment Result of "UN Camp" Images

      图  2  “Tank”红外与可见光图像及分割结果

      Figure 2.  Segment Result of "Tank" Images

      第一组实验为基于单个像素规则的融合实验,如图 3所示,分别为DWT融合、SWT融合和NSCT融合结果。从视觉效果来看,3种像素规则的融合方法都不同程度综合了红外和可见光图像信息。由图 3(a)~3(c)可以看出,由于DWT方法缺乏平移不变性,“UN Camp”融合图像在栅栏、方桌等边缘位置处存在伪吉布斯现象,产生了一些虚影模糊,导致严重的灰度失真,而且目标信息损失严重;而SWT方法和NSCT方法由于具有平移不变性,伪吉布斯现象得到了一定程度的消除,融合结果更加清晰,但是SWT方法方向有限,对于图像细节信息保持不够,树丛等边缘比较模糊,目标对比度较低,而NSCT方法具有更灵活的方向性,在方桌、道路、树丛等边缘细节保留更好,目标对比度也较高。从图 3(d)~3(f)“Tank”融合结果中也可以看出,DWT融合结果在履带、车轮等处引入了大量人工痕迹,存在严重的虚影模糊,SWT方法和NSCT方法较好地消除了吉布斯效应,而NSCT结果保留了更多可见光图像背景信息,树林层次感更丰富。表 1为两组实验融合性能客观评价结果,由表 1可以看出,NSCT像素方法的客观评价指标要高于DWT像素方法和SWT像素方法,说明NSCT像素方法融合图像具有更丰富的信息,对原图像边缘细节等信息保留更好,具有更高的对比度。

      图  3  “UN camp”和“Tank”图像基于单像素规则融合结果

      Figure 3.  Single-pixel Fusion Results of "UN Camp" and "Tank"

      表 1  像素规则融合性能比较

      Table 1.  Evaluation Results of Single-pixel Rule Fusion

      IEMISDQEQAB/F
      UN
      camp
      DWT6.464 61.469 125.491 20.149 20.396 6
      SWT6.451 41.500 625.417 80.182 50.433 3
      NSCT6.553 61.524 627.032 60.200 00.459 1
      TankDWT6.942 22.499 731.943 10.321 20.542 1
      SWT6.933 82.624 231.897 90.384 9
      0.599 9
      NSCT7.025 72.533 533.797 60.419 30.638 0

      第二组实验为基于邻域窗口规则的融合实验,如图 4所示,分别为SWT-window融合、NSCT-window融合、SWT-PCNN融合和NSCT-PCNN融合。其中图 4(a)~4(d)为“UN camp”图像融合结果,可以看出基于NSCT-window和NSCT-PCNN的融合方法比SWT-window和SWT-PCNN融合方法,具有更高的对比度,目标明显。图 4(e)~4(h)为“Tank”图像融合结果,可以看出,NSCT-window相比SWT-window在背景区域包含更多的可见光图像细节信息,树林层次感更强,而NSCT-PCNN比SWT-PCNN具有更高的整体对比度,图像整体灰度更亮,反差更大,包含更多的原图像信息,目标更加突出。表 2为两组实验的客观评价。对于“UN camp”数据,相比SWT-window和SWT-PCNN方法,NSCT-window和NSCT-PCNN融合获得了更高的客观评价指标。对于“Tank”数据,除了MI指标略低于SWT窗口融合外,其余指标都高于SWT窗口方法。可以看出,基于NSCT的融合图像信息量更丰富,对边缘等细节信息保留更充分,NSCT-PCNN方法融合图像对比度更高,目标更突出。

      图  4  “UN camp”和“Tank”图像基于窗口规则融合结果

      Figure 4.  Window Fusion Results of "UN Camp"and "Tank"

      表 2  窗口规则融合性能比较

      Table 2.  Evaluation Results of Window Rule Fusion

      IEMISDQEQAB/F
      UN campSWT-window6.363 01.511 824.325 30.178 70.407 2
      NSCT-window6.368 21.542 224.856 60.216 50.439 6
      SWT-PCNN6.440 61.495 825.295 60.181 30.426 3
      NSCT-PCNN6.526 91.533 826.555 80.205 20.446 4
      TankSWT-window6.907 62.624 931.322 60.379 00.593 4
      NSCT-window6.967 32.535 132.269 60.429 10.628 4
      SWT-PCNN6.929 12.620 731.837 30.381 50.585 5
      NSCT-PCNN7.007 62.534 133.379 30.416 60.598 5

      第三组实验为基于NSCT的融合以及文中所提融合方法的比较,如图 5所示,分别为NSCT像素融合、NSCT-PCNN融合和所提融合方法。其中图 5(a)~5(c)为“UN camp”图像融合结果,可以看出,NSCT像素融合是基于单个像素的,背景和目标亮度存在一定程度的减弱,丢失较多细节信息,而NSCT-PCNN方法考虑了邻域信息,融合效果有明显的改善,目标信息融合更好,但背景信息存在损失,目标所在场景不够清晰。本文所提方法不仅较好地融合了目标信息,也较好地综合了可见光图像中的场景细节信息,如融合图像左下角和右下角的灌木丛,该算法结果具有更丰富的纹理细节特征,像素灰度和边缘轮廓更接近可见光图像。图 5(d)~5(f)为“Tank”图像融合结果,其中基于像素的融合方法,坦克热目标不够突出,整体灰度偏暗。基于PCNN的融合方法效果有所改善,坦克尾部更加突出,且草地和树林融合了更多可见光图像信息,但是在坦克车轮、履带等处,细节保留不够,存在一定程度的模糊。本文方法较好地改善了融合效果,坦克目标清晰可辨,而且在细节信息的保留上更具有优势,在履带、车轮等处融合了更多的细节特征。表 3为客观评价结果,本文所提方法具有更高的客观评价指标,表明本文所提方法融合图像信息量更丰富,综合了更多图像信息,尤其是边缘细节等信息保留更好,而且融合结果整体对比度高,目标信息突出。

      图  5  “UN camp”和“Tank”图像基于NSCT融合结果

      Figure 5.  NSCT Fusion Results of "UN Camp" and "Tank"

      表 3  NSCT融合算法性能比较

      Table 3.  Evaluation Results of NSCT Fusion

      IEMISDQEQAB/F
      UN campNSCT6.553 61.524 627.032 60.200 00.459 1
      NSCT-PCNN6.526 91.533 826.555 80.205 20.446 4
      Proposed7.150 43.050 539.139 00.209 60.454 1
      ThankNSCT7.025 72.533 533.797 60.419 30.638 0
      NSCT-PCNN7.007 62.534 133.379 30.416 60.598 5
      Proposed7.380 44.717 244.385 40.497 30.701 3

      通过第一组和第二组实验,可以看出,相比DWT融合和SWT融合,NSCT融合具有更大的优势,融合性能更好,这也反映了NSCT的平移不变性和多方向特性,对图像细节信息具有更强的捕捉能力,更适合图像融合。通过第三组实验,可以看出文中所提的融合方法,考虑了区域特征差异,可以更好地提取原图像细节信息,比传统的融合方法效果更好,性能更高。

    • 针对传统像素级融合方法的缺陷,本文提出一种顾及区域特征差异的红外与可将光图像多尺度融合方法。该方法基于NSCT变换,根据分割区域特征差异来设计高低频子带图像的融合规则,充分利用了图像区域特征,增强了图像融合的鲁棒性。实验结果表明,文中算法融合结果既突出了红外图像中的目标信息,又有效保留了可见光图像中的光谱信息,目标突出,细节信息丰富,无论是视觉效果还是客观评价上,优于常用的融合算法。

参考文献 (17)

目录

    /

    返回文章
    返回