-
热红外图像根据热辐射特性成像，可以准确捕捉到隐藏在低光照条件下或伪装的目标，但是对亮度变化不敏感，缺乏背景细节信息。可见光图像根据反射特性成像，光谱信息丰富，可以提供场景的几何和纹理细节信息。将红外与可见光图像进行融合，可以很好地综合红外图像的目标识别特性和可见光图像清晰的场景信息，从而提高在复杂环境下目标检测识别和定位能力。
目前, 对像素级图像融合的研究比较多，现有的像素级图像融合方法主要有简单的图像融合(如加权平均法、像素选大选小法)、基于塔形分解的融合(如Laplacian金字塔方法)、基于小波及几何小波变换的图像融合三类方法。这些方法大都是基于单个像素点或者像素邻域窗口的，没有充分考虑像素间的相关性，忽视了红外与可见光图像背景和目标的差异。且由于红外与可见光图像的波段差异，对应位置像素代表的物理意义不同，因此使用单个像素或者邻域窗口的融合方法往往不够准确，采用基于区域的方法将更有意义，具有更好的稳健性[1]。
因此，国内外很多学者提出了基于区域的红外与可见光图像融合算法。文献[2]采用分水岭算法分割区域，根据不同区域特征加权融合，算法没有采用多尺度策略，融合图像对比度较低，目标不突出。文献[3]提出基于分水岭分割和非下采样均匀Curvelet变换的融合算法，但是该方法没有充分考虑目标和背景区域之间的特征差异。文献[4]提出了基于动态目标检测和小波变换的红外与可见光序列影像融合，文献[5]采用分水岭分割和双树复小波变换进行图像融合，都取得了很好的融合效果，但是由于采用的是小波变换，对图像特征提取不充分，具有一定的局限性。文献[6]根据谱残差方法计算红外图像的显著图，然后通过阈值处理得到分割结果，结合非下采样Contourlet变换(nonsub-sampled contourlet transform, NSCT)进行融合，融合规则只考虑了单个像素特性，对原始图像细节信息保留不够充分。文献[7]提出基于目标提取和Contourlet变换的方法融合红外与可见光图像, 融合痕迹明显，背景细节不够丰富。文献[8]采用最大Renyi熵提取红外目标，融合图像中目标区域选择红外像素值，背景区域选择可见光像素值，该方法容易产生边界痕迹，损失一些细节信息。
针对以上问题，为了充分利用区域特征，融合更多有效的目标和背景信息，提出了一种顾及区域特征差异的热红外与可见光图像多尺度融合方法，并采用两组不同场景的红外与可见光图像进行实验，与其他融合方法进行对比，验证了本文算法的有效性。
-
脉冲耦合神经网络(pulse coupled neural network, PCNN)已被广泛用于图像分割等方面[9]。PCNN用于图像分割时，具有相似输入的神经元同步激发脉冲，这样可以克服同一区域内幅度上的微小变化造成的影响，以及空间上的不连贯问题，从而完整地保留图像的区域信息。
PCNN数学模型为：
$$ {F_{ij}}\left( n \right) = {S_{ij}} $$ (1) $$ {L_{ij}}\left( n \right) = \sum\limits_{kl} {{W_{ijkl}}{Y_{kl}}\left( {n - 1} \right)} $$ (2) $$ {U_{ij}}\left( n \right) = {F_{ij}}\left( n \right)\left( {1 + \beta {L_{ij}}\left( n \right)} \right) $$ (3) $$ {\theta _{ij}}\left( n \right) = {\theta _{ij}}\left( {n - 1} \right) - \Delta + {V_\theta }{Y_{ij}}\left( n \right) $$ (4) $$ {Y_{ij}}\left( n \right) = \left\{ \begin{array}{l} 1,{U_{ij}}\left( n \right) \ge {\theta _{ij}}\left( n \right)\\ 0,其他 \end{array} \right. $$ (5) 式中，Sij是外部输入激励；Fij是输入项；Lij是神经元链接输入；Uij是内部活动项；θij为动态阈值；Yij表示脉冲输出；n表示迭代次数。Wijkl为神经元之间的连接权系数矩阵，一般根据邻域神经元欧氏距离的倒数来确定，k, l表示神经元与周围链接的范围；Δ是动态阈值调整步长, Δ=1/nmax, nmax表示最大迭代次数，比如50次；Vθ为阈值幅度系数，本文设置为100；β为链接强度，采用空间频率[10]进行设置。
PCNN模型只利用了神经元的点火特性，不能自动确定最优分割的迭代次数n，这里采用二维Renyi熵[11]作为PCNN的最优分割结果的判定准则。Renyi熵是一种广义的信息熵，考虑了两个子系统之间的相互作用，在图像阈值分割中比传统熵方法效果更好[8]。较之一维Renyi上，二维Renyi熵不仅利用了图像灰度信息，还包含空间邻域信息，具有更好的分割效果。
由于红外与可见光波段不同，分割的区域存在差异，所以对原图像分别分割后，有必要对红外与可见光图像的区域进行关联处理[4]，从而得到共同目标区域，单一目标区域和背景区域三类区域。然后根据不同区域特征差异，设计相应融合规则进行融合。
-
由于小波等变换对图像分析能力有限[12]，Da Cunda等提出了一种最优的二维图像表示方法——非下采样Contourlet变换，不仅具有小波的时频局部和多分辨率特性，还具有更好的方向性和平移不变性，能更有效地提取图像特征，更好地保留原图像细节信息，被广泛应用于图像融合中[10]。
原图像经NSCT分解后得到低频子带和高频子带，其中低频子带代表图像的近似分量，包含原图像的光谱信息；高频部分代表图像的细节分量，包括边缘、纹理等细节信息。因此，子带图像融合规则的选择是图像融合的关键，直接影响融合的质量。本文根据不同分割区域的特征差异以及高低频子带的特点，来设计图像融合规则，具体如下。
-
在红外图像中，热目标区域的能量明显高于其他区域，对于共同目标区T，为了尽可能融合红外图像与可见光图像中的目标信息，低频部分根据区域的相似性，采用基于区域能量选择与加权的融合规则。红外图像I和可见光图像V中两个目标区域的相似性定义为：
$$ \begin{array}{*{20}{c}} {S\left( T \right) = }\\ {\frac{{2\sum\nolimits_{\left( {x,y} \right) \in T} {C_{{j_0}}^V\left( {x,y} \right)C_{{j_0}}^I\left( {x,y} \right)} }}{{\sum\nolimits_{\left( {x,y} \right) \in T} {{{\left[ {C_{{j_0}}^V\left( {x,y} \right)} \right]}^2}} + \sum\nolimits_{\left( {x,y} \right) \in T} {{{\left[ {C_{{j_0}}^I\left( {x,y} \right)} \right]}^2}} }}} \end{array} $$ (12) 区域能量计算为：
$$ E_{{j_0}}^P\left( T \right) = \sum\nolimits_{\left( {x,y} \right) \in T} {{{\left| {C_{{j_0}}^P\left( {x,y} \right)} \right|}^2}} ,P = V,I $$ (13) 式中, CIj0(x, y)、CVj0(x, y)分别表示红外图像和可见光图像低频子带j0中(x, y)处的系数值。如果S(T) < γ，其中γ是相似性阈值，取0.8，那么目标区域低频融合系数CFj0(x, y)为：
$$ C_{{j_0}}^F\left( {x,y} \right) = \left\{ \begin{array}{l} C_{{j_0}}^V\left( {x,y} \right),E_{{j_0}}^V\left( T \right) \ge E_{{j_0}}^I\left( T \right)\\ C_{{j_0}}^I\left( {x,y} \right),E_{{j_0}}^I\left( T \right) > E_{{j_0}}^V\left( T \right) \end{array} \right. $$ (14) 如果S(T)≥γ, 则说明两个目标区域有极大的相似性，采用加权平均的方法进行融合，权值根据式(15) 确定：
$$ \left\{ \begin{array}{l} {\omega _1} = \frac{1}{2} - \frac{1}{2} \times \frac{{1 - S\left( T \right)}}{{1 - \gamma }}\\ {\omega _2} = 1 - {\omega _1} \end{array} \right. $$ (15) 则融合系数为：
$$ \begin{array}{*{20}{c}} {C_{{j_0}}^F\left( {x,y} \right) = }\\ {\left\{ \begin{array}{l} {\omega _1}C_{{j_0}}^I\left( {x,y} \right) + {\omega _2}C_{{j_0}}^V\left( {x,y} \right),E_{{j_0}}^I\left( T \right) \ge E_{{j_0}}^V\left( T \right)\\ {\omega _2}C_{{j_0}}^I\left( {x,y} \right) + {\omega _2}C_{{j_0}}^V\left( {x,y} \right),E_{{j_0}}^V\left( T \right) > E_{{j_0}}^I\left( T \right) \end{array} \right.} \end{array} $$ (16) 对于高频部分，包含了大量的纹理、边缘等细节信息，为了提取更多的细节特征，采用系数绝对值取大的规则进行融合处理。
-
由于红外与可见光传感器的成像机理不同，对于场景中同一目标，在两幅图像中的灰度分布特性一般存在较大差异。为了保证红外与可见光图像中的目标信息能够最大限度地综合到融合图像，对于单一目标区域R，高低频融合系数均取目标区域的系数。
-
可见光图像光谱信息丰富，包含着大量的背景细节特征，同时红外图像背景区域也包含部分纹理细节信息。为了尽可能保留可见光图像场景信息，又不丢失红外图像中的背景信息，对于低频部分，首先使用结构相似度(structural similarity, SSIM)[13]来描述两个区域的结构相似性，根据结构相似度来决定采用选取还是加权策略。
如果SSIM≥η，文中η取0.9，表明两个区域结构非常相似，采用取平均的方式融合。否则，融合系数取可见光图像低频对应区域的系数，尽可能保留可见光图像中的背景轮廓。
对于高频部分，采用局部能量取大的方法进行融合。假设Cj, kF(x, y)表示高频第j层第k方向子带位置(x, y)的融合系数，则融合公式为：
$$ C_{j,k}^F\left( {x,y} \right) = \left\{ \begin{array}{l} C_{j,k}^V\left( {x,y} \right),E_{j,k}^V\left( {x,y} \right) \ge E_{j,k}^I\left( {x,y} \right)\\ C_{j,k}^I\left( {x,y} \right),E_{j,k}^V\left( {x,y} \right) < E_{j,k}^I\left( {x,y} \right) \end{array} \right. $$ (19) -
为验证该算法的可行性和有效性，选取了两组不同场景下的红外与可见光图像进行实验，并对比了离散小波变换(discrete wavelet transform, DWT)、平稳小波变换(stationary wavelet transform, SWT)、NSCT等3种多尺度变换方法，以及像素融合、窗口融合、PCNN等3种融合规则。其中像素的融合规则是低频融合系数取平均，高频融合系数取模极大；窗口规则为低频系数取平均，高频系数采用邻域方差取大融合[14]，PCNN融合参数见文献[15]。其他方法参数设置如下：DWT采用“db2”，3层分解；SWT采用“db2”，3层分解；NSCT采用“9/7”, “pkva”，[0, 2, 3, 4]。
为了更好地对融合性能进行评价，除了对各种融合方法的融合结果进行主观评价外，文中还采用信息熵(information entropy, IE)、互信息(mutual information, MI)、标准差(standard deviation, SD)、QE和QAB/F等[16, 17]客观评价指标对融合性能进行评价。
本文选取了“UN camp”和“Tank”两组实验数据进行融合实验，其红外和可见光原图像以及PCNN-Renyi分割结果如图 1、图 2所示。第一组“UN Camp”图像，场景较为复杂，由图 1(a)和1(b)可见，红外图像中，人物外形清楚可见，能够较好地识别出目标，但是目标所在场景模糊，栅栏、树木等很难辨识，背景细节较少；可见光图像中，由于行人与背景颜色相近或被树木遮挡，导致目标几乎无法分辨，但是灌木、栅栏等背景信息丰富。第二组“Tank”图像，场景较为简单，由图 2(a)和2(b)可见，背景主要为树林和草地，红外图像中坦克目标清晰可见，尤其是坦克尾部亮度较高，但是背景信息匮乏，很难辨认坦克所在场景；而可见光图像中场景清晰，但是由于背景和坦克目标灰度相近，所以坦克目标不明显。图 1(c)~1(d)和图 2(c)~2(d)为文中分割算法的分割结果，由此可见，该方法能较好地提取目标，将目标与背景分离，有利于后续融合处理。
图 1 “Un Camp”红外与可见光图像及分割结果
Figure 1. Segment Result of "UN Camp" Images
图 2 “Tank”红外与可见光图像及分割结果
Figure 2. Segment Result of "Tank" Images
第一组实验为基于单个像素规则的融合实验，如图 3所示，分别为DWT融合、SWT融合和NSCT融合结果。从视觉效果来看，3种像素规则的融合方法都不同程度综合了红外和可见光图像信息。由图 3(a)~3(c)可以看出，由于DWT方法缺乏平移不变性，“UN Camp”融合图像在栅栏、方桌等边缘位置处存在伪吉布斯现象，产生了一些虚影模糊，导致严重的灰度失真，而且目标信息损失严重；而SWT方法和NSCT方法由于具有平移不变性，伪吉布斯现象得到了一定程度的消除，融合结果更加清晰，但是SWT方法方向有限，对于图像细节信息保持不够，树丛等边缘比较模糊，目标对比度较低，而NSCT方法具有更灵活的方向性，在方桌、道路、树丛等边缘细节保留更好，目标对比度也较高。从图 3(d)~3(f)“Tank”融合结果中也可以看出，DWT融合结果在履带、车轮等处引入了大量人工痕迹，存在严重的虚影模糊，SWT方法和NSCT方法较好地消除了吉布斯效应，而NSCT结果保留了更多可见光图像背景信息，树林层次感更丰富。表 1为两组实验融合性能客观评价结果，由表 1可以看出，NSCT像素方法的客观评价指标要高于DWT像素方法和SWT像素方法，说明NSCT像素方法融合图像具有更丰富的信息，对原图像边缘细节等信息保留更好，具有更高的对比度。
图 3 “UN camp”和“Tank”图像基于单像素规则融合结果
Figure 3. Single-pixel Fusion Results of "UN Camp" and "Tank"
表 1 像素规则融合性能比较
Table 1. Evaluation Results of Single-pixel Rule Fusion
IE MI SD QE QAB/F UN
campDWT 6.464 6 1.469 1 25.491 2 0.149 2 0.396 6 SWT 6.451 4 1.500 6 25.417 8 0.182 5 0.433 3 NSCT 6.553 6 1.524 6 27.032 6 0.200 0 0.459 1 Tank DWT 6.942 2 2.499 7 31.943 1 0.321 2 0.542 1 SWT 6.933 8 2.624 2 31.897 9 0.384 9 0.599 9 NSCT 7.025 7 2.533 5 33.797 6 0.419 3 0.638 0 第二组实验为基于邻域窗口规则的融合实验，如图 4所示，分别为SWT-window融合、NSCT-window融合、SWT-PCNN融合和NSCT-PCNN融合。其中图 4(a)~4(d)为“UN camp”图像融合结果，可以看出基于NSCT-window和NSCT-PCNN的融合方法比SWT-window和SWT-PCNN融合方法，具有更高的对比度，目标明显。图 4(e)~4(h)为“Tank”图像融合结果，可以看出，NSCT-window相比SWT-window在背景区域包含更多的可见光图像细节信息，树林层次感更强，而NSCT-PCNN比SWT-PCNN具有更高的整体对比度，图像整体灰度更亮，反差更大，包含更多的原图像信息，目标更加突出。表 2为两组实验的客观评价。对于“UN camp”数据，相比SWT-window和SWT-PCNN方法，NSCT-window和NSCT-PCNN融合获得了更高的客观评价指标。对于“Tank”数据，除了MI指标略低于SWT窗口融合外，其余指标都高于SWT窗口方法。可以看出，基于NSCT的融合图像信息量更丰富，对边缘等细节信息保留更充分，NSCT-PCNN方法融合图像对比度更高，目标更突出。
图 4 “UN camp”和“Tank”图像基于窗口规则融合结果
Figure 4. Window Fusion Results of "UN Camp"and "Tank"
表 2 窗口规则融合性能比较
Table 2. Evaluation Results of Window Rule Fusion
IE MI SD QE QAB/F UN camp SWT-window 6.363 0 1.511 8 24.325 3 0.178 7 0.407 2 NSCT-window 6.368 2 1.542 2 24.856 6 0.216 5 0.439 6 SWT-PCNN 6.440 6 1.495 8 25.295 6 0.181 3 0.426 3 NSCT-PCNN 6.526 9 1.533 8 26.555 8 0.205 2 0.446 4 Tank SWT-window 6.907 6 2.624 9 31.322 6 0.379 0 0.593 4 NSCT-window 6.967 3 2.535 1 32.269 6 0.429 1 0.628 4 SWT-PCNN 6.929 1 2.620 7 31.837 3 0.381 5 0.585 5 NSCT-PCNN 7.007 6 2.534 1 33.379 3 0.416 6 0.598 5 第三组实验为基于NSCT的融合以及文中所提融合方法的比较，如图 5所示，分别为NSCT像素融合、NSCT-PCNN融合和所提融合方法。其中图 5(a)~5(c)为“UN camp”图像融合结果，可以看出，NSCT像素融合是基于单个像素的，背景和目标亮度存在一定程度的减弱，丢失较多细节信息，而NSCT-PCNN方法考虑了邻域信息，融合效果有明显的改善，目标信息融合更好，但背景信息存在损失，目标所在场景不够清晰。本文所提方法不仅较好地融合了目标信息，也较好地综合了可见光图像中的场景细节信息，如融合图像左下角和右下角的灌木丛，该算法结果具有更丰富的纹理细节特征，像素灰度和边缘轮廓更接近可见光图像。图 5(d)~5(f)为“Tank”图像融合结果，其中基于像素的融合方法，坦克热目标不够突出，整体灰度偏暗。基于PCNN的融合方法效果有所改善，坦克尾部更加突出，且草地和树林融合了更多可见光图像信息，但是在坦克车轮、履带等处，细节保留不够，存在一定程度的模糊。本文方法较好地改善了融合效果，坦克目标清晰可辨，而且在细节信息的保留上更具有优势，在履带、车轮等处融合了更多的细节特征。表 3为客观评价结果，本文所提方法具有更高的客观评价指标，表明本文所提方法融合图像信息量更丰富，综合了更多图像信息，尤其是边缘细节等信息保留更好，而且融合结果整体对比度高，目标信息突出。
图 5 “UN camp”和“Tank”图像基于NSCT融合结果
Figure 5. NSCT Fusion Results of "UN Camp" and "Tank"
表 3 NSCT融合算法性能比较
Table 3. Evaluation Results of NSCT Fusion
IE MI SD QE QAB/F UN camp NSCT 6.553 6 1.524 6 27.032 6 0.200 0 0.459 1 NSCT-PCNN 6.526 9 1.533 8 26.555 8 0.205 2 0.446 4 Proposed 7.150 4 3.050 5 39.139 0 0.209 6 0.454 1 Thank NSCT 7.025 7 2.533 5 33.797 6 0.419 3 0.638 0 NSCT-PCNN 7.007 6 2.534 1 33.379 3 0.416 6 0.598 5 Proposed 7.380 4 4.717 2 44.385 4 0.497 3 0.701 3 通过第一组和第二组实验，可以看出，相比DWT融合和SWT融合，NSCT融合具有更大的优势，融合性能更好，这也反映了NSCT的平移不变性和多方向特性，对图像细节信息具有更强的捕捉能力，更适合图像融合。通过第三组实验，可以看出文中所提的融合方法，考虑了区域特征差异，可以更好地提取原图像细节信息，比传统的融合方法效果更好，性能更高。
-
针对传统像素级融合方法的缺陷，本文提出一种顾及区域特征差异的红外与可将光图像多尺度融合方法。该方法基于NSCT变换，根据分割区域特征差异来设计高低频子带图像的融合规则，充分利用了图像区域特征，增强了图像融合的鲁棒性。实验结果表明，文中算法融合结果既突出了红外图像中的目标信息，又有效保留了可见光图像中的光谱信息，目标突出，细节信息丰富，无论是视觉效果还是客观评价上，优于常用的融合算法。
Region Feature Based Multi-scale Fusion Method for Thermal Infrared and Visible Images
-
摘要: 针对传统的热红外与可见光图像融合方法对比度低，容易出现边缘细节、目标等信息丢失或减弱的现象，提出一种顾及区域特征差异的热红外与可见光图像多尺度融合方法。首先采用自适应PCNN（脉冲耦合神经网络）模型和二维Renyi熵相结合的图像分割方法，分别对红外和可见光图像进行区域分割；然后利用非下采样Contourlet变换对原图像进行多尺度多方向分解，根据区域的特征差异设计不同的融合规则，融合热红外与可见光图像。实验结果表明，该方法不仅能有效地融合热红外图像的目标特征，还能更多地保留可见光图像丰富的背景信息，融合图像对比度高，在视觉效果和客观评价上优于传统融合方法。Abstract: To overcome the defects of existing algorithms that the target information and edge details are easily lost and that fusion image contrast is low, a novel fusion method that combines region feature and multi-scale transform for thermal infrared and visible images is proposed in this paper. Firstly, the source infrared and visible images are segmented based on adaptive pulse coupled neural network (PCNN) and two-dimension Renyi entropy, and a joint segmentation map can be acquired through region joint operation. Then the original images are multi-scale and multi-directional decomposed by nonsubsampled contourlet transform (NSCT). After that, the fusion rules are designed based on region feature difference in NSCT domain. Finally, the fusion image is reconstructed by NSCT inverse transform. Experimental results show the proposed method can effectively fuse infrared target feature, preserve the background information as much as possible, and obtain good contrast. The proposed method is superior to the traditional methods in terms of both subjective evaluation and objective evaluation.
-
Key words:
- image fusion /
- region segmentation /
- pulse coupled neural network /
- renyi entropy
-
图 3 “UN camp”和“Tank”图像基于单像素规则融合结果
Figure 3. Single-pixel Fusion Results of "UN Camp" and "Tank"
图 4 “UN camp”和“Tank”图像基于窗口规则融合结果
Figure 4. Window Fusion Results of "UN Camp"and "Tank"
图 5 “UN camp”和“Tank”图像基于NSCT融合结果
Figure 5. NSCT Fusion Results of "UN Camp" and "Tank"
表 1 像素规则融合性能比较
Table 1. Evaluation Results of Single-pixel Rule Fusion
IE MI SD QE QAB/F UN
campDWT 6.464 6 1.469 1 25.491 2 0.149 2 0.396 6 SWT 6.451 4 1.500 6 25.417 8 0.182 5 0.433 3 NSCT 6.553 6 1.524 6 27.032 6 0.200 0 0.459 1 Tank DWT 6.942 2 2.499 7 31.943 1 0.321 2 0.542 1 SWT 6.933 8 2.624 2 31.897 9 0.384 9 0.599 9 NSCT 7.025 7 2.533 5 33.797 6 0.419 3 0.638 0 
下载: 导出CSV
表 2 窗口规则融合性能比较
Table 2. Evaluation Results of Window Rule Fusion
IE MI SD QE QAB/F UN camp SWT-window 6.363 0 1.511 8 24.325 3 0.178 7 0.407 2 NSCT-window 6.368 2 1.542 2 24.856 6 0.216 5 0.439 6 SWT-PCNN 6.440 6 1.495 8 25.295 6 0.181 3 0.426 3 NSCT-PCNN 6.526 9 1.533 8 26.555 8 0.205 2 0.446 4 Tank SWT-window 6.907 6 2.624 9 31.322 6 0.379 0 0.593 4 NSCT-window 6.967 3 2.535 1 32.269 6 0.429 1 0.628 4 SWT-PCNN 6.929 1 2.620 7 31.837 3 0.381 5 0.585 5 NSCT-PCNN 7.007 6 2.534 1 33.379 3 0.416 6 0.598 5
下载: 导出CSV
表 3 NSCT融合算法性能比较
Table 3. Evaluation Results of NSCT Fusion
IE MI SD QE QAB/F UN camp NSCT 6.553 6 1.524 6 27.032 6 0.200 0 0.459 1 NSCT-PCNN 6.526 9 1.533 8 26.555 8 0.205 2 0.446 4 Proposed 7.150 4 3.050 5 39.139 0 0.209 6 0.454 1 Thank NSCT 7.025 7 2.533 5 33.797 6 0.419 3 0.638 0 NSCT-PCNN 7.007 6 2.534 1 33.379 3 0.416 6 0.598 5 Proposed 7.380 4 4.717 2 44.385 4 0.497 3 0.701 3
下载: 导出CSV
-
[1] Piella G. A General Framework for Multiresolution Image Fusion:From Pixels to Regions[J]. Information Fusion, 2003, 4:259-280 doi: 10.1016/S1566-2535(03)00046-0 [2] Luo Xiaoyan, Zhang Jun, Dai Qionghai. A Regional Image Fusion Based on Similarity Characteristics[J]. Signal Processing, 2012, 92(5):1268-1280 doi: 10.1016/j.sigpro.2011.11.021 [3] 杨扬, 戴明, 周箩鱼.基于NSUDCT的红外与可见光图像融合[J].红外与激光工程, 2014, 43(3):961-966 http://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201003018.htm Yang Yang, Dai Ming, Zhou Luoyu. Fusion of Infrared and Visible Images Based on NSUDCT[J]. Infrared and Laser Engineering, 2014, 43(3):961-966 http://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201003018.htm [4] Niu Yifeng, Xu Shengtao, Wu Lizhen, et al. Airborne Infrared and Visible Image Fusion for Target Perception Based on Target Region Segmentation and Discrete Wavelet Transform[J]. Mathematical Problems in Engineering, 2012, 2012:1-10 https://www.researchgate.net/publication/258383078_Airborne_Infrared_and_Visible_Image_Fusion_for_Target_Perception_Based_on_Target_Region_Segmentation_and_Discrete_Wavelet_Transform [5] Saeedi J, Faez K. Infrared and Visible Image Fusion Using Fuzzy Logic and Population-based Optimization[J]. Applied Soft Computing, 2012, 12(3):1041-1054 doi: 10.1016/j.asoc.2011.11.020 [6] Liu Huanxi, Zhu Tianhang, Zhao Jiajia. Infrared and Visible Image Fusion Based on Region of Interest Detection and Nonsubsampled Contourlet Transform[J]. Journal of Shanghai Jiaotong University (Science), 2013, 18(5):526-534 doi: 10.1007/s12204-013-1437-7 [7] Zhao Bingjie. Fusion of Infrared and Visible Image Based on Target Extraction and Contourlet Transform[J]. Journal of Information and Computational Science, 2013, 10(15):4751-4761 doi: 10.12733/issn.1548-7741 [8] 邢素霞, 肖洪兵, 陈天华, 等.基于目标提取与NSCT的图像融合技术研究[J].光电子·激光, 2013, 24(3):583-588 http://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201303034.htm Xing Suxia, Xiao Hongbing, Chen Tianhua, et al. Study of Image Fusion Technology Based on Object Extraction and NSCT[J].Journal of Optoelectronics·Laser, 2013, 24(3):583-588 http://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201303034.htm [9] Monica S M, Sahoo S K. Pulse Coupled Neural Networks and Its Applications[J]. Expert Systems with Applications, 2014, 41(8):3965-3974 doi: 10.1016/j.eswa.2013.12.027 [10] Xiang Tianzhu, Yan Li, Gao Rongrong. A Fusion Algorithm for Infrared and Visible Images Based on Adaptive Dual-channel Unit-linking PCNN in NSCT Domain[J]. Infrared Physics & Technology, 2015, 69:53-61 https://www.researchgate.net/publication/273312702_A_fusion_algorithm_for_infrared_and_visible_images_based_on_adaptive_dual-channel_unit-linking_PCNN_in_NSCT_domain [11] Sahoo P K, Arora G. A Thresholding Method Based on Two-dimensional Renyi's Entropy[J]. Pattern Recognition, 2004, 37(6):1149-1161 doi: 10.1016/j.patcog.2003.10.008 [12] 邢帅, 谭兵, 徐青, 等.基于复数小波变换的遥感图像融合新算法[J].武汉大学学报·信息科学版, 2007, 32(1):75-77 http://ch.whu.edu.cn/CN/abstract/abstract1790.shtml Xing Shuai, Tan Bing, Xu Qing, et al. A New Algorithm for Remote Sensing Image Fusion Using Complex Wavelet Transform[J]. Geomatics and Information Science of Wuhan University, 2007, 32(1):75-77 http://ch.whu.edu.cn/CN/abstract/abstract1790.shtml [13] 胡前, 杜军平, 方明, 等.基于结构相似性的多传感器图像融合[J].东南大学学报(自然科学版), 2013, 43(S1):158-162 http://www.cnki.com.cn/Article/CJFDTOTAL-DNDX2013S1034.htm Hu Qian, Du Junping, Fang Ming, et al. Multi-sensor Image Fusion Algorithm Based on SSIM[J]. Journal of Southeast University (Natural Science Edition), 2013, 43(S1):158-162 http://www.cnki.com.cn/Article/CJFDTOTAL-DNDX2013S1034.htm [14] 叶传奇, 王宝树, 苗启广.基于NSCT变换的红外与可见光图像融合算法[J].系统工程与电子技术, 2008, 30(4):593-596 http://cdmd.cnki.com.cn/Article/CDMD-10287-1011292174.htm Ye Chuanqi, Wang Baoshu, Miao Qiguang. Fusion Algorithm of Infrared and Visible Light Images Based on NSCT Transform[J]. Systems Engineering and Electronics, 2008, 30(4):593-596 http://cdmd.cnki.com.cn/Article/CDMD-10287-1011292174.htm [15] 金星, 李晖晖, 时丕丽.非下采样Contourlet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合[J].中国图像图形学报, 2012, 17(9):1188-1195 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201209021.htm Jin Xing, Li Huihui, Shi Pili.SAR and Multispectral Image Fusion Algorithm Based on Pulse Coupled Neural Networks and Non-subsampled Contourlet Transform[J]. Journal of Image and Graphics, 2012, 17(9):1188-1195 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201209021.htm [16] Haghighat M B A, Aghagolzadeh A, Seyedarabi H. A Non-reference Image Fusion Metric Based on Mutual Information of Image Features[J]. Computers & Electrical Engineering, 2011, 37(5):744-756 https://www.researchgate.net/publication/220593498_A_non-reference_image_fusion_metric_based_on_mutual_information_of_image_features [17] Huang Xin, Wen Dawei, Xie Junfeng, et al. Quality Assessment of Panchromatic and Multispectral Image Fusion for the ZY-3 Satellite:From an Information Extraction Perspective[J].IEEE Geoscience And Remote Sensing Letters, 2014, 11(4):753-757 doi: 10.1109/LGRS.2013.2278551 -
点击查看大图
图(5) / 表(3)
计量
- 文章访问数: 1421
- HTML全文浏览量: 101
- PDF下载量: 409
- 被引次数: 0
