近年来，基于多分辨率分析的融合方法已经成为研究热点。最早始于文献^[3]提出的拉普拉斯金字塔算法，其基本原理是先将已配准的源图像用金字塔结构表示，然后将金字塔结构以一定的融合规则进行融合，最后将融合的金字塔结构用生成的逆过程重构^[4]。文献^[5]采用梯度金字塔对可见光和红外图像融合进行了研究，证明了梯度金字塔对图像融合的有效性。

针对梯度金字塔分解可以分析图像中不同大小目标的特点，结合水下特殊环境的声图像特性，本文在基于梯度金字塔的多分辨率分解框架下构建基于局部邻域的显著性和匹配性量测，利用图像的局部邻域特征指导融合策略。

1 多分辨率图像融合框架

目前，还没有一个比较完善、通用的图像融合体系，但是基于多分辨率分析的图像融合框架是目前比较理想的图像融合框架^[6]。基于多分辨率变换的图像融合是将图像在不同分解尺度、不同分解层、不同空间分辨率上分别进行融合，与其他融合方法相比较，该方法可以明显提高图像融合的质量^[6]。

在图像进行多分辨率分解之后，以图像多分辨率系数的局部邻域特征为依据，选取输入图像中比较活跃的特征信息为显著性量测。同时，其分解系数之间存在的差异采用匹配性量测来衡量，并且依据匹配性量测的信息选择恰当的方法对分解系数进行融合。 合成模块根据相应的融合策略对待融合图像的多分辨率系数进行融合，按照恰当的合成方法，最终得到融合图像的多分辨率分解系数。 最后，融合图像的多分辨率结构，经多分辨率逆变换得到融合结果。

2 多分辨率图像融合算法

本文的多分辨率图像融合框架如图 1所示。为了叙述简单，本文仅考虑两幅待融合图像的情况。值得说明的是，水下声图像的融合处理是建立在声纳图像配准的基础上。由于该问题并非本文主要阐述的内容，这里仅对声纳图像配准问题做出简要说明。

图 1 图像融合框架 Fig. 1 Image Fusion Framework

图选项

声纳图像配准是声纳图像融合的基础，也是实施声纳图像融合非常关注的问题之一。根据数据源的来源不同，可以分为同源和异源声纳图像配准^[7]；根据图像配准的层次不同，可以分为基于像素点的和基于共有特征的配准；根据图像中目标的形变类型不同，可以分为刚性和非刚性配准变换。

本文研究的是同源声纳图像的非刚性配准，如潜器搭载前视声纳对待探测目标近距离多次成像，形成面向同一目标的连续帧声纳图像序列。这类图像序列中保留着同一探测目标的冗余和互补信息，但探测目标在不同帧图像中存在较为严重的畸变，需要对图像进行非刚性配准。采用阈值处理后的梯度方向角和比值型的梯度模值构造梯度信息；采用Parzen窗方法计算互信息，结合Demons算法^[8]，将待配准图像间的梯度互信息作为驱动图像变形的附加力，从而使得两幅图像配准的同时，梯度互信息达到最大，有效克服了在灰度梯度不明显时，图像仅靠灰度梯度信息驱动变形容易造成误配准的问题，使声纳图像序列在连续帧配准过程中能够得到正确的配准变换。

本文提出的改进Demons算法扩散速度模型为：

其中 ，v为速度场；G_σ为高斯滤波器；r、f分别为参考和浮动图像；max(I_GMI(v_n))为两幅图像的梯度互信息；β为权重正常数；▽r、▽f分別为r、f的梯度向量；α为控制扩散速度的参数。

本文利用Parzen窗方法^[8]计算梯度互信息，表示为：

其中，p(l_f,l_r;μ)为联合概率密度;p_f(l_f;μ)和p_r(l_r;μ)分别为浮动和参考图像的边缘概率密度；N_IG(r,f)为改进后的归一化梯度项。

最后，Demons模型扩散速度演变为：

其中，I_GMI为图像配准中的相似性测度；形变中参数μ=(μ_1,μ_2,…,μ_N)；N为像素数目。

2.2 图像的多尺度分解

在构建梯度金字塔分解之前需要先建立一组高斯金字塔，原理为^[9]：

其中，G _lG(i,j)为第l_G层高斯金字塔图像；l_G为分解层数；ω(m,n)=h(m)·5h(n)为低通特性窗口函数(本文生成核大小为5×5)，h为高斯密度分布函数；i、j为图像的行列数；N为金字塔顶层层数。

对高斯金字塔中各分解层(最顶层除外)分别进行梯度方向滤波，即梯度金字塔分解：

其中，D _lk为第l层第k方向上梯度金字塔图像； G _l为高斯金字塔的第l层图像；*为卷积运算； ω ′为3×3的核；k为方向梯度滤波下标，k=1,2,3,4分别对应水平、45°对角线、垂直、135°对角线4个方向；d_k为第k方向的梯度算子，其定义为：

式(5)中的 ω′ 满足以下关系式

其中，式(7)中的ω即为式(4)中的窗口函数。

2.3 显著性量测和匹配性量测

在本文的图像融合框架中，融合规则采用“选择”和“平均”。当源图像在采样点位置存在明显的差异时，融合过程将选择源图像金字塔中突出的信息，并将其复制到融合结构中，同时放弃非突出信息；当采样点位置存在相似性时，融合过程将平均源图像金字塔中对应系数，并将结果保留到融合结构中。这样，“选择”可以有效地保留源图像中的互补信息，“平均”可以有效降低噪声影响并提高图像稳定性。

显著性量测是衡量区域所含信息相对于源图像的重要程度。如果区域信息在源图像中代表重要的信息，那么显著性量测就大；反之，显著性量测就小(或图像内容部分损坏)。由于人类视觉系统对于图像局部变化具有比较复杂的敏感度^[10]，因此，不同图像类型关于区域显著性量测会有不同的度量标准，本文对高分辨率层(下层)采用局部梯度、低分辨率层(最高层)采用局部方差作为显著性测度。

局部梯度通过分解系数的局部变化程度来表示图像的边缘等细节特征，其定义为：

其中，p(m,n)为采样点邻域(大小为1×1或3×3或5×5)；D_I(i+m,j+n,l,k)为第l层第k方向上的梯度金字塔分解系数，I∈{A，B}。

局部方差反映图像的偏差信息，其定义为:

其中，L为梯度金字塔分解最高层；其他参数类似式(8)。

匹配性量测用来衡量源图像之间的相似性，决定源图像对应像素点是采取取舍还是系数取平均的方法。本文对高分辨率层(下层)利用局部相关性、低分辨率层(最高层)利用局部方差比构建匹配性量测，其定义分别为：

当M_AB(i,j,l,k)=1时，表示源图像间区域信息完全一致；当M_AB(i,j,l,k)=-1时，表示源图像间区域信息一致，但符号相反；一般情况下，M_AB(i,j,l,k)取值在^{[-1, 1]}中。

一致性校验是用窗口周围的像素来验证中心像素。若某区域的中心像素来源于图像A，而该中心像素周围的多数像素却来源于图像B，则将该区域的中心像素替换为来源于图像B的中心像素；反之，亦然。 2.5 合成模块

考虑到潜器探测的作业方式，同时由于待融合图像中目标和背景的灰度特征往往存在较大差异，采用传统的融合规则通常会导致目标特征被削弱，从而不利于后续的目标识别与跟踪。通常情况下水声图像中阴影较目标占据更大的区域，为了在融合结果中正确保留目标特征，本文采取的融合规则为：在金字塔分解各层各方向采样点位置上，若匹配性量测比较低，那么就将金字塔结构中显著性量测最大的系数保留到融合金字塔结构中；若匹配性量测比较高，那么就将金字塔结构中对应系数取平均，并保留到融合金字塔结构中。融合规则可以表示为两幅源图像的加权平均：

其中，ω_A，ω_B为依赖于显著性和匹配性量测的权值，其在源图像金字塔结构各层各方向上对源图像分解系数进行加权。

实际上，权值和显著性、匹配性量测是连续变化的，本文仅就几种极端情况加以说明。当区域相似性比较低、匹配性量测在阈值θ以下时，权值分配为1和0(“选择”规则)；当区域相似性比较高，相关性接近于1时，权值分配为0.5和0.5(“平均”规则)；其他情况权值单调变化。其权值分配规则可以表示为：

最后，利用融合金字塔结构 D _F进行梯度金字塔逆变换得到融合图像F。

为了验证本文方法的有效性，对声纳图像进行融合实验，实验平台为处理器Pentium Dual-Core 2.6 GHz，内存为2 GB，程序使用Matlab 7.10语言编写。

将本文算法分别与5种基于不同金字塔分解结构的融合方法进行比较，依次是：基于高斯金字塔分解结构的融合方法(GP)，融合策略采用低频系数取平均、高频系数选大的规则；基于拉普拉斯金字塔分解结构的融合方法(LP)^[11]，融合策略与GP方法相同；基于低通比率金字塔分解结构的融合方法(RP)^[12]，融合策略采用Toet的融合规则；基于对比度金字塔分解结构的融合方法(CP)^[13]，融合策略与本文相同。5种不同融合方法均进行三层分解。

侧扫声纳的沙波图像，图像大小为500像素×256像素，如图 2所示。

图 2 不同金字塔分解方法下的融合效果 Fig. 2 Fusion Effect Under Different Pyramid of Decomposition Methods

图选项

主观上来说，GP、LP和RP融合方法没有有效综合源图像互补信息的作用，其中RP融合方法略好于前两种融合方法，如图 2(c)~2(e)所示。CP和本文融合方法均有效综合了源图像的互补信息，但仔细观察融合结果可以发现，本文算法在互补区域内图像细节保持较好，灰度级均匀，互补和冗余区域边界过度较为平滑，区域边界在主观上没有明显断裂。

为了客观地比较5种融合算法的性能，从4个方面分别选择评价指标：均值^[14]、标准差、信息熵^[15]和图像清晰度^{[16, 17]}。其中，均值对人眼反映为平均亮度；标准差可以用来衡量图像反差的大小、灰度级分散程度；信息熵反映融合图像的信息量增加程度。表 1给出了图 2中5种融合方法的性能比较。

从表 1中可以看出，本文融合框架在标准差，信息熵和图像清晰度方面都有明显的提高，但是均值方面有所下降。在均值方面，RP方法最优，但主观上观察并非如此；同样，主观效果较为优秀的CP方法并非4种指标都较为优秀。这主要是由于主、客观评价标准存在不一致而造成的，这也是目前图像融合评价标准领域中亟待解决的问题之一，因此，综合主、客观标准评价融合结果是当前公认的方法，从这点上来看本文融合方法总体效果较其他4种方法理想。

对船体局部残骸声纳图像进行融合实验，如图 3所示。其中,图 3(a)和图 3(b)分别是残骸图像第73和第63帧，可以看到在暗方框标示处有明显的信息缺失。同时可以看出两帧图像中的目标存在形变，在图像融合之前需要进行配准处理，鉴于图像配准问题并非本文主要阐述内容，在此仅给出配准结果：采用基于梯度互信息量的Demons图像配准方法，以73帧为参考图像，刚性阶段配准所得参数(x,y,θ)为(2,9,1)，如图 3(c)所示。本文方法融合处理后的结果，如图 3(d)所示，可以看到先前图像中暗框所示的信息缺失都得到了有效的补充，并且图像质量没有明显损失。另一方面，也可以通过表 2所示的客观评价指标得出相同的结论。

图 3 船体局部残骸融合结果 Fig. 3 Fusion Effect of Hull Partial Wreckage

图选项

仍利用实验一中4种客观评价指标衡量融合结果对两幅源图像互补和冗余信息的综合能力。从表 2中可以看出，均值、标准差和图像清晰度略有提高，并总体和源图像保持一致，说明本文融合方法在尊重源图像的前提下提高了融合结果的图像质量。信息熵指标提高显著，说明本文融合方法有效综合了源图像的互补信息，这正迎合了声纳图像融合需要解决的问题。

4 结 语

根据水下声图像的自身特点，本文提出了基于梯度金字塔的图像融合框架，将其方向性分解和图像融合有机地结合起来，使融合后的图像更符合视觉要求。实验结果表明，针对水下声图像融合处理问题，本文方法不失为一种有效的声纳图像融合方法。此外，由于水下声纳成像受多种因素的影响，融合过程中会将无信息价值但变化激烈(梯度值大)的局部影像也融合到结果中，影响了图像的融合效果。经过多次实验比较得知，采用较大邻域，如5×5，可以有效提高融合效果，但同时有降低图像清晰度的可能。因此，不同类型图像需根据其特点选择适当的邻域区域大小。