立体影像匹配的目的是根据一幅影像上的已知模式(点、线、面)，从同一场景下拍摄的另一幅影像上寻找相对应的同名模式，是遥感影像配准、数字摄影测量、虚拟地理场景重建等领域的核心技术^{[1, 2, 3]}。相似性测度模型的设计与计算是立体影像匹配的首要任务，对匹配结果的可靠性具有重要的影响，即数字立体摄影测量中的同名点相似性测度计算问题。这也是本文的研究重点。

立体影像中的同名点相似性测度是指左影像上待匹配点的目标窗口和右影像上候选点的搜索窗口之间的相似程度，这是判断两个像点是否为同名像点的依据，可基于影像的灰度分布计算，也可基于影像的后处理特征计算。常用的灰度相似性测度有归一化互相关系数(normalized cross correlation，NCC)^[1]、截断绝对差(truncated absolute difference，TAD)^[4]、差平方和(sum of squared difference，SSD)^[5]、差绝对值和(sum of absolute difference，SAD)^[6]等。基于灰度的相似性测度在影像的信息贫乏区域的匹配成功率不高，因此，基于特征的相似性测度方法得到了重视，先对影像进行某种特征变换，如(scale invariant feature transform，SIFT)^[7]、小波变换^[8]、Contourlet变换^[9]等，以构建匹配窗口的特征向量，然后再计算特征向量间的NCC、欧氏距离等度量值作为匹配测度。但是，以上这些相似性测度计算方法大都没有考虑匹配窗口内待匹配点(中心像素)与其邻域像素之间的异质性特征，窗口内各个像素在参与测度计算时被同等对待，这导致匹配测度在适应性和抗干扰性方面存在一定的问题。基于此，Yoon等^{[10, 11, 12, 13]}考虑到匹配窗口内的像素与中心像素之间的颜色和空间距离相似性，提出了多种加权匹配测度计算方法。然而，这几种加权测度的计算模型仅使用了像素间的颜色相似性和空间距离进行加权，并未考虑到权值计算中影像本身的结构特征；而且，在影像中的视差不连续处，像素间的空间距离远近不能有效地度量像素之间的异质性特征。 因此，本文提出了一种基于非下采样Contourlet变换(Nonsubsampled Contourlet Transform，NSCT)的相似性测度计算方法。

1 基于NSCT的相似性测度计算原理 1.1 NSCT基本原理

NSCT是在Contourlet变换的基础上发展而成的新型图像多尺度几何分析工具^[9]，其结构与Contourlet变换很相似，但NSCT在图像的分解和重构过程中取消了下采样环节，从而使得NSCT不仅具有多尺度性、良好的空域和频域局部特性和方向特性，还具有平移不变特性。NSCT最突出的特点是具有强大的各向异性，相比于小波变换的高频信息只有水平、垂直、对角线三个方向分量的信息，NSCT能够将高频信息分解为多个方向性分量的组合，此种结构使得NSCT具有良好的非线性逼近能力，它可以对任意含线性奇异的二维分段光滑函数进行近似地逼近。NSCT的基本过程为：先采用非采样塔式滤波器组(nonsubsampled pyramid filter bank,NSPFB)获得图像的多尺度分解，然后再采用非采样方向滤波器组(nonsubsampled directional filter bank,NSDFB)对得到的各尺度带通子带图 像进行方向分解，从而得到不同尺度、不同方向的高频子带图像。图像经过J级(J≥1，为变换级数参数) NSCT 分解变换后，可以得到一个低频近似图像和个方向高频子带图像(d_i为各级变换中的高频分解的方向参数，2^d_i为各级变换中的高频方向子带图像的个数)，而且它们的分辨率都和原图像相同。NSCT的分解示意图如图 1所示。

图 1 NSCT的分解示意图 Fig. 1 Decomposition Sketch of NSCT

图选项

对立体影像中的左影像f(x,y)、右影像f′(x,y)，分别进行n级多方向NSCT变换(每级的方向数为d_i，i=1,2,…,n)，以得到左、右影像的m=个高频方向子带系数影像G_j(x,y)、G′ _j(x,y)(j=1,2,…,m)。此时，左影像或右影像中的任意一个像素p(x,y)不仅可用R、G、B三个通道的灰度值组成颜色特征向量 _c(p)=(f_R(x,y)，f_G(x,y)，f_B(x,y))，还可用m个高频方向的子带系数组成结构特征向量V _G(p)=(G₁(x,y)，G₂(x,y)，…，G_m(x,y))。因此，在计算匹配测度的过程中，先根据格式塔理论的相似性和接近性原则^[13]，用特征向量间的欧几里德距离和高斯函数来度量窗口中心像素p_c(x_c,y_c)与其邻域像素p_k(x_k,y_k)之间的颜色相似性S_c和结构接近性P_G

式中，V _c(p_k)、 V _c(p_c)分别是局部窗口影像中第k个像素和中心像素的颜色特征向量；V _G(p_k)、 V _G(p_c)分别是第k个像素和中心像素的结构特征向量；‖,‖表示两个向量之间的欧几里德距离；σ_c、σ_G为高斯函数的参数(可根据需要赋值)。

基于式(1)，窗口影像中的每个像素与中心像素之间的权值为w(p_k,p_c)= S_c×P_G。至此，对于左影像中以待匹配点p_c为中心的大小为N×N的目标窗口影像W_t，右影像中以搜索点q_c为中心的大小为N×N的搜索窗口影像W_s，利用目标窗口、搜索窗口中第k个像素的颜色特征向量 V _c(p_k)、 V _c(q_k)和高频结构向量 V _G(p_k)、 V ′ _G(q_k)，先计算像素k和中心像素之间的权值w_t(p_k,p_c)、w_s(q_k,q_c)；然后在SAD相似度的基础上，按式(2)计算两个窗口中对应像素之间的差绝对值相似度ρ(p_k,q_k)；最后，设计出如式(3)所示的基于 NSCT结构特征和RGB颜色特征的加权匹配测度。

为了验证本文匹配方法的实际效果，在Windows XP环境下，采用MATLAB 2007a科学计算语言对本文算法进行了编程实现，并使用美国Middlebury大学开发的影像匹配方法在线测试评估平台^[5](http://vision.middlebury.edu/stereo/)提供的4对标准立体影像(如图 2所示，其中，上面一行为立体像对的左影像，下面一行为该像对的真实视差图；像对的名称从左往右依次为Tsukuba、Venus、Teddy、Cones)，进行如下两个实验：① NSCT变换参数的尺度效应分析实验，以确定具有最优匹配准确度的NSCT最佳变换级数和方向数；② 不同相似性测度的匹配可靠性对比实验，以比较本文加权相似性测度与现有几个相似性测度的匹配结果的优劣。实验中，匹配窗口的尺寸均为35 像素×35 像素，σ_c、σ_G也都取匹配窗口的尺寸值，匹配准确度的定量衡量指标为测试平台给出的Nonocc、All、Disc、Avg，Nonocc、All、Disc分别表示匹配视差图结果中的非遮挡区域、像对重叠区域、视差不连续区域的错误匹配率，Avg表示4对立体像对的总体平均错误匹配率(错误匹配率是指匹配视差图中的匹配视差与真实视差间较差大于1个像素的像素个数占图像总像素数的比率)。以上4个指标值越小，则说明匹配方法的匹配可靠性越高。

图 2 标准立体影像及其真实视差图 Fig. 2 Standard Stereo Images and True Disparity Maps

图选项

1) NSCT变换参数的尺度效应分析实验

此实验的目的是确定NSCT的最佳变换级数和方向参数，以使本文中基于NSCT的加权相似性测度能取得最优的匹配可靠性。首先，进行NSCT的最佳方向参数实验：在保持变换级数固定的情况下(1级变换)，方向数参数分别取1、2、3、4，将各个方向参数下的匹配视差图像提交到在线测试平台，根据不同方向参数下的匹配错误率指标，确定具有最低匹配错误率的方向参数。然后，进行NSCT的最佳变换级数实验：在保持每级的方向参数都是所确定的最佳方向参数的情况下，变换级数分别取1、2、3、4，将各个变换级数下的匹配视差图像提交到在线测试平台，根据不同变换级数下的匹配错误率指标，确定具有最低匹配错误率的变换级数。在此实验中，NSCT的变换级数和方向参数都只取了有限的几个值，这主要是因为太大的变换参数会使得NSCT分解的高频系数图像的个数呈指数级增加，反而会降低立体影像匹配的运行效率。NSCT尺度效应实验所得到的错误匹配率与尺度参数之间的统计数据见表 1，将最低平均错误匹配率的所在行加粗显示。从表 1的实验结果可以看出，当NSCT的方向参数取3，即高频系数图像个数为8个时，4个立体像对的平均错误匹配率在此取值情况下最小；在每级的方向参数都取3的情况下，当变换级数为2，即进行二级NSCT分解时，4个立体像对的平均错误匹配率指标最小。因此，NSCT的最佳变换参数为：变换级数取2，方向参数取3。

2) 不同相似性测度的对比实验

此实验的目的是将本文NSCT加权相似性测度(变换级数和方向参数分别为2和3)和现有的8个相似性测度进行比较，以验证本文相似性测度的匹配可靠性。参与比较的其他8个相似性测度分别为NCC测度^[1](采用R、G、B三个通道的NCC平均值作为最终的NCC测度)、SAD测度^[6]、SIFT测度^[7]、SIFT-Color综合测度、基于相位的PhaseDiff测度^[8]、DGBGrid加权测度^[11]、BioPsyASW加权测度^[12]和LCDM+Adapt加权测度^[13]。将不同相似性测度对4对标准立体像对生成的匹配视差图提交给在线测试平台，得到不同相似性测度的错误匹配率统计结果，见表 2，将各个指标中的最小值加粗显示。从实验结果可以看出，对于4对标准立体影像，本文加权测度所生成的视差图(图 3)在定量评价指标上具有最小的总体平均错误匹配率。另外，从每一对立体影像的匹配结果来看，本文方法的错误匹配率指标基本上都较小。相比于传统的基于灰 度的NCC测度和基于SIFT特征的测度，本文方法的错误匹配率要降低2倍以上。由此可见，本文的加权测度能很好地顾及匹配窗口内邻域像素之间的异质性特征，并通过赋予每个像素不同的权值来决定它们对最终相似性测度计算的贡献，从而提高了匹配结果的可靠性。

图 3 本文NSCT匹配测度所生成的标准立体像对的视差图 Fig. 3 Disparity Maps Generated by Proposed NSCT Similarity Measure for Standard Stereo Images

图选项

本文针对立体影像匹配中相似性测度的稳健计算需求，采用NSCT这一新型的图像多尺度几何分析工具，提出了一种基于NSCT的加权相似性测度计算方法。使用国际上公认的影像匹配在线测试评估平台提供的标准立体影像，对本文算法进行了实验检验和在线测试，并将本文方法和现有一些方法进行了对比实验，实验结果验证了本文方法的有效性，错误匹配率明显降低。另外，本文还对NSCT尺度参数在立体影像匹配中的尺度效应问题进行了实验分析，得到了具有最优匹配结果的NSCT最佳变换参数。但是，由于本文算法是在MATLAB平台上编程实现的，受限于MATLAB编译效率，运行效率并不高。不过，由于本文主要目的是定量比较不同匹配测度的匹配结果的可靠性，因此并未对各种匹配测度的计算效率进行定量对比。