文章信息
- 李欣, 杨宇辉, 杨博, 尹峰
- LI Xin, YANG Yuhui, YANG Bo, YIN FENG
- 利用方向相位特征进行多源遥感影像匹配
- A Multi-source Remote Sensing Image Matching Method Using Directional Phase Feature
- 武汉大学学报·信息科学版, 2020, 45(4): 488-494
- Geomatics and Information Science of Wuhan University, 2020, 45(4): 488-494
- http://dx.doi.org/10.13203/j.whugis20180445
-
文章历史
收稿日期: 2019-04-13

2. 武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉, 430079;
3. 湖北省国土资源研究院, 湖北 武汉, 430071
2. State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China;
3. Hubei Institute of Land and Resources, Wuhan 430071, China
随着传感器技术的不断发展,人们通过卫星观测地球的手段越来越多,不同传感器获取的遥感数据各自具有独特优势,充分融合和利用多源遥感影像数据实现优势互补是一个重要的应用趋势。然而,多源影像数据融合利用的前提是影像间高精度配准,这个过程一般是通过在影像间匹配一定数量的同名像点,然后根据一定的数学模型,通过平差求解最佳的模型变换参数来实现的。因此,在异源遥感影像之间匹配获取可靠的同名点至关重要,而不同谱段、不同载荷获取的多源遥感影像之间匹配难度往往较大。
影像匹配是在两张或多张影像上识别同名点的过程[1]。常用的遥感影像匹配方法可以分为两类:一类是基于特征的方法,其中尺度不变特征变换[2](scale-invariant feature transform,SIFT)算法是计算机视觉领域经典的特征匹配算法,广泛用于各类遥感影像匹配问题的解决过程。但是由于异源影像间的辐射差异大,传统的基于像素梯度的SIFT描述子无法获得稳定的同名点。为了克服影像间辐射差异的影响,许多学者在SIFT算法基础上进行改进,用于多源遥感影像匹配[3-5]。Dellinger等[6]和Xiang等[7]用比值梯度取代灰度差梯度来对光学和合成孔径雷达(synthetic aperture radar,SAR)图像进行匹配,一定程度上减弱了斑点噪声的影响。叶沅鑫等[8]使用局部相位描述符,在不同谱段的光学影像之间取得了比SIFT和加速稳健特征(speeded up robust features,SURF)更好的匹配效果。但重复特征的获取和表达仍是特征匹配需解决的问题。另一类是基于区域的方法,区域匹配方法一般通过滑动模板窗口来比较窗口之间的相似性从而确定同名点,此方法不受特征提取的影响。其中相关系数是影像匹配中使用最为广泛的相似性测度,互信息(mutual information,MI)[9]方法利用了变量间的统计依赖关系,对图像的辐射差异不敏感,因此在多种类型的多模态图像匹配应用中取得了相当不错的效果[10-12]。近年来,基于相位一致性[13]构建的区域特征描述子在多源遥感影像匹配中研究较多,如叶沅鑫等[14]结合相位一致性和方向梯度直方图构建的相位一致性方向直方图(histogram of orientated phase congruency, HOPC)描述子和Fan等[15]利用多尺度加权相位一致性构建的相位一致性结构描述子(phase congruency structural descriptor, PCSD)等。这些基于区域的匹配方法能够在特征重复率明显降低的多源遥感影像间获取更多的可靠同名点。
鉴于卫星遥感平台的特性,相机的成像模型参数和位置信息很容易获取,可以利用已有的成像参数和地理参考信息来确定影像和影像之间的尺度、方向和定位差异,这是遥感影像匹配的重要初始信息。本文针对异源遥感影像的上述特点,在经过初步纠正的影像上提取均匀分布的角点作为待匹配点,然后计算图像在不同方向上的相位一致性特征,并将这些特征组合成一种新的局部描述子,使其能够克服多源图像间非线性辐射差异带来的匹配困难,以在多源图像匹配中获取数量更多的同名点。
1 基于方向相位特征的匹配方法 1.1 特征点检测由于异源遥感影像之间存在特征偏移和缺失的问题,对参考影像和目标影像同时进行特征点提取很难保证特征点的重复性,因此本文仅对参考影像进行特征点提取,然后在目标影像上通过滑动窗口来搜索同名点。同时为了保证特征点分布的均匀性,采用分块的方式来控制特征角点的数量和分布,即先把参考影像划分为一定数量大小一致的格网区域,然后分别在每个区域内进行角点检测,并按响应值的大小从大到小选取一系列点作为待匹配点。
本文选择Harris[16]算法来提取特征角点作为待匹配点,Harris算法认为一个特征角点在任意方向上滑动窗口都应该有较大的灰度变化。其算法原理如下:
| $ \begin{array}{l} {E_{x, y}} = \sum\limits_{u, v} {{w_{u, v}}{{[{I_{x + u, y + v}} - {I_{u, v}}]}^2} = } \\ \sum\limits_{u, v} {{w_{u, v}}{{[xX + yY + o({x^2}, {y^2})]}^2}} \end{array} $ | (1) |
式中,E表示角点强度;(x, y)表示图像坐标;u, v分别是x和y方向的偏移量;X和Y分别是图像在x和y方向的一阶导数;w是高斯卷积核,用于抑制图像噪声的影响;o(x2, y2)是关于x2和y2的极小值量,其计算式为:
| $ {\rm Det} = \frac{{\partial I}}{{\partial x}} \otimes w + \frac{{\partial I}}{{\partial y}} \otimes w $ | (2) |
| $ {\rm Tr} = (\frac{{\partial I}}{{\partial x}} \otimes w)(\frac{{\partial I}}{{\partial y}} \otimes w) - ((\frac{{\partial I}}{{\partial x}}\frac{{\partial I}}{{\partial y}}) \otimes w) $ | (3) |
| $ r = {\rm Det} - c{\rm T{r^2}} $ | (4) |
式中,Det和Tr分别代表Harris矩阵的行列式和迹的值;
在同源遥感影像处理中,一般是通过灰度梯度信息来进行特征描述,但是对于异源遥感影像,由于传感器成像性质的不同,影像间往往存在显著的非线性辐射差异,这使得影像上同一特征梯度的大小和角度都发生了改变,基于图像梯度的匹配方法鲁棒性大大降低。为了克服这一缺陷,本文引入不同方向的相位一致性结构特征来构建一种新的特征描述,充分考虑图像在每个方向上的特征分布,实现多源遥感影像的有效匹配。
Oppenheim等[17]证实图像的相位信息更适合用于描述图像特征,相位一致性作为一个无量纲量,它的大小与图像亮度无关。传统的相位一致性特征只能反映图像边缘的强度信息,对不同方向的边缘强度不具有选择性,本文通过选择不同角度的Log-Gabor[18]滤波器分别对图像进行滤波,得到图像在不同方向上相位一致性能量图。其计算式如下:
| $ \begin{array}{l} {\rm P}{{\rm C}_o}(x, y) = \\ \ \ \ \ \ \ \ \frac{{\sum\limits_n {{W_o}(x, y)\left\lfloor {{A_{no}}(x, y)\Delta {\Phi _{no}}(x, y) - {T_o}} \right\rfloor } }}{{\sum\limits_n {{A_{no}}(x, y) + \varepsilon } }} \end{array} $ | (5) |
式中,PCo(x, y)即图像上坐标为(x, y)的点在方向o上的相位一致性能量,它的值域是0到1;n表示尺度;Wo是一个权函数;Ano是用方向为o的Log-Gabor滤波器在尺度n上得到的振幅值;To是噪声估计值;
| $ \begin{array}{l} \Delta {{\mathit \Phi} _{no}}(x, y) = \cos ({\varphi _{no}}(x, y) - \overline {{\varphi _o}} (x, y)) - \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \left| {sin({\varphi _{no}}(x, y) - \overline {{\varphi _o}} (x, y))} \right| \end{array} $ | (6) |
式中,φno是方向o和尺度n上的相位值;
图 1是根据式(5)~(6)得到的在0、π/4、π/2和3π/4 4个方向上的相位一致性特征图像。从图 1中可以看出,不同方向的边缘在不同方向的滤波器上具有不同的响应强度。
|
| 图 1 不同方向的相位特征图像 Fig. 1 Phase Feature Images in Different Directions |
对于一副大小为M×N的输入图像,如果构建其在O个方向上的相位特征图像,以O取4为例,可以得到一组大小为M×N的不同方向上相位特征图像(PC1,PC2,PC3,PC4),这样对于输入图像上任意一点(x, y),该点的方向相位特征描述可以用Vp(x, y)来表示:
| $ \begin{array}{l} {V_p}(x, y) = \\ \ \left[ {{\rm P}{{\rm C}_1}(x, y), {\rm P}{{\rm C}_2}(x, y), {\rm P}{{\rm C}_3}(x, y), {\rm P}{{\rm C}_4}(x, y)} \right] \end{array} $ | (7) |
Fan等[19]的研究表明,在异源图像匹配中,选择更多的区域构建的特征会更加稳定。因此,为了充分考虑特征点邻域的结构特征,本文提出了一种密集的方向相位特征描述子,通过对不同方向的特征图像进行组合, 使其能够抵抗影像间复杂的辐射差异,其构建方法如图 2所示。
|
| 图 2 特征描述向量构建示意图 Fig. 2 Character Description Vector Construction |
在§1.2中已经得到了O个不同方向的相位特征图像,在此基础上,以待描述点P0为中心,当给定半径R时,以P0为中心确定一个模板窗口(长宽均为2R+1像素),在此模板窗口内构建点P0的特征描述向量。从P0出发以间距k在模板窗口内选取一组采样点(图 2中左侧红色区域)P0, P1, P2…Ps-1,假设一共包含s个采样点,以每一个采样点为中心,累加其t×t邻域内每个像素的方向相位特征描述向量VP,得到s个累加向量,将这s个向量组合成一个长度为s×O的向量,作为点P0的特征描述向量。图 2中演示的是当R、k、t分别取值为4、2、3像素时的情况,其中t的取值应该保证相邻的采样点的累加邻域有一定的重叠,本文实验中k和t取该值并保持不变。
1.4 影像匹配对于参考影像上的每一个待匹配特征点,首先按§1.3方法构建其特征描述向量,由影像的初始定位信息确定待匹配点在目标影像上的坐标,并根据影像的定位精度确定一个搜索半径,搜索半径的设置应该确保同名点位于搜索范围内且不宜过大;然后对目标影像搜索范围内的每一个点按§1.3方法构建其特征向量。搜索窗口内每一个点和待匹配点的特征向量间的归一化互相关系数(normalized cross correlation, NCC),把相关系数最大的点视作同名点,并给定一个阈值T剔除可能的错误匹配点,阈值T的选择与图像间质量差异相关; 最后利用合适的变换模型(如仿射变换模型等)和最小二乘算法剔除错误匹配点。
图 3是本文方法与互信息和归一化互相关系数在搜索窗口内的相关曲面的对比。从图 3中可以看出,本文方法在非线性辐射差异条件下有更平滑的相关曲面和显著的响应峰值。
|
| 图 3 本文方法与互信息和归一化互相关系数在搜索窗口内的相关曲面图 Fig. 3 Correlation Surfaces of Our Proposed Method, MI and NCC |
为了使定位精度达到子像素,对相关函数进行峰值拟合,此处使用泰勒级数展开式作为拟合函数。在X0=(x0, y0)T处采用泰勒级数二阶展开得(高阶项已舍去):
| $ \begin{array}{c} f(X) = f({X_0}) + \frac{{\partial {f_T}}}{{\partial X}}(X - {X_0}) + \\ \ \ \ \ \ \ \ \ \ \ \frac{1}{2}{(X - {X_0})^T}\frac{{{\partial ^2}f}}{{\partial X}}(X - {X_0}) \end{array} $ | (8) |
式中,X0就是插值中心的坐标,即匹配得到的同名点在目标影像上的行列号坐标;f是相似性测度函数;极大值点对应的X处的导数应该为0,所以令
| $ \mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over X} = - \frac{{{\partial ^2}{f^{ - 1}}}}{{\partial {X^2}}}\frac{{\partial f}}{{\partial X}} $ | (9) |
为了验证本文算法的有效性,分别选用3组不同类型的异源遥感数据进行匹配测试,具体的实验数据如表 1所示。
| 实验 | 影像类型 | 影像载荷 | 成像时间 | 影像大小/像素 |
| 实验一 | 参考影像 | Landsat 8 (band8) | 2018-05 | 600×600 |
| 目标影像 | Landsat 8 (band5) | 2018-05 | 600×600 | |
| 实验二 | 参考影像 | GF-1 (PMS1) | 2018-10 | 600×600 |
| 目标影像 | ZY-3 (MUX) | 2018-05 | 600×600 | |
| 实验三 | 参考影像 | ZY-3 (TLC-NAD) | 2018-02 | 600×600 |
| 目标影像 | GF-3 (MYN-UFS) | 2016-11 | 600×600 |
实验所用的影像数据是利用影像的初始有理多项式系数(rational polynomial coefficient, RPC)模型从原始遥感影像纠正得到的正射影像上裁剪得到的,通过纠正已经初步消除了影像间的旋转差异和较大的几何畸变。便于进一步的实验,且所有影像数据都已重采样到同一分辨率下,其定位精度在5个像素以内,为了验证本文算法的可靠性,本文在半径为15(像素)的矩形区域内进行搜索。
因为不同类型的遥感影像差异巨大,为了确定最佳的实验参数(方向数量O和模板半径R),分别以不同的参数对以上3组数据进行测试,绘制正确率变化曲线见图 4。
|
| 图 4 正确率随方向数变化情况(R=50) Fig. 4 Correct Match Rate in Different Directions(R=50) |
从图 4中可以发现,一般情况下,O的取值越大, 正确匹配率越高;同时,特征向量长度的增加会带来更大的计算量。因此,在保证效率和正确率的前提下,O取6进行不同模板半径下匹配效果的比较,同时为了体现本文算法的优点,选取经典的区域相关算法NCC、MI以及同样采用相位一致性的方法HOPC作为对比方法,实验结果见图 5。
|
| 图 5 不同模板半径下匹配效果对比 Fig. 5 Correct Match Rate in Different Template Radii |
从图 5中可以看出,在实验一和实验二中,由于成像波段不同带来的辐射性质上的差异,依赖于图像灰度相关性的NCC方法的匹配正确率明显降低,本文方法和HOPC算法都能保持较高的正确率;在实验三中,由于光学和SAR影像成像机制不同,影像之间不仅存在显著的非线性辐射差异,且SAR影像受斑点噪声影响产生了严重的图像退化,相关系数几乎无法得到正确匹配点。MI方法虽然在模板窗口增大时能够匹配到较多的点,但是其计算量会显著增加,且其在模板窗口较小时,准确率比较低,而本文方法相比于HOPC算法能获取到更多的匹配点。
图 6为4种方法的匹配效率对比。图 6中可以看出,本文算法在计算效率上具有明显优势,在模板窗口显著增大的同时也能保持优良的匹配性能。
|
| 图 6 各种方法的匹配效率对比 Fig. 6 Run Times of Our Proposed Method, MI, HOPC and NCC |
图 7~9是在参数设置为O=6、R=50像素时得到的一组匹配效果图,并通过一组检查点拟合的仿射变换模型来计算匹配点的均方根误差(root mean square error,RMSE),以此来评估算法的精度,结果见表 2。像点均方误差的计算公式如下:
|
| 图 7 实验一匹配效果图 Fig. 7 Matching Effect of Experiment One |
|
| 图 8 实验二匹配效果图 Fig. 8 Matching Effect of Experiment Two |
|
| 图 9 实验三匹配效果图 Fig. 9 Matching Effect of Experiment Three |
| 实验 | 本文方法 | MI | HOPC | |||
| 匹配点数 | RMSE/像素 | 匹配点数 | RMSE/像素 | 匹配点数 | RMSE/像素 | |
| 实验一 | 241/250 | 0.429 7 | 246/250 | 0.467 5 | 242/250 | 0.441 6 |
| 实验二 | 234/250 | 0.316 2 | 202/250 | 0.341 6 | 233/250 | 0.325 2 |
| 实验三 | 126/250 | 0.906 7 | 50/250 | 0.942 8 | 110/250 | 0.912 7 |
| $ {\rm{RMSE}} = \frac{1}{{{C_{{\rm{match}}}}}}\sum\limits_{i = 1}^{{C_{{\rm{match}}}}} {{{\left\| {H({x_1}^i,{y_1}^i) - ({x_2}^i,{y_2}^i)} \right\|}_2}} $ | (10) |
式中,Cmatch是正确匹配点的数量;H表示两张影像的真实变换模型,这里用检查点拟合的仿射变换模型替代;(
从表 2数据分析可得,在第一组和第二组实验中,所用影像数据都是辐射质量较好的全色和红外多光谱数据,这两种类型的数据之间虽然存在一定的非线性辐射差异,但图像结构相对比较清晰、信噪比高,所以最终得到的匹配点的数量和可靠性也较高。第三组实验用的是成像机制差异较大的光学和SAR影像,且影像存在一定的时相差异,由于SAR影像受相干斑噪声干扰严重,且SAR图像的纹理特征相对于光学图像可识别度大大降低,尤其是在农田、空地等弱纹理区域,因此这两种类型的影像成功匹配的点大多位于道路和建筑分布密集区域,匹配精度也相对较低。
3 结语本文从异源遥感影像的匹配难点出发,结合相位一致性方法在特征检测上的优良特性,用不同方向的相位特征图像组合来构建局部的特征描述向量,并通过滑动窗口和归一化互相关系数来搜索同名点。实验表明,本文提出的匹配方法在很大程度上能够克服多源遥感影像之间显著的非线性辐射差异带来的匹配困难,在实验数据上取得了比较高的精度和可靠性,尤其是能够在光学和SAR图像之间获取更多的同名点。后续需要对算法的效率和抗噪性进行改进,并结合一些粗匹配策略来缩小搜索范围,提高匹配速度。
| [1] |
Zhang Jianqing, Pan Li, Wang Shugen. Photogrammetry[M]. Wuhan: Wuhan University Press, 2009. (张剑清, 潘励, 王树根. 摄影测量学[M]. 武汉: 武汉大学出版社, 2009. )
|
| [2] |
Lowe D G. Distinctive Image Features from ScaleInvariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. DOI:10.1023/b:visi.0000029664.99615.94 |
| [3] |
Kelman A, Sofka M, Stewart C V. Keypoint Descriptors for Matching Across Multiple Image Modalities and Non-linear Intensity Variations[C]. IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, Minnesota, USA, 2007 10.1109/CVPR.2007.383426
|
| [4] |
Zhang Qian, Jia Yonghong, Hu Zhongwen. An Improved SIFT Algorithm for Multi-source Remote Sensing Image Registration[J]. Geomatics and Information Science of Wuhan University, 2013, 38(4): 455-459. (张谦, 贾永红, 胡忠文. 多源遥感影像配准中的SIFT特征匹配改进[J]. 武汉大学学报·信息科学版, 2013, 38(4): 455-459. ) |
| [5] |
Ye Yuanxin, Shan Jie, Xiong Jinxin, et al. A Matching Method Combining SIFT and Edge Information for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2013, 38(13): 1148-1151. (叶沅鑫, 单杰, 熊金鑫, 等. 一种结合SIFT和边缘信息的多源遥感影像匹配方法[J]. 武汉大学学报·信息科学版, 2013, 38(13): 1148-1151. ) |
| [6] |
Dellinger F, Delon J, Gousseau Y, et al. SARSIFT:A SIFT-Like Algorithm for SAR Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(1): 453-466. DOI:10.1109/TGRS.2014.2323552 |
| [7] |
Xiang Y, Feng W, You H. OS-SIFT:A Robust SIFT-Like Algorithm for High-resolution Optical-toSAR Image Registration in Suburban Areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(6): 1-13. DOI:10.1109/TGRS.2018.2835068 |
| [8] |
Ye Yuanxin, Shen Li, Chen Min, et al. An Automatic Matching Method Based on Local Phase Feature Descriptor for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1278-1284. (叶沅鑫, 慎利, 陈敏, 等. 局部相位特征描述的多源遥感影像自动匹配[J]. 武汉大学学报·信息科学版, 2017, 42(9): 1278-1284. ) |
| [9] |
Zhu Xuelong. Fundamentals of Applied Information Theory[M]. Beijing: Tsinghua University Press, 2001. (朱雪龙. 应用信息论基础[M]. 北京: 清华大学出版社, 2001. )
|
| [10] |
Rueckert D. Non-rigid Registration Using Higher-order Mutual Information[J]. Proceedings of SPIE-The International Society for Optical Engineering, 2000, 3979: 438-447. |
| [11] |
Cahill N D. Normalized Measures of Mutual Information with General Definitions of Entropy for Multimodal Image Registration[C]. International Conference on Biomedical Image Registration, Lübeck, Germany, 2010 10.1007/978-3-642-14366-3_23
|
| [12] |
Suri S, Reinartz P. Mutual-Information-Based Registration of TerraSAR-X and Ikonos Imagery in Urban Areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(2): 939-949. DOI:10.1109/TGRS.2009.2034842 |
| [13] |
Kovesi P. Image Features from Phase Congruency[J]. Journal of Computer Vision Research, 1999, 1(1): 115-116. |
| [14] |
Ye Yuanxin, Shen Li. HOPC:A Novel Similarity Metric Based on Geometric Structural Properties for Multi-modal Remote Sensing Image Matching[J]. ISPRS Annals of Photogrammetry Remote Sensing and Spatial Information Sciences, 2016, 3(1): 9-16. |
| [15] |
Fan J, Yan W, Ming L, et al. SAR and Optical Image Registration Using Nonlinear Diffusion and Phase Congruency Structural Descriptor[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5368-5379. DOI:10.1109/TGRS.2018.2815523 |
| [16] |
Harris C. A Combined Corner and Edge Detector[C]. The 4th Alvey Vision Conference, Manchester, UK, 1988 10.5244/C.2.23
|
| [17] |
Oppenheim A V, Lim J S. The Importance of Phase in Signals[J]. Proc IEEE, 1981, 69(5): 529-541. DOI:10.1109/PROC.1981.12022 |
| [18] |
Field D J. Relations Between the Statistics of Natural Images and the Response Properties of Cortical Cells[J]. Journal of the Optical Society of America A-Optics Image Science and Vision, 1987, 4(12): 2379-2394. DOI:10.1364/JOSAA.4.002379 |
| [19] |
Fan B, Huo C, Pan C, et al. Registration of Optical and SAR Satellite Images by Exploring the Spatial Relationship of the Improved SIFT[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 10(4): 657-666. |
2020, Vol. 45


