留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

局部相位特征描述的多源遥感影像自动匹配

叶沅鑫 慎利 陈敏 王继成

叶沅鑫, 慎利, 陈敏, 王继成. 局部相位特征描述的多源遥感影像自动匹配[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
引用本文: 叶沅鑫, 慎利, 陈敏, 王继成. 局部相位特征描述的多源遥感影像自动匹配[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
YE Yuanxin, SHEN Li, CHEN Min, WANG Jicheng. An Automatic Matching Method Based on Local Phase Feature Descriptor for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
Citation: YE Yuanxin, SHEN Li, CHEN Min, WANG Jicheng. An Automatic Matching Method Based on Local Phase Feature Descriptor for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576

局部相位特征描述的多源遥感影像自动匹配

doi: 10.13203/j.whugis20150576
基金项目: 

国家重点基础研究发展计划 2012CB719901

国家自然科学基金 41401369

国家自然科学基金 41401374

测绘遥感信息工程国家重点实验室资助项目 14E01

地理国情监测国家测绘地理信息局重点实验室开放基金 2014NGCM13

四川省科技计划项目 2015SZ0046

详细信息

An Automatic Matching Method Based on Local Phase Feature Descriptor for Multi-source Remote Sensing Images

Funds: 

The National Basic Research Program 2012CB719901

the National Natural Science Foundation of China 41401369

the National Natural Science Foundation of China 41401374

the Open Research Fund Program of Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing 14E01

the Key Laboratory for National Geograophy State Monitoring (National Administration of Surveying, Mapping and Geoinformation) 2014NGCM13

the Science and Technology Program of Sichuan Province of China 2015SZ0046

More Information
图(9) / 表(1)
计量
  • 文章访问数:  1995
  • HTML全文浏览量:  135
  • PDF下载量:  504
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-03-17
  • 刊出日期:  2017-09-05

局部相位特征描述的多源遥感影像自动匹配

doi: 10.13203/j.whugis20150576
    基金项目:

    国家重点基础研究发展计划 2012CB719901

    国家自然科学基金 41401369

    国家自然科学基金 41401374

    测绘遥感信息工程国家重点实验室资助项目 14E01

    地理国情监测国家测绘地理信息局重点实验室开放基金 2014NGCM13

    四川省科技计划项目 2015SZ0046

    作者简介:

    叶沅鑫, 博士, 讲师, 主要研究方向为遥感影像分析与处理。yeyuanxin@home.swjtu.edu.cn

    通讯作者: 慎利, 讲师。lishen@swjtu.edu.cn
  • 中图分类号: P227

摘要: 由于影像间显著的几何和辐射差异,多源遥感影像自动匹配一直是目前研究的难点问题。首先引入具有光照和对比度不变性的相位一致性模型,并对其进行扩展,构建相位一致性的特征方向信息,然后借助于梯度方向直方图的模板结构,利用其特征值和特征方向,建立一种局部特征描述符——局部相位一致性方向直方图(local histogram of orientated phase congruency,LHOPC),最后利用欧氏距离作为匹配测度进行同点名识别。对四组多源遥感影像进行试验,其结果表明,相比于尺度不变特征转换和加速鲁棒性特征算法,LHOPC能更为有效的抵抗影像间的辐射差异,提高了匹配性能。

English Abstract

叶沅鑫, 慎利, 陈敏, 王继成. 局部相位特征描述的多源遥感影像自动匹配[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
引用本文: 叶沅鑫, 慎利, 陈敏, 王继成. 局部相位特征描述的多源遥感影像自动匹配[J]. 武汉大学学报 ● 信息科学版, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
YE Yuanxin, SHEN Li, CHEN Min, WANG Jicheng. An Automatic Matching Method Based on Local Phase Feature Descriptor for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
Citation: YE Yuanxin, SHEN Li, CHEN Min, WANG Jicheng. An Automatic Matching Method Based on Local Phase Feature Descriptor for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
  • 影像匹配作为摄影测量与遥感、计算机视觉领域的关键技术,近年来一直是国内外学术研究的热点前沿。影像匹配实质是在两幅或多幅影像之间识别同名点的过程,广泛应用于遥感影像配准[1]、影像拼接和变化检测等方面。

    在计算机视觉领域,局部特征描述符得到了快速的发展,并广泛地应用于影像匹配领域,其中最著名的是尺度不变特征转换(scale invariant feature transformation, SIFT)描述符[2]。由于具有较好的匹配性能,SIFT描述符已经被广泛地应用于遥感影像的匹配和配准中[3-4]。虽然SIFT描述符能够很好地抵抗影像间的旋转和尺度差异,但其基于影像局部邻域的梯度分布,当影像间辐射差异较大时,梯度信息不能提供稳定的特征[5],所以SIFT描述符难以适用于辐射差异较大的影像。在SIFT描述符基础上,学者们提出了加速鲁棒性特征(speeded up robust features, SURF)[6]、面向加速分割测试特征(features from accelerated segment test, FAST)与旋转二进制稳健独立基元特征(binary robust independent element feature, BRIEF)描述子(oriented fast and rotated BRIEF, ORB)[7]等描述符,它们在计算效率方面得到了较大的提升,但是这些描述符对于影像间的辐射差异依然很敏感。

    为了克服影像间的辐射差异,一些学者将具有光照和对比度不变性的相位一致性特征[8]应用于多源遥感影像匹配。Wong等[9]首次将相位一致性引入到多源遥感影像的匹配中,并取得了较好的效果。凌志刚等[10]提出了一种基于相位一致性和Zernike矩的多源遥感影像匹配方法。李明等[11]将相位一致性应用于特征描述符构建,提高了匹配效率。这些研究验证了相位一致性能较好地抵抗影像间的辐射差异,在多源遥感影像匹配领域有着较好的前景,但这些方法对于影像间尺度和旋转差异的适用性较弱,而且只使用了相位一致性的特征值,没有利用其特征方向信息,未能充分地挖掘相位一致性在特征提取和描述方面的潜力,性能还不够稳健。鉴于此,本文对相位一致性计算模型进行扩展,利用其奇对称滤波器构建相位一致性的特征方向,然后采用其特征值和特征方向,并借助于梯度方向直方图[12](histogram of orientated gradient,HOG)的模板结构,构建一种的局部特征描述符——局部相位一致性方向直方图(local histogram of orientated phase congruency, LHOPC),使其能够较好地抵抗影像间的尺度、旋转和辐射差异,旨在弥补传统描述符对于辐射差异较为敏感的缺陷,提高匹配的有效性和鲁棒性。

    • 本文的匹配方法包括3个步骤:① 特征点检测。建立影像的高斯差分(difference-of-Gaussian, DoG)尺度空间,并在DoG尺度空间中进行极值检测,提取出具有尺度不变性的特征点;② 局部相位特征描述。首先对相位一致性计算模型进行扩展,构建相位一致性特征方向,然后利用尺度空间中影像的相位一致性特征值和特征方向建立LHOPC特征向量,对上一步得到的特征点进行描述;③ 特征点匹配。采用欧氏距离作为匹配测度,通过LHOPC描述符之间的最近邻和次近邻距离之比进行同点名识别,得到最终稳定的同名匹配点。

    • 为了在影像间提取具有尺度(分辨率)不变性的特征点,首先建立影像的高斯尺度空间,并通过高斯尺度空间的相邻两层影像相减得到DoG尺度空间。然后在该空间中,将中间层(最底层和最顶层除外)的每个像素点与同一层的相邻8个像素以及上下两层的18个相邻像素,总共26个像素点进行比较,若该点的DoG值最大或最小,则被认为是候选的特征点,最后去除对比度较低,并且位于边缘上的点,得到最终的特征点。

    • 特征点检测之后,需要对其进行特征描述。目前著名的局部特征描述符是SIFT算子,虽然SIFT描述符具有尺度和旋转不变性,但它是基于影像局部邻域的梯度值和梯度方向,对于影像间的辐射差异较为敏感,难以适用于辐射差异较大的多源影像。相比于梯度信息,相位一致性具有光照和对比度不变性,能较好地抵抗影像间的辐射差异。为了说明这一优势,首先对一幅影像进行非线性亮度变换获得其亮度变化图,然后分别计算这两幅影像的相位一致性特征和梯度,如图 1所示。可以清晰地发现,与梯度相比,相位一致性受光照和对比度变化的影响较小,几乎保持了不变性。因此,本文将利用相位一致性模型并对其进行扩展,构建一种具有尺度、旋转和辐射不变性的局部特征描述符——LHOPC。

      图  1  相位一致性和梯度对比图

      Figure 1.  Comparison of Phase Congruency and Gradient

    • 相位一致性是一种基于频率域的特征检测方法,它的主要依据是角点、边缘等特征出现在图像傅里叶谐波分量叠合最大的相位处。Morrone等[13]首先通过实验和理论证明了相位一致性与人类视觉系统对图像特征的认知相符合。相位一致性定义为局部能量函数和傅里叶谐波分量幅度和的比值。它是一个相对量,与信号特征幅值的大小无关。这一性质保证了相位一致性对于影像的光照和对比度具有很好的不变性。为了更好地利用相位一致对图像进行特征提取,Kovesi[8]利用Log Gabor小波改进了进行相位一致性的计算模型,并将相位一致性扩展到二维空间,其计算式为:

      $$\eqalign{ & PC{\rm{ }}\left( {x,{\rm{ }}y} \right) = \cr & {{\sum\limits_o {} \sum\limits_n {} {W_o}\left( {x,{\rm{ }}y} \right)\left\lfloor {{A_{no}}\left( {x,{\rm{ }}y} \right)\Delta {\mathit{\Phi }_{no}}\left( {x,{\rm{ }}y} \right) - T} \right\rfloor } \over {\sum\limits_o {} \sum\limits_n {} {A_{no}}\left( {x,{\rm{ }}y} \right) + \varepsilon }} \cr} $$ (1)

      式中,PC (x, y)为相位一致性的特征值;(x, y)为图像的坐标;Wo(x, y)为频率扩展的权重因子;Ano(x, y)为像点(x, y)在Log Gabor滤波器尺度n和方向o上的振幅,符号表示值为正时取本身,否则取0,T为噪声阈值;ε是一个避免分母为零的常数;Ano(x, yΦno(x, y)是通过Log Gabor小波的偶对称滤波器响应值eno(x, y)和奇对称滤波器响应值ono(x, y)来计算:

      $$\eqalign{ & {A_{no}}\left( {x,{\rm{ }}y} \right)\Delta {\mathit{\Phi }_{no}}\left( {x,{\rm{ }}y} \right) = \cr & \quad ({e_{no}}\left( {x,{\rm{ }}y} \right) \cdot {{\bar \varphi }_e}\left( {x,{\rm{ }}y} \right) + {o_{no}}\left( {x,{\rm{ }}y} \right) \cdot {{\bar \varphi }_o}\left( {x,{\rm{ }}y} \right)) - \cr & \quad \left| {{e_{no}}\left( {x,{\rm{ }}y} \right) \cdot {{\bar \varphi }_o}\left( {x,{\rm{ }}y} \right) - {o_{no}}\left( {x,{\rm{ }}y} \right) \cdot {{\bar \varphi }_e}\left( {x,{\rm{ }}y} \right)} \right|{\rm{ }} \cr} $$ (2)

      式中,$\bar \varphi e(x,y) = \sum\limits_o {} \sum\limits_n {} {e_{no}}(x,y)/E(x,y),{{\bar \varphi }_o}(x,y) = \sum\limits_o {} \sum\limits_n {} {o_{no}}(x,y)/E(x,y),E(x,y)$是局部能量函数,定义为:

      $$\eqalign{ & E{\rm{ }}\left( {x,{\rm{ }}y} \right) = \cr & \sqrt {{{\left( {\sum\limits_o {} \sum\limits_n {} {e_{no}}\left( {x,{\rm{ }}y} \right)} \right)}^2} + {{\left( {\sum\limits_o {} \sum\limits_n {} {o_{no}}\left( {x,{\rm{ }}y} \right)} \right)}^2}} \cr} $$ (3)
    • 在传统的相位一致性计算过程中,只能获得相位一致性特征值,而特征值的描述性能不够稳健[14-15]。鉴于此,这里对相位一致性的计算模型进行扩展,利用Log Gabor函数的奇对称滤波器ono(x, y)构建相位一致性的特征方向,特征方向表示影像特征变化最剧烈的方向(类似于梯度方向),对于局部特征描述符的构建非常重要。

      Log Gabor函数的奇对称滤波器ono(x, y)近似于一种导数(或梯度)模板,如图 2所示。该滤波器的卷积结果表示影像在某个方向的能量变化。由于在计算相位一致性的时候,使用了多个方向的Log Gabor奇对称滤波器,因此这里将多个方向的奇对称滤波器结果分别投影到水平方向(X轴)和垂直方向(Y轴),可分别获得水平方向的能量a和垂直方向的能量b,然后它们之间的反正切值,即获得相位一致性特征方向Φ,计算公式为:

      图  2  Log Gabor奇对称滤波器

      Figure 2.  Odd Symmetry Filter of Log Gabor

      $$\left\{ \matrix{ a = \sum\limits_\theta {} ({o_{no}}\left( \theta \right)\cos \theta ) \hfill \cr b = \sum\limits_\theta {} ({o_{no}}\left( \theta \right)\sin \theta ) \hfill \cr \mathit{\Phi } = \arctan \left( {b,{\rm{ }}a} \right) \hfill \cr} \right.$$ (4)

      式中,ono(θ)表示在方向θ上的奇对称滤波器卷积结果。图 3显示了一幅图像的相位一致性特征方向,其取值范围在0~360°。

      图  3  相位一致性特征方向

      Figure 3.  Orientation of Phase Congruency Feature

    • LHOPC主要是利用相位一致性特征值和特征方向,并借助于HOG的模板结构,构建局部相位一致性方向直方图,并进行归一化处理,形成最终的特征描述符。图 4显示了LHOPC的构建过程,主要包括特征点主方向和特征描述向量两个部分。

      图  4  LHOPC的构建过程

      Figure 4.  Generation Processing of LHOPC

      (1) 特征点主方向

      本文以特征点为中心取一定大小的邻域,计算邻域内的相位一致性特征值和特征方向,形成相位一致性方向直方图。把这个直方图均匀的划分为36等份,每一等份为10°,统计每一等份的相位一致性特征值,并利用高斯权重圆窗口进行距离加权,使邻域中心附近的像素所占的比重更大。然后选择直方图的峰值方向作为特征点的主方向。

      (2) 特征描述向量

      在获取特征点主方向之后,根据主方向建立坐标系,并以特征点为中心取20σ×20σ像素的邻域,σ表示特征点的尺度。然后把邻域划分为2×2个块,每个块由2×2个元胞构成,每个元胞包含了若干个像素,并且被划分为9个方向块,从而形成LHOPC的基本结构。

      在元胞内,以像素点的相位一致特征方向进行方向直方图统计,并以像素点的相位一致性特征值进行权重分配,构成描述cell的向量,同时将每个元胞的向量组合起来,形成描述块的特征向量。为了进一步消除光照和对比度所造成的影响,对每个块的特征向量进行归一化处理。最后将所有块的特征向量连接在一起,形成描述整个邻域的LHOPC特征描述符。

    • 利用LHOPC对影像间检测的每个特征点进行特征描述,根据LHOPC描述向量之间欧氏距离的最近邻和次近邻距离之比dratio进行同点名识别,当dratio小于或等于给定的阈值时,该点则被视为匹配点。

    • 为了验证LHOPC的匹配性能,本文将LHOPC与SIFT和SURF两种经典描述符进行性能对比和分析,并采用“准确率和召回率曲线”评估以上三种描述符的性能。准确率表示正确匹配点数量与总匹配点数量的比值,召回率表示正确匹配点数量与影像间存在的同名点数量的比值。在匹配过程中,通过改变dratio阈值的大小可获得不同的准备率和召回率值,以准确率为纵轴和召回率为横轴即可绘制“准确率和召回率曲线”。如果某种描述符的“准确率和召回率曲线”位于其它描述符的上方,则说明该描述符的匹配性能更好。在绘制“准确率和召回率曲线”时需要计算影像间正确匹配点数量,这里采用投影变换作为约束条件,将误差在1.5个像素以内的匹配点对视为正确匹配。

    • 本文将LHOPC与SIFT和SURF进行对比分析,并从光谱、时相和尺度三个方面来评估这三种描述符的匹配能力。这里选择四组多源遥感影像作为试验数据(图 5),前面三组影像分别具有较大的光谱、时相和尺度差异,而第四组影像则同时具有明显的光谱、时相和尺度变化。试验数据的详细信息如表 1所示。

      图  5  试验数据

      Figure 5.  Test Data

      表 1  试验数据的详细信息

      Table 1.  Detailed Description of Test Data

      试验编号参考影像待匹配影像影像特点
      卫星传感器分辨率/m大小(像素)时间(年-月)卫星传感器分辨率/m大小(像素)时间(年-月)
      试验1SPOT4波段2(可见光)
      20
      600×600
      2002-10
      TM波段5(红外)
      30
      523×523
      2001-09
      光谱差异较大,并存在一定角度的旋转
      试验2谷歌地球(Google Earth)
      约1
      650×650
      2008-09
      谷歌地球(Google Earth)
      约1
      650×650
      2011-06
      时相差异近3年
      试验3Worldview2全色(可见光)
      0.5
      924×931
      2011-10
      Worldview2波段3(可见光)
      2
      873×829
      2011-10
      分辨率差异4倍
      试验4SPOT5波段2(可见光)
      10
      1 570×1 828
      2002-10
      TM波段5(红外)
      30
      596×629
      2001-06
      时相差异15个月,分辨率差异3倍
    • 这里将评估LHOPC、SIFT和SURF三种描述符对于光谱差异遥感影像的匹配性能。试验数据分别是位于武汉市郊外地区的SPOT 4波段2影像(可见光)和TM波段5影像(红外),分辨率为20 m和30 m,由于光谱差异较大,影像间存在着显著的灰度差异,如图 5(a)所示。图 6显示了这三种描述符的“准确率和召回率曲线”,可以清晰地看出,LHOPC的“准确率和召回率曲线”位于SIFT和SURF的上方,这表明了LHOPC的匹配性能要优于SIFT和SURF。究其原因,主要是因为LHOPC是基于相位一致性特征值和特征方向构建的描述符,而相位一致性具有光照和对比度不变性,能够较好地抵抗由光谱差异所引起的非均一的光照和对比度变化。相比而言,SIFT是基于局部邻域内的梯度信息,而对于灰度差异较大的影像,局部的梯度信息不能提供稳定的特征,从而增加了误匹配的可能性[11]。试验结果验证了基于Haar小波的SURF描述符受光谱差异的影响较大,其性能低于LHOPC和SIFT。

      图  6  试验1的准确率和召回率曲线

      Figure 6.  Precision-Recall Curve of Test 1

    • 将评估LHOPC、SIFT和SURF这三种描述符对于时相差异遥感影像的匹配性能。实验数据中,参考影像和待匹配影像位于美国旧金山地区,都来自于谷歌地球,分辨率约1 m,其中两幅影像的时相差异为33个月,影像间的某些建筑物已经发生了变化(图 5(b))。

      图 7显示了三种描述符匹配结果的“准确率和召回率曲线”。可以看出,LHOPC的匹配结果好于SIFT和SURF,SIFT的匹配性能略好于SURF。这是因为由时相差异带来的影像变化主要反映在影像的灰度差异上,即影像间具有较大的光照和对比度变化,而相位一致性对于光照和对比度变化具有较好适应性,所以LHOPC取得了相对较好的匹配结果。

      图  7  试验2的准确率和召回率曲线

      Figure 7.  Precision-Recall Curve of Test 2

    • 选择参考影像为WorldView2全色影像,分辨率为0.5 m,待匹配影像为WorldView2波段3影像,分辨率为2 m,两者都属于可见光图像,光谱差异不大,但影像间的尺度差异为4倍,存在一定角度的旋转(图 5)。图 8显示了匹配结果的“准确率和召回率曲线”。可以清晰的看出,LHOPC和SIFT的匹配性能相当。这主要是因为LHOPC利用相位一致性信息进行特征描述,主要优势是对于影响间的光照和对比度变化能保持较好的不变性,当影像间主要存在尺度和旋转差异时,相位一致性(LHOPC)和梯度信息(SIFT)差别不大,都是反映影像局部区域内灰度信息的变化量。LHOPC和SIFT的匹配性能都明显好于SURF,说明SURF抵抗影像间尺度变化的能力相对较弱。

      图  8  试验3的准确率和召回率曲线

      Figure 8.  Precision-Recall Curve of Test 3

    • 试验数据分别位于武汉市郊外地区的SPOT5波段2影像(可见光)和TM波段5影像(红外),两幅影像间的光谱差异较大,具有15个月的时相差异,它们的分辨率相差3倍,因此这两幅影像的匹配难度较大(图 5)。三种描述符匹配结果的“准确率和召回率曲线”如图 9所示,LHOPC的“准确率和召回率曲线”位于SIFT和SURF的上方。这表明,对于同时存在光谱、时相和尺度差异的多源遥感影像,LHOPC的匹配性能好于SIFT和SURF,进一步验证了利用相位一致性的特征值和特征方向进行特征描述符构建,可有效地提高描述符的匹配性能。

      图  9  试验4的准确率和召回率曲线

      Figure 9.  Precision-Recall Curve of Test 4

    • 针对多源遥感影像间几何形变和灰度差异所造成的匹配困难问题,本文引入了具有光照和对比度不变性的相位一致性算法,对其进行改进和扩展,构建了相位一致性的特征方向,借鉴于HOG的模板结构,利用相位一致性的特征值和特征方向构建了一种的局部特征描述符——LHOPC。选择四组分别具有光谱差异、时相差异和尺度差异的遥感影像进行匹配试验,并与SIFT和SURF描述符进行性能比较。试验结果表明,在光谱差异和时相差异方面,LHOPC的匹配性要明显高于SIFT和SURF;在尺度差异方面,LHOPC的性能与SIFT相当,好于SURF。综合考虑光谱差异、时相差异和尺度差异,LHOPC的匹配性能好于SIFT和SURF。需要注意的是,LHOPC是基于相位一致性的特征描述符,而相位一致性的计算则需要进行多尺度多方向的Log Gabor滤波,这个过程在CPU耗时方面不够令人满意,下一步利用并行技术来提高算法的计算效率,对其进行优化和改进。

参考文献 (15)

目录

    /

    返回文章
    返回