留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用PCA-SIFT进行特殊纹理航摄影像匹配

袁修孝 陈时雨 张勇

袁修孝, 陈时雨, 张勇. 利用PCA-SIFT进行特殊纹理航摄影像匹配[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512
引用本文: 袁修孝, 陈时雨, 张勇. 利用PCA-SIFT进行特殊纹理航摄影像匹配[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512
YUAN Xiuxiao, CHEN Shiyu, ZHANG Yong. Special Textural Aerial Image Matching Based on PCA-SIFT Feature Matching[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512
Citation: YUAN Xiuxiao, CHEN Shiyu, ZHANG Yong. Special Textural Aerial Image Matching Based on PCA-SIFT Feature Matching[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512

利用PCA-SIFT进行特殊纹理航摄影像匹配

doi: 10.13203/j.whugis20140512
基金项目: 

国家973计划 2012CB719902

国家自然科学基金 41371432

国家高分专项(民用部分)项目 50-H31D01-0508-13/15

详细信息
    作者简介:

    袁修孝, 博士, 教授, 博士生导师, 湖北名师。主要从事航空航天摄影测量高精度定位理论与方法、高分辨率卫星遥感影像几何处理等的研究和教学工作。代表成果:GNSS/IMU辅助空中三角测量等。已出版专著4部、合著8部, 发表学术论文120余篇。yuanxx@whu.edu.cn

  • 中图分类号: P237.3;TP751

Special Textural Aerial Image Matching Based on PCA-SIFT Feature Matching

Funds: 

The National 973 Program of China 2012CB719902

the National Natural Science Foundation of China 41371432

National Special Foundation for High Resolution on Earth Observation Systems (Civilian Part) 50-H31D01-0508-13/15

More Information
    Author Bio:

    YUAN Xiuxiao, PhD, professor. He is concentrated on the research and education in remote sensing (RS), global navigation satellite system system (GNSS) and their integration. He has made unique and original contribution to the areas of theories and methods for high precision photogrammetric positioning, GNSS/IMU-supported aerotriangulation, geometric processing of high-resolution satellite imagery, and so on. He published 12 monographs and more than 120 papers. E-mail:yuanxx@whu.edu.cn

图(8) / 表(1)
计量
  • 文章访问数:  1140
  • HTML全文浏览量:  18
  • PDF下载量:  479
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-03-19
  • 刊出日期:  2016-09-05

利用PCA-SIFT进行特殊纹理航摄影像匹配

doi: 10.13203/j.whugis20140512
    基金项目:

    国家973计划 2012CB719902

    国家自然科学基金 41371432

    国家高分专项(民用部分)项目 50-H31D01-0508-13/15

    作者简介:

    袁修孝, 博士, 教授, 博士生导师, 湖北名师。主要从事航空航天摄影测量高精度定位理论与方法、高分辨率卫星遥感影像几何处理等的研究和教学工作。代表成果:GNSS/IMU辅助空中三角测量等。已出版专著4部、合著8部, 发表学术论文120余篇。yuanxx@whu.edu.cn

  • 中图分类号: P237.3;TP751

摘要: 提出了一种基于主成分分析-尺度不变特征变换(principal component analysis,scale invariant feature transform,PCA-SIFT)的特殊纹理航摄影像匹配方法。首先,对影像降采样并进行PCA-SIFT特征匹配;然后利用得到的同名像点计算平面单应矩阵,并确定影像对间的同名区域;随后,在同名区域间再次进行PCA-SIFT特征匹配并剔除误匹配点;最后,采用改进的最小二乘影像匹配方法对PCA-SIFT匹配结果进行精化,从而自动识别出同名像点。实验结果表明,本文方法可以达到子像素级的影像匹配精度,即使是在纹理贫乏和重复区域也能够匹配出足够数量的特征点,完全可以满足空中三角测量的影像自动量测要求。

English Abstract

袁修孝, 陈时雨, 张勇. 利用PCA-SIFT进行特殊纹理航摄影像匹配[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512
引用本文: 袁修孝, 陈时雨, 张勇. 利用PCA-SIFT进行特殊纹理航摄影像匹配[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512
YUAN Xiuxiao, CHEN Shiyu, ZHANG Yong. Special Textural Aerial Image Matching Based on PCA-SIFT Feature Matching[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512
Citation: YUAN Xiuxiao, CHEN Shiyu, ZHANG Yong. Special Textural Aerial Image Matching Based on PCA-SIFT Feature Matching[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1137-1144. doi: 10.13203/j.whugis20140512
  • 影像匹配是摄影测量自动化的关键技术[1],影像量测的自动化程度决定了摄影测量系统的自动化水平。随着越来越多计算机视觉方法的引入,影像量测已经达到了几乎全自动的水平。然而,无论是常规航摄影像,还是由轻型机/无人机等低空拍摄的非常规航摄影像[2],常常包含有森林、农田、沙漠等纹理贫乏或者纹理重复区域(本文称之为特殊纹理),对其进行影像匹配时,往往难以获得数量足够、分布合理的同名像点,不得不进行人工量测,大大降低了影像量测的自动化程度。

    一般说来,纹理贫乏表现为影像的局部反差较低,采用基于灰度的影像匹配时,易受噪声干扰,匹配成功率低,采用基于特征的影像匹配时,又得不到有效的特征点,匹配点数量不足;纹理重复表现为纹理的有规则再现,无论是采用基于灰度的还是基于特征的影像匹配方法,都容易产生误匹配。总体来看,特殊纹理影像匹配的主要特点就是匹配点少且误匹配率高。

    针对纹理贫乏影像的匹配问题,文献[3]试图使用线特征来辅助影像匹配,但在以自然地物为主的航摄影像中,明显的线特征并不多,对匹配效果改善不大;针对纹理重复影像的匹配问题,文献[4]利用POS数据预测影像间的同名像点,显著提高了影像匹配的可靠性和效率,但对于一些非常规航摄平台(如无人机、飞艇等),利用定位测姿系统(position and orientation system, POS)获取的影像姿态数据精度有限,预测的点位不足以作为影像匹配的初始值。目前,尺度不变特征变换(scale invariant feature transform, SIFT)[5]和快速稳健特征(speeded up robust features, SURF)[6]是被公认为对特殊纹理影像匹配具有较强适应性的算法。然而,为了提高提取特征点的稳定性,SIFT使用了较高的对比度阈值,致使纹理贫乏影像中几乎得不到有效的特征点;SURF在SIFT基础上近似了高斯核,又很容易造成高频信号的丢失。如果依靠减少对比度阈值来增加贫乏纹理中的特征点数量,则得到的特征点受噪声干扰严重,导致误匹配率升高。相对而言,主成分分析SIFT(principal component analysis SIFT, PCA-SIFT)[7]在处理特殊纹理影像时具有明显的优势。首先它使用了较低的对比度阈值,可以从纹理贫乏影像中提取到大量的特征点;其次它采用了PCA[8]技术处理描述符,大大减少了噪声对描述符的影响;再者由于其描述符的独特性[9],能有效地区分相似纹理的结构,匹配正确率明显提高。遗憾的是,尽管PCA-SIFT在处理特殊纹理影像时效果较好,但当特征点数量巨大时,匹配结果还是不够稳定,且PCA-SIFT本身的匹配精度也难以满足高精度摄影测量影像量测的要求。为此,本文试图研究一种基于PCA-SIFT的特殊纹理影像匹配策略,旨在提高特殊纹理航摄影像匹配的成功率、精度和可靠性。

    • 本文首先对待匹配影像进行降采样,在降采样影像上实施特征匹配,并利用获取的同名像点计算两影像间的单应变换矩阵;然后依据单应变换关系寻找左右影像的对应影像块,并在影像块间实施PCA-SIFT特征匹配及最小二乘影像匹配[10];最后,采用粗差检测方法自动剔除误匹配点。图 1示意了本文的算法流程。

      图  1  基于PCA-SIFT的特殊纹理影像匹配流程图

      Figure 1.  Flowchart for Special Textural Aerial Image Matching Based on PCA-SIFT Feature Matching

      图 1可以看出,整个算法主要涉及匹配策略选择、影像间平面单应矩阵计算、PCA-SIFT特征匹配、最小二乘影像相关等关键技术。

    • 由于航摄影像幅面大,在特殊纹理影像匹配中,本文采用在金字塔影像上进行粗匹配,通过几何约束限制搜索范围,再经最小二乘影像匹配进行点位精化的由粗到精的影像匹配策略。

      假设在第n层金字塔影像上进行影像匹配得到的匹配点坐标为(x, y),则在原始影像上其理论位置应为(2nx, 2ny)。若仅考虑x方向误差,且假设该匹配误差服从均匀分布,则匹配方差为:

      (1)

      式中,ρ(x)为均匀分布的概率密度函数,且为:

      (2)

      式中,Δ表示像素大小,此时Δ=2n

      将式(2)代入式(1)可得:

      (3)

      就最小二乘影像匹配而言,由于其拉入范围一般在2个像素以内[11],即要求σx≤2。因此,n=2即可满足最小二乘影像匹配对平移参数初值的要求。因此,本文直接在第二层金字塔影像上进行粗匹配,从而缩短匹配时间。

    • 平面单应矩阵系两平面同名点间的单应变换关系,是一种严格的透视变换关系[12],其表达式为:

      (4)

      式中,(x′, y′)、(x, y)为两平面上的同名点坐标;为平面单应矩阵。

      由于H的自由度为8,因此至少需要4对同名点才能求出矩阵H。在计算待匹配的两影像间的单应变换矩阵时,为了提高计算效率,往往在降采样影像上进行。可使用下面的经验公式来计算影像的缩放因子s

      (5)

      式中,wh分别为影像的宽度和高度。

      式(5)表示把影像的最大宽、高重采样为256。实验证实,依照式(5)计算平面单应矩阵时,既可有效提高计算速度,又能确保预测影像块的精度。需要指出的是,降采样会使影像出现锯齿状噪声,将影响特征点的提取。因此,事先可对影像进行高斯模糊(方差为s/2),然后进行双三次卷积重采样[13]

      此外,同名点分布不均匀会导致单应矩阵的计算误差偏大,由此预测同名区域的精度较低,很容易导致误匹配。在得到降采样影像的匹配结果后,可估计匹配点的离散度S[14]

      (6)

      实验发现,当离散度满足式(6)时,求得的单应矩阵即可满足预测同名区域的精度要求:

      (7)

      若离散度不满足式(7),可利用立体像对的重叠度来预测重叠区域。当影像带有较精确的外方位元素(如POS数据)时,还可以进一步缩小搜索范围。

      当成像区域严格水平时,同名点满足单应关系。然而,实际成像区域都有一定的地形起伏,使用式(4)计算单应矩阵并用于预测同名区域时会引入一定的误差,导致同名区域不能完全被搜索到,需要采用一定的补偿策略。此时,可以首先对左右影像网格化(考虑到特征点数量及特征搜索效率,一般格网大小不应超过512×512像素),得到一系列大小相同的格网影像块,然后使用格网影像块进行误差补偿。如图 2所示,左影像中的格网影像块A经过单应变换之后,在右影像中的同名影像块为A′,其4个顶点分别落在右影像的格网影像块abcd中。为了补偿单应变换误差,可以将abcd格网影像块分别与A影像块进行匹配,从而减少变换误差的影响。实验表明,采用该补偿措施,无论是平坦地区影像还是地形起伏较大的山区影像,都能保证搜索到同名区域。

      图  2  影像间单应变换误差补偿示意图

      Figure 2.  Principle of Systemic Compensation Based on Homography Transformation

    • 对于一个向量x而言,其协方差矩阵为:

      (8)

      式中,mx为样本的均值向量;E表示求数学期望操作;Cx为向量x的协方差阵,它反映了向量x中的量测冗余和噪声,其对角线元素表示x某个维度上的方差,非对角线元素表示某两个维度上的协方差。同时,可以使用式(9)对x进行投影:

      (9)

      式中,矩阵A的行向量由矩阵Cx的特征向量组成,并按照对应的特征值由大到小排列。

      使用PCA技术进行向量压缩和降噪时,可以采用:

      (10)

      式中,yk为压缩后的向量;AkCx的前k个特征值所对应特征向量组成的矩阵,文献[7]推荐k取值36。

      依照式(10),PCA-SIFT的流程如图 3所示。

      图  3  PCA-SIFT特征匹配流程图

      Figure 3.  Flowchart for PCA-SIFT Feature Matching

      计算投影矩阵时,依照式(8)对每一幅影像中的所有特征点计算协方差矩阵,然后计算投影矩阵Ak。然而,对航摄影像而言,其包含的噪声往往具有统计特征,因此可以使用一系列影像作为训练样本来统计式(10)中的矩阵Ak,然后按照式(10)进行特征向量压缩。由于采用了PCA技术进行降噪,即使影像局部对比度低,也能获取到大量的匹配点。

      特征检测与特征定位分别按照文献[5]的方法进行。在特征描述中,首先提取特征点周围41×41像素的影像斑块,分别计算水平和垂直方向的灰度梯度,形成一个3 042维的向量;然后按照式(10)进行特征压缩,形成一个36维的特征描述向量。

      在特征点匹配中,可以使用文献[5]采用的最近欧氏距离与次近欧氏距离的比值作为相似性测度。在搜索特征点的过程中,本文采用了穷举法[15]

    • 即使是在原始影像上进行PCA-SIFT匹配,其精度约为1个像素,达不到高精度影像量测的需求,一种可行的方法是进行最小二乘影像匹配。然而,最小二乘影像匹配观测方程是一个非线性方程,在迭代求解时未知数需要较精确的初始值,否则会出现迭代不收敛或只能得到局部最优解。最小二乘影像匹配的观测方程为:

      (11)

      式中,g1g2分别为左右影像的灰度;n1n2为左右影像噪声;h0h1为右影像灰度的线性改正参数,当两张影像灰度相差不大时,该参数的初值分别为0和1;a0a1a2b0b1b2分别为右影像的仿射畸变参数,由于已经经过粗匹配,a0b0的初值可以直接取为0。而当左右影像间存在较大旋偏角和缩放时,a1a2b1b2需要给予精确的初始值才能迭代求解。仿射变换可以表示为:

      (12)

      当两个窗口比较小时,可以将仿射变换近似表达为相似变换:

      (13)

      式中,λ表示匹配窗口之间的缩放系数;θ表示匹配窗口之间的旋偏角。比较式(12)与式(13)发现,在近似表达的情况下,可得:

      (14)

      对于一个PCA-SIFT特征而言,其描述符中包含了尺度信息、主方向信息和位置信息,因此很容易得出

      (15)

      式中,σ1σ2分别表示两个PCA-SIFT特征的尺度;ω1ω2分别表示两个特征的主方向。

      结合式(14)和式(15)可得到最小二乘影像匹配未知数的初值为:

      (16)

      使用式(16)给出的初始值计算公式,可以较精确地得到未知数的初始值,从而避免迭代求解中的错误。

      对最小二乘影像匹配结果可以采用选权迭代法[16]或者随机抽样一致性算法[17]剔除误匹配点。

    • 为了验证本文算法的有效性,分别选取在森林、农田和沙漠地区拍摄的400多张影像进行了实验。这些实验影像包含有大量的纹理重复区域和较多的纹理贫乏区域。其中,森林和农田影像为Nikon D800相机所拍摄,像元大小为4.9 μm。森林地区影像共2条航带81张像片,农田地区影像共11条航带351张像片。沙漠地区影像为Canon EOS 5D Mark II相机所拍摄,像元大小6.4 μm,包含1条航带3张影像。为了评价本文算法的匹配精度,对影像自动匹配点使用WuCAPS系统[18]进行了带选权迭代法粗差检测的连续法相对定向;同时,为了验证本文算法的效率和稳健性,与SIFT特征匹配进行了对比实验。图 4示意了部分实验影像的缩略图。

      图  4  部分实验影像缩略图

      Figure 4.  Thumbnail of the Experimental Images

    • 图 4(a)可以看出,实验区被茂密森林所覆盖。图 5展示了使用SIFT特征匹配算法与本文匹配算法所得到的匹配点的分布情况(经自动粗差探测后保留下来的正确匹配点对)。

      图  5  SIFT特征匹配与本文方法在森林影像的匹配结果对比图

      Figure 5.  Comparison Diagram Between SIFT Feature Matching and the Proposed Method

      图 5可以看出,本文算法较传统SIFT特征匹配方法能够获得更多的匹配点。很显然,SIFT特征匹配在森林影像上的匹配效果非常差。首先,SIFT特征匹配得到的航带内连接点稀少,且分布十分不均匀,只在影像纹理良好的区域分布有少量的特征点。在有些立体像对中,连接点的数量还不足以满足相对定向的最低要求(如图 5(a)中由影像2/3组成的立体像对,只有两个连接点);而且,SIFT特征匹配得到的航线间连接点更稀少,导致航带网的弱连接(如图 5(c)中的像片5中没有一个连接点)。而本文算法可以匹配到大量的同名像点,无论是航带内还是航带间,连接点均非常稠密,且分布也相当均匀。这是因为本文算法采用了分块匹配策略,一方面减少了误匹配点,另一方面弥补了PCA-SIFT匹配稳定性不足的缺陷,加之本文算法继承了PCA-SIFT使用较低的对比度阈值获取大量的具有较高独特性的特征点,即使是在影像中包含了大量重复纹理时,也能提取到足够数量且稳定的特征点。

      利用匹配出的同名像点进行带模型连接条件的连续法相对定向,其单位权中误差变化曲线如图 6所示。

      图  6  SIFT特征匹配的精度变化曲线

      Figure 6.  Accuracy Variation Tendency for SIFT Feature Matching

      由于本文算法利用PCA-SIFT算子为最小二乘影像匹配提供初始值,尽管只在第二层金字塔影像上实施特征粗匹配,但本文算法的精度依然达到了子像素级。同时,由于本文算法吸收了PCA-SIFT描述符特征独特性高、抗噪声能力强等优点,其在处理包含有重复纹理影像时,稳定性明显高于SIFT特征匹配算法。图 6精度曲线表明,本文算法精度曲线比较平缓,且没有出现匹配失败的立体像对。而在使用SIFT特征匹配时,精度曲线阶跃性大,最好的可高达±0.52μm(约±0.1像元),最差的达到了±11.8μm(约±2.5像元),精度极不稳定。虽然SIFT特征匹配在个别像对上精度也非常高(如第11个像对),但仔细分析定向点后不难发现,整个像对上只有9对同名像点,并集中分布在影像的中央,此时的多余观测数仅为4,其可靠性是相当差的。

      再者,由于PCA-SIFT算法的描述符维度较低,且仅在第二层金字塔影像上进行粗匹配,加之匹配过程中使用了网格分块影像匹配策略,本文算法搜索同名点的效率更高(见表 1)。

      表 1  SIFT特征匹配与本文算法的效率比较

      Table 1.  Efficiency Comparison Between SIFT Feature Matching and our Method

      CPU耗时/s 像片数 匹配点数/个
      本文算法 840 81 23 350
      SIFT算法 840 81 12 675

      表 1可以看出,本文算法与SIFT算法在总体运行时间上大致相当,处理一个立体影像对平均耗时约10 s。但由于本文算法得到的匹配点约为SIFT算法的两倍,就单个点的匹配效率而言,本文算法较SIFT算法提高了约一倍。

    • 图 7示意了利用本文算法所获得的农田影像(图 4(b))航带内及航带间的连接点。

      图  7  SIFT特征匹配与本文方法在农田影像的匹配结果对比图

      Figure 7.  Comparison Diagram Between SIFT Feature Matching and the Proposed Method

      图 7可以看出,在连接点数量和分布上,本文方法较SIFT特征匹配有明显的优势。尽管农田影像纹理在重复性和贫乏程度上较森林影像更为严重,但本文算法仍然可以提取到足够数量且分布良好的航带内及航带间连接点;在匹配精度上,本文算法达到了约1/3像素的匹配精度,且所有像对的相对定向精度均表示出稳定一致的结果。而利用SIFT特征匹配,不但连接点数量少,而且分布也不均匀。在本文实验的11条航带中,有高达40%的立体像对相对定向失败。此外,本文算法在农田影像匹配中仍然保持了大约每张影像10 s的匹配速度。

    • 图 8展示了沙漠影像(图 4(c))匹配中的连接点。

      图  8  SIFT特征匹配与本文方法在沙漠影像的匹配结果对比图

      Figure 8.  Comparison Diagram Between SIFT Feature Matching and our Method

      图 8不难看出,在特征点数量和分布方面,本文算法在沙漠影像中得到的匹配点数量亦较多且分布均匀,这与在森林和农田影像的匹配结果完全一致。同时,在精度和效率方面也与上述两个实验结论相符,因文章篇幅所限,不再赘述。

    • 本文针对特殊纹理航摄影像匹配成功率低的问题,采用单应矩阵限制搜索范围并使用PCA-SIFT进行特征匹配,大大提高了影像匹配的成功率;通过使用改进的最小二乘影像匹配方法,使影像匹配精度达到了子像素级,完全可以满足空中三角测量影像量测的应用需求。由于本文方法使用了较低的特征描述符维度并缩小了匹配搜索范围,显著提高了影像匹配的效率。对特殊纹理影像的匹配实验表明,本文方法较常规的SIFT特征匹配算法效果更好,在特殊纹理影像的匹配中表现出了更好的稳健性和适应性,且匹配效率更高。

参考文献 (18)

目录

    /

    返回文章
    返回