留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于特征点引导的多视影像择优匹配方法

纪松 张永生 范大昭 龚志辉

纪松, 张永生, 范大昭, 龚志辉. 基于特征点引导的多视影像择优匹配方法[J]. 武汉大学学报 ( 信息科学版), 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
引用本文: 纪松, 张永生, 范大昭, 龚志辉. 基于特征点引导的多视影像择优匹配方法[J]. 武汉大学学报 ( 信息科学版), 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
Citation: JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458

基于特征点引导的多视影像择优匹配方法

doi: 10.13203/j.whugis20150458
基金项目: 

国家自然科学基金 41401534

地理信息工程国家重点实验室开放基金 KLGIE2013-M-3-1

测绘地理信息公益性行业科研专项经费 201412007

详细信息
    作者简介:

    纪松, 博士, 讲师, 主要从事多基线立体影像匹配、数字表面模型自动提取理论与方法研究。jisong_chxy@163.com

    通讯作者: 张永生, 教授。yszhang2001@vip.163.com
  • 中图分类号: P237

A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points

Funds: 

The National Natural Science Foundation of China 41401534

the Open Fund of State Key Laboratory of Geographic Information Engineering KLGIE2013-M-3-1

the Scientific Research Foundation for Public Welfare Industry of Surveying and Mapping and Geographic Information 201412007

More Information
    Author Bio:

    JI Song, PhD, lecturer, specializes in the theories and methods of multi-view matching and automatic DSM generation. E-mail: jisong_chxy@163.com

    Corresponding author: ZHANG Yongsheng, PhD, professor. E-mail:yszhang2001@vip.163.com
图(8) / 表(4)
计量
  • 文章访问数:  1612
  • HTML全文浏览量:  119
  • PDF下载量:  321
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-02-01
  • 刊出日期:  2018-01-05

基于特征点引导的多视影像择优匹配方法

doi: 10.13203/j.whugis20150458
    基金项目:

    国家自然科学基金 41401534

    地理信息工程国家重点实验室开放基金 KLGIE2013-M-3-1

    测绘地理信息公益性行业科研专项经费 201412007

    作者简介:

    纪松, 博士, 讲师, 主要从事多基线立体影像匹配、数字表面模型自动提取理论与方法研究。jisong_chxy@163.com

    通讯作者: 张永生, 教授。yszhang2001@vip.163.com
  • 中图分类号: P237

摘要: 从冗余数据中选择一个或者多个最为显著的立体像对,在最少“伪信息”的影响下,获取最佳影像匹配效果,降低其它质量较差影像的负面平均效应,是提高多视影像匹配性能的关键。基于准确匹配的特征点,通过匹配测度的鲁棒性分析,提出一种多视影像的匹配质量分析方法;在此基础上,提出了一种基于特征点引导的多视影像择优匹配方法及基本思想、计算基础和择优匹配步骤。利用ADS40多度重叠影像数据进行了择优匹配实验。结果表明,该方法能够有效选取匹配质量较优的影像,获取更加准确的多视匹配结果,在一定程度上,比传统的多视匹配方法更加有效。

English Abstract

纪松, 张永生, 范大昭, 龚志辉. 基于特征点引导的多视影像择优匹配方法[J]. 武汉大学学报 ( 信息科学版), 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
引用本文: 纪松, 张永生, 范大昭, 龚志辉. 基于特征点引导的多视影像择优匹配方法[J]. 武汉大学学报 ( 信息科学版), 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
Citation: JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
  • 从“二维影像”中精确恢复“三维立体场景”一直是计算机视觉和摄影测量学界的关键问题,也是难点问题,其核心技术为影像匹配技术[1]

    为了降低三维立体场景向二维影像投影时的信息盲区,“密集”、“全方位”、“轰炸式”摄影逐渐成为一种新的摄影方式,如高航向和旁向重叠度航空摄影、航空多视角摄影(通常为5镜头)[2]、车载360°旋转摄影(或多镜头摄影)[3]及旋转多基线低空摄影。在航天领域,随着我国高分辨率对地观测系统的加速推进,多层次、多角度、全方位和全天候的全球立体对地观测网也正在逐步形成[4]

    在新的摄影条件下,同一观测目标可在10至20幅影像上成像,更有甚者可达到100多幅。对于影像匹配技术而言,大数据时代已经来临[5]

    大数据时代下,在摄影测量领域,多基线立体匹配技术总是试图使用“所有的”、“甚至更多的”重叠影像,以获取理想的匹配结果。事实上,这是不合理的,原因有:①对于大部分目标,两张影像即可精确匹配并交会出三维立体信息,多幅影像的参与只会增加匹配计算量,甚至降低匹配精度;②对于遮挡、地表断裂、特征相似等难点匹配目标,其信息被大部分影像捕捉,但是仍有影像获取的是“伪信息”,匹配时的“去伪存真”更加合理、也更具匹配优势。

    针对上述问题,Zhang [6]早先提出了“混合匹配”方法,该方法能够通过自动影像分析引擎,提取一些质量较好的匹配影像,同时通过格网点匹配与边缘特征匹配,结合反向匹配检查等策略,融合生成高质量的匹配结果,但是其影像分析引擎提取的只是细节丰富、反差较大的影像,且影像数量在匹配时保持不变,难以满足影像匹配中特殊像点的动态需求。Rumpler[7]利用模拟影像,对不同类型的多基线立体匹配模型进行了分析,认为随着重叠影像数量的增多,多基线立体匹配的精度逐渐提高并趋于饱和,在达到一定的精度条件下,影像数据的增加对提高精度没有意义,这为本文提供了理论支持。Alsadik[8]提出了一种规则策略,用于寻找满足三维重建精度的最少数目的匹配影像,但是这种策略不能解决目标的自包含区域问题,不适用于多视影像匹配技术。Ahmadabadian[9]利用CMVS和PMVS开源软件,在多视影像数据的实际处理过程中认识到了选择性匹配的重要性,并基于影像摄影基站与像点之间的夹角进行了匹配影像初步分析,给出了一种匹配影像选择算法,为立体像对择优与去冗技术研究提供了一种思路,但是该方法比较简单,难以满足多视影像的局部择优匹配需求。

    本文对多视影像的择优匹配方法不是使用所有的重叠影像,而是从中选择一个或者多个最为显著的立体像对(即立体择优),在最少“伪信息”的影响下(即信息去冗),获取影像像点的最佳匹配效果,降低其它质量较差影像的负面平均效应。

    • 多视匹配模型是指多重叠影像的匹配与应用模型。综合国内外现有研究发现,多视匹配模型大致可以划分为两类[4]:一类是基于单立体匹配与融合的多视匹配模型,即逐个分析单立体像对,并对各个像对的匹配结果融合,获取融合解;另一类是基于多立体整体匹配的多视匹配模型,即直接分析所有立体像对,通过一定的几何约束方法获取最佳解。

      与单立体匹配模型相比,多视匹配模型能够利用多重叠影像数据提供的冗余信息,消除信息盲区,提高相似特征、遮挡特征与断裂特征的匹配成功率,因此近年来得到了更为广泛的研究与应用,其典型的模型包括几何约束互相关(geometrically constrained cross correlation, GC3)模型[10-11]、多视铅垂线轨迹法(multi-view vertical line locus, MVLL)模型等。

      GC3多视匹配模型是基于多立体整体匹配的多视匹配模型。首先在一组重叠影像中,选取一张影像作为基准影像,其余的影像留作搜索影像;随后通过成像几何关系,同时构建基准影像与所有搜索影像之间的几何关系模型;最后通过物方或者像方空间的约束,计算多立体整体匹配结果。对于航天线阵影像、航空线阵和面阵影像,GC3模型的匹配方法、步骤及其优势见文献[4, 10-11]。

      多视匹配模型并不区分匹配影像的质量,该模型总是采用“所有的”重叠影像,通过匹配计算与分析,获取最佳匹配结果。此时,一些质量较差匹配影像的引入,往往降低匹配结果的可靠性和准确性,同时也大幅增加影像匹配的计算量。为此,对于多视匹配模型而言,为了在减小冗余计算量的同时、进一步提高影像匹配的可靠性,需要对多视匹配影像进行质量分析和择优。

    • 多视影像匹配质量分析是一个难点,单纯从影像灰度、对比度、基线长度等角度去分析,并不系统且无法满足实际应用需求。本文使用一些精确已知的同名像点,以这些同名像点所提供的多视匹配信息为依据,实现匹配影像的质量分析和标识,从而为同名像点周围的待匹配像点提供信息支持。为此,多视影像匹配质量分析的关键在于高可靠同名像点的获取、匹配影像的质量分析与标识。

    • 为了提高特征点提取与匹配的可靠性,本文采用“尺度不变特征变换”(scale invariant feature transform,SIFT)[12],进行特征点提取与匹配。SIFT特征可用于尺度变换剧烈、旋转角较大等条件下的立体影像匹配,是多视影像匹配技术常用的匹配特征。

      SIFT特征匹配一般包括构建尺度空间、特征点检测、确定特征点方向、生成特征点描述子、特征匹配以及误匹配点剔除等步骤[13],在多组差分高斯金字塔空间内检测特征点,实现尺度不变性;对特征点进行精确定位后确定特征点的主方向,实现旋转不变性;然后构建SIFT特征点描述符并对其进行归一化处理,实现了SIFT特征对光照变化的不变性;最后采用欧氏距离作为相似性度量提取匹配点对,完成特征匹配过程。

    • 从影像中获取了稀疏的SIFT同名特征点之后,可以按照匹配测度曲线的显著性判别方法,计算特征点对应的多视匹配信息,并以此信息为依据,对特征点匹配影像的质量进行分析,从而实现各幅影像的匹配质量分析和标识,步骤如下。

      步骤1  设有n(n>2)幅重叠的匹配影像,从中选取一幅影像作为基准影像I0,其余影像设为搜索影像Ii(i = 1, 2, 3, …, n-1);对于多视匹配模型而言,基准影像通常选为下视影像。

      步骤2  以基准影像I0为基准,匹配获取该影像与各幅搜索影像Ii(i = 1, 2, 3, …, n-1)的SIFT同名特征点;对于基准影像上的某一个特征点pk(k = 1, 2, 3, …, m),分别计算其在基准影像I0与各搜索影像Ii之间的互相关测度曲线ρi

      步骤3  对于SIFT同名特征点pk,分析各条互相关测度曲线ρi,按照互相关测度曲线的显著性判别方法,对ρi所代表的影像进行质量标识:如果ρi非常显著,即只需要单张搜索影像Ii,就能获取准确的匹配结果,则将该影像标记为1;如果ρi不显著,即利用单幅搜索影像Ii无法获取准确的匹配结果,则将该影像标记为0;如果ρi特别不显著,即利用单幅搜索影像Ii只能获取错误匹配结果,则将该影像标记为-1。匹配影像质量分析方法如表 1所示(阈值设定可参考文献[10])。

      表 1  多视影像的匹配质量分析

      Table 1.  Matching Quality Analysis of Multi-view Images

      匹配质量类型 匹配测度分析一 匹配测度分析二 质量标识 匹配质量
      (1) ρi1>0.90 ρi1/ρi2>1.2 1 较优
      ρi1>0.80 ρi1/ρi2>1.4 1 较优
      ρi1>0.65 ρi1/ρi2>1.6 1 较优
      (2) ρi1>0.90 ρi1/ρi2<1.2 0 一般
      ρi1>0.80 ρi1/ρi2<1.4 0 一般
      ρi1>0.65 ρi1/ρi2<1.6 0 一般
      0.50<ρi1<0.65 ρi1/ρi2>1.4 0 一般
      (3) 0.50<ρi1<0.65 ρi1/ρi2<1.4 -1 较差
      ρi1<0.50 / -1 较差
      注:沿匹配方向线的相关测度曲线ρi(ρi1最大相关系数,ρi2次局部最大相关系数,单位为1)

      步骤4  对于基准影像I0上的每一个特征点pk,重复步骤1~步骤3,直至基准影像上所有特征点都分析结束。

    • 以基准影像为基础,根据多幅搜索影像的匹配质量,从中逐幅选取质量较优、一般和较差的影像,将其与基准影像进行多视匹配,当匹配结果达到理想状态时,终止多视匹配过程,获取择优匹配结果。为此,该方法需要解决以下两个问题。

      1) 实现多视影像的择优匹配,基准影像与搜索影像(质量标识后的影像)的匹配必须逐幅进行,这样才能利用最少的搜索影像,获取最佳的匹配结果。然而,传统的多视匹配模型(GC3, MVLL等模型[14])对多幅影像是联合进行匹配的,不具备逐幅影像联合匹配的条件。为此,本文对多视匹配模型进行改进,将多个单立体匹配结果进行递进分析,从而获取等效的多视匹配结果。

      2) 实现多视影像的择优匹配,理想匹配状态的设定必须鲁棒。只有设定好鲁棒状态参数,才能适时终止多视匹配过程,实现利用少量影像,获取较优匹配结果的目的。本文采用表 1所示的方法,通过对匹配测度曲线的分析,对理想匹配状态进行判定。

    • 为了对多个单立体匹配结果进行递进分析,从而获取等效的多视匹配结果。本文从匹配测度的计算方法着手,构建多视影像择优匹配的解算基础,具体改进方法如下。

      单立体影像匹配时,使用的匹配测度通常为“归一化互相关”(normalized cross correlation, 记为NCC),即相关系数测度[11]。设给定基准影像I0上的一个像点,在单幅搜索影像Ii上,视差搜索范围为k,计算出kNCC测度:

      $$ NC{C_i} = \left[{NC{C_i}\left( {{p_1}} \right), NC{C_i}\left( {{p_2}} \right), \cdots, NC{C_i}\left( {{p_k}} \right)} \right] $$ (1)

      式中,pi(i = 1, 2, 3, …, k)为搜索影像上的匹配像点。

      多视影像匹配模型匹配时,使用了“归一化互相关均值”(sum of normalized cross correlation, 记为SNCC)测度[10]

      $$ \begin{array}{l} SNCC{\rm{ = }}\left[{SNCC\left( {{p_1}} \right), SNCC\left( {{p_2}} \right), \cdots, } \right.\\ \left. {\;\;\;\;\;\;\;\;\;\;\;SNCC\left( {{p_k}} \right)} \right] = \frac{1}{{n -1}}\sum\limits_{i = 1}^{n -1} {NC{C_i}} \end{array} $$ (2)

      式中,n为重叠影像的数目(搜索影像数目为n-1);NCCi为基准影像与第i张搜索影像之间的NCC测度。

      依据式(2),GC3、MVLL等多视匹配模型,通常利用高程初值、高程误差和高程迭代步长等参数,逐个计算SNCC(p1)、SNCC(p2)、…、SNCC(pk),即SNCC(p1)计算时,搜索影像需要同时参与计算过程;同样,SNCC(p2)或SNCC(pk)计算时,搜索影像需要同时参与计算过程。这表明,计算SNCC测度时,搜索影像是被整体利用的,各幅影像之间无法独立开来。

      本文对SNCC计算方式进行如下变换:

      $$ \begin{array}{l} SNC{C_m}{\rm{ = }}\frac{{\left( {m-1} \right)}}{m}SNC{C_{m-1}} + \frac{1}{m}NC{C_m}, \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left( {0 < m < n-1} \right) \end{array} $$ (3)

      式中,SNCCm为前m张搜索影像参与匹配时,计算得到的互相关测度均值。

      如式(4)所示,证明可得,当所有搜索影像同时参与多视匹配时(即m=n-1时),式(3)与式(2)完全等价。

      $$ \left. \begin{array}{l} \;\;\;\;SNC{C_{n-1}} = \frac{{n-2}}{{n-1}}SNC{C_{n - 2}} + \frac{1}{{n - 1}}NC{C_{n - 1}}\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \Downarrow \\ \;\;\left( {n - 1} \right) \cdot SNC{C_{n - 1}} = \left( {n - 2} \right)SNC{C_{n - 2}} + NC{C_{n - 1}}\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \Downarrow \\ \left( {n - 1} \right) \cdot SNC{C_{n - 1}} = \left( {n - 3} \right)SNC{C_{n - 3}} + NC{C_{n - 2}}{\rm{ + }}NC{C_{n - 1}}\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \Downarrow \\ \;\;\left( {n - 1} \right) \cdot SNC{C_{n - 1}} = NC{C_1} + \cdots + NC{C_{n - 2}} + NC{C_{n - 1}} \end{array} \right\} \Rightarrow \\SNC{C_n} = \frac{1}{{n - 1}}\sum\limits_{i = 1}^{n - 1} {NC{C_i}} $$ (4)

      从式(3)和式(4)中可以看出,变换后的SNCC测度计算方法与式(2)等价,但是该方法将SNCC测度的计算分成了两个步骤:一是计算前m-1幅搜索影像的SNCC匹配测度;二是再增加一幅搜索影像,计算基准影像与该搜索影像的NCC测度后,得到更新后的m幅搜索影像的SNCC匹配测度。这表明,在式(3)的基础上,通过单立体影像匹配测度的计算,能够实现多个单立体匹配测度的递进分析,从而获取等效的多视匹配测度。为此,式(3)是特征点引导下的多视影像择优匹配的解算基础。

    • 对于密集(可以是逐像素)多视匹配过程,在完成了多视影像的匹配质量分析后,基于式(3)给出的多视影像择优匹配的解算基础,可以对多视影像的匹配质量进行排序,并完成择优匹配过程。

      步骤1  在基准影像I0上,选定待匹配的影像像点pj(或者为地面点算至基准影像上的像点),搜索其周围成功匹配的特征点,如图 1所示。特征点搜索可使用两种方法:(1)以像点pj为圆心,搜索其提取半径为R的圆内包含的特征点;(2)在基准影像I0上,利用特征点构建TIN三角网,搜索其所在三角形的三个顶点。

      图  1  待匹配点的邻近特征点搜索

      Figure 1.  Neighboring Feature Points Searching Method for Matching Point

      步骤2  得到像点pj周围的特征点后,分析各特征点上标记为1和0的搜索影像,并按照标记次数对搜索影像的匹配质量进行排序,标记为1的次数越多,搜索影像的排序越靠前。如果两张搜索影像的标记次数相同,则按照像点到特征点距离的远近进行二次排序,距离越短,排序越靠前。

      步骤3  依据式(3)给出的SNCC测度解算方法,将排序后的搜索影像依次与基准影像匹配,且每匹配一幅影像,计算一次SNCC匹配测度曲线。如果仅利用前几幅搜索影像,根据表 1给出的方法,SNCC匹配测度曲线判定为显著,则结束整个多视匹配过程,后续影像则不再参与多视匹配。

      据上述步骤可知,特征点引导下的多视影像择优匹配是一种可行的匹配方法,该方法能够选用一些显著的搜索影像进行立体匹配,消除了部分匹配质量较差影像的“伪信息”影响。与单纯使用所有的搜索影像相比,理论上该方法的匹配效果更加理想。

    • 实验采用ADS40相机获取的瑞士WaldKrich实验区数据(由Leica公司提供),实验数据包括2条航带共6幅影像,数据经过几何纠正处理,实验区平均高程为650 m,传感器成像参数如表 2所示。

      表 2  ADS40实验数据参数

      Table 2.  Parameters of ADS40 Experiment Image

      数据 预处理级 焦距 地面采样间隔 相对航高 影像数量 数据航带
      ADS40 L1级 62.5 mm 0.21 m 2 000 m 6张 2条
    • 利用实验数据,以第一条航带上的下视影像(N1)为基准,对搜索影像进行特征点匹配。基准影像与第一条行带上的后视影像(B1)的特征点匹配结果如图 2所示。图 2中,“×”所示的点为SIFT特征匹配获取的同名特征点(经过“随机抽样一致性算法”[12]匹配误差分析)。

      图  2  SIFT特征点匹配结果图

      Figure 2.  SIFT Matching Results(Circle Area Was Interest Area, "+"Refers to a Point to be Matched)

      为了验证本文所提方法的正确性,本文从图 2(a)中选取一个像点P0,以十字丝表示“+”,对其进行择优匹配分析(影像中其余待匹配点虽未标出,但也可以按照P0点进行同等处理和分析)。根据择优匹配步骤中给出的第一种特征点搜索方法,可以搜索出三对SIFT同名匹配点,如图 2中圆形区域标出的特征点P1P2P3

      根据择优匹配步骤,基于GC3多视匹配模型,分别对特征点P1P2P3进行匹配测度计算和分析,即计算基准影像N1与各幅搜索影像(第一条行带上的后视影像B1,第一条行带上的前视影像F1,第二条行带上的后视影像B2,第二条行带上的下视影像N2,第二条行带上的前视影像F2)的NCC测度,如图 3图 4图 5所示。

      图  3  特征点P1NCC匹配测度曲线

      Figure 3.  NCC Matching Measure Curve of Feature Point P1

      图  4  特征点P2NCC匹配测度曲线

      Figure 4.  NCC Matching Measure Curve of Feature Point P2

      图  5  特征点P3NCC匹配测度曲线

      Figure 5.  NCC Matching Measure Curve of Feature Point P3

      图 3图 4图 5中,x轴为高程变化范围(在初值高程附近,以0.2 m为间距,上下各进行40步长的迭代),y轴为相关系数取值范围,“N1-B1”则表示影像N1与影像B1的NCC测度曲线,其它类同。

      根据图 3图 4图 5所示的NCC测度曲线,分别计算曲线的最大相关系数ρ1和次局部最大相关系数ρ1,并计算两者的比值ρ1/ρ2(取绝对值后的结果);随后,根据表 1所示的判定标准,对搜索影像的匹配质量进行分析和标识,如表 3所示。

      表 3  搜索影像的匹配质量分析与标识

      Table 3.  Matching Quality Analysis and Index of Searching Images

      匹配测度及分析 N1-B1 N1-F1 N1-B2 N1-N2 N1-F2
      特征点P1 ρ1 0.908 3 0.780 1 0.768 3 0.677 1 0.767 0
      ρ2 0.714 2 0.738 7 0.441 2 0.530 6 0.576 9
      ρ1/ρ2 1.271 8 1.056 0 1.741 3 1.276 1 1.329 5
      质量标识 1 0 1 0 0
      特征点P2 ρ1 0.957 2 0.888 7 0.943 5 0.872 5 0.969 2
      ρ2 -0.243 2 0.569 1 0.150 0 0.371 9 0.446 7
      ρ1/ρ2 3.935 9 1.561 6 6.290 0 2.346 1 2.169 7
      质量标识 1 1 1 1 1
      特征点P3 ρ1 0.762 8 0.655 7 0.398 9 0.297 7 0.329 3
      ρ2 0.553 9 0.266 8 0.325 9 0.220 8 0.321 0
      ρ1/ρ2 1.377 1 2.457 6 1.224 0 1.348 3 1.025 9
      质量标识 0 1 -1 -1 -1

      表 3中可以看到,对于特征点P1,B1和B2影像标记为1,其余影像标记为0;对于特征点P2,由于该点位与道路拐角位置,所以B1,F1,B2,N2和F2影像都标记为1;对于特征点P3,由于该点位于建筑物顶部纹理贫乏区域,F1影像标记为1,B1影像标记为0,其余影像标记为-1。

      根据表 3给出的搜索影像质量标识,对各幅影像的质量标识进行累加,结果如表 4所示。从表 4中可以看出,以N1影像为基准,B1和F1影像的匹配质量标识累加值为2,B2影像的匹配质量标识累加值为1,N2和F2影像的匹配质量标识累加值为0。

      表 4  搜索影像的匹配质量标识累加结果

      Table 4.  Cumulative Matching Quality of Searching Images

      N1-B1 N1-F1 N1-B2 N1-N2 N1-F2
      质量标识累加 2 2 1 0 0

      依据表 4所示的搜索影像匹配质量累加结果,可以根据取值的大小,将搜索影像按{B1,F1;B2;N2,F2}排序。该排序结果即为对P0点进行择优匹配时,搜索影像的依次使用次序。

      利用匹配质量最优的影像,即排序结果中的搜索影像B1、F1,进行GC3多视匹配(像点的像方搜索范围如图 8所示),匹配测度结果如图 6所示。图 6中,N1-B1和N1-F1分别为基准影像N1与搜索影像B1和F1的NCC匹配测度,N1-B1-F1为根据式(3)计算得到的SNCC多视匹配测度。

      图  6  仅使用质量较优的搜索影像时待匹配点P0择优匹配测度曲线

      Figure 6.  Stereo Selecting and Matching Measure Curve of Point P0 when Images of Great Matching Quality were Used Only

      图  8  待匹配点P0的GC3多视匹配模型像方搜索范围

      Figure 8.  Image Searching Space of Matching Point P0 by GC3 Multi-view Matching Model

      图 6所示的SNCC多视匹配测度(N1-B1-F1)中可以看出,匹配测度曲线具有突出的单一峰值,且匹配测度曲线的ρ1= 0.732 2,ρ2= 0.161 8,ρ1/ρ2= 4.525 3,即匹配结果非常显著。根据表 1, B2、N2、F2影像则不再参与多视匹配。

      为了进一步验证特征点引导下的多视影像择优匹配方法的有效性,在多视匹配过程中添加匹配质量较差的N2、F2、B2影像,进行像点P0的GC3多视匹配(像点的像方搜索范围如图 8所示),其SNCC多视匹配测度如图 7所示。

      图  7  使用更多的搜索影像时待匹配点P0择优匹配测度曲线

      Figure 7.  Stereo Selecting and Matching Measure Curve of Point P0 when more Images of Great Matching Quality were Used

      对比图 6图 7,可以看到,添加匹配质量较差的搜索影像后,SNCC匹配测度曲线中的ρ1ρ1/ρ2均较大程度地降低。这表明,本文给出的择优匹配方法能够从多度重叠的搜索影像中,选择一定数量的搜索影像,在减少搜索影像的同时,获取更加准确的同名像点匹配结果。因此,对于部分像点而言,择优后的多视匹配方法比传统的多视匹配方法更加有效。

    • 本文提出了一种基于特征点引导的多视影像择优匹配方法,该方法能够对搜索影像的匹配质量进行分析、排序,并通过改进的SNCC测度计算方法,获取等价且择优后的多视匹配结果。该方法能够直接应用于现有的多视匹配模型,在减少匹配计算量的同时,获取可靠性更高的多视匹配结果,具有一定应用价值。然而,特征点的密集程度和可靠性对择优匹配过程的影响较大,在特征点稀疏区域,该方法可能起不到作用,这也是作者下一步需要研究的内容。

参考文献 (14)

目录

    /

    返回文章
    返回