Message Board

Respected readers, authors and reviewers, you can add comments to this page on any questions about the contribution, review,        editing and publication of this journal. We will give you an answer as soon as possible. Thank you for your support!

Name
E-mail
Phone
Title
Content
Verification Code
Volume 43 Issue 1
Jan.  2018
Turn off MathJax
Article Contents

JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
Citation: JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458

A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points

doi: 10.13203/j.whugis20150458
Funds:

The National Natural Science Foundation of China 41401534

the Open Fund of State Key Laboratory of Geographic Information Engineering KLGIE2013-M-3-1

the Scientific Research Foundation for Public Welfare Industry of Surveying and Mapping and Geographic Information 201412007

More Information
  • Author Bio:

    JI Song, PhD, lecturer, specializes in the theories and methods of multi-view matching and automatic DSM generation. E-mail: jisong_chxy@163.com

  • Corresponding author: ZHANG Yongsheng, PhD, professor. E-mail:yszhang2001@vip.163.com
  • Received Date: 2016-02-01
  • Publish Date: 2018-01-05
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(8)  / Tables(4)

Article Metrics

Article views(1621) PDF downloads(321) Cited by()

Related
Proportional views

A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points

doi: 10.13203/j.whugis20150458
Funds:

The National Natural Science Foundation of China 41401534

the Open Fund of State Key Laboratory of Geographic Information Engineering KLGIE2013-M-3-1

the Scientific Research Foundation for Public Welfare Industry of Surveying and Mapping and Geographic Information 201412007

Abstract: Selecting one or more robust matching stereo pairs from redundant overlapping images to reduce the negative influence of incorrect or confusing image information to obtain the most desirable matching results improves multi-view matching ability and quality in multi-view matching techniques. In this paper, a matching quality analysis method for multi-view images is proposed that measures matching robustness based on correctly matched SIFT feature points. Furthermore, based on the method, a feature point guided multi-view image stereo selection matching method is detailed including the basic principles, algorithm, and matching process. Experiments were done on ADS40 multi-view imagery. The results show that the proposed method automatically and efficiently selects images of high matching quality from redundant overlapping images to obtain more correct multi-view matching results. This method is, to some extent, more effective than traditional multi-view matching methods.

JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
Citation: JI Song, ZHANG Yongsheng, FAN Dazhao, GONG Zhihui. A Stereo Selecting Method of Multi-view Matching Models Guided Based on Feature Points[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 37-45. doi: 10.13203/j.whugis20150458
  • 从“二维影像”中精确恢复“三维立体场景”一直是计算机视觉和摄影测量学界的关键问题,也是难点问题,其核心技术为影像匹配技术[1]

    为了降低三维立体场景向二维影像投影时的信息盲区,“密集”、“全方位”、“轰炸式”摄影逐渐成为一种新的摄影方式,如高航向和旁向重叠度航空摄影、航空多视角摄影(通常为5镜头)[2]、车载360°旋转摄影(或多镜头摄影)[3]及旋转多基线低空摄影。在航天领域,随着我国高分辨率对地观测系统的加速推进,多层次、多角度、全方位和全天候的全球立体对地观测网也正在逐步形成[4]

    在新的摄影条件下,同一观测目标可在10至20幅影像上成像,更有甚者可达到100多幅。对于影像匹配技术而言,大数据时代已经来临[5]

    大数据时代下,在摄影测量领域,多基线立体匹配技术总是试图使用“所有的”、“甚至更多的”重叠影像,以获取理想的匹配结果。事实上,这是不合理的,原因有:①对于大部分目标,两张影像即可精确匹配并交会出三维立体信息,多幅影像的参与只会增加匹配计算量,甚至降低匹配精度;②对于遮挡、地表断裂、特征相似等难点匹配目标,其信息被大部分影像捕捉,但是仍有影像获取的是“伪信息”,匹配时的“去伪存真”更加合理、也更具匹配优势。

    针对上述问题,Zhang [6]早先提出了“混合匹配”方法,该方法能够通过自动影像分析引擎,提取一些质量较好的匹配影像,同时通过格网点匹配与边缘特征匹配,结合反向匹配检查等策略,融合生成高质量的匹配结果,但是其影像分析引擎提取的只是细节丰富、反差较大的影像,且影像数量在匹配时保持不变,难以满足影像匹配中特殊像点的动态需求。Rumpler[7]利用模拟影像,对不同类型的多基线立体匹配模型进行了分析,认为随着重叠影像数量的增多,多基线立体匹配的精度逐渐提高并趋于饱和,在达到一定的精度条件下,影像数据的增加对提高精度没有意义,这为本文提供了理论支持。Alsadik[8]提出了一种规则策略,用于寻找满足三维重建精度的最少数目的匹配影像,但是这种策略不能解决目标的自包含区域问题,不适用于多视影像匹配技术。Ahmadabadian[9]利用CMVS和PMVS开源软件,在多视影像数据的实际处理过程中认识到了选择性匹配的重要性,并基于影像摄影基站与像点之间的夹角进行了匹配影像初步分析,给出了一种匹配影像选择算法,为立体像对择优与去冗技术研究提供了一种思路,但是该方法比较简单,难以满足多视影像的局部择优匹配需求。

    本文对多视影像的择优匹配方法不是使用所有的重叠影像,而是从中选择一个或者多个最为显著的立体像对(即立体择优),在最少“伪信息”的影响下(即信息去冗),获取影像像点的最佳匹配效果,降低其它质量较差影像的负面平均效应。

  • 多视匹配模型是指多重叠影像的匹配与应用模型。综合国内外现有研究发现,多视匹配模型大致可以划分为两类[4]:一类是基于单立体匹配与融合的多视匹配模型,即逐个分析单立体像对,并对各个像对的匹配结果融合,获取融合解;另一类是基于多立体整体匹配的多视匹配模型,即直接分析所有立体像对,通过一定的几何约束方法获取最佳解。

    与单立体匹配模型相比,多视匹配模型能够利用多重叠影像数据提供的冗余信息,消除信息盲区,提高相似特征、遮挡特征与断裂特征的匹配成功率,因此近年来得到了更为广泛的研究与应用,其典型的模型包括几何约束互相关(geometrically constrained cross correlation, GC3)模型[10-11]、多视铅垂线轨迹法(multi-view vertical line locus, MVLL)模型等。

    GC3多视匹配模型是基于多立体整体匹配的多视匹配模型。首先在一组重叠影像中,选取一张影像作为基准影像,其余的影像留作搜索影像;随后通过成像几何关系,同时构建基准影像与所有搜索影像之间的几何关系模型;最后通过物方或者像方空间的约束,计算多立体整体匹配结果。对于航天线阵影像、航空线阵和面阵影像,GC3模型的匹配方法、步骤及其优势见文献[4, 10-11]。

    多视匹配模型并不区分匹配影像的质量,该模型总是采用“所有的”重叠影像,通过匹配计算与分析,获取最佳匹配结果。此时,一些质量较差匹配影像的引入,往往降低匹配结果的可靠性和准确性,同时也大幅增加影像匹配的计算量。为此,对于多视匹配模型而言,为了在减小冗余计算量的同时、进一步提高影像匹配的可靠性,需要对多视匹配影像进行质量分析和择优。

  • 多视影像匹配质量分析是一个难点,单纯从影像灰度、对比度、基线长度等角度去分析,并不系统且无法满足实际应用需求。本文使用一些精确已知的同名像点,以这些同名像点所提供的多视匹配信息为依据,实现匹配影像的质量分析和标识,从而为同名像点周围的待匹配像点提供信息支持。为此,多视影像匹配质量分析的关键在于高可靠同名像点的获取、匹配影像的质量分析与标识。

  • 为了提高特征点提取与匹配的可靠性,本文采用“尺度不变特征变换”(scale invariant feature transform,SIFT)[12],进行特征点提取与匹配。SIFT特征可用于尺度变换剧烈、旋转角较大等条件下的立体影像匹配,是多视影像匹配技术常用的匹配特征。

    SIFT特征匹配一般包括构建尺度空间、特征点检测、确定特征点方向、生成特征点描述子、特征匹配以及误匹配点剔除等步骤[13],在多组差分高斯金字塔空间内检测特征点,实现尺度不变性;对特征点进行精确定位后确定特征点的主方向,实现旋转不变性;然后构建SIFT特征点描述符并对其进行归一化处理,实现了SIFT特征对光照变化的不变性;最后采用欧氏距离作为相似性度量提取匹配点对,完成特征匹配过程。

  • 从影像中获取了稀疏的SIFT同名特征点之后,可以按照匹配测度曲线的显著性判别方法,计算特征点对应的多视匹配信息,并以此信息为依据,对特征点匹配影像的质量进行分析,从而实现各幅影像的匹配质量分析和标识,步骤如下。

    步骤1  设有n(n>2)幅重叠的匹配影像,从中选取一幅影像作为基准影像I0,其余影像设为搜索影像Ii(i = 1, 2, 3, …, n-1);对于多视匹配模型而言,基准影像通常选为下视影像。

    步骤2  以基准影像I0为基准,匹配获取该影像与各幅搜索影像Ii(i = 1, 2, 3, …, n-1)的SIFT同名特征点;对于基准影像上的某一个特征点pk(k = 1, 2, 3, …, m),分别计算其在基准影像I0与各搜索影像Ii之间的互相关测度曲线ρi

    步骤3  对于SIFT同名特征点pk,分析各条互相关测度曲线ρi,按照互相关测度曲线的显著性判别方法,对ρi所代表的影像进行质量标识:如果ρi非常显著,即只需要单张搜索影像Ii,就能获取准确的匹配结果,则将该影像标记为1;如果ρi不显著,即利用单幅搜索影像Ii无法获取准确的匹配结果,则将该影像标记为0;如果ρi特别不显著,即利用单幅搜索影像Ii只能获取错误匹配结果,则将该影像标记为-1。匹配影像质量分析方法如表 1所示(阈值设定可参考文献[10])。

    匹配质量类型 匹配测度分析一 匹配测度分析二 质量标识 匹配质量
    (1) ρi1>0.90 ρi1/ρi2>1.2 1 较优
    ρi1>0.80 ρi1/ρi2>1.4 1 较优
    ρi1>0.65 ρi1/ρi2>1.6 1 较优
    (2) ρi1>0.90 ρi1/ρi2<1.2 0 一般
    ρi1>0.80 ρi1/ρi2<1.4 0 一般
    ρi1>0.65 ρi1/ρi2<1.6 0 一般
    0.50<ρi1<0.65 ρi1/ρi2>1.4 0 一般
    (3) 0.50<ρi1<0.65 ρi1/ρi2<1.4 -1 较差
    ρi1<0.50 / -1 较差
    注:沿匹配方向线的相关测度曲线ρi(ρi1最大相关系数,ρi2次局部最大相关系数,单位为1)

    Table 1.  Matching Quality Analysis of Multi-view Images

    步骤4  对于基准影像I0上的每一个特征点pk,重复步骤1~步骤3,直至基准影像上所有特征点都分析结束。

  • 以基准影像为基础,根据多幅搜索影像的匹配质量,从中逐幅选取质量较优、一般和较差的影像,将其与基准影像进行多视匹配,当匹配结果达到理想状态时,终止多视匹配过程,获取择优匹配结果。为此,该方法需要解决以下两个问题。

    1) 实现多视影像的择优匹配,基准影像与搜索影像(质量标识后的影像)的匹配必须逐幅进行,这样才能利用最少的搜索影像,获取最佳的匹配结果。然而,传统的多视匹配模型(GC3, MVLL等模型[14])对多幅影像是联合进行匹配的,不具备逐幅影像联合匹配的条件。为此,本文对多视匹配模型进行改进,将多个单立体匹配结果进行递进分析,从而获取等效的多视匹配结果。

    2) 实现多视影像的择优匹配,理想匹配状态的设定必须鲁棒。只有设定好鲁棒状态参数,才能适时终止多视匹配过程,实现利用少量影像,获取较优匹配结果的目的。本文采用表 1所示的方法,通过对匹配测度曲线的分析,对理想匹配状态进行判定。

  • 为了对多个单立体匹配结果进行递进分析,从而获取等效的多视匹配结果。本文从匹配测度的计算方法着手,构建多视影像择优匹配的解算基础,具体改进方法如下。

    单立体影像匹配时,使用的匹配测度通常为“归一化互相关”(normalized cross correlation, 记为NCC),即相关系数测度[11]。设给定基准影像I0上的一个像点,在单幅搜索影像Ii上,视差搜索范围为k,计算出kNCC测度:

    式中,pi(i = 1, 2, 3, …, k)为搜索影像上的匹配像点。

    多视影像匹配模型匹配时,使用了“归一化互相关均值”(sum of normalized cross correlation, 记为SNCC)测度[10]

    式中,n为重叠影像的数目(搜索影像数目为n-1);NCCi为基准影像与第i张搜索影像之间的NCC测度。

    依据式(2),GC3、MVLL等多视匹配模型,通常利用高程初值、高程误差和高程迭代步长等参数,逐个计算SNCC(p1)、SNCC(p2)、…、SNCC(pk),即SNCC(p1)计算时,搜索影像需要同时参与计算过程;同样,SNCC(p2)或SNCC(pk)计算时,搜索影像需要同时参与计算过程。这表明,计算SNCC测度时,搜索影像是被整体利用的,各幅影像之间无法独立开来。

    本文对SNCC计算方式进行如下变换:

    式中,SNCCm为前m张搜索影像参与匹配时,计算得到的互相关测度均值。

    如式(4)所示,证明可得,当所有搜索影像同时参与多视匹配时(即m=n-1时),式(3)与式(2)完全等价。

    从式(3)和式(4)中可以看出,变换后的SNCC测度计算方法与式(2)等价,但是该方法将SNCC测度的计算分成了两个步骤:一是计算前m-1幅搜索影像的SNCC匹配测度;二是再增加一幅搜索影像,计算基准影像与该搜索影像的NCC测度后,得到更新后的m幅搜索影像的SNCC匹配测度。这表明,在式(3)的基础上,通过单立体影像匹配测度的计算,能够实现多个单立体匹配测度的递进分析,从而获取等效的多视匹配测度。为此,式(3)是特征点引导下的多视影像择优匹配的解算基础。

  • 对于密集(可以是逐像素)多视匹配过程,在完成了多视影像的匹配质量分析后,基于式(3)给出的多视影像择优匹配的解算基础,可以对多视影像的匹配质量进行排序,并完成择优匹配过程。

    步骤1  在基准影像I0上,选定待匹配的影像像点pj(或者为地面点算至基准影像上的像点),搜索其周围成功匹配的特征点,如图 1所示。特征点搜索可使用两种方法:(1)以像点pj为圆心,搜索其提取半径为R的圆内包含的特征点;(2)在基准影像I0上,利用特征点构建TIN三角网,搜索其所在三角形的三个顶点。

    Figure 1.  Neighboring Feature Points Searching Method for Matching Point

    步骤2  得到像点pj周围的特征点后,分析各特征点上标记为1和0的搜索影像,并按照标记次数对搜索影像的匹配质量进行排序,标记为1的次数越多,搜索影像的排序越靠前。如果两张搜索影像的标记次数相同,则按照像点到特征点距离的远近进行二次排序,距离越短,排序越靠前。

    步骤3  依据式(3)给出的SNCC测度解算方法,将排序后的搜索影像依次与基准影像匹配,且每匹配一幅影像,计算一次SNCC匹配测度曲线。如果仅利用前几幅搜索影像,根据表 1给出的方法,SNCC匹配测度曲线判定为显著,则结束整个多视匹配过程,后续影像则不再参与多视匹配。

    据上述步骤可知,特征点引导下的多视影像择优匹配是一种可行的匹配方法,该方法能够选用一些显著的搜索影像进行立体匹配,消除了部分匹配质量较差影像的“伪信息”影响。与单纯使用所有的搜索影像相比,理论上该方法的匹配效果更加理想。

  • 实验采用ADS40相机获取的瑞士WaldKrich实验区数据(由Leica公司提供),实验数据包括2条航带共6幅影像,数据经过几何纠正处理,实验区平均高程为650 m,传感器成像参数如表 2所示。

    数据 预处理级 焦距 地面采样间隔 相对航高 影像数量 数据航带
    ADS40 L1级 62.5 mm 0.21 m 2 000 m 6张 2条

    Table 2.  Parameters of ADS40 Experiment Image

  • 利用实验数据,以第一条航带上的下视影像(N1)为基准,对搜索影像进行特征点匹配。基准影像与第一条行带上的后视影像(B1)的特征点匹配结果如图 2所示。图 2中,“×”所示的点为SIFT特征匹配获取的同名特征点(经过“随机抽样一致性算法”[12]匹配误差分析)。

    Figure 2.  SIFT Matching Results(Circle Area Was Interest Area, "+"Refers to a Point to be Matched)

    为了验证本文所提方法的正确性,本文从图 2(a)中选取一个像点P0,以十字丝表示“+”,对其进行择优匹配分析(影像中其余待匹配点虽未标出,但也可以按照P0点进行同等处理和分析)。根据择优匹配步骤中给出的第一种特征点搜索方法,可以搜索出三对SIFT同名匹配点,如图 2中圆形区域标出的特征点P1P2P3

    根据择优匹配步骤,基于GC3多视匹配模型,分别对特征点P1P2P3进行匹配测度计算和分析,即计算基准影像N1与各幅搜索影像(第一条行带上的后视影像B1,第一条行带上的前视影像F1,第二条行带上的后视影像B2,第二条行带上的下视影像N2,第二条行带上的前视影像F2)的NCC测度,如图 3图 4图 5所示。

    Figure 3.  NCC Matching Measure Curve of Feature Point P1

    Figure 4.  NCC Matching Measure Curve of Feature Point P2

    Figure 5.  NCC Matching Measure Curve of Feature Point P3

    图 3图 4图 5中,x轴为高程变化范围(在初值高程附近,以0.2 m为间距,上下各进行40步长的迭代),y轴为相关系数取值范围,“N1-B1”则表示影像N1与影像B1的NCC测度曲线,其它类同。

    根据图 3图 4图 5所示的NCC测度曲线,分别计算曲线的最大相关系数ρ1和次局部最大相关系数ρ1,并计算两者的比值ρ1/ρ2(取绝对值后的结果);随后,根据表 1所示的判定标准,对搜索影像的匹配质量进行分析和标识,如表 3所示。

    匹配测度及分析 N1-B1 N1-F1 N1-B2 N1-N2 N1-F2
    特征点P1 ρ1 0.908 3 0.780 1 0.768 3 0.677 1 0.767 0
    ρ2 0.714 2 0.738 7 0.441 2 0.530 6 0.576 9
    ρ1/ρ2 1.271 8 1.056 0 1.741 3 1.276 1 1.329 5
    质量标识 1 0 1 0 0
    特征点P2 ρ1 0.957 2 0.888 7 0.943 5 0.872 5 0.969 2
    ρ2 -0.243 2 0.569 1 0.150 0 0.371 9 0.446 7
    ρ1/ρ2 3.935 9 1.561 6 6.290 0 2.346 1 2.169 7
    质量标识 1 1 1 1 1
    特征点P3 ρ1 0.762 8 0.655 7 0.398 9 0.297 7 0.329 3
    ρ2 0.553 9 0.266 8 0.325 9 0.220 8 0.321 0
    ρ1/ρ2 1.377 1 2.457 6 1.224 0 1.348 3 1.025 9
    质量标识 0 1 -1 -1 -1

    Table 3.  Matching Quality Analysis and Index of Searching Images

    表 3中可以看到,对于特征点P1,B1和B2影像标记为1,其余影像标记为0;对于特征点P2,由于该点位与道路拐角位置,所以B1,F1,B2,N2和F2影像都标记为1;对于特征点P3,由于该点位于建筑物顶部纹理贫乏区域,F1影像标记为1,B1影像标记为0,其余影像标记为-1。

    根据表 3给出的搜索影像质量标识,对各幅影像的质量标识进行累加,结果如表 4所示。从表 4中可以看出,以N1影像为基准,B1和F1影像的匹配质量标识累加值为2,B2影像的匹配质量标识累加值为1,N2和F2影像的匹配质量标识累加值为0。

    N1-B1 N1-F1 N1-B2 N1-N2 N1-F2
    质量标识累加 2 2 1 0 0

    Table 4.  Cumulative Matching Quality of Searching Images

    依据表 4所示的搜索影像匹配质量累加结果,可以根据取值的大小,将搜索影像按{B1,F1;B2;N2,F2}排序。该排序结果即为对P0点进行择优匹配时,搜索影像的依次使用次序。

    利用匹配质量最优的影像,即排序结果中的搜索影像B1、F1,进行GC3多视匹配(像点的像方搜索范围如图 8所示),匹配测度结果如图 6所示。图 6中,N1-B1和N1-F1分别为基准影像N1与搜索影像B1和F1的NCC匹配测度,N1-B1-F1为根据式(3)计算得到的SNCC多视匹配测度。

    Figure 6.  Stereo Selecting and Matching Measure Curve of Point P0 when Images of Great Matching Quality were Used Only

    Figure 8.  Image Searching Space of Matching Point P0 by GC3 Multi-view Matching Model

    图 6所示的SNCC多视匹配测度(N1-B1-F1)中可以看出,匹配测度曲线具有突出的单一峰值,且匹配测度曲线的ρ1= 0.732 2,ρ2= 0.161 8,ρ1/ρ2= 4.525 3,即匹配结果非常显著。根据表 1, B2、N2、F2影像则不再参与多视匹配。

    为了进一步验证特征点引导下的多视影像择优匹配方法的有效性,在多视匹配过程中添加匹配质量较差的N2、F2、B2影像,进行像点P0的GC3多视匹配(像点的像方搜索范围如图 8所示),其SNCC多视匹配测度如图 7所示。

    Figure 7.  Stereo Selecting and Matching Measure Curve of Point P0 when more Images of Great Matching Quality were Used

    对比图 6图 7,可以看到,添加匹配质量较差的搜索影像后,SNCC匹配测度曲线中的ρ1ρ1/ρ2均较大程度地降低。这表明,本文给出的择优匹配方法能够从多度重叠的搜索影像中,选择一定数量的搜索影像,在减少搜索影像的同时,获取更加准确的同名像点匹配结果。因此,对于部分像点而言,择优后的多视匹配方法比传统的多视匹配方法更加有效。

  • 本文提出了一种基于特征点引导的多视影像择优匹配方法,该方法能够对搜索影像的匹配质量进行分析、排序,并通过改进的SNCC测度计算方法,获取等价且择优后的多视匹配结果。该方法能够直接应用于现有的多视匹配模型,在减少匹配计算量的同时,获取可靠性更高的多视匹配结果,具有一定应用价值。然而,特征点的密集程度和可靠性对择优匹配过程的影响较大,在特征点稀疏区域,该方法可能起不到作用,这也是作者下一步需要研究的内容。

Reference (14)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return