留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用影像分割和匹配特征进行无人机影像变化检测

徐亚明 石娟 安动动 马旭东

徐亚明, 石娟, 安动动, 马旭东. 利用影像分割和匹配特征进行无人机影像变化检测[J]. 武汉大学学报 ● 信息科学版, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
引用本文: 徐亚明, 石娟, 安动动, 马旭东. 利用影像分割和匹配特征进行无人机影像变化检测[J]. 武汉大学学报 ● 信息科学版, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
XU Yaming, SHI Juan, AN Dongdong, MA Xudong. Change Detection Based on Segmentation and Matched Features Points for UAV Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
Citation: XU Yaming, SHI Juan, AN Dongdong, MA Xudong. Change Detection Based on Segmentation and Matched Features Points for UAV Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873

利用影像分割和匹配特征进行无人机影像变化检测

doi: 10.13203/j.whugis20140873
基金项目: 

国家自然科学基金 41474005

详细信息
    作者简介:

    徐亚明,博士,教授,主要从事精密工程测量和摄影测量的理论与方法研究。ymxu@sgg.whu.edu.cn

    通讯作者: 石娟,博士,主要从事摄影测量数据处理研究,Email:juan.shi@whu.edu.cn
  • 中图分类号: TP751;P236

Change Detection Based on Segmentation and Matched Features Points for UAV Images

Funds: 

The National Natural Science Foundation of China 41474005

More Information
    Corresponding author: SHI Juan, PhD, specializes in remote sensing image change detection. Email:juan.shi@whu.edu.cn
图(11) / 表(2)
计量
  • 文章访问数:  1548
  • HTML全文浏览量:  48
  • PDF下载量:  647
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-06-17
  • 刊出日期:  2016-10-05

利用影像分割和匹配特征进行无人机影像变化检测

doi: 10.13203/j.whugis20140873
    基金项目:

    国家自然科学基金 41474005

    作者简介:

    徐亚明,博士,教授,主要从事精密工程测量和摄影测量的理论与方法研究。ymxu@sgg.whu.edu.cn

    通讯作者: 石娟,博士,主要从事摄影测量数据处理研究,Email:juan.shi@whu.edu.cn
  • 中图分类号: TP751;P236

摘要: 针对无人机拍摄的影像偏角大、投影差明显的问题,提出一种基于影像分割与匹配特征的无人机影像变化检测方法。该方法基于匹配的特征点和分割的单元,以配准误差为缓冲半径进行相关运算,并提出了双向互相关方法来抑制影像分割不一致对变化检测结果的影响。实验结果表明,该方法提高了无人机影像变化检测的精度,对无人机影像由于大倾角所带来的配准误差问题有较好的容忍度,并削弱了无人机影像的投影差对于变化检测的影响。

English Abstract

徐亚明, 石娟, 安动动, 马旭东. 利用影像分割和匹配特征进行无人机影像变化检测[J]. 武汉大学学报 ● 信息科学版, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
引用本文: 徐亚明, 石娟, 安动动, 马旭东. 利用影像分割和匹配特征进行无人机影像变化检测[J]. 武汉大学学报 ● 信息科学版, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
XU Yaming, SHI Juan, AN Dongdong, MA Xudong. Change Detection Based on Segmentation and Matched Features Points for UAV Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
Citation: XU Yaming, SHI Juan, AN Dongdong, MA Xudong. Change Detection Based on Segmentation and Matched Features Points for UAV Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
  • 无人机低空遥感系统具有机动、快速、实时对地观测的优势,能够快速获取低空高分辨率遥感影像,被越来越广泛地应用到社会各个领域[1]。为了能够实时、快速地采集土地资源变化信息[2],研究适合于无人机影像的变化检测方法,具有现实意义。

    目前,在遥感和计算机视觉领域有很多可供借鉴的影像变化检测算法[3],主要有基于像素[4, 5]的变化检测算法和面向对象[6, 7]的变化检测算法。基于像素的变化检测算法对影像匹配的要求很高(通常是在0.8个像素[8]以内),主要针对小倾角及量测数码相机影像。无人机影像使用的是非量测相机,拍摄时影像倾角过大且无规律,致使影像匹配难度大、精度低。基于像素的变化检测方法应用到无人机影像处理时,会形成大量的破碎和伪变化。传统的面向对象的方法以分割区域为基本单元进行变化检测,可以一定程度上提高变化检测的精度,但是此方法主要取决于影像分割的质量。不同时相、不同天气等条件下拍摄的影像,很难得到高质量的分割。因此,针对无人机影像变化检测,需要提出新的方法。

    在大量的基于尺度不变特征变换[9](scale-invariant feature transform,SIFT)的无人机影像匹配实验中,尽管能提取出大量描述局部纹理信息的SIFT特征点,但是在初步匹配,剔除误匹配点之后,能够正确匹配的特征点对只占一部分,而另外一部分则无法匹配。出现这种现象的主要原因有:① 匹配方法本身的局限性,产生一些实际上应该匹配但未匹配成功的特征点;② 特征点所对应的区域发生了变化。因此,考虑将正确的匹配点对和未能匹配的特征点都作为影像局部区域是否发生变化的参考。

    本文提出利用影像分割与SIFT匹配特征的无人机影像变化检测方法。该方法充分利用在影像匹配过程中产生的大量稳健的SIFT特征点,参考正确匹配点对和未能匹配的匹配点,综合影像分割的结果,利用地物的形状和颜色特征、匹配时的多尺度不变特征以及地物之间的空间约束对无人机影像进行变化检测。

    • 影像配准是寻求两幅或多幅影像的像素点对应关系的过程。配准的方法主要分为基于影像灰度和基于影像特征的配准方法。由于无人机影像倾角过大,导致基于影像灰度的配准方法并不适用。基于影像特征的配准方法主要有Harris、SIFT和加速鲁棒特征[10](speeded up robust feature,SURF)算子。SIFT特征在影像旋转、缩放、灰度变化时有较好的稳定性,因此选用基于SIFT特征的配准算法对无人机影像进行处理。

      在影像配准的过程中,首先分别在两幅影像上提取SIFT特征,然后根据欧式距离对影像进行初匹配,并用随机抽样一致性(random sample consensus,RANSAC)[11]算法去除误匹配点,得到正确的匹配点对。利用正确的匹配点对,以第一幅影像为基准,对第二幅影像进行射影变换,并重采样实现影像的配准。

      针对配准后的两幅影像,再次提取两幅影像的SIFT特征点,进行基于SIFT特征的影像的再匹配,并用RANSAC算法去除误匹配点。此次配准后的SIFT的点在理论上应该是一一对应的,依据此次匹配的同名点的点位残差,初略估算出影像配准的精度,为在以后的变化检测中确定需要进行相似度比较的缓冲区域提供依据。

    • 变化检测的虚检多发生在边缘部位,影像分割能很好地将地物的边缘信息提取出来形成一个个对象。理想的分割结果是:对象内部具有较高的同质性,对象之间具有较高的异质性。

      为了在以后的算法中采用更好地对分割对象进行相似度比较,本文采用过分割方法。均值漂移[12]算法可以很好地满足该要求,本文采用均值漂移算法对不同时期的无人机影像进行分割。均值漂移算法是一种基于非参数概率密度估计的统计迭代算法,它能将相同区域内的所有点都快速收敛到聚类中心,从而完成影像分割。

      需要指出,在进行分割的过程中,均值漂移分割算法的带宽直接决定着分割区域所能得到的最小区域。带宽过大,达不到过分割的效果;而带宽过小,会有很多细碎的分割区域,进而增加后续变化检测的复杂度和计算量。经过不同带宽参数的调试,实验中选择均值漂移的带宽为7。

    • SIFT特征是影像局部纹理信息的一种稳健的表述方式,而影像上地物变化通常以区域或者线状地物的方式出现,体现在影像的结构上,就意味着纹理的变化。假设在某区域能够提取出相对密集的SIFT特征点,但这些特征点却不能匹配,且对应位置分割区域的灰度相似性也很低时,则认为该区域发生了变化。

      基于上述假设,本文在配准后的两幅影像上分别提取SIFT特征点并进行匹配,然后将SIFT特征点映射至影像的分割结果中。第一幅影像中的分割区域,在第二幅影像中找到相应位置的分割区域,若在该区域内存在大量的SIFT点,但是很少或者几乎找不到能够匹配的SIFT点对,且其灰度的相似性很低,则认为该区域为变化区域。如果存在较多匹配的SIFT点对,且灰度的相似性较高,则认为是没有变化的区域。通过上述方法,最终逐步求出影像变化检测结果。

      区域相似性比较的过程决定了最终的变化检测准确率和效率。在同名区域的搜索过程中,分割算法以及场景的复杂性,即使相同区域(即实际未发生变化的区域)也不可能保证完全相同的分割,因此在对分割区域的选择上,有几种策略来弥补分割不一致的现象。用匹配的SIFT点对对相应区域的搜索结果作引导,兼顾计算效率和匹配准确性,本文采用如下搜索策略。

      1) 对于第一幅影像的分割区域,首先根据影像的配准误差,以匹配的SIFT点对为搜素结果引导,定位在第二幅影像中对应分割区域重心位置差异小于3个像素的区域,并比较两个区域的相似性。由于多边形重心是一个与比例和旋转无关的统计量,采用重心作为比较基点,具有很好的稳定性,可一定程度消除随机误差。

      2) 若找不到区域重心位置2~3个像素的区域,以第二幅影像的分割区域为基准,在第一幅影像中找到相应区域,并计算其相似性。余下的区域在后续的精化变化检测中,再次判断。

      3) 反复进行交互式的循环比较,直到所有的区域相似性计算完毕。

      从三个方面综合评价所对应区域的相似性:① 两幅影像对应区域的灰度相似度;② 两幅影像彩色信息的相似度;③ 提取出已匹配的SIFT特征点。其相似度S(L,R)为:

      (1)

      式中,N(L,R)代表两幅影像对应区域的灰度归一化互相关系数;dRGB(L,R)代表两幅影像彩色信息的相似度,100用于归一化,1用于避免出现负值;R代表对应区域正确匹配的SIFT特征点对数,max(A(L),A(R))为左右两幅影像所对应区域的面积最大值,为归一化后匹配的SIFT特征数目,为归一化后未能匹配的SIFT特征数目。

      由式(1) 计算出对应区域相似度之后,根据变化阈值T判定区域是否变化,如式(2) 。根据经验值,实验所选取的阈值T为0.65。

      (2)

      任何一种分割算法,都不可能得到完美的分割,为了提高变化检测的精度,本文采用双向两步互相关的方法降低分割算法带来的不利影响。首先是以时相1分割后的影像为基准,在时相2的影像对应位置截取对应区域并计算其相似性;然后以时相2分割后的影像为基准,在时相1的影像对应位置截取对应区域并计算相似性;最后根据每个区域的相似性是否超过阈值,并综合双向互相关的结果,确定最终变化检测结果。

      由于SIFT特征点多数集中在影像分割的区域附近,而不是完全与边界吻合,为了充分利用边界上的特征点,在选取基准的匹配相似度区域时,对分割的区域进行形态学的膨胀算法,使得在进行SIFT特征匹配的过程中,能让更多的代表边界纹理特征的SIFT特征点参与相关性计算。在膨胀算法中,结构元素是形态学的基本算子,合理选取结构元素直接影响影像处理的效果和质量。结构元素的选择在于结构元素的形状和尺寸。结构元素有圆形、正方形、菱形、六边形、线段形等不同的形状。其中圆形结构元素,由于各向同性,可以得到与方向无关的运算结果。而SIFT特征点通常与其所对应的区域边界位置点的点位差在2~3个像素,因此,本文膨胀算法中选择形状为圆形、尺寸为4的结构元素。

      整个算法流程图为图 1所示。

      图  1  变化检测算法流程图

      Figure 1.  Flowchart of the Proposed Method

    • 为了验证本文方法有效性,采用多组无人机影像对进行实验。受篇幅限制,给出两组无人机影像对的实验过程与结果,并和人工标注的基准数据与传统的基于PCA-Kmeans[13]和基于EM[14]的变化检测方法进行比较,采用变化检测的正确率、虚检率、漏检率和运行时间为评价指标。

      第一组实验为某地区获取的不同时相的无人机影像,选取了实验区域850×36像素的子区域。图 2是两幅相同场景不同时间拍摄的无人机影像,图 3是配准并剪切后的无人机影像。图 4是从两幅影像中提取的SIFT特征点,可以看出,所提取的SIFT特征点的分布基本代表了整个影像中的地物纹理轮廓。图 5是去除误匹配点后得到的结果,其中,绿色的点和红色的点分别代表匹配点和未匹配点。图 6是用Mean shift算法分别对影像进行分割的结果,图 7是将匹配和未匹配的特征点以及影像分割融合后的结果图,图 8为用不同方法得出的变化检测结果。

      图  2  时相1和时相2的无人机影像

      Figure 2.  Data for UAV Image Change Detection

      图  3  配准后时相1和时相2的无人机影像

      Figure 3.  Result of Image Registration

      图  4  影像1和影像2提取的所有SIFT特征点

      Figure 4.  Extracted SIFT Points in Both Images

      图  5  配准后时相1和时相2影像匹配的特征和未能匹配的特征点

      Figure 5.  SIFT Points Detail in Images

      图  6  配准后时相1和时相2影像的分割结果

      Figure 6.  Results of Image Segmentation

      图  7  两幅配准后影像分割与特征点匹配叠加图

      Figure 7.  Combination of Segmentation and SIFT Points in Images

      图  8  不同方法变化检测结果

      Figure 8.  Different Change Detection Result on UAV Images

      第二组实验数据为成都某地区获取的不同时相的无人机影像,如图 9~图 11所示。

      图  9  配准后的时相1和时相2的无人机影像

      Figure 9.  Results of Image Registration

      图  10  影像1和影像2分割与特征点匹配叠加图

      Figure 10.  Combination of Segmentation and SIFT Points in Images

      图  11  不同方法变化检测结果

      Figure 11.  Differenct Change Detection Results on UAV Images

      将得出的变化检测结果图 8(c)与人工标注的参考图 8(d)比较,结合表 1的精度分析,可以看出本文方法所对应的结果更接近于参考数据。而传统的基于PCA-Kmeans的算法(图 8(a))和基于EM的算法(图 8(b))在很多地物边界区域检测出了大量的伪变化,这主要是由于配准误差的存在,两幅影像对应位置像素无法完全对齐,使得变化检测结果的边缘效应非常突出,而本文方法以分割对象为个体,在配准误差浮动范围内对相似度进行比较得出结果,可以大大减少由于配准误差带来的伪变化。可以看出,对于一些纹理较丰富,但灰度变化不明显的实际变化区域,如图 8(d)中用黄色标注的实际发生变化的小花坛,本文方法可以很好地检测出变化,而基于PCA-Kmeans和EM的方法无法检测出,这是因为这两种方法只考虑到了灰度信息,而本文的方法充分考虑了代表局部纹理信息的SIFT特征。

      表 1  变化检测方法的精度比较

      Table 1.  Accuracy Comparison of Different Methods

      PCA-KmeansEM本文方法
      正确率/% 82.03 81.8 92.0
      虚警率/% 10.0 14.0 4.2
      漏检率/% 7.97 5.2 3.8
      时间/s 131 159 216

      图 5图 10中看到,配准后的SIFT特征点对仍然会存在误匹配点。但从变化检测的结果看,少量不密集的误匹配点并没有对变化检测的精度产生太大的影响。这主要是因为在进行相似性评价的过程中,综合了区域的灰度特征、颜色特征和分割区域的边缘SIFT特征,这三种特征互相补充、牵制,使得本文的方法具有更好的稳健性。但是在误匹配点较集中的情况下,也会造成误检测。

      将得出的变化检测结果图 11(c)与人工标注的参考图 11(d)相比较,结合表 2的精度分析,可看出本文的方法所对应的结果更接近于基准数据。与第一组实验得出的结论相似,由于配准误差的存在,传统的基于PCA-Kmeans的结果(图 11(a))和基于EM的算法的结果(图 11(b))在很多地物边界区域检测出了大量的伪变化,而本文的方法由于借鉴了面向对象的变化检测方法,以分割对象为个体,在配准误差浮动范围内对相似度进行比较,减少了由于配准误差带来的伪变化。同时,对于纹理较丰富但灰度变化不明显的实际变化区域,如图 11(d)中用红色标注的实际发生变化的小建筑物。本文方法可以很好地检测出变化,而其他两种方法无法检测。但是,当其中一幅影像中地物对应影像区域的阴影过大,且另一幅影像中由于太阳高度角不同拍出地物侧面影像时,如图 11(c)中黄色标注出的阴影区域,本文方法会检测该地区为变化区域,这是因为本文方法对纹理变化较为敏感,从视觉上看,这种区域的确发生了变化,但是从语义的角度来看,这种区域没有发生变化。从计算效率上看,本文方法所需时间多于其他两种方法,这主要是因为本文算法要进行特征点匹配,而且要执行两次相似度计算,时间消耗较多。

      表 2  变化检测方法的精度比较

      Table 2.  Accuracy Comparison of Different Methods

      PCA-KmeansEM本文方法
      正确率/% 79.68 78.8 85
      虚警率/% 16 15.4 13.2
      漏检率/% 4.32 6.8 2.8
      时间/s 136 147 198
    • 本文提出了一种基于匹配特征和影像分割的地物变化检测算法。针对无人机影像拍摄时倾角大,导致配准误差较大的问题,充分利用配准时表征局部纹理特征的SIFT特征点,以及影像分割后的区域颜色灰度信息,使匹配特征、影像分割的区域信息与变化检测有机结合起来,从而抑制影像匹配误差对变化检测造成的影响,进而提高了变化检测的准确度。与传统的变化检测算法相比较,优势如下: 第一,与传统的基于像素的变化检测方法相比,前者需要影像的精确配准,而新方法对配准误差有着较强的容忍度。既使影像的配准误差在2~3个像元,仍然可以得到精度较高的检测结果。对两幅影像中灰度差异小但实际发生纹理变化的区域,能够避免漏检。第二,与传统的面向对象的变化检测方法相比,新方法大大降低了对影像分割一致性的依赖,减少了由于影像分割而导致的分割误差对变化检测的影响。

      本文提出的新方法特别适用于对纹理丰富的城市场景进行变化检测,但是对重阴影影像的处理存在一定的局限性。同时,由于本文方法需要用到特征匹配,所以耗时较高。以后的研究将进一步提高匹配率和运行效率。

参考文献 (14)

目录

    /

    返回文章
    返回