及时、便捷地获取特定路口的时空高分辨率连续影像数据在交通规划、城市管理及灾害响应等工作^{[1, 2]}中都有十分重要的意义。作为传统遥感方法的补充，以低空无人机为云台，搭载各种数据传感器可为上述需求提供一个可能的解决方案^{[3, 4, 5]}。无人机小巧灵活，但飞行稳定性较弱，易受气流影响，加之自身的机械震动令其所采集的图像不可避免地出现抖动、形变等问题^{[6, 7]}，而且其抖动的频率和幅度都远大于传统的航空和卫星遥感影像。

现有的对无人机影像的研究和应用多致力于解决图像的拼接工作，并在图幅包含较大地理范围的图像配准问题中可达到令人满意的效果^{[8, 9]}。其工作方式类似于传统的航空遥感，即无人机沿给定路线推扫，获得的逐帧图像根据共有部分和同名点实现大范围的影像拼接与还原，通常假设图像中的地物在拍摄过程中是静止不动的，因此单帧影像的抖动往往无需进行纠正。

随着无人机操控技术的发展，其工作方式也发生了变化，除推扫式外，也可将其悬停于空中某给定位置实现对地面动态地物的长时间监控。如通过在道路交叉口上方悬停，获得给定时段车辆通过交叉口的影像，进而实现快速评估该交叉口通行服务能力的目的。在此工作方式下，由于悬停高度较低，监控范围较小，帧间位置发生变化的地物较多，为了实现移动地物位置变化信息的自动识别，抖动纠正就成了一项不可或缺的工作。本文中涉及的无人机视频图像帧纠正配准工作即为解决上述问题，针对低空悬停无人机监控道路交叉口的情况进行的研究。

传统面向抖动问题的图像配准算法多基于特征点匹配和空域、频域变化对比，往往面向地理范围较大的研究区域^[10]。其中，Lowe^[11]提出的SIFT算法较好地解决了存在仿射变换的影像配准问题，并且Ke^[12]、Abdel-Hakim^[13]及Bay^[14]等以此为基础提出了诸多改进算法；Harris^[15]角点也被广泛应用于各类图像的特征提取中。上述方法均需要待配准图像具有以下共同特点：① 被匹配图像中能得到数对互异(图像属性或空间属性)的特征点，如河道拐点、山峰、山脊线等形态与颜色特征上具有较好排他性的同名点，并可在影像间加以配对；② 大部分地物在配准图像中所存在的实际地理位置未发生改变或这种改变不足以影响配准结果。在一些面向低分辨率、大尺度遥感影像的研究中，将使用上述方法所提取的特征点配对后的结果视为一个同时包含正确与错误配对结果的集合，并使用RANSAC(random sample consensus) 方法去除匹配中所产生的粗差，可取得较好的成果^[16]。然而在较小的尺度内，大量移动与相似的地物加剧了这种随机抽样的不确定性，当影像内存在多种合理匹配模式时，其去粗差效果可能受到影响，并且RANSAC是基于多次迭代以获取最大一致集，其获取正确匹配模式的概率随迭代次数递增，故其在计算量与正确性上需有所取舍^[17]。

在本文针对的无人机悬停视频图像帧配准问题中，上述特点难以得到保证。其原因有：① 大量近似的地物如横道线、同型号汽车、路边设施等在图像中频繁出现，由此，仅基于图像信息通过传统的频率域或空间域方法进行匹配容易发生较大错误;② 图像内部存在大量移动地物，如车辆，其位置持续动态变化，基于特征点匹配将有较大误差，甚至无法进行；而当采用域变换的方法来配准图像时，移动地物同样也会带来大量的频率噪声，严重干扰配准的准确度。由此，传统的基于特征点、域变换的方法将无法直接应用于本文研究对象的抖动处理问题。为此，本文提出了一种基于交叉口道路标线特征提取的无人机低空悬停监控影像配准方法。该方法以交叉口的人行横道线为基准，可实现任意帧间的影像配准。

1 配准算法

本文的研究对象是无人机低空悬停于道路交叉口上空拍摄的车辆通过交叉口的视频，通过逐帧提取的方式获取单帧位图影像序列，影像序列中的人行横道线(图斑)分布在交叉口四周，形状、颜色一致，且排列齐整，一般不会被完全遮盖，具有较高的识别度。因此，本文选择人行横道线作为配准依据，通过对人行横道线的提取、筛选分类及轴线回归拟合等步骤，最终获取图像帧之间的几何校正参数，针对抖动图像帧进行快速配准。其主要步骤如下。

1) 图斑创建。其目的是选择出可能为单根人行横道线的图斑。以颜色及包含的像元个数作为限制条件创建符合提取规则的图斑集合。采用递归算法，由单个像元开始向四邻域像素扩展，发现颜色和像元数量符合单根人行横道线特征的图斑。实验发现，采用四邻域或八邻域的像素搜索方法有相似的提取效果，考虑运算速度，采用四邻域像元搜索原则。被初步判断属于单根横道线的像元将会被添加上标记，并不再接受由其他像元发起的递归；超过一定迭代次数(具体次数由实际图像特征决定)将停止递归，以减少非必要图斑的计算耗时；每幅单帧影像的所有像元都将被遍历一次，直至无需判断像元或超过限定迭代次数为止。

2) 图斑筛选。第1)步提取的结果中可能包含大量单根横道线和其他白色的地物或车辆，为此，需要根据分布与形态特点进一步筛选与分类，提取出规则的横道线组。经分析发现，单根横道线图斑在图斑长宽比与像元个数上与影像中的其他图斑相比有明显区别。如图 1所示，令P₁、P₂分别代表单个图斑中纵坐标最小值和最大值所在的像元，P₃代表单个图斑中横坐标最大值所在的像元，令dis(a,b)代表像元a与b之间的直线距离，则长宽比C可用式(1)进行计算：

图 1 图斑形态长宽比中参量示意图 Fig. 1 Pattern Aspect Ratio

图选项

单根横道线的像元个数与长宽比阈值的确定与具体图像有关。除上述两个特征值作为图斑筛选条件，还可利用邻近规则进一步筛选。横道线通常呈密集状平行分布，故其分布可以认为具有较强的正空间自相关性，即横道线周围应该还有横道线，反之，单独存在的横道线图斑则可能为错误图斑。因此，当一个图斑周围没有其他多个横道线图斑时，其将被删除。

经过上述过程，剩余图斑可根据位置及其长宽比被归为多组(如图 2所示)，代表不同方向或路段上的横道线组。

图 2 经过图斑筛选后获得的多组横道线 Fig. 2 Multi-group Zebra Lines After Pattern Filtering

图选项

3) 轴线拟合。其目的是为了获取基于横道线分布的同名点，用于配准不同图像帧。如图 3所示，首先利用最小二乘法拟合得到单组横道线轴线，然后计算相邻轴线的交点，即为同名点。拟合单组横道线的轴线方法如下：假定单组横道线包含n个图斑，则有点集合P=[p₁,p₂,…,p_n]，其中p_n为第n个图斑的重心点，并且可由此点集依据最小二乘法原理拟合得到该组横道线轴线方程y=a+bx，其中系数a、b可通过式(2)及式(3)计算得到：

图 3 轴线拟合及获得多个同名点的过程 Fig. 3 Process of Axes Fitting and Identical Points Creating

图选项

4) 图像配准。通过轴线生成，每幅图像通常可获得4个同名点(如图 3所示)，在连续帧图像中，可选择其中第一或任意一帧具有上述4个同名点的图像作为基准帧，之后，针对其他图像，可基于4对同名点，利用仿射变换的方法实现与基准帧的配准。令 x、y分别代表待配准帧中任意像元的横纵坐标,x_c、y_c分别代表该像元配准后的横纵坐标。配准方法如下：首先利用基准帧与待配准帧中对应的4对同名点建立仿射变换系数矩阵M_3×3，然后利用式(4)获取x_c及y_c。

配准后，所有视频帧可通过裁切方法获得大小相同的连续影像，裁切范围可根据包含所有4个同名点的最小外接矩形或给定缓冲距离的最小外接矩形确定。

5) 误差分析。为评价上述配准效果的准确性，可以通过手工选取多个同名点的方式对单帧纠正效果进行检验，选取的同名点可为各种道路标线的角点或端点。令w及h分别代表裁切后的影像宽及高，x_i⁰及y_i⁰分别代表第i个同名点在基准帧上的横纵坐标，x_i、y_i分别代表第i个同名点在某配准后图像上的横纵坐标，其中1≤i≤n，n为找到的同名点数量，则平均误差率(用E表示)可定义为：

实验采用的数据为某交叉口无人机悬停拍摄数据，时长约4 min，每秒帧数为30帧。经过数据采集、单帧图像提取等预处理后，针对单帧图像开始进行图斑创建、图斑筛选、轴线拟合及图像配准与裁切，之后，将处理后的单帧图像进行连接，则可获得抖动纠正后的视频，用于进一步的分析和应用。图 4给出了视频中部分帧配准前后的对比图，可以看出,配准效果较好，抖动现象基本消除。

图 4 图像配准前后效果对比 Fig. 4 Comparison of Raw and Rectified Images

图选项

此外，为说明实验步骤，特地选择了第4 030帧图像(见图 5(a))，介绍其相对基准帧的配准过程。

图 5 构建单帧图像同名点的过程 Fig. 5 Process of Creating Identical Points for a Single Frame

图选项

1) 根据视频帧的分辨率及所覆盖的空间范围，可大致得出单根横道线的像元数约为150个，利用图斑提取方法可获得图 5(b)，除横道线图斑外,还包括白色车辆、白色房屋、其他道路划线等地物，这些图斑与横道线的图斑面积、颜色相近，但在形态与分布上有较为明显的差异。

2) 利用图斑筛选方法，去除非横道线图斑。首先根据图斑长宽比C选择最可能为单根横道线的图斑，实验中发现，C取值在0.05~0.2和8~18最为有效；其次，利用空间自相关方法进一步筛除错误图斑，所获得的4组横道线图斑用不同颜色标出，结果如图 5(c)所示。

3) 利用轴线拟合方法获得配准用的4个同名点，如图 5(d)所示。利用上述过程，多数图像均可获得这样的拟合轴线与同名点图。

4) 确定基准帧，实现图像配准。在实验中，选择在时序上第一幅具有4个同名点的图像为基准帧，如图 6(a)所示，其轴线同名点如图 6(b)所示。首先根据图 6(b)及图 5(d)中的4对同名点坐标建立仿射变换系数矩阵，如式(6)所示，然后根据式(4)实现对图 5(d)的配准。全部图像配准后，人为确定了一个矩形作为裁切区域，其包含交叉口的全部交通流所在区域，且尽量剔除了由于仿射变换造成的边缘变形和空白区域。裁切后的图像基准帧及配准好的4 030帧如图 7(a)及7(b)所示。当然，也可简单地利用4个同名点的最小外接矩形作为裁切区域。

图 6 基准帧 Fig. 6 Reference Image

图选项

图 7 裁切后的图像帧及用于误差分析的同名点 Fig. 7 Rectified Image and Identical Points for Error Analysis

图选项

5) 误差分析。在实验中，手工选择了10个同名点，如图 7中所示的两幅图像中的黑色点图标，这10个同名点在两影像帧中都同样存在，利用式(5)计算得到第4 030帧配准的平均误差率为0.001 5，其物理意义表示在1万个像元长度单位上有15个像元长度的误差。

实验结果表明，本文提出的方法在针对上述图像的抖动纠正中有较好的效果，能够尽可能地实现抖动处理的自动化。该方法以仿射变换为基本思想，要求存在4个同名点，这在大多数情况下都是可以满足的。在实验中，共计7 290帧图像，其中有6 478帧图像满足具有4个同名点的条件，其他812帧图像无法利用上述方法配准，但并不影响数据的进一步分析和使用，因为每一帧图像都具有时间戳，且不适用图像的存在都是短时的，所以可以利用插值的方法获得这些图像上包含的动态地物的瞬时位置。在计算速度上，采用主频为2.8 G的单核CPU及2 GB内存的普通个人计算机处理100万像素单帧影像约需2 s，通过压缩图像尺寸，隔帧提取地物及采用多核CPU与GPU加速技术等可进一步提高处理速度^[18]。

当然，该方法也对数据采集有一定的要求，无人机要有一定的悬停高度，确保图像范围尽量覆盖包含道路交叉口处的人行横道线。此外，针对无多组横道线或横道线被高架道路等遮挡情况下的配准问题，尚需要进一步的研究。

3 结 语

低空无人机影像是一种高时间、空间分辨率的遥感信息源，其在交叉口上方悬停拍摄的影像在交通规划、城市管理、应急决策方面拥有较大的潜力。但影像的抖动问题严重影响了图像本身的应用，而传统的图像配准方法无法解决此种图像的抖动问题。本文提出的基于横道线的无人机交叉口影像配准方法达到了较好的配准精度。本方法通过递归获取图斑、图斑筛选、横道线轴线拟合及影像配准等步骤实现了无人机交叉口影像任意帧间的配准。

实验证明，本文方法在针对上述图像的抖动纠正中有较好的效果，能够尽可能地实现处理过程的自动化。该方法目前还仅适用于拥有四组或以上横道线的交叉口图像，在今后的研究中，将着力解决无多组横道线或横道线被严重遮挡情况下抖动图像的配准问题。