-
本文针对无人机和空中飞鸟等多目标检测展开研究，光电检测平台和相机的运动导致视频图像中背景是运动的，目标在背景中，因此目标既具有自己独立的运动，也具有背景的运动。空中目标距离相机远，因此目标在图像中所占像素数少，缺乏形貌信息。目标数量多在飞行过程中容易造成相互毗邻、相互遮挡的情况，使得精确检测出空中多目标成为难题。
针对上述难题，国内外学者提出了许多运动目标检测算法，主要分为两类：一类研究是针对目标像素数少的难题，例如，Shen等[1]检测出完整的运动目标空间分布，目标相互毗邻遮挡时出现检测错误；Shakeri等[2]、Moo等[3]、Liu等[4]的研究能有效检测出运动目标，不能有效区分相互毗邻遮挡的目标，会误滤除小目标；Yang等[5]的研究认为，背景静止时效果较优，背景运动时检测效果较差；Yan等[6]对小目标检测效果好，目标相互毗邻遮挡时，容易造成漏检；李成美等[7]能有效检测出运动目标，背景复杂时检测效果较差。另一类研究是针对目标相互毗邻遮挡的难题，例如，Teutsch等[8]的研究对背景运动简单、目标纹理丰富时能检测出运动目标，背景复杂、目标纹理缺乏时检测效果较差；Siam等[9]对运动目标检测结果较优，目标较小时，容易出现漏检；Sadeghi-Tehran等[10]对背景复杂、目标纹理缺乏时检测效果较差；文献[11-13]对目标漏检低，目标较小时，检测效果较差；Janousek等[14]对飞行目标检测效果好，但目标较小时，检测效果较差；叶语同等[15]对被遮挡的目标检测效果好，但目标较小时，容易出现漏检。
基于此，本文针对空中多目标检测中目标在图像中所占像素数少、目标相互毗邻和相互遮挡的难题，联合时空信息和轨迹关联进行空中多目标检测。首先联合目标的时间和空间信息，得到时空信息图；然后利用卡尔曼预测器对目标位置进行预测，利用匈牙利匹配算法关联目标得到目标轨迹；最后基于目标轨迹补充漏检目标，提高目标的查全率，滤除虚警目标，提高目标的查准率。
-
首先对图像进行全局运动估计，补偿背景运动。然后基于帧间差分法提取运动目标的时间信息；为了应对目标较小的情况，采用基于像素的背景建模算法，提取目标的空间信息。最后联合目标的时间和空间信息，得到时空信息图。
-
本文利用区域随机点和卢卡斯-卡纳德（Lucas-Kanade，LK）光流法[16]，获得随机光流跟踪点，如图 1所示。
图 1 区域随机光流跟踪点
Figure 1. Regional Random Optical Flow Tracking Points
图 1中将图像均匀划分为P列、Q行的网格，将图像均匀分为P×Q块，每块网格的大小为20×20像素的矩阵。
提取t-1帧图像区域随机点，利用LK光流法计算第t帧图像的随机光流跟踪点，利用随机抽样一致算法计算得到单应性矩阵H，估计全局运动：
$$\left[ {\begin{array}{*{20}{l}} {x_i^t}\\ {y_i^t}\\ 1 \end{array}} \right] = \mathit{\boldsymbol{H}}\left[ {\begin{array}{*{20}{l}} {x_i^{t - 1}}\\ {y_i^{t - 1}}\\ 1 \end{array}} \right]$$ (1) 式中，(xit-1，yit-1)为第t-1帧图像区域随机点的坐标；(xit，yit)为第t帧图像的随机光流跟踪点的坐标；矩阵H是一个8参数的单应性矩阵，$ \mathit{\boldsymbol{H}} = \left[ {\begin{array}{*{20}{c}} {{h_0}}&{{h_1}}&{{h_2}}\\ {{h_3}}&{{h_4}}&{{h_5}}\\ {{h_6}}&{{h_7}}&1 \end{array}} \right] $，其中，h0，h1…h7即为全局运动参数。
-
根据单应性矩阵H对视频图像进行背景运动补偿：
$$ f_{t - 1}'\left( {x, y} \right) = {f_{t - 1}}\left( {x, y} \right)\cdot\mathit{\boldsymbol{H}} $$ (2) 式中，ft-1(x，y)为t-1帧的图像；ft-1′ (x，y)为t-1帧图像经过运动补偿后的图像。
视频图像的时间信息蕴含在从第t-1帧图像到第t帧图像的运动过程中，根据这种运动过程得到的运动目标区域体现了目标的时间信息。因此对帧差图进行二值化处理，获得运动二值图像，其中运动目标区域即为提取到的时间信息。
$$ {D_t}\left( {x, y} \right) = \left| {{f_t}\left( {x, y} \right) - f_{t - 1}'\left( {x, y} \right)} \right| $$ (3) $$ {M_t}\left( {x, y} \right) = \left\{ {\begin{array}{*{20}{l}} {1, {D_t}\left( {x, y} \right) > \alpha }\\ {0, {D_t}\left( {x, y} \right) \le \alpha } \end{array}} \right. $$ (4) 式（3）中，ft (x，y)为第t帧图像。式（4）采用大津法计算双阈值，选取较小的阈值作为自适应阈值α，以确保目标区域的完整性，本文阈值α经实验确定取值范围为[0, 100]。
为了去除干扰噪声点，避免漏检尺寸较小的运动目标，对二值图像Mt (x，y)进行了一次腐蚀和两次膨胀操作，最终获得运动目标的时间信息图DMt (x，y)。
$$ D{M_t}\left( {x, y} \right) = \left( {\left( {{M_t}\left( {x, y} \right){\rm{\Theta }}{b_{{\rm{erode}}}}} \right) \oplus {b_{{\rm{dilate}}}}} \right) \oplus {b_{{\rm{dilate}}}} $$ (5) 式中，Θ和⊕分别为腐蚀和膨胀运算符；berode和bdilate是菱形结构元素，这两个结构元素的原点到菱形顶点的距离分别为1和3。
-
本文基于Vibe（visual background extractor）算法[17]对运动补偿后的图像f′t-1 (x，y)建模，然后对ft (x，y)图像判定图像中的每个像素点是目标点还是背景点，从而得到空间分布图VMt (x，y)，即为提取到的空间信息。
1）建立背景模型。基于相邻像素点具有像素值相近的空间分布特性，在图像f′t-1 (x，y)上随机选择第k个像素点Ik-1t邻域中的N个点作为它的模型样本点，Ik-1t的背景模型为Mt-1 (k)，遍历图像每个像素点。
$$ {M_{t - 1}}\left( k \right) = \left\{ {{I_1}, {\rm{}}{I_2} \ldots {I_i} \ldots {I_N}} \right\} $$ (6) 式中，k表示图像中第k个像素点；Ii为邻域中的像素点，N取20。
2）判定目标点和背景点。将ft (x，y)图像中每个像素点Itk与其对应的背景模型Mt-1 (k)里的N个像素值进行比较，判定其是目标点还是背景点。
$$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;S_t^k\left( i \right) = \\ \left\{ {\begin{array}{*{20}{l}} {1, \left| {I_t^k - {I_i}} \right| < {\rm{RADIUS}}, {\rm{}}{I_i} \in {M_{t - 1}}\left( k \right)}\\ {0, 其他} \end{array}} \right. \end{array} $$ (7) $$ VM_t^k = \left\{ {\begin{array}{*{20}{l}} {0, \mathop \sum \limits_i S_t^k\left( i \right) > RN, {\rm{}}i = 1, 2 \ldots N}\\ {255, 其他} \end{array}} \right. $$ (8) 式（7）中，Stk (i)表示像素点Itk的值与背景模型Mt-1 (k)里的像素值Ii是否相似，如果两者差的绝对值小于阈值RADIUS，则相似，本文阈值RADIUS经实验确定取值为20。式（8）中，VMtk表示像素点Itk是目标点还是背景点，如果相似点的个数大于RN个，则是背景点；其余则为目标点，本文阈值RN经实验确定取值为3。基于此，得到ft (x，y)图像的空间分布图VMt (x，y)。
3）更新背景模型。根据空间分布图VMt (x，y)更新ft (x，y)图像中像素点Itk的背景模型Mt (k)。如果Itk是背景点，由图像ft′(x，y)得到Itk的背景模型Mt (k），再以1/ φ的概率更新Mt (k)，此时将Itk代替Mt (k)中随机一个样本点。如果Itk是目标点，由图像ft′(x，y)得到Itk的背景模型Mt (k)。更新概率1/φ与视频图像中的背景变化快慢有关，背景变化越快，φ越小。为保证空间信息的查全效果，降低背景模型更新速度，以延长缓慢运动的物体融入到背景样本集的时间，从而减少检测到的前景目标出现空洞以及不完整的情况，本文φ取16。用更新后的背景模型Mt (k)对ft+1 (x，y)图像中每个像素点Ik+1t判定其是目标点还是背景点。再更新背景模型，以此类推，不断重复，检测出视频图像中所有的目标像素点。
-
利用空间信息，可以尽可能地保证检测出全部目标点，会造成较高的虚警。因此需要联合目标的时间信息滤除虚假目标、降低虚警，得到联合时空信息图DVt (x，y)，如式（9）和图 2所示。
$$ D{V_t}\left( {x, y} \right) = \left\{ {\begin{array}{*{20}{l}} {0, V{M_t}\left( {x, y} \right) \times D{M_t}\left( {x, y} \right) = 0{\rm{}}}\\ {255, 其他} \end{array}} \right. $$ (9) 
图 2 联合时空信息确定目标点和背景点
Figure 2. Joint Time and Space Information to Determine Target Points and Background Points
-
联合时空信息图DVt (x，y)确定的目标点，会存在目标的漏检，尤其是当多目标相互毗邻和相互遮挡时，目标的漏检会比较严重。利用卡尔曼预测器对目标位置进行预测，基于预测目标位置和检测目标位置的欧氏距离，利用匈牙利匹配算法关联目标得到多个目标轨迹。若预测目标位置无检测目标与之相匹配，则出现目标漏检，在该预测目标位置上补充漏检的目标，提高目标的查全率。若背景点被误认为目标点，则出现目标虚警，利用目标轨迹特征滤除虚警目标轨迹，提高目标的查准率。
-
在联合时空信息图DVt中，利用卡尔曼预测器对目标位置进行预测，利用匈牙利匹配算法关联目标得到目标轨迹。
1）预测目标位置。利用八连通域算法在DVt中检测出目标及其位置，利用卡尔曼预测器预测每个目标在下一帧DVt+1中的位置。
2）检测目标。利用八连通域算法在DVt+1中检测出目标及其位置。
3）关联目标。利用匈牙利匹配算法将DVt+1中的每个目标的预测位置和检测位置进行目标间的匹配。若目标的预测位置与目标的检测位置相匹配，则关联为同一目标。若目标的预测位置与所有的目标检测位置不相匹配，则出现目标的漏检，此时在DVt+1中目标的预测位置将漏检的目标补充上去。若目标的检测位置与所有的目标预测位置不相匹配，则出现新的目标。
4）确定目标轨迹。将所有关联到的M个目标确定为M条目标轨迹，如果某条轨迹中的目标连续5帧都是在预测位置上补充的，则将该条轨迹删除，目标轨迹确定，如图 3所示。
图 3 目标轨迹关联结果
Figure 3. Results of Trajectory Association
图 3中，在第1帧、第2帧、第3帧中关联到3个目标确定为3条目标轨迹，分别标记为ID1、ID2和ID3。在第4帧中出现新的目标，标记为ID4。在第5、6、7、8、9帧连续5帧中目标轨迹ID3P都是在预测位置上补充的，此时确定该目标已经消失，从第5帧开始将ID3删除。在第11帧中，ID1上的目标是在预测位置上补充的，将此漏检目标标记为ID1P。在第12帧中，ID1上的漏检目标ID1P再次被检测关联为ID1。
-
背景的运动导致当把背景点误认为目标点时，出现虚警，通过关联形成虚警目标轨迹。真实目标轨迹特征与虚警目标轨迹特征不同，利用轨迹特征滤除虚警目标轨迹。
目标轨迹特征包括：目标面积特征A、目标位置特征V、目标运动方向特征D。计算目标轨迹中目标面积的均方差，得到目标面积特征A。真实目标轨迹中目标面积变化小，因此A的值小；虚警目标轨迹中目标面积变化大，因此A的值大。计算目标轨迹中目标帧间移动像素的均方差，得到目标位置特征V。真实目标轨迹中目标位置变化小，因此V的值小；虚警目标轨迹中目标位置变化大，因此V的值大。计算目标轨迹中目标运动方向与垂直方向之间夹角的均方差，得到目标运动方向特征D。真实目标轨迹中目标运动方向有序，因此D的值小；虚警目标轨迹中目标运动方向无序，因此D的值大。
目标轨迹特征在轨迹存续期间会有较大的变化，这是由于目标的运动造成的。因此需要对目标轨迹进行分段处理，每段轨迹中目标轨迹特征变化较小，可以提高滤除虚警目标轨迹的准确性。本文以连续10帧为一段提取目标轨迹特征，其A、V、D分别为：
$$ A = {\rm{Var}}\left( {{\rm{are}}{{\rm{a}}_t}, {\rm{are}}{{\rm{a}}_{t + 1}} \ldots {\rm{are}}{{\rm{a}}_{t + 9}}} \right) $$ (10) $$ V = {\rm{Var}}\left( {{\rm{spee}}{{\rm{d}}_t}, {\rm{spee}}{{\rm{d}}_{t + 1}} \ldots {\rm{spee}}{{\rm{d}}_{t + 9}}} \right) $$ (11) $$ D = {\rm{Var}}\left( {{\rm{directio}}{{\rm{n}}_t}, {\rm{directio}}{{\rm{n}}_{t + 1}} \ldots {\rm{directio}}{{\rm{n}}_{t + 9}}} \right) $$ (12) 式中，area表示目标面积大小，speed表示目标帧间移动像素，direction表示目标运动方向与垂直方向之间夹角。
联合目标面积特征A、目标位置特征V和目标运动方向特征D，得到目标轨迹的特征向量S=[A，V，D]。
-
在轨迹特征向量S=[A，V，D]中，当A、V、D均小于对应阈值时，判定该轨迹是真实目标轨迹；否则判定为虚警目标轨迹，即
$$ \begin{array}{l} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ {\rm{flag}} = \\ \left\{ {\begin{array}{*{20}{l}} {1, A < m\_{\rm{area}}, V < m\_{\rm{speed}}, D < m\_{\rm{direction}}}\\ {0, 其他} \end{array}} \right. \end{array} $$ (13) 式中，m_area、m_speed、m_direction分别是A、V、D对应的阈值，与视频图像中的目标运动有关。对多条轨迹的均方差进行归一化处理，得到A、V、D的最小值，经实验确定A、V、D对应的阈值为最小值的2倍。flag若为1，判定该轨迹为真实目标轨迹；flag若为0，判定该轨迹为虚警目标轨迹，如图 4所示。
图 4 目标轨迹
Figure 4. Target Trajectory
图 4中，在第1帧到第10帧中共有5条目标轨迹，分别标记为ID1、ID2、ID3、ID4和ID5。ID1和ID2上的目标在第1~10帧中面积变化、位置变化和运动方向变化较小，A、V、D均小于对应阈值，判定ID1和ID2是真实目标轨迹。ID3上的目标在第1~10帧中面积变化较大，在第3帧中面积最小约9个像素，在第8帧中面积最大约180个像素，A大于对应阈值，判定ID3是虚警目标轨迹。ID4上的目标在第1~10帧中运动方向变化较大，例如第2帧目标运动方向向右，第4帧目标运动方向向下，第6帧目标运动方向向左，D大于对应阈值，判定ID4是虚警目标轨迹。ID5上的目标在第1~10帧中位置变化较大，第5帧到第6帧移动约5个像素，第8帧到第9帧移动约30个像素，V大于对应阈值，判定ID5是虚警目标轨迹，因此滤除ID3、ID4、ID5。
-
联合时空信息和轨迹关联的空中多目标检测算法流程如图 5所示。
图 5 联合时空信息和轨迹关联的空中多目标检测算法流程
Figure 5. Flowchart of Aerial Multi-target Detection Based on Spatial-temporal Information and Trajectory Association
具体步骤为：
1）均匀提取区域随机点及其对应的光流跟踪点，采用RANSAC（random sample consensus）过滤并进行透视矩阵计算，对运动背景进行补偿。
2）提取目标时间信息，采用邻近帧差算法，得到目标时间信息图DMt；提取目标空间信息，采用背景模型算法，得到目标空间分布图DMt，联合时间空间信息得到时空信息图DVt。
3）检测DVt中目标，利用卡尔曼预测器对DVt+1中目标位置进行预测，利用匈牙利匹配算法关联DVt+1中检测出的目标，若目标的预测位置与目标的检测位置相匹配，则关联为同一目标；若目标的预测位置与所有的目标检测位置不相匹配，则在预测位置上补充漏检的目标；若目标的检测位置与所有的目标预测位置不相匹配，则出现新的目标；将所有关联到的多个目标确定为多条目标轨迹。若某条轨迹中的目标连续5帧都是在预测位置上补充的，则目标已经消失，将该条轨迹删除。
4）对于误检导致的虚警目标轨迹，分段提取目标轨迹特征，利用轨迹特征滤除虚警目标轨迹，保留真实目标轨迹，得到空中多目标检测结果。
-
将本文联合时空信息和轨迹关联的空中多目标检测算法（spatial-temporal information and trajectory association，ST-Tra）与多目标检测算法中性能优越的其他4种算法进行了对比实验，包括基于密度聚类（density-based spatial clustering of applications with noise，DBSCAN）的多目标检测算法（DBSCAN-based）[9]、基于演化局部均值聚类（evolving local means，ELM）的多目标检测算法（ELM-based）[10]、基于LKT（Lucas Kanade tomasi）点补偿后双模高斯背景模型（double Gaussian model，DGM）的多目标检测算法（DGM-LKT）[3]和基于随机LK（Lucas Kanade random，LKR）点补偿后区域化高斯背景模型（regional Gaussian model，RGM）的多目标检测算法（RGM-LKR）[6]。利用查全率（R）、查准率（P）和F测度（F）对多目标检测算法进行定量评价。
所有的实验结果都是在相同的数据以及初始化条件下获得的。实验环境：VS2010、Matlab2016；实验平台：3.60 GHz，Intel i7处理器，64位Win7操作系统，8 GB内存。
-
实验视频需要满足背景运动、目标尺度小、空中有多个目标、目标相互毗邻和相互遮挡等多个条件。满足全部条件的实验视频难以获得，本文采取两种方法获得了两段实验视频。
第1种方法是基于满足最多所需条件的实拍视频，对其仿真实现以满足其余条件，从而得到第1段实验视频VD1。文献[13]提供的一段视频满足了本文实验最多所需的条件，视频包含2 000帧图像，图像大小为1 280×720像素，图像的背景是多云环境的天空，空中的云层有一定变化，背景中还包含地面场景，目标是多架小型固定翼无人机。该段视频背景是静止的，不满足背景运动的条件，本文利用视频仿真的方法，从整段视频的2 000帧图像中选取了包含多个目标在内的连续200帧图像，仿真出背景运动得到实验视频VD1，图像大小为640×480像素。通过人工统计获得实验视频VD1中目标的真值，共有255个目标。
第2种方法是实地拍摄得到第2段实验视频VD2。视频包含4 400帧图像，图像大小为640×480像素，图像的背景是无云的天空背景，目标是一架小型四旋翼无人机和多只随机飞行的小型飞鸟，目标数量较多，目标飞行时有相互毗邻和相互遮挡的情况，拍摄时相机平台运动导致背景运动，该段视频能满足本文实验所需的全部条件。从整段视频图像中选取了连续200帧图像，得到实验视频VD2。通过人工统计获得实验视频VD2中目标的真值，共有861个目标。
-
实验视频VD1背景是多云环境的天空，空中的云层有一定变化，通过VD1验证本文算法在背景云层变化时的空中多目标检测效果，本文算法与其他4种多目标检测算法的对比实验结果如表 1所示。表 1表明，本文算法具有最高的TP（true positive）和最低的FP（false positive），正确检测出目标的数量最多，虚警最少，说明本文算法性能优于其他算法。
表 1 背景云层变化时空中多目标检测结果
Table 1. Aerial Multi-target Detection Results with Changing Clouds
算法目标 DBSCAN- based ELM-based DGM-LKT RGM-LKR ST-Tra 第17帧实际目标：无人机2个 无人机0个
虚警0个无人机1个
虚警0个无人机2个
虚警3个无人机2个
虚警1个无人机2个
虚警0个第27帧实际目标：无人机2个 无人机1个
虚警0个无人机2个
虚警0个无人机2个
虚警5个无人机2个
虚警1个无人机2个
虚警0个整段视频 TP=140，FP=7 TP=195，FP=10 TP=241，FP=126 TP=242，FP=110 TP=245，FP=3 -
实验视频VD2中空中目标尺度小，最小的目标在图像中约9个像素，通过VD2验证本文算法在目标尺度小时的空中多目标检测效果，本文算法与其他4种多目标检测算法的对比实验结果如表 2所示。表 2表明，本文算法具有最高的TP值和最低的FP值，正确检测出目标的数量最多，虚警最少，说明本文算法性能优于其他算法。
表 2 目标尺度小时空中多目标检测结果
Table 2. Aerial Multi-target Detection Results with Small Targets
算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra 第40帧实际目标：无人机1个、飞鸟7只 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟7只、虚警1个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个 第53帧实际目标：无人机1个、飞鸟8只 无人机0个、飞鸟6只、虚警0个 无人机0个、飞鸟7只、虚警2个 无人机1个、飞鸟7只、虚警0个 无人机1个、飞鸟8只、虚警0个 无人机1个、飞鸟8只、虚警0个 整段视频 TP=621，FP=15 TP=721，FP=57 TP=754，FP=20 TP=768，FP=2 TP=848，FP=1 -
实验视频VD2中的目标数量多，多个目标飞行时有相互毗邻和相互遮挡情况，通过VD2验证本文算法在目标相互毗邻和相互遮挡时的空中多目标检测效果，本文算法与其他4种多目标检测算法的对比实验结果如表 3所示。表 3表明，本文算法具有最高的TP值和最低的FP值，正确检测出目标的数量最多、虚警最少，说明本文算法性能优于其他算法。
表 3 目标相互毗邻和相互遮挡时空中多目标检测结果
Table 3. Aerial Multi-target Detection Results with Targets Adjacent to Each Other and Occluded Each Other
算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra 第59帧实际目标：无人机1个、飞鸟7只 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警2个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个 第116帧实际目标：无人机1个、飞鸟5只 无人机1个、飞鸟2只、虚警0个 无人机1个、飞鸟3只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警0个 整段视频 TP=621，FP=15 TP=721，FP=57 TP=754，FP=20 TP=768，FP=2 TP=848，FP=1 -
将本文算法ST-Tra与其他4种多目标检测算法进行性能比较实验，采用查全率（R）、查准率（P）和F测度（F）指标，实验结果如表 4所示。
表 4 本文算法与其他4种算法性能比较结果/%
Table 4. Performance Comparison Results of This Algorithm with Other Four Algorithms/%
评价指标 实验视频 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra R VD1 54.9 76.3 94.4 94.8 96.1 VD2 72.1 83.7 87.6 89.2 98.5 P VD1 95.2 95.1 65.6 68.5 98.8 VD2 97.5 92.6 97.4 99.7 99.9 F VD1 69.6 84.7 77.4 79.7 97.4 VD2 82.9 84.5 92.2 94.1 99.2 表 4表明，本文算法具有最高的查全率R、查准率P和F测度，说明本文算法性能优于其他算法。本文算法采用像素级背景建模算法提取目标的空间信息，提高了目标的查全率，联合目标的时间信息降低了虚警；进行目标轨迹关联，在预测位置上补充漏检目标，降低了目标的漏检；分段提取目标轨迹特征滤除虚警目标轨迹，进一步降低了虚警。实验结果表明，本文算法的空中多目标检测效果最好。
-
本文算法解决了空中多目标检测中目标在图像中所占像素数少、目标相互毗邻和相互遮挡的难题，具有优良的检测性能。实验结果表明，本文算法具有较高的查全率、查准率和F测度。后续研究将针对背景旋转运动下的多运动目标检测进行，扩展目标检测算法的适用范围。
Aerial Multi-target Detection Based on Spatial-Temporal Information and Trajectory Association
-
摘要: 为解决空中多目标检测中目标在图像中所占像素数少、目标相互毗邻和相互遮挡的难题，提出了联合时空信息和轨迹关联的空中多目标检测算法。该算法首先利用基于像素的背景建模算法得到目标空间信息，结合邻近帧差算法提取的目标时间信息，联合得到目标的时空信息图；然后，利用卡尔曼预测器对目标位置进行预测，利用匈牙利匹配算法关联目标得到目标轨迹，根据目标轨迹补充漏检目标, 提高目标的查全率；最后，分段提取目标轨迹特征，根据轨迹特征进行判断，滤除虚警目标, 提高目标的查准率。采用空中多目标视频进行实验验证，结果表明，本文算法检测性能优良，查全率高于96%，查准率高于98%，F测度高于97%。Abstract: To tackle the problem that the targets in the image have few pixels and the targets are adjacent to each other and occluded each other, an aerial multi-target detection algorithm is proposed based on spatial-temporal information and trajectory association. Firstly, the pixel-based background modeling algorithm is used to obtain the target space information, and the neighboring frame difference algorithm is used to obtain the target time information. The time and space information are combined to get a spatial-temporal information map. Secondly, the Kalman predictor is used to predict the target position, and the Hungarian matching algorithm is used to correlate the target to obtain the target trajectory. Based on the target trajectory, the missed detection targets are supplemented to improve the target recall rate. Finally, based on the target trajectory features which are extracted in segments, the false alarm targets are filtered out to improve the target precision rate. Experimental videos with aerial multi-target are adopted for experimental verification, and the experimental results show that the proposed algorithm has good detection performance, with the recall rate higher than 96%, the precision rate higher than 98%, and the F-measure higher than 97%.
-
图 2 联合时空信息确定目标点和背景点
Figure 2. Joint Time and Space Information to Determine Target Points and Background Points
图 5 联合时空信息和轨迹关联的空中多目标检测算法流程
Figure 5. Flowchart of Aerial Multi-target Detection Based on Spatial-temporal Information and Trajectory Association
表 1 背景云层变化时空中多目标检测结果
Table 1. Aerial Multi-target Detection Results with Changing Clouds
算法目标 DBSCAN- based ELM-based DGM-LKT RGM-LKR ST-Tra 第17帧实际目标：无人机2个 无人机0个
虚警0个无人机1个
虚警0个无人机2个
虚警3个无人机2个
虚警1个无人机2个
虚警0个第27帧实际目标：无人机2个 无人机1个
虚警0个无人机2个
虚警0个无人机2个
虚警5个无人机2个
虚警1个无人机2个
虚警0个整段视频 TP=140，FP=7 TP=195，FP=10 TP=241，FP=126 TP=242，FP=110 TP=245，FP=3 
下载: 导出CSV
表 2 目标尺度小时空中多目标检测结果
Table 2. Aerial Multi-target Detection Results with Small Targets
算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra 第40帧实际目标：无人机1个、飞鸟7只 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟7只、虚警1个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个 第53帧实际目标：无人机1个、飞鸟8只 无人机0个、飞鸟6只、虚警0个 无人机0个、飞鸟7只、虚警2个 无人机1个、飞鸟7只、虚警0个 无人机1个、飞鸟8只、虚警0个 无人机1个、飞鸟8只、虚警0个 整段视频 TP=621，FP=15 TP=721，FP=57 TP=754，FP=20 TP=768，FP=2 TP=848，FP=1
下载: 导出CSV
表 3 目标相互毗邻和相互遮挡时空中多目标检测结果
Table 3. Aerial Multi-target Detection Results with Targets Adjacent to Each Other and Occluded Each Other
算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra 第59帧实际目标：无人机1个、飞鸟7只 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警2个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个 第116帧实际目标：无人机1个、飞鸟5只 无人机1个、飞鸟2只、虚警0个 无人机1个、飞鸟3只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警0个 整段视频 TP=621，FP=15 TP=721，FP=57 TP=754，FP=20 TP=768，FP=2 TP=848，FP=1
下载: 导出CSV
表 4 本文算法与其他4种算法性能比较结果/%
Table 4. Performance Comparison Results of This Algorithm with Other Four Algorithms/%
评价指标 实验视频 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra R VD1 54.9 76.3 94.4 94.8 96.1 VD2 72.1 83.7 87.6 89.2 98.5 P VD1 95.2 95.1 65.6 68.5 98.8 VD2 97.5 92.6 97.4 99.7 99.9 F VD1 69.6 84.7 77.4 79.7 97.4 VD2 82.9 84.5 92.2 94.1 99.2
下载: 导出CSV
-
[1] Shen H, Li S, Zhu C. Moving Object Detection in Aerial Video Based on Spatiotemporal Saliency[J]. Chinese Journal of Aeronautics, 2013, 26(5):1 211-1 217 doi: 10.1016/j.cja.2013.07.038 [2] Shakeri M, Zhang H. Detection of Small Moving Objects Using a Moving Camera[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. Chicago, IL, USA, 2014 [3] Yi K M, Yun K, Kim S W. Detection of Moving Objects with Non-Stationary Cameras in 5.8 ms: Bringing Motion Detection to Your Mobile Device[C]. Conference on Computer Vision and Pattern Recognition Workshops, Portland, OR, USA, 2013 [4] 刘慧, 李清泉, 高春仙, 等.利用C_SURF配准的空基视频运动目标检测[J].武汉大学学报·信息科学版, 2014, 39(8): 951-955 doi: 10.13203/j.whugis20130121 Liu Hui, Li Qingquan, Gao Chunxian, et al. Moving Target Detection Using C_SURF Registration[J]. Geomatics and Information Science of Wuhan University, 2014, 39(8): 951-955 doi: 10.13203/j.whugis20130121 [5] Yang T, Wang X, Yao B. Small Moving Vehicle Detection in a Satellite Video of an Urban Area[J]. Sensors, 2016, 16(9):1 528 doi: 10.3390/s16091528 [6] Yan J, Wang S, Huang W. Real-Time Moving Object Detection Based on Regional Background Modeling Under a Moving Camera[J]. Journal of Imaging Science and Technology, 2017, 61(4): 40 506 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=856980245f3c59b126a3b69ba62a78b5 [7] 李成美, 白宏阳, 郭宏伟.一种改进光流法的运动目标检测及跟踪算法[J].仪器仪表学报, 2018, 39(5):249-256 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=yqyb201805030 Li Chengmei, Bai Hongyang, Guo Hongwei. Moving Object Detection and Tracking Based on Improved Optical Flow Method[J]. Chinese Journal of Scientific Instrument, 2018, 39(5): 249-256 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=yqyb201805030 [8] Teutsch M, Krüger W. Detection, Segmentation, and Tracking of Moving Objects in UAV Videos[C]. IEEE Ninth International Conference on Advanced Video and Signal-Based Surveillance, Beijing, China, 2012 [9] Siam M, ElSayed R, ElHelw M. On-Board Multiple Target Detection and Tracking on Camera-Equipped Aerial Vehicles[C]. IEEE International Conference on Robotics and Biomimetics (ROBIO), Guangzhou, China, 2012 [10] Sadeghi-Tehran P, Clarke C, Angelov P. A Real-Time Approach for Autonomous Detection and Tracking of Moving Objects from UAV[C]. IEEE Symposium on Evolving and Autonomous Learning Systems (EALS), Orlando, FL, USA, 2014 [11] Kang K, Li H, Yan J. T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 28(10): 2 896-2 907 doi: 10.1109/CVPR.2016.95 [12] Girshick R, Donahue J, Darrell T. Rich Feature Hie-rarchies for Accurate Object Detection and Semantic Segmentation[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014 [13] Rozantsev A, Lepetit V, Fua P. Detecting Flying Objects Using a Single Moving Camera[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(5):879-892 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dc9c3820c475f57760346dd5880045cd [14] Janousek J, Novotny J, Marcon P. Algorithms for Flying Object Detection[C]. 2018 Progress in Electro Magnetics Research Symposium (PIERS-Toyama), Toyama, Japan, 2018 [15] 叶语同, 李必军, 付黎明.智能驾驶中点云目标快速检测与跟踪[J].武汉大学学报·信息科学版, 2019, 44(1): 139-144, 152 doi: 10.13203/j.whugis20170146 Ye Yutong, Li Bijun, Fu Liming. Fast Object Detection and Tracking in Laser Data for Autonomous Driving[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 139-144, 152 doi: 10.13203/j.whugis20170146 [16] Lucas B D. An Iterative Image Registoration Techniques with an Application to Stereo Vision[J]. Proc IJCAI, 1981, 81(3):674-679 http://ci.nii.ac.jp/naid/10019127095 [17] Barnich O, Vanroogenbroeck M. ViBe: A Universal Background Subtraction Algorithm for Video Sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6):1 709-1 724 doi: 10.1109/TIP.2010.2101613 -
点击查看大图
图(5) / 表(4)
计量
- 文章访问数: 478
- HTML全文浏览量: 98
- PDF下载量: 72
- 被引次数: 0
