基于中心点检测和重识别的多行人跟踪算法

邹北骥; 李伯洲; 刘姝

doi:10.13203/j.whugis20210328

基于中心点检测和重识别的多行人跟踪算法

邹北骥^{1, 2,},
李伯洲^{1, 2},
刘姝^{1, 2, ,}

1.
中南大学计算机学院，湖南长沙，410083
2.
湖南省机器视觉与智慧医疗工程技术研究中心，湖南长沙，410083

基金项目:

国家自然科学基金 61902435

湖南省自然科学基金 2019JJ50808

详细信息

作者简介:
邹北骥, 博士, 教授, 博士生导师, 主要研究方向为计算机视觉、图像处理。bjzou@csu.edu.cn

通讯作者:
刘姝, 博士, 讲师。sliu35@csu.edu.cn

中图分类号: P231; TP391
计量
- 文章访问数: 1708
- HTML全文浏览量: 638
- PDF下载量: 141
出版历程
- 收稿日期: 2021-06-20
- 发布日期: 2021-09-17

A Multi-Pedestrian Tracking Algorithm Based on Center Point Detection and Person Re-identification

ZOU Beiji^{1, 2,},
LI Bozhou^{1, 2},
LIU Shu^{1, 2, ,}

1.
School of Computer Science and Engineering, Central South University, Changsha 410083, China
2.
Hunan Engineering Research Center of Machine Vision and Intelligent Medicine, Changsha 410083, China

Funds:

The National Natural Science Foundation of China 61902435

the Natural Science Foundation of Hunan Province 2019JJ50808

More Information

Author Bio:
ZOU Beiji, PhD, professor, specializes in computer vision and image processing. E-mail: bjzou@csu.edu.cn

Corresponding author:
LIU Shu, PhD, lecturer. E-mail: sliu35@csu.edu.cn

摘要

摘要: 在基于视频的多目标运动跟踪中，目标检测和重识别具有很强的相关性。目前常将目标检测和重识别网络分别进行训练和使用，因此实时跟踪速度不能达到要求。针对多目标跟踪（multiple object tracking，MOT）中行人身份切换和跟踪丢失问题，将行人重识别模块进行遮挡优化并嵌入行人检测网络，由此提出了一种基于中心点检测和重识别的多行人跟踪算法。首先建立了行人运动模型，通过中心点检测得到行人最优状态估计；然后根据深层特征融合的行人重识别模型，利用马氏距离和余弦距离增强行人身份辨别能力；最后利用匈牙利算法进行在线数据关联，同时利用卡尔曼滤波剔除不准确的结果，对未关联的丢失目标做运动预测。利用所提算法和其他跟踪算法分别在MOT15、MOT16、MOT17数据集上进行多行人跟踪对比实验，结果表明，所提算法的多目标跟踪精度（multiple object tracking accuracy，MOTA）分别为63.5、72.4、70.9, 正确识别的检测和计算的检测数的比值（identity F1?measure，IDF1）最优, 且保证了实时跟踪速率, 验证了所提跟踪算法的有效性。
- 多行人跟踪 /
- 中心点检测 /
- 行人重识别 /
- 深层特征融合
Abstract:
Objectives In video-based multiple object tracking, the object detection and re-identification have a strong correlation. The existing methods generally train the object detection and re-identification networks separately, which makes the tracking speed fail to meet the real-time requirements. In this paper, we integrate the detection and re-identification into one network to accelerate the tracking process, and also solve the problems of identity switching and failure tracking.
Methods This paper develops a pedestrian motion model and obtains the optimal state estimation of pedestrians using center point detection. The person re-identification model with deep layer features uses the Mahalanobis distance and cosine distance to enhance the ability of person identification. And the Hungary algorithm is used for data online association, where the state estimation results become more accurate using Kalman filtering, and the unrelated lost objects are predicted by motion.
Results Experiments are conducted on MOT15, MOT16 and MOT17 datasets using the proposed algorithm and other multi-pedestrian tracking algorithms, and the multiple object tracking accuracy of tracking results using our proposed algorithm is 63.5, 72.4 and 70.9, respectively, and the identity F1-measure is optimal, with the real-time rate.
Conclusions The proposed algorithm can accelerate the tracking speed by network parameter sharing, and improve the recognition accuracy by person re-identification training.
- multi-pedestrian tracking /
- center point detection /
- person re?identification /
- deep feature aggregation

HTML全文

三维激光扫描是一种重要的隧道测量手段，具有效率高、数据量大、精度高等优点。对于扫描所得点云的计算与处理，如何通过点云数据来体现隧道的变化，已有许多学者进行相关的研究。刘燕萍等^[1]使用了站扫方式提取出断面的圆心和半径，计算出隧道的收敛变形情况和预估变化趋势。刘绍堂等^[2]提出了用基于三维激光扫描技术的多点整体监测方法，引入了椭圆拟合法描述隧道的整体变形。陈勇^[3]通过分析野外轨道点云数据，重构了既有线曲线参数，对现有轨道进行了整正计算。许磊等^[4]提出了一种基于射线相交的隧道断面自动测量方法，满足多种结构类型的隧道断面测量要求。王令文等^[5]通过采用全站仪对点云数据进行绝对定位来提高拼接精度，以设计轴线为基准提取隧道断面，分析了隧道的断面收敛情况。

隧道三维激光扫描变形测量大多用于计算隧道直径收敛，研究隧道内壁断面形状是否发生了变形^[6]，未见用此方法测量分析轨道的变形。地铁点云数据密度大、精度高，可提取任意里程处轨道面的几何信息，本文利用隧道扫描点云提取出的轨道面高程数据，给出了局部相对变形波动值的概念，提出了一种基于小波变换和维格纳-威尔分布的变形提取方法，结合理论分析、模拟数据和实例计算验证了该方法的有效性与可行性。

1 线状结构局部相对变形波动指标

线状结构的地铁变形通常采用周期性重复观测的方法，获取特征处的多期坐标，求取周期间的变形量，以期掌握地铁结构的整体变形情况。由于地铁隧道内基准的建立和维护困难，作业效率低下，掌握地铁全线隧道变形的代价很高，受地铁隧道线状分布的影响，其横向和垂向传递误差较大，绝对精度较低。从线状横向和垂向变形对隧道结构的危害程度来看，分布在长区段相对变化平缓的变形，即使累积变形量较大，结构损伤的可能性也较小；而局部较为剧烈的相对变形对线状地铁结构的影响更大，因此，对多期测量成果在局部的相对变形进行分析和研究更有实际意义。

为提取两期测量成果中隐含的线状结构相对波动信息，本文参考了高铁轨道不平顺性检测原理与方法^[7]，定义了线状结构局部相对变形波动性指标，如图 1所示，实线为首次测量成果，虚线为第 $k$ 次测量成果， $2 s$ 为检测弦长。

图 1 线状结构局部相对变形波动性指标示意图

Figure 1. Schematic of Linear Structure Partial Relative Deformation Fluctuation Index

下载: 全尺寸图片幻灯片

定义线状结构局部相对变形波动值为：

δ_{i} = d_{i}^{k} - d_{i}^{0}

式中， $d_{i}^{0}$ 为首次测量成果中里程 $i$ 测点到里程i－s与里程 $i + s$ 测点连线的垂直距离； $d_{i}^{k}$ 为第 $k$ 次测量的相应距离； $δ_{i}$ 表示首期与第 $k$ 期之间的相对变形波动值。首期与第 $k$ 期之间的垂直距离作差表示累积变形，相邻两期之间作差表示本期变形。

线状结构局部相对变形波动值的实质为两期检测弦长中点偏距之差，形式上近似于两期中点弦偏距变化值对里程的导数，与两期中点弦偏距变化曲线的导数密切相关。

2 相对变形波动提取与定位

2.1 小波变换与小波分解

小波变换利用系数和规范小波基的积作为基础进行信号分析，从而可以在时、频两域表征信号的局部特性^[8-9]。将满足容许条件^[10]的基本小波函数 $ψ (t)$ 进行伸缩和平移得到连续小波函数族 $\{ψ_{a, b} (t)\}$ ^[11]。将连续小波与信号 $f (t)$ 进行内积，得到信号的连续小波变换：

\begin{array}{l} W_{f} (a, b) = 〈f (t), ψ_{a, b} (t)〉 = \\ \frac{1}{\sqrt[]{a}} \int_{- \infty}^{+ \infty} f (t) ψ^{*} (\frac{t - a}{b}) d t (2) \end{array}

式中， $ψ^{*}$ 表示 $ψ$ 的共轭函数； $W_{f} (a, b)$ 为小波系数^[10]，其中， $a$ 是信号频率相关的伸缩（尺度）因子， $b$ 是与信号时间相关的平移因子。

用Mallet算法^[9]将原始信号 $f (t)$ 分解为小波系数低频部分 $A_{1}$ 和小波系数高频部分 $D_{1}$ ，再对 $A_{1}$ 进行分解得到 $A_{2}$ 和 $D_{2}$ ，逐层分解最终得到 $A_{n}$ 和 $D_{n}$ 。对 $A_{i}$ 和 $D_{i}$ 进行重构，从而得到原始信号在第 $i$ 层的近似信号 $a_{i}$ 和细节信号 $d_{i}$ ^[12]。

2.2 维格纳-威尔分布

信号 $f (t)$ 的能量在时域和小波域是相同的^[13]， $| W_{f} (a, b) |^{2}$ 可以看作关于尺度 $a$ 和平移 $b$ 的二元能量分布。维格纳-威尔分布（Wigner-Ville distribution，WVD）用于描述信号能量在时频两域的分布，并且具有平移不变性、不损失信号幅值和相位信息等优点^[14]，比 $| W_{f} (a, b) |^{2}$ 更适合能量型时-频联合小波分析。对信号 $f (t)$ 的瞬时自相关函数进行傅里叶变换，得到了WVD的一般表达式为：

D_{f} (t, ω) = \int_{- \infty}^{+ \infty} f (t + \frac{τ}{2}) f^{*} (t - \frac{τ}{2}) e^{- i 2 π τ ω} d τ

式中， $f^{*}$ 表示 $f$ 的共轭函数；t表示时间；ω表示频率；τ表示时间延迟。本文计算方法采用加窗后的平滑伪维格纳-威尔分布（smoothed pseudo Wigner-Ville distribution，SPWVD）。

2.3 相对变形波形提取

如果原始信号中存在异常相对变形波形，则在该波形的特征频率下，位于异常波形处的小波能量将产生突变。由于轨道不平顺幅值沿里程基本满足正态分布^[14]，根据拉依达准则（ $3 σ$ 准则）设定能量阈值用于确定相对变形波形发生的位置。具体提取算法分为确定变形波长和确定变形位置两大步骤。

2.3.1 确定相对变形波长

使用小波分解对原始变形波动值进行处理，采用的小波基函数由原始数据的特性决定，由数据量和小波基函数共同确定分解的层数。（1）对原始信号进行小波分解，得到不同层数下的近似信号 $a_{i}$ 和细节信号 $d_{i}$ ；（2）对所有 $a_{i}$ 和 $d_{i}$ 进行快速傅里叶变换（fast Fourier transform，FFT），分析后确定特征波长。在 $a$ 中确定特征波长后，选择对该波长分辨率最大的 $d$ 作为下一步分析的原始数据。

2.3.2 确定相对变形位置

和原始信号相比，经过小波分解再重构后的近似信号和细节信号成分更加单一，能量分布更为集中，可以更好地在SPWVD中提取相对变形波形的位置。提取步骤为：（1）对确定的细节信号 $d$ 进行SPWVD计算，得到频率-里程-能量三维分布图；（2）在频率轴中找到特征波长所对应的频率，提取出该频率下不同里程处的SPWVD能量值 $P (i)$ ，即特征频率对应的里程-能量分布图；（3）从里程的第 $L$ 米开始，根据 $3 σ$ 准则设定检测阈值 $U (i)$ ， $U (i)$ 是由从 $P (0)$ 到P（i-1）的均值 $E_{P (0, i - 1)}$ 与标准差 $σ_{P (0, i - 1)}$ 决定的，计算公式为：

U (i) = E_{P (0, i - 1)} + 3 σ_{P (0, i - 1)}

将检测阈值 $U (i)$ 和SPWVD能量值 $P (i)$ 绘制到同一张图中，能量值满足 $P (i) > U (i)$ 的波形最高点对应的里程数即为相对变形波形的近似位置。

3 算法验证与实例分析

3.1 模拟数据计算与分析

模拟高程值与计算相对变形波动值沿里程的分布图如图 2所示，其中， $h_{1}$ 、 $h_{2}$ 为模拟的两期轨道中心点高程值。高程值采样间隔为0.5 m，中点弦的弦长设为10 m，分别加入了中误差为0.33 mm、幅值为1 mm的正态随机噪声。两期模拟高程值并不重合，在最高点处相差5 cm，但相对关系保持相近。在 $h_{2}$ 中加入3个沉降幅值为1 mm、波长为10 m的标准下凹全波余弦型沉降曲线模型，沉降最大处的位置分别为140 m、205 m和340 m。

图 2 模拟高程值与计算相对变形波动值

Figure 2. Simulation Elevation Data and Calculated Deformation Fluctuations

下载: 全尺寸图片幻灯片

采用db6（Daubechies6）作为小波基函数，对原始变形波动值进行小波分解。经过查阅文献和实际试验，分解的层数定为6层。各层近似信号的波长-FFT频谱图如图 3所示，细节信号频谱图如图 4所示，标出每张图幅值最大点的横坐标，即特征波长，由于 $a_{5}$ 与 $a_{6}$ 幅值最大点对应的特征频率为0，波长为无穷大，所以不标出峰值。

图 3 近似信号

a

的FFT频谱

Figure 3. Amplitude Spectrum of Approximate Signal

a

下载: 全尺寸图片幻灯片

图 4 细节信号

d

的FFT频谱

Figure 4. Amplitude Spectrum of Detail Signal

d

下载: 全尺寸图片幻灯片

分析FFT频谱图可得：（1）特征波长10.427 m在近似信号 $a_{1}$ 、 $a_{2}$ 、 $a_{3}$ 中都有最大幅值，并且与中点弦的弦长接近，因此，将其定为待提取相对变形波形的特征波长；（2）特征波长10.427 m在各层细节信号 $d$ 中都有对应的波峰， $d_{4}$ 中最为显著，可知 $d_{4}$ 对于待提取特征波长10.427 m，具有最大的时空分辨率，换算成特征频率为0.096 /m，将 $d_{4}$ 定为下一步进行波形位置确定的数据。

计算 $d_{4}$ 的SPWVD得到能量三维分布图见图 5，反映了能量在里程和频率两域的分布。

图 5 细节信号

d_{4}

的SPWVD能量分布

Figure 5. SPWVD Energy Distribution of the Reconstructed Detail Signal

d_{4}

下载: 全尺寸图片幻灯片

提取出特征波长10.427 m对应的不同里程处的SPWVD能量值 $P (i)$ ，如图 6中实线所示。 $L$ 取50 m，设定检测阈值 $U (i)$ ，将 $U (i)$ 和 $P (i)$ 绘制到图 6中，满足 $P (i) > U (i)$ 的波形最高点对应的里程数即为相对变形波形的近似位置，可知存在3处波形，位置分别位于里程136.25 m、200.25 m、336.75 m处附近。

图 6 特征波长对应的里程-SPWVD分布曲线

Figure 6. Mileage-SPWVD Energy Distribution of Characteristic Wavelengths

下载: 全尺寸图片幻灯片

从原始变形波动值中的相应位置提取出的波形形状非常不规律，这是由于原始变形波动值含有许多高频噪声，不利于幅值的确定。多层近似信号可以看作是原始数据逐步去噪、简化后得到的信号，在近似信号中，提取相对变形波形可以得到更好的结果。

图 7是从第2层近似信号 $a_{2}$ 的相应位置提取出的局部相对变形波形，标注出沉降最大处的里程和幅值。这些波形和标准沉降曲线波形相似，幅值分别为0.91 mm、0.94 mm、0.98 mm，与预设值1 mm相近。由图 7可知，提取的相对变形波形的里程范围为136.25~146.68 m、200.25~210.43 m、336.75~347.18 m，与预设相对变形波形位置接近。将提取局部相对变形波形信息与预设值汇总到表 1中，可以发现，通过本文算法检测得到的结果与预设值接近。

图 7 从

a_{2}

中提取的相对变形波形

Figure 7. Extraction Results from the 2 Reconstructed Approximate Signal

a_{2}

下载: 全尺寸图片幻灯片

表 1 提取波形与预设波形数据对比

Table 1. Comparison of Extraction Results and Default Values

数据来源	波形数量	波长/m	里程范围/m			幅值/mm
算法提取	3	10.427	136.25~146.68	200.25~210.43	336.75~347.18	0.91	0.94	0.98
预设值	3	10	135~145	200~210	335~345	1	1	1

下载: 导出CSV

| 显示表格

3.2 实测数据计算与分析

采用以下两个实测数据进行计算与分析：（1）将轨道设计值加上随机误差作为首期观测值，实际扫描的数据作为当前期值；（2）同一轨道短时间内扫描两次所得点云。

3.2.1 实测数据1

数据来源于武汉地铁某区间三维激光扫描点云，使用的仪器为徕卡ScanStation P30，精度指标为测距误差1.2 mm+10 mm/km，角度误差‍8″，每隔0.5 m截取一个断面^[15]，从断面点云中提取出左右轨面处的点云，取平均值得轨道中心点高程，截取里程为42 613.656~43 113.156 m，总长为499.5 m。在高程设计值中加入中误差为0.85 mm的随机噪声。对高程的测量值与设计值进行上述相对变形波形提取算法的处理，将中点弦的弦长分别设为5 m、10 m和15 m，分别计算不同中点弦的弦长对应的相对变形波形。

对10 m弦长变形波动值进行小波分解、重构和FFT分析，近似信号 $a$ 的FFT结果如图 8所示，波长9.615 m表现最显著，在 $a_{1}$ 、 $a_{2}$ 、 $a_{3}$ 中均表现为最大幅值，因此，定特征波长为9.615 m。

图 8 近似信号

a

的FFT频谱

Figure 8. Amplitude Spectrum of Approximate Signal

a

下载: 全尺寸图片幻灯片

特征波长在第4层细节信号 $d_{4}$ 中幅值最大，具有最高的分辨率，故选择 $d_{4}$ 计算其SPWVD。提取特征波长9.615 m所对应的里程-能量分布曲线，设置阈值，提取能量分布曲线超过阈值的波峰顶点对应里程，即为相对变形位置，如图 9所示。由图 9可知，存在4个相对变形波形，位置分别为42 700.656 m、42 940.656 m、43 024.906 m、43 054.906 m。在近似信号 $a_{2}$ 的相应位置提取4个相对变形波形，将波形的位置、幅值、范围等信息汇总如表 2所示。

图 9 相对变形波形位置的提取

Figure 9. Extraction Locations of Abnormal Deformation

下载: 全尺寸图片幻灯片

表 2 10 m弦长下的相对变形波形

Table 2. Information of Abnormal Deformation Waves in 10 m Midpoint Chord

近似位置/m	幅值/mm	里程范围/m	形变最大位置/m
42 700.656	2.99	42 696.156~42 705.156	42 700.156
42 940.656	3.18	42 936.656~42 946.156	42 941.656
43 024.906	2.57	43 024.650~43 034.156	43 030.156
43 054.906	5.55	43 051.656~43 062.156	43 057.156

下载: 导出CSV

| 显示表格

使用相同方法对弦长为5 m和15 m的情况提取相对变形，结果如表 3所示。该算法可以提取出波长与事前给定的中点弦的弦长近似的相对变形波形，不同弦长所提取出的波形互不相同。

表 3 5 m和15 m弦长下的相对变形波形

Table 3. Information of Abnormal Deformation Waves in 5 m and 15 m Midpoint Chord

弦长/m	近似位置/m	幅值/mm	里程范围/m	形变最大位置/m
5	43 008.656	2.79	43 006.656~43 011.156	43 008.656
5	43 046.906	1.92	43 042.656~43 047.156	43 044.656
15	43 011.406	3.30	42 997.156~43 011.656	43 004.156

下载: 导出CSV

| 显示表格

3.2.2 实测数据2

数据2为武汉地铁某区段同一晚上推行两趟获取的数据，小车上使用的扫描仪为徕卡ScanStation P30，截取里程范围为13 633.36~14 134.36 m，总长为501.00 m。将中点弦的弦长分别设为8 m和20 m，分别提取出变形波形。对于8 m弦长，对变形波动值进行小波分解、重构和FFT分析，结果显示波长8.358 m表现最为显著，将此波长定为特征波长。特征波长在 $d_{4}$ 中幅值最大，具有最高的分辨率，提取 $d_{4}$ 的SPWVD中特征波长8.358 m所对应的能量值，组成里程-能量分布曲线，设置阈值，结果如图 10所示，由图 10可知，原始相对变形波动波形中不存在波长在8 m附近的变形波形。

图 10 8 m中点弦下的相对变形波形的位置提取

Figure 10. Extraction Locations of Abnormal Deformation Under 8 m Midpoint Chord

下载: 全尺寸图片幻灯片

图 11为中点弦的弦长为20 m（特征波长21.804 m）的SPWVD-阈值图，从图 11中不能提取出相应波长的相对变形波动波形。

图 11 20 m中点弦下的相对变形波形的位置提取

Figure 11. Extraction Locations of Abnormal Deformation Under 20 m Midpoint Chord

下载: 全尺寸图片幻灯片

4 结语

本文在定义线状结构局部相对变形波动值的基础上，对地铁三维激光扫描点云中提取的轨道数据进行小波分析与SPWVD分析，可以识别相应波长的相对变形波形，并确定其影响范围和最大变形幅值。对原始的变形波动值进行多层小波分解与重构，使信号中的待提取成分表现更为显著，分辨率更高，从而确定相对变形波形的波长。SPWVD具有明确的物理意义，可以用于能量检测，从而确定相对变形波形的位置。实例分析的研究结果表明，本文提出的相对变形提取算法具有一定的有效性和准确性，可以提取波长与中点弦的弦长接近的相对变形波形，能够达到较好的相对变形波形信息检测的效果。

后续研究将采用此方法分析地铁隧道结构侧壁的横向水平和顶壁的垂向线状相对变形，期望从多期地铁扫描数据中检测出更多有效变形信息。

图 1 本文算法流程图

Figure 1. Flowchart of Our Proposed Algorithm

下载: 全尺寸图片幻灯片

图 2 中心点检测的三大分支

Figure 2. Three Branches of Center Detection

下载: 全尺寸图片幻灯片

图 3 编码-解码器网络

Figure 3. Encoder-Decoder Network

下载: 全尺寸图片幻灯片

图 4 重识别匹配成功流程判断是否同一行人

Figure 4. Matching Process of Successful Re-identification

下载: 全尺寸图片幻灯片

图 5 MOT17的局部拥挤人群跟踪结果

Figure 5. Results of Crowded Human Tracking of MOT17

下载: 全尺寸图片幻灯片

图 6 检测失败情况下跟踪成功

Figure 6. Successful Tracking in the Case of Detection Failure

下载: 全尺寸图片幻灯片

图 7 迅速分配新的ID轨迹

Figure 7. Quick Assignment for a New ID

下载: 全尺寸图片幻灯片

表 1 不同类型算法的跟踪结果对比

Table 1 Comparison of Results of Different Algorithms

算法	类型	MOTA	IDF1
JCC算法^[28]	离线	51.1	54.4
NT算法^[29]	接近在线	47.5	43.6
DeepSORT算法^[2]	在线	61.4	62.2
单独核心部分	在线	67.5	69.8
本文	在线	72.4	75.1

下载: 导出CSV

表 2 MOT15测试集上的跟踪结果

Table 2 Results of MOT15 Test Set

算法	类型	MOTA	IDF1	MT/%	ML/%	IDs	帧率/Hz
EAMTT^[30]	两步法	53.0	54.0	35.9	19.6	7 538	4.0
AP_HWDPL^[31]	两步法	53.0	52.2	29.1	20.2	708	6.7
RAR^[32]	两步法	56.5	61.3	45.1	14.6	428	3.4
TubeTK^[10]	单步法	58.4	53.1	39.3	18.0	854	5.8
FairMOT^[33]	单步法	60.6	64.7	47.6	11.0	591	30.5
本文算法	单步法	63.5	65.5	50.1	10.4	504	32.7

下载: 导出CSV

表 3 MOT16测试集上的跟踪结果

Table 3 Results of MOT16 Test Set

算法	类型	MOTA	IDF1	MT/%	ML/%	IDs	帧率/Hz
SORT^[1]	两步法	59.8	53.8	25.4	22.7	1 423	8.6
DeepSORT^[2]	两步法	61.4	62.2	32.8	18.2	781	6.4
RAR^[32]	两步法	63.0	63.8	39.9	22.1	482	1.4
POI^[34]	两步法	66.1	65.1	34.0	20.8	805	5.0
JDE^[7]	单步法	64.4	55.8	35.4	20.0	1 544	18.5
TubeTK^[10]	单步法	64.0	59.4	33.5	19.4	1 117	1.0
FairMOT^[33]	单步法	74.9	72.8	44.7	15.9	1 074	25.9
本文算法	单步法	72.4	75.1	45.8	17.2	890	30.6

下载: 导出CSV

表 4 MOT17测试集上的跟踪结果

Table 4 Results of MOT17 Test Set

算法	类型	MOTA	IDF1	MT/%	ML/%	IDs	帧率/Hz
SST^[35]	两步法	52.4	49.5	21.4	30.7	8 431	3.9
TubeTK^[10]	单步法	63.0	58.6	31.2	19.9	4 137	3.0
CenterTrack^[36]	单步法	67.3	59.9	34.9	24.8	2 898	22.0
FairMOT^[33]	单步法	73.7	72.3	43.2	17.3	3 303	25.9
本文算法	单步法	70.9	78.3	40.6	16.4	1 978	29.7

下载: 导出CSV

参考文献(36)

[1]	Bewley A, Ge Z, Ott L, et al. Simple Online and Realtime Tracking[C]. International Conference on Image Processing, Phoenix, Arizona, USA, 2016
[2]	Wojke N, Bewley A, Paulus D. Simple Online and Realtime Tracking with a Deep Association Metric [C]. International Conference on Image Processing, Beijing, China, 2017
[3]	陈恩加, 唐向宏, 傅博文. Faster R-CNN行人检测与再识别为一体的行人检索算法[J]. 计算机辅助设计与图形学学报, 2019, 31(2): 332-339 https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201902016.htm Chen Enjia, Tang Xianghong, Fu Bowen. Pedestrian Search Method Based on Faster R-CNN with the Integration of Pedestrian Detection and Re-identification[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(2): 332-339 https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201902016.htm
[4]	侯建华, 张国帅, 项俊. 基于深度学习的多目标跟踪关联模型设计[J]. 自动化学报, 2020, 46(12): 2 690-2 700 https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202012016.htm Hou Jianhua, Zhang Guoshuai, Xiang Jun. Designing Affinity Model for Multiple Object Tracking Based on Deep Learning[J]. Acta Automatica Sinica, 2020, 46(12): 2 690-2 700 https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO202012016.htm
[5]	Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(6): 1 137-1 149 doi: 10.1109/TPAMI.2016.2577031
[6]	Redmon J, Divvala S, Girshick R, et al. You Only Look Once: Unified, Real-Time Object Detection [C]. Computer Vision and Pattern Recognition, Las Vegas, USA, 2016
[7]	Wang Z, Zheng L, Liu Y, et al. Towards Real-Time Multi-Object Tracking[C]. European Conference on Computer Vision, Glasgow, Scotland, UK, 2020
[8]	Kokkinos I. UberNet: Training a Universal Convolutional Neural Network for Low-, Mid-, and HighLevel Vision Using Diverse Datasets and Limited Memory[C]. Computer Vision and Pattern Recognition, Hawaii, USA, 2017
[9]	Voigtlaender P, Krause M, Osep A, et al. MOTS: Multi-Object Tracking and Segmentation[C]. Computer Vision and Pattern Recognition, Los Angeles, USA, 2019
[10]	Pang B, Li Y, Zhang Y, et al. TubeTK: Adopting Tubes to Track Multi-Object in a One-Step Training Model[C]. Computer Vision and Pattern Recognition, Seattle, Washington, USA, 2020
[11]	Lin T Y, Goyal P, Girshick R, et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327 doi: 10.1109/TPAMI.2018.2858826
[12]	Zheng L, Shen L, Tian L, et al. Scalable Person Re-identification: A Benchmark[C]. International Conference on Computer Vision, Santiago, Chile, 2015
[13]	Li W, Zhao R, Xiao T, et al. DeepReID: Deep Filter Pairing Neural Network for Person Re-identification[C]. Computer Vision and Pattern Recognition, Columbus, USA, 2014
[14]	Shao S, Zhao Z, Li B, et al. CrowdHuman: A Benchmark for Detecting Human in a Crowd[J]. Arxiv Preprint Arxiv, 2018, DOI: 1805.00123
[15]	Zhu J Y, Park T, Isola P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]. International Conference on Computer Vision, Venice, Italy, 2017
[16]	Yu F, Wang D, Shelhamer E, et al. Deep Layer Aggregation [C]. Computer Vision and Pattern Recognition, Salt Lake City, Utah, USA, 2018
[17]	Roth P M, Hirzer M, Köstinger M, et al. Mahalanobis Distance Learning for Person Re-identification [M]. London: Springer Press, 2014
[18]	Wojke N, Bewley A. Deep Cosine Metric Learning for Person Re-identification[C]. Winter Conference on Applications of Computer Vision, Lake Tahoe, USA, 2018
[19]	Kendall A, Gal Y, Cipolla R. Multi-task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics[C]. Computer Vision and Pattern Recognition, Salt Lake City, Utah, USA, 2018
[20]	Welch G, Bishop G. An Introduction to the Kalman Filter[J]. Proc of Siggraph, 1995, 41(8): 127-132
[21]	Leal-Taixé L, Milan A, Reid I, et al. MOTChallenge 2015: Towards a Benchmark for Multi-Target Tracking[J]. Arxiv Preprint Arxiv, 2015, DOI: 1504.01942
[22]	Milan A, Leal-Taixé L, Reid I, et al. MOT16: A Benchmark for Multi-Object Tracking[J]. Arxiv Preprint Arxiv, 2016, DOI: 1603.00831
[23]	Dollár P, Wojek C, Schiele B, et al. Pedestrian Detection: A Benchmark[C]. Computer Vision and Pattern Recognition, Miami, Florida, USA, 2009
[24]	Zhang S, Benenson R, Schiele B. CityPersons: A Diverse Dataset for Pedestrian Detection[C]. Computer Vision and Pattern Recognition, Honolulu, Hawaii, USA, 2017
[25]	Xiao T, Li S, Wang B, et al. Joint Detection and Identification Feature Learning for Person Search [C]. Computer Vision and Pattern Recognition, Honolulu, Hawaii, USA, 2017
[26]	Zheng L, Zhang H, Sun S, et al. Person Re-identification in the Wild[C]. Computer Vision and Pattern Recognition, Honolulu, Hawaii, USA, 2017
[27]	Ess A, Leibe B, Schindler K, et al. A Mobile Vision System for Robust Multi-Person Tracking[C]. Computer Vision and Pattern Recognition, Anchorage, Alaska, USA, 2008
[28]	Keuper M, Tang S, Zhongjie Y, et al. A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects[J]. Arxiv Preprint Arxiv, 2016, DOI: 1607.06317
[29]	Wen L, Du D, Li S, et al. Learning Non-Uniform Hypergraph for Multi-Object Tracking [C]. the AAAI Conference on Artificial Intelligence, Hawaii, USA, 2019
[30]	Sanchez-Matilla R, Poiesi F, Cavallaro A. Online Multi-target Tracking with Strong and Weak Detections[C]. European Conference on Computer Vision, Amsterdam, Netherlands, 2016
[31]	Chen L, Ai H, Shang C, et al. Online Multi-Object Tracking with Convolutional Neural Networks[C]. International Conference on Image Processing, Beijing, China, 2017
[32]	Fang K, Xiang Y, Li X, et al. Recurrent Autoregressive Networks for Online Multi-object Tracking [C]. Winter Conference on Applications of Computer Vision, Lake Tahoe, USA, 2018
[33]	Zhang Y, Wang C, Wang X, et al. FairMOT: On the Fairness of Detection and Re-identification in Multiple Object Tracking[J]. Arxiv Preprint Arxiv, 2020, DOI: 2004.01888
[34]	Yu F, Li W, Li Q, et al. POI: Multiple Object Tracking with High Performance Detection and Appearance Feature [C]. European Conference on Computer Vision, Amsterdam, Netherlands, 2016
[35]	Sun S J, Akhtar N, Song H S, et al. Deep Affinity Network for Multiple Object Tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 43(1): 104-119 http://ieeexplore.ieee.org/document/8766896
[36]	Zhou X, Koltun V, Krähenbühl P. Tracking Objects as Points[C]. European Conference on Com puter Vision, Glasgow, Scotland, UK, 2020

施引文献(6)

期刊类型引用(5)

1.	胡倩倩，何越磊，路宏遥. 轨道板损伤检测与可视化研究. 土木建筑工程信息技术. 2025(01): 112-117 . 百度学术
2.	周涛，苏涛，宋超. 移动式三维激光扫描在轨道交通限界检测中的应用. 北京测绘. 2024(06): 891-895 . 百度学术
3.	李茂圣，王大彬. 一种智慧地铁轨道状态预测和维修决策优化系统. 计算机测量与控制. 2023(02): 48-54 . 百度学术
4.	查小君，臧建波，胡雷鸣，马健. 架站式三维激光扫描技术在金华轨道交通的应用. 城市道桥与防洪. 2023(05): 236-239+28 . 百度学术
5.	于洪亮，李东彪，高玮，王森，汪义伟，葛双双. 基于地质雷达与激光扫描的隧道检测现状分析. 长沙理工大学学报(自然科学版). 2023(03): 102-117 . 百度学术

其他类型引用(1)

资源附件(0)

图(7) / 表(4)

计量

文章访问数: 1708
HTML全文浏览量: 638
PDF下载量: 141
被引次数: 6

1 线状结构局部相对变形波动指标
2 相对变形波动提取与定位
2.1 小波变换与小波分解
2.2 维格纳-威尔分布
2.3 相对变形波形提取
2.3.1 确定相对变形波长
2.3.2 确定相对变形位置
3 算法验证与实例分析
3.1 模拟数据计算与分析
3.2 实测数据计算与分析
3.2.1 实测数据1
3.2.2 实测数据2
4 结语

1 线状结构局部相对变形波动指标
2 相对变形波动提取与定位
2.1 小波变换与小波分解
2.2 维格纳-威尔分布
2.3 相对变形波形提取
2.3.1 确定相对变形波长
2.3.2 确定相对变形位置
3 算法验证与实例分析
3.1 模拟数据计算与分析
3.2 实测数据计算与分析
3.2.1 实测数据1
3.2.2 实测数据2
4 结语

参考文献(36)

施引文献(6)

资源附件(0)

基于中心点检测和重识别的多行人跟踪算法

作者简介: 邹北骥, 博士, 教授, 博士生导师, 主要研究方向为计算机视觉、图像处理。bjzou@csu.edu.cn

通讯作者: 刘姝, 博士, 讲师。sliu35@csu.edu.cn

计量

出版历程