留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

智能驾驶中点云目标快速检测与跟踪

叶语同 李必军 付黎明

叶语同, 李必军, 付黎明. 智能驾驶中点云目标快速检测与跟踪[J]. 武汉大学学报 ● 信息科学版, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146
引用本文: 叶语同, 李必军, 付黎明. 智能驾驶中点云目标快速检测与跟踪[J]. 武汉大学学报 ● 信息科学版, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146
YE Yutong, LI Bijun, FU Liming. Fast Object Detection and Tracking in Laser Data for Autonomous Driving[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146
Citation: YE Yutong, LI Bijun, FU Liming. Fast Object Detection and Tracking in Laser Data for Autonomous Driving[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146

智能驾驶中点云目标快速检测与跟踪

doi: 10.13203/j.whugis20170146
基金项目: 

国家自然科学基金 41671441

国家自然科学基金重点项目 41531177

详细信息
    作者简介:

    叶语同, 硕士生, 主要研究三维点云数据处理以及智能交通系统中的应用。ytye@whu.edu.cn

    通讯作者: 李必军, 博士, 教授。E-mail:lee@whu.edu.cn
  • 中图分类号: P237.3

Fast Object Detection and Tracking in Laser Data for Autonomous Driving

Funds: 

The National Natural Science Foundation of China 41671441

The State Key Program of National Natural Science Foundation of China 41531177

More Information
    Author Bio:

    YE Yutong, postgraduate, specializes in the 3D point cloud processing and application in intelligent transportation system. E-mail: ytye@whu.edu.cn

    Corresponding author: LI Bijun, PhD, professor. E-mail: lee@whu.edu.cn
  • 摘要: 利用实时车载激光点云,实现城市环境下的多目标快速检测与跟踪。动态目标跟踪是实现城市环境下自动驾驶的关键,是三维城市场景感知的研究难点。相比于图像,三维激光点云数据更适合用于目标三维形状估计和运动预测,所以广泛应用于无人驾驶方案中。使用基于目标模型和卡尔曼滤波的目标跟踪框架,针对稀疏点云数据中常见的过分割和欠分割问题,提出一种关联历史跟踪结果和目标检测的快速跟踪算法。将跟踪结果作为先验知识,与下一时刻的目标检测关联,增强目标检测的稳定性。该算法已经应用到搭载三维激光扫描仪的自动驾驶汽车中,实验证明,该算法适用于城市交通场景,且满足实时解算需求,单帧处理平均耗时58 ms。
  • 图  1  城市场景下激光点云中的动态目标跟踪效果

    Figure  1.  A View of Multiple Objects Detection and Tracking Results Under Urban Environment

    图  2  跟踪系统流程图

    Figure  2.  Flow Chart of Tracking Circle

    图  3  点云特征片段与目标聚类效果

    Figure  3.  Selection Results of Feature Segments

    图  4  终点迭代算法确定目标边界

    Figure  4.  Fitting the Cluster into Box Model Using IEPF

    图  5  真实场景数据算法实现效果

    Figure  5.  Tracking Results in Real Dataset

    图  6  两种算法效率分析

    Figure  6.  Efficiency Analysis of Two Algorithms

    表  1  数据集统计信息

    Table  1.   Information of Datasets

    统计量 城市开放道路(武汉大道) 校园道路(武汉大学)
    数据集长度/帧 3 440 1 084
    总目标/个 513 114
    车辆目标/个 508 23
    自行车目标/个 2 23
    行人目标/个 3 68
    下载: 导出CSV

    表  2  跟踪效果评价

    Table  2.   Tracking Evaluation

    算法 数据集 MOTP
    /m
    MOTA
    /%
    MOTA
    (>35 m) /%
    FN
    /%
    FP
    /%
    MME
    /%
    3D-KF[15] 城市道路 <0.19 85.1 78.1 4.6 5.6 4.7
    本文算法 <0.21 89.4 84.4 4.3 3.6 2.7
    3D-KF[15] 校园道路 <0.15 85.9 75.9 4.5 5.5 4.1
    本文算法 <0.13 88.1 83.1 4.5 4.6 2.8
    下载: 导出CSV
  • [1] Geiger A. Are We Ready for Autonomous Driving? The KITTI Vision Benchmark Suite[C].IEEE Conference on Computer Vision and Pattern Recognition, RI, USA, 2012
    [2] Montemerlo M, Becker J, Bhat S, et al. Junior:The Stanford Entry in the Urban Challenge[J].Journal of Field Robotics, 2008, 25(9):569-597 doi:  10.1002/rob.v25:9
    [3] Geiger A, Lauer M, Wojek C, et al. 3D Traffic Scene Understanding from Movable Platforms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5):1012-1025 doi:  10.1109/TPAMI.2013.185
    [4] Zhang L, Li Y, Nevatia R. Global Data Association for Multi-object Tracking Using Network Flows[C].IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, USA, 2008
    [5] Asvadi A, Peixoto P, Nunes U. Detection and Tracking of Moving Objects Using 2.5D Motion Grids[C].IEEE International Conference on Intelligent Transportation Systems, Las Palmas, Spain, 2015
    [6] Vatavu A, Danescu R, Nedevschi S. Stereovision-Based Multiple Object Tracking in Traffic Scenarios Using Free-Form Obstacle Delimiters and Particle Filters[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(1):498-511 doi:  10.1109/TITS.2014.2366248
    [7] Ošep A, Hermans A, Engelmann F, et al. Multi-scale Object Candidates for Generic Object Tracking in Street Scenes[C]. IEEE International Conference on Robotics and Automation, Stockholm, Sweden, 2016
    [8] Durrant-Whyte H, Roy N, Abbeel P. Tracking-Based Semi-Supervised Learning[J].International Journal of Robotics Research, 2012, 31(7):804-818 http://d.old.wanfangdata.com.cn/Periodical/jsjyjyfz201501017
    [9] Kaestner R, Maye J, Pilat Y, et al. Generative Object Detection and Tracking in 3D Range Data[C].IEEE International Conference on Robotics and Automation, Saint Paul, MN, USA, 2012
    [10] Pirsiavash H, Ramanan D, Fowlkes C C. Globally-Optimal Greedy Algorithms for Tracking a Variable Number of Objects[C]. IEEE Conference on Computer Vision and Pattern Recognition, Hubli, Karnataka, India, 2011
    [11] Milan A, Roth S, Schindler K. Continuous Energy Minimization for Multitarget Tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(1):58-72 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=adfd1cae80963923dfb2bcf8fe722757
    [12] Lenz P, Geiger A, Urtasun R. Follow Me: Efficient Online Min-Cost Flow Tracking with Bounded Memory and Computation[C]. IEEE International Conference on Computer Vision, Santiago, Chile, 2015
    [13] Ju H Y, Lee C R, Yang M H, et al. Online Multi-object Tracking via Structural Constraint Event Aggregation[C].IEEE International Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016
    [14] Girǎo P, Asvadi A, Peixoto P, et al. 3D Object Tracking in Driving Environment: A Short Review and a Benchmark Dataset[C].IEEE International Conference on Intelligent Transportation Systems, Rio de Janeiro, Brazil, 2016
    [15] Petrovskaya A, Thrun S. Model Based Vehicle Detection and Tracking for Autonomous Urban Driving[J]. Autonomous Robots, 2009, 26(2):123-139 http://dl.acm.org/citation.cfm?id=1541509
    [16] Svensson L, Svensson D, Guerriero M, et al. Set JPDA Filter for Multitarget Tracking[J].IEEE Transactions on Signal Processing, 2011, 59(10):4677-4691 doi:  10.1109/TSP.2011.2161294
    [17] Lau B, Kai O A, Burgard W. Multi-model Hypothesis Group Tracking and Group Size Estimation[J].International Journal of Social Robotics, 2010, 2(1):19-30 doi:  10.1007/s12369-009-0036-0
    [18] Thomaidis G, Spinoulas L, Lytrivis P, et al. MultipleHypothesis Tracking for Automated Vehicle Perception[C].IEEE International Conference on Intelligent Vehicles Symposium, San Diego, USA, 2010
    [19] Vu T D, Aycard O. Laser-based Detection and Tracking Moving Objects Using Data-Driven Markov Chain Monte Carlo[C].IEEE International Conference on Robotics and Automation, Kobe, Japan, 2009
    [20] Thuy M, Leon F P. Non-linear, Shape Independent Object Tracking Based on 2D LiDAR Data[J]. Revista de Investigaciones Literarias, 2009, 16(3):532-537 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=CC029651822
    [21] Moosmann F, Stiller C. Joint Self-Localization and Tracking of Generic Objects in 3D Range Data[C].IEEE International Conference on Robotics and Automation, Karlsruhe, Germany, 2013
    [22] Song S, Xiang Z, Liu J. Object Tracking with 3D LiDAR vis Multi-task Sparse Learning[C].IEEE International Conference on Mechatronics and Automation, Beijing, China, 2015
    [23] Mendes A, Bento L C, Nunes U. Multi-target Detection and Tracking with a Laser Scanner[C].IEEE Intelligent Vehicles Symposium, Parma, Italy, 2004
    [24] Hadi A R A, Zamzuri H, Mazlan S A, et al. Model-based Detection and Tracking of Single Moving Object Using Laser Range Finder[C].IEEE International Conference on Intelligent Systems, Modelling and Simulation, Langkawi, Malaysia, 2014
    [25] Keni B, Rainer S. Evaluating Multiple Object Tracking Performance:The CLEAR MOT Metrics[J]. EURASIP Journal on Image & Video Processing, 2008, 2008(1):246-256 http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_ffd9f011f40d01a9fceac0a9c51f96e7
  • [1] 张永军, 洪玮辰, 万一.  基于距离变换模型的卫星影像与激光点云精配准 . 武汉大学学报 ● 信息科学版, 2022, 0(0): 0-0. doi: 10.13203/j.whugis20220028
    [2] 肖元弼, 彭认灿, 暴景阳, 董箭, 吕程.  利用卡尔曼滤波改正多波束数据声速整体误差 . 武汉大学学报 ● 信息科学版, 2020, 45(9): 1461-1468. doi: 10.13203/j.whugis20180261
    [3] 郭士荦, 吴苗, 许江宁, 李京书.  自适应渐消卡尔曼滤波及其在SINS初始对准中的应用 . 武汉大学学报 ● 信息科学版, 2018, 43(11): 1667-1672, 1680. doi: 10.13203/j.whugis20160548
    [4] 岳冲, 刘昌军, 王晓芳.  基于多尺度维度特征和SVM的高陡边坡点云数据分类算法研究 . 武汉大学学报 ● 信息科学版, 2016, 41(7): 882-888. doi: 10.13203/j.whugis20140335
    [5] 李永明, 归庆明, 顾勇为, 韩松辉.  有偏卡尔曼滤波及其算法 . 武汉大学学报 ● 信息科学版, 2016, 41(7): 946-951. doi: 10.13203/j.whugis20140072
    [6] 张炳先, 王密, 潘俊.  基于卡尔曼滤波的光学遥感影像高精度复原处理 . 武汉大学学报 ● 信息科学版, 2015, 40(7): 964-970. doi: 10.13203/j.whugis20130123
    [7] 陈 驰, 王 珂, 徐文学, 彭向阳, 麦晓明, 杨必胜.  海量车载激光扫描点云数据的快速可视化方法 . 武汉大学学报 ● 信息科学版, 2015, 40(9): 1163-1168. doi: 10.13203/j .whu g is20130693
    [8] 柴华, 王勇, 许大欣, 王虎彪.  地固系下四元数和卡尔曼滤波方法的惯导初始精对准研究 . 武汉大学学报 ● 信息科学版, 2012, 37(1): 68-72.
    [9] 乐洋, 何秀凤.  具有区间隶属函数的模糊卡尔曼滤波在组合导航系统中的应用 . 武汉大学学报 ● 信息科学版, 2011, 36(4): 450-452.
    [10] 詹庆明, 周新刚, 肖映辉, 喻亮.  从激光点云中提取古建筑线性和圆形特征的比较 . 武汉大学学报 ● 信息科学版, 2011, 36(6): 674-677.
    [11] 李小路, 徐立军, 田祥瑞, 王建军.  平台运动误差对机载LiDAR激光脚点分布的影响分析 . 武汉大学学报 ● 信息科学版, 2011, 36(11): 1270-1274.
    [12] 刘繁明, 钱东, 郭静.  卡尔曼滤波地形反演算法的系统方程建模 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1179-1183.
    [13] 刘国林, 郝华东, 陶秋香.  卡尔曼滤波相位解缠及其与其他方法的对比分析 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1174-1178.
    [14] 孙红星, 付建红.  使用复合滤波器实现双差GPS/INS动态组合高精度定位定姿 . 武汉大学学报 ● 信息科学版, 2009, 34(12): 1390-1393.
    [15] 孙红星, 付建红, 袁修孝, 唐卫明.  基于多历元递推最小二乘卡尔曼滤波方法的模糊度解算 . 武汉大学学报 ● 信息科学版, 2008, 33(7): 735-739.
    [16] 赵长胜, 陶本藻.  有色噪声作用下的抗差卡尔曼滤波 . 武汉大学学报 ● 信息科学版, 2007, 32(10): 880-882.
    [17] 樊建新, 董绪荣, 罗定开, 刘广军.  动态测量问题数据处理的一个快速滤波算法 . 武汉大学学报 ● 信息科学版, 1998, 23(2): 111-114.
    [18] 柳响林, 刘经南, 杜道生.  卡尔曼滤波可靠性分析及其在动态GPS定位中的应用 . 武汉大学学报 ● 信息科学版, 1997, 22(3): 234-236,244.
    [19] 邵建平, 沈鹤鸣, 宋光普.  抗SA影响的卡尔曼滤波技术 . 武汉大学学报 ● 信息科学版, 1994, 19(3): 274-279.
    [20] 徐晖.  平面监测网的动态滤波 . 武汉大学学报 ● 信息科学版, 1990, 15(1): 1-11.
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  1973
  • HTML全文浏览量:  140
  • PDF下载量:  473
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-12-03
  • 刊出日期:  2019-01-05

智能驾驶中点云目标快速检测与跟踪

doi: 10.13203/j.whugis20170146
    基金项目:

    国家自然科学基金 41671441

    国家自然科学基金重点项目 41531177

    作者简介:

    叶语同, 硕士生, 主要研究三维点云数据处理以及智能交通系统中的应用。ytye@whu.edu.cn

    通讯作者: 李必军, 博士, 教授。E-mail:lee@whu.edu.cn
  • 中图分类号: P237.3

摘要: 利用实时车载激光点云,实现城市环境下的多目标快速检测与跟踪。动态目标跟踪是实现城市环境下自动驾驶的关键,是三维城市场景感知的研究难点。相比于图像,三维激光点云数据更适合用于目标三维形状估计和运动预测,所以广泛应用于无人驾驶方案中。使用基于目标模型和卡尔曼滤波的目标跟踪框架,针对稀疏点云数据中常见的过分割和欠分割问题,提出一种关联历史跟踪结果和目标检测的快速跟踪算法。将跟踪结果作为先验知识,与下一时刻的目标检测关联,增强目标检测的稳定性。该算法已经应用到搭载三维激光扫描仪的自动驾驶汽车中,实验证明,该算法适用于城市交通场景,且满足实时解算需求,单帧处理平均耗时58 ms。

English Abstract

叶语同, 李必军, 付黎明. 智能驾驶中点云目标快速检测与跟踪[J]. 武汉大学学报 ● 信息科学版, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146
引用本文: 叶语同, 李必军, 付黎明. 智能驾驶中点云目标快速检测与跟踪[J]. 武汉大学学报 ● 信息科学版, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146
YE Yutong, LI Bijun, FU Liming. Fast Object Detection and Tracking in Laser Data for Autonomous Driving[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146
Citation: YE Yutong, LI Bijun, FU Liming. Fast Object Detection and Tracking in Laser Data for Autonomous Driving[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 139-144, 152. doi: 10.13203/j.whugis20170146
  • 城市交通场景下的动态目标跟踪对于自动驾驶技术的研究至关重要。跟踪系统识别同一目标,解算得到连续平滑的轨迹并预测目标的运动趋势。高智能化的驾驶决策(如避障、超车、跟车等)都依赖于对运动目标的识别与跟踪,对周围道路参与者的认知也是无人驾驶汽车友好融入交通环境的前提[1]。目前,人们已使用各类传感器来实现动态场景下的多目标检测与跟踪,如单目相机、双目相机、红外相机、激光雷达、毫米波雷达等[2]。得益于空间三维点云数据的高频率和高精度的特点,基于激光点云的目标检测与跟踪逐步成为当前的研究热点。

    目标跟踪算法主要可分为全类型目标跟踪[3-7]和特定类型目标跟踪[8-13]两类。全类型目标跟踪将点云分割与聚类得到的点云集合作为目标检测结果,特定类型目标跟踪则基于目标识别结果。识别目标类型能大大增强计算机对场景的理解,但在稀疏点云中进行实时目标识别仍然存在很多问题。目标识别与分类计算复杂,可识别的目标类型有限,也会导致无法跟踪一些未识别的目标[14]。为了保证无人驾驶车辆在未知环境的稳定行驶,本文采用第一类算法。

    学者们已经提出了很多目标跟踪算法。但大多数算法都是把目标跟踪问题细化为目标检测、数据关联以及目标模型更新[15]3个子问题。传统的目标跟踪采用先检测后跟踪的两步法跟踪策略,跟踪稳定的必要条件是能准确持续地检测目标。然而,点云数据因频繁受到遮挡,或观测视角变化的影响,常出现过分割和欠分割,目标点云检测结果具有不确定性。

    采用最邻近算法(nearest neighbor,NN)和联合概率算法(joint probabilistic data association,JPDA)[16],目标错检导致数据关联决策出错,造成跟踪交错和丢失。很多算法在数据关联环节采用了延迟决策,旨在累积更多目标观测结果再做出数据关联决策,从而规避决策中采用错误目标检测结果的情形。文献[17-18]应用了一种多目标假设跟踪算法(multiple hypothesis tracking, MHT),该算法为不确定情形做出多假设,并保留假设延迟决策,直到获得足够的观测值。文献[19]提出利用马尔可夫链蒙特卡洛理论(Markov Chain Monte Carlo,MCMC)去寻找全局时空最优的多目标跟踪结果。MHT和MCMC虽能在一定程度上缓解目标错检带来的不确定性,但是计算量庞大,应用于三维点云数据计算,效率下降尤为明显。因此,文献[20]将点云转化为栅格,文献[21-22]采用深度图像的形式,这两种形式都被广泛应用。

    本文提出一种基于点云特征片段的快速检测算法,应用于车载Velodyne HDL-32E激光点云数据,在城市环境数据集中验证本文算法的检测正确率、跟踪稳定性和时间效率。

    • 与延迟决策策略不同,本文将跟踪结果作为先验知识,与下一时刻的目标检测关联,增强目标检测的稳定性,减轻数据关联环节处理检测不确定性的负担,提升算法效率。在目标检测过程中同时采用直接分割并聚类得到目标点云和用历史跟踪信息搜索目标点云两种思路检测目标点云。如图 1所示的动态目标跟踪效果中,动态目标用外包矩形框出,相对运动趋势用箭头标记。对于已稳定跟踪的目标,预测其运动趋势,在下一帧点云数据的预定位置附近快速搜索相似的目标,进行跟踪。考虑到场景中会出现新目标或者目标运动轨迹出现意外变化,因而传统的目标检测步骤也会同步进行。在点云中,进行分割与聚类等操作,提取明显突出于背景场景的目标个体可视为一种主动检测的方式;以过去一段时间内目标跟踪结果为先验信息,在预测位置邻域内搜索目标,这可视为一种先验检测的方式。两种方式协同运作,既可以稳定地继续跟踪已观测的目标,又可以在场景中检测新出现的目标。在三维点云中搜索目标是很困难的,三维空间邻域搜索极其耗时。因此,本文采用一种基于点云特征片段的目标检测算法进行加速。

      图  1  城市场景下激光点云中的动态目标跟踪效果

      Figure 1.  A View of Multiple Objects Detection and Tracking Results Under Urban Environment

      假设三维激光扫描仪实时向计算机输出t时刻的单帧三维点云Pt={(x, y, z)T}。为了加速后续的处理,预先对点云分割得到点云特征片段集合{N}i,从{N}i中聚类得到可能成为目标的点云片段聚类结果的集合{H}i,以下称为目标假设观测;然后将{H}i与跟踪列表中的跟踪目标{T}i匹配并注册;最后基于卡尔曼滤波,根据最新的观测值更新目标运动模型。本文采用的目标检测跟踪算法流程如图 2所示。

      图  2  跟踪系统流程图

      Figure 2.  Flow Chart of Tracking Circle

    • 考虑到单帧的多线激光点云数据在水平方向和垂直方向上角分辨率的巨大差异,常用于稠密点云处理的欧氏聚类,乃至密度分割法都不适用于单帧稀疏点云中的目标检测。本文提出的算法提取明显突出于道路背景的目标,对目标的类型没有特殊的限制,运行稳定且快速。

      在单线激光点云中的提取距离跳跃特征(jump distance feature,JDF)[23]为候选分割点,每条扫描线{Pt1, Pt2Ptn}均分为n个小区域,以区域中点云观测极坐标下的距离观测值方差为参考,在该区域建立高斯分布模型,根据点与周围点云之间的距离差,计算每个点成为特征片段边界点的概率。

      主动观测方式筛选配对每个区域中最有可能成为特征片段边界点的JDF,并依据点云特征片段集合{N}i在地平面投影的聚集程度聚类为目标点云集。先验观测是在跟踪中的目标Tk-1预测k时刻位置xk的邻域搜索得到目标观测假设Hk。以目标预测位置和目标大小估计为先验信息,在预测位置附近搜索符合条件的点云特征片段并聚类得到目标假设观测。邻域搜索得到的目标假设观测可以有效避免动态目标之间互相粘连造成点云数据的欠分割;同时也可以避免聚类条件过于苛刻、局部遮挡或者点云过于稀疏而无法聚类成功的情形。

      获得点云特征片段集合{N}i,区分道路交通参与者的点云与背景点云,如图 3(a)所示。同时得到点云片段特征聚类结果的集合{H}i,作为目标假设观测,如图 3(b)所示。

      图  3  点云特征片段与目标聚类效果

      Figure 3.  Selection Results of Feature Segments

    • 假设k时刻下有m个跟踪目标{T}k-1n个目标假设观测{H}k。在数据关联环节,需要求解目标假设观测Hk是否匹配k-1时刻为止跟踪列表中的目标{T}k-1,为此计算mn个匹配结果相似性概率Pk

      本文算法为每个目标建立几何模型和运动模型,并估计每个目标匹配结果的相似度:几何相似与运动相似。总的相似度概率为:

      $$ {P_k} = p({o_k}{s_k}|{Z_k}) $$ (1)

      式中, ok是几何观测条件模式;sk是运动目标k时刻的运动模式;Zkk时刻传感器的观测值。

      依据贝叶斯定理,式(1)可变形为:

      $$ {P_k} = p({s_k}|{Z_k}) \cdot p({o_k}|{s_k}, {Z_k}) $$ (2)

      式(2)指明了运动目标的跟踪问题可以分为两个部分来处理:一是运动预测相似性概率p(sk|Zk),二是几何相似性概率p(ok|sk, Zk)。

      本文使用高斯模型对测量向量中的每一个变量计算观测值和预测值之间的相似概率,所有的分量相互独立。

      目标假设观测Hki是新目标的概率计算式为:

      $$ P_k^{i \to {\rm{new}}} = 1 - \max \{ p({s_k}|{Z_k})\} $$ (3)

      式中,Pki→new表示Hki是新目标观测的概率。

      更新点云数据后,跟踪管理系统检查目标Tk-1是否在k时刻有匹配的目标假设观测Hk,并更新目标模型参数估计。当然,跟踪系统也需要实时更新跟踪列表:经过3次连续观测验证得到新目标,添加于跟踪列表;连续多次未观测得到的目标认定为消失目标,从跟踪列表中删除。

    • 获得目标假设观测Hk后,对目标建立几何性质的描述模型,包括目标的尺寸、朝向等。本文采用盒子模型和点模型来描述目标。交通场景下常见的路面交通参与者有行人、自行车、小车、大车等。采用无方向、有水平最大长度r和高度h的圆点模型来表示行人和自行车这类小型目标,用包含方向θ、长宽高(l, w, h)描述的盒子模型来表示小车和大车等大型目标。由于本文算法进行目标识别处理时,场景中的草木、建筑物、路灯等其他目标也会被检测,因此实际应用中会辅助以路面提取算法,用路面范围可剔除一些不相关的目标个体。

      对于盒子模型,本文采用终点迭代算法(itera- tive end point fitting,IEPF)[24]确定目标朝向以及外包矩形,如图 4所示。首先,提取得到目标点云,标记为绿色,如图 4 (a)所示;然后,筛选目标点云得到距离三维激光扫描仪中心最近的外轮廓点云,标记为红色,如图 4 (b)所示;最后,使用终点迭代算法用分段直线拟合目标外轮廓,如图 4(c)所示,得到目标轮廓的外包矩形和主朝向,如图 4(d)所示,主朝向在图中用箭头表示。

      图  4  终点迭代算法确定目标边界

      Figure 4.  Fitting the Cluster into Box Model Using IEPF

    • 本文使用卡尔曼滤波器作为一个线性离散的动态系统的估计器。输入上一时刻的估计状态xk-1和当前的测量值zk就能获得k时刻的最佳估计状态xk。本文使用的动态线性模型为:

      $$ \left\{ \begin{array}{l} {{\mathit{\boldsymbol{x}}}_k} = {{\mathit{\boldsymbol{F}}}_k}{x_{k - 1}} + {{\mathit{\boldsymbol{w}}}_k}\\ {{\mathit{\boldsymbol{z}}}_k} = {{\mathit{\boldsymbol{H}}}_k}{x_k} + {{\mathit{\boldsymbol{v}}}_k} \end{array} \right. $$ (4)

      式中,Fkxk-1状态下的状态转移矩阵;Hk是测量系统参数矩阵;wk是处理过程噪声;vk是观测噪声。

      考虑到搭载三维激光扫描仪的平台在运动,动态目标也在运动,为了描述平台与目标之间复杂的相对运动关系,本文采用匀加速运动模型,列出如下状态方程:

      $$ \left[ \begin{array}{l} {x_t}\\ {{\dot x}_t} \end{array} \right] = \left[ {\begin{array}{*{20}{c}} 1&{\Delta t}\\ 0&1 \end{array}} \right]\left[ \begin{array}{l} {x_{t - 1}}\\ {{\dot x}_{t - 1}} \end{array} \right] + \left[ \begin{array}{l} \frac{{\Delta {t^2}}}{2}\\ \Delta t \end{array} \right]{{\ddot x}_{t - 1}} $$ (5)

      式中,x、$ {\dot x} $、$ {\ddot x} $分别代表目标运动模型中的位置、速度和加速度;下标t代表当前时刻;Δt代表两次观测值输入之间的时间间隔。

    • 本文的实验数据由安装在武汉大学自动驾驶车“途智号”顶部的Velodyne HDL-32E激光雷达在真实场景采集得到。单帧可获得32条扫描线数据,数据频率为10 Hz。本文算法采用C++语言实现,程序运行环境为Windows操作系统,计算机CPU为主频3.6 GHz的i7处理器,内存8 GB。

      本文实验采用两段真实场景的实验数据集:武汉大道城市开放道路场景和武汉大学校园场景。数据采集车行驶时速大约为15~60 km/h。实验数据中主要的运动目标是行人、自行车、小型汽车和公交车,数据统计信息见表 1,同一目标不重复计数。本文算法在校园场景下的检测效果与同步视频如图 5所示。

      图  5  真实场景数据算法实现效果

      Figure 5.  Tracking Results in Real Dataset

      表 1  数据集统计信息

      Table 1.  Information of Datasets

      统计量 城市开放道路(武汉大道) 校园道路(武汉大学)
      数据集长度/帧 3 440 1 084
      总目标/个 513 114
      车辆目标/个 508 23
      自行车目标/个 2 23
      行人目标/个 3 68
    • 采用CLEAR MOT[25]方法评价本文算法,评价参数为:①漏检率(false negative,FN):实际出现目标但未跟踪上的数目比率;②错检率(false positive,FP):实际未出现目标错误跟踪,或者对融合、分裂的目标进行跟踪的数目比率;③跟踪出错的概率(mismatched error,MME):包括相邻两个目标跟踪器交换、跟踪交错、同目标跟踪ID异常改变;④多目标检测精度(multiple object tracking precision,MOTP):目标检测得到的位置中心与目标真实的位置中心之间的欧氏距离平均值;⑤正确的检测概率(multiple object tacking accuracy,MOTA):正确跟踪目标与真实存在目标的百分比。所有评价参数的计算都是以原始数据中手工标记的目标点云为真实值。根据评价标准,本文对比分析了3D-KF[15]算法和本文算法的目标跟踪效果,统计数据详见表 2。由表 2数据可见,结合目标跟踪历史信息进行目标检测大大降低了目标检测环节的不稳定性,跟踪效果有明显提升,尤其表现在距离大于35 m处的MOTA、FP和MME评价参数的数值上。因此,本文算法可有效应对动态目标与静态场景短时间内粘连造成的点云分割错误。此外,充分利用先验跟踪信息也可在一定程度上弥补点云稀疏造成的聚类困难,明显提高远距离目标的跟踪正确率。

      表 2  跟踪效果评价

      Table 2.  Tracking Evaluation

      算法 数据集 MOTP
      /m
      MOTA
      /%
      MOTA
      (>35 m) /%
      FN
      /%
      FP
      /%
      MME
      /%
      3D-KF[15] 城市道路 <0.19 85.1 78.1 4.6 5.6 4.7
      本文算法 <0.21 89.4 84.4 4.3 3.6 2.7
      3D-KF[15] 校园道路 <0.15 85.9 75.9 4.5 5.5 4.1
      本文算法 <0.13 88.1 83.1 4.5 4.6 2.8
    • 本文算法可实时检测与跟踪路面范围内的目标。3D-KF算法与本文算法在目标跟踪与检测处理环节的平均运行时间分别为78 ms和58 ms(数据传输、路面检测与数据显示等环节的耗时不计入)。图 6展示了3D-KF算法与本文算法在相同数据帧下的计算耗时对比。3D-KF算法直接以点云为单位进行目标检测,本文基于点云特征片段的算法耗时更少。

      图  6  两种算法效率分析

      Figure 6.  Efficiency Analysis of Two Algorithms

      目标检测与跟踪环节的计算耗时与当前场景中点云片段以及正在跟踪的目标个数之间存在一定联系。激光观测范围内的所有目标假设观测{H}i个数以及点云片段数目越多、场景越复杂,耗时也会相应增加。跟踪列表中目标个数越多,跟踪系统的计算量也就越大,所以运行时间也会增加。实验数据集在线测试过程中,单帧数据最多检测得到2 162个点云片段,跟踪列表中目标个数最多达67个(未经过路面范围筛选),本文算法的单帧处理耗时依然满足实时性。普通道路场景下,三维激光扫描仪观测范围内目标个数有限,所以本文算法在真实场景下可实时检测与跟踪道路范围内的目标。

    • 动态目标跟踪是实现城市环境下自动驾驶的关键问题之一。本文算法从三维激光扫描仪的点云数据中实时检测与跟踪动态目标,充分利用数据原有的邻接关系,且将点云特征片段代替点作为目标检测步骤中的聚类单元,可提高目标检测的效率。针对稀疏点云数据中常见的过分割和欠分割问题,提出关联历史跟踪数据和本时刻观测数据的目标检测与跟踪,增强目标跟踪的稳定性。在城市交通环境下进行在线测试,实验结果表明本文算法稳定高效,能为运动规划系统和自动驾驶系统提供极具鲁棒性的跟踪。

      本文算法未对目标进行分类识别处理,针对场景中密集排列且重复出现的目标(如大型人群、自行车车队、汽车队列)进行跟踪时,会出现跟踪交错现象,因此,后续研究主要是结合视频数据对跟踪目标进行分类和识别。

参考文献 (25)

目录

    /

    返回文章
    返回