留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

融合相机与激光雷达的目标检测、跟踪与预测

黄远宪 李必军 黄琦 周剑 王兰兰 朱佳琳

黄远宪, 李必军, 黄琦, 周剑, 王兰兰, 朱佳琳. 融合相机与激光雷达的目标检测、跟踪与预测[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210614
引用本文: 黄远宪, 李必军, 黄琦, 周剑, 王兰兰, 朱佳琳. 融合相机与激光雷达的目标检测、跟踪与预测[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210614
HUANG Yuanxian, LI Bijun, HUANG Qi, ZHOU Jian, WANG Lanlan, ZHU Jialin. Camera-LiDAR Fusion for Object Detection, Tracking and Prediction[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210614
Citation: HUANG Yuanxian, LI Bijun, HUANG Qi, ZHOU Jian, WANG Lanlan, ZHU Jialin. Camera-LiDAR Fusion for Object Detection, Tracking and Prediction[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210614

融合相机与激光雷达的目标检测、跟踪与预测

doi: 10.13203/j.whugis20210614
基金项目: 

国家重点研发计划新能源汽车重点专项(2021YFB2501100)

国家自然科学基金(42101448)。

详细信息
    作者简介:

    黄远宪,硕士生,主要从事无人驾驶环境感知研究。yxhuang@whu.edu.cn

  • 中图分类号: P208

Camera-LiDAR Fusion for Object Detection, Tracking and Prediction

Funds: 

The 14th Five-Year Plan" National Key R&D Program "New Energy Vehicles" Key Special 2021 Annual Project (2021YFB2501100)

The National Natural Science Foundation of China (42101448).

  • 摘要: 实时、鲁棒的三维动态目标感知系统是自动驾驶技术的关键。提出了一种融合单目相机和激光雷达的三维目标检测流程,先在图像上使用卷积神经网络进行二维目标检测,根据几何投影关系,生成锥形感兴趣区域(region of interest,ROI),然后在ROI内对点云进行聚类,并拟合三维外包矩形;随后,基于外观特征和匈牙利算法对三维目标进行帧间匹配,并提出了一种基于四元有限状态机的跟踪器管理模型;最后,设计了一种利用车道信息的轨迹预测模型,对车辆轨迹进行预测。实验表明,所提算法鲁棒、有效,并能以约40帧/s的速度运行,满足实时性要求。
  • [1] Jo K, Kim J, Kim D, et al.Development of Autonomous Car,Part I:Distributed System Architecture and Development Process[J].IEEE Transactions on Industrial Electronics, 2014, 61(12):7131-7140.
    [2] Berger C, Rumpe B.Autonomous Driving-5 Years after the Urban Challenge:The Anticipatory Vehicle as a Cyber-Physical System[J].Computer Science, 2014, 19(6):41-56.
    [3] Arnold E, Al-Jarrah O Y, Dianati M, et al.A Survey on 3D Object Detection Methods for Autonomous Driving Applications[J].IEEE Transactions on Intelligent Transportation Systems, 2019:3782-3795.
    [4] Huang Y, Chen Y.Survey of State-ofArt Autonomous Driving Technologies with Deep Learning[C]//2020 IEEE 20th International Conference on Software Quality, Reliability and Security Companion (QRS-C).IEEE, 2020.
    [5] Zapletal D, Herout A.Vehicle Reidentification for Automatic Video Traffic Surveillance[C]//IEEE Conference on Computer Vision&Pattern Recognition Workshops.IEEE Computer Society, 2016:1568-1574.
    [6] Roller D, Daniilidis K, Nagel H H.Model-based object tracking in monocular image sequences of road traffic scenes[J].International Journal of Computer 11263on, 1993, 10(3):257-281.
    [7] Novak L.Vehicle detection and pose estimation for autonomous driving[D].Czech Technical University in Prague, 2017.
    [8] MJ Leotta.Generic, deformable models for 3-d vehicle surveillance[J].Dissertations&Theses-Gradworks, 2010.
    [9] Chen X, Kundu K, Zhang Z, et al.Monocular 3D Object Detection for Autonomous Driving[C]//IEEE Conference on Computer Vision&Pattern Recognition.IEEE, 2016.
    [10] Shi S, Wang X, Li H.PointRCNN:3D Object Proposal Generation and Detection From Point Cloud[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).IEEE, 2019.
    [11] Mendes A, Bento L C, Nunes U.Multitarget detection and tracking with a laser scanner[C]//IEEE Intelligent Vehicles Symposium, 2004.IEEE, 2004.
    [12] Lang A H, Vora S, Caesar H, et al.PointPillars:Fast Encoders for Object Detection From Point Clouds[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).IEEE, 2019.
    [13] Yin Z, Tuzel O.VoxelNet:End-to-End Learning for Point Cloud Based 3D Object Detection[J].2017.
    [14] Bochkovskiy A, Wang C Y, Liao H.YOLOv4:Optimal Speed and Accuracy of Object Detection[J].2020.
    [15] Bewley A, Ge Z, Ott L, et al.Simple Online and Realtime Tracking[J].2016 IEEE International Conference on Image Processing (ICIP), 2016.
    [16] Wojke N, Bewley A, Paulus D.Simple Online and Realtime Tracking with a Deep Association Metric[J].IEEE, 2017:3645-3649.
    [17] Rusu R B.Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments[J].KI-Künstliche Intelligenz, 2010, 24(4):345-348.
    [18] Xiao Z, Xu W, Dong C, et al.Efficient L-shape fitting for vehicle detection using laser scanners[C]//2017 IEEE Intelligent Vehicles Symposium (IV).IEEE, 2017.
    [19] Eidehall A, Pohl J, Gustafsson F.Joint road geometry estimation and vehicle tracking[J].Control Engineering Practice, 2007, 15(12):1484-1494.
    [20] Jansson J.Collision Avoidance Theory with Application to Automotive Collision Mitigation[D].Linköping University Electronic Press, 2005.
    [21] Liu X, Chen G, Sun X, et al.Ground Moving Vehicle Detection and Movement Tracking Based On the Neuromorphic Vision Sensor[J].IEEE Internet of Things Journal, 2020, PP (99):1-1.
    [22] Yan Y, Mao Y, Li B.SECOND:Sparsely Embedded Convolutional Detection[J].Sensors, 2018, 18(10).
  • [1] 徐恩恩, 郭颖, 陈尔学, 李增元, 赵磊, 刘清旺.  基于无人机LiDAR和高空间分辨率卫星遥感数据的区域森林郁闭度估测模型 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20210001
    [2] 马昕, 史天奇.  利用差分吸收激光雷达探测二氧化碳浓度廓线 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190362
    [3] 桂志鹏, 杨乐, 丁劲宸, 王锦添, 孙云增, 吴华意.  顾及路口转移偏好和当前移动模式的个体驾驶目的地预测方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/J.whugis20210555
    [4] 崔溦, 谢恩发, 张贵科, 李宏璧.  利用无人机技术的高陡边坡孤立危岩体识别 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190186
    [5] 曹伟, 陈动, 史玉峰, 曹震, 夏少波.  激光雷达点云树木建模研究进展与展望 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190275
    [6] 谢婧婷, 蔺小虎, 王甫红, 石欣, 晏凌云.  一种点线面约束的激光雷达和相机标定方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20210313
    [7] 赵文豪, 闫利, 王成义, 马昕, 李松, 马跃.  基于三维大气探测激光雷达的大气颗粒物污染探测 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190105
    [8] 赵望宇, 李必军, 单云霄, 徐豪达.  融合毫米波雷达与单目视觉的前车检测与跟踪 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20180146
    [9] 张继贤, 段敏燕, 林祥国, 臧艺.  激光雷达点云电力线三维重建模型的对比与分析 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20150385
    [10] 种衍文, 王泽文, 陈蓉, 王莹莹.  一种多特征自适应融合的粒子滤波红外目标跟踪方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20140185
    [11] 李振, 王辉, 蒋宇雯.  相位式地面三维激光雷达实验室检校 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20130112
    [12] 史硕, 龚威, 祝波, 宋沙磊.  新型对地观测多光谱激光雷达及其控制实现 . 武汉大学学报 ● 信息科学版,
    [13] 柯宏发, 何可, 陈永光.  运动目标的MGM(1,N)轨迹预测算法 . 武汉大学学报 ● 信息科学版,
    [14] 吕立蕾, 龚威, 宋沙磊, 祝波.  地物反射率探测激光雷达回波信号的小波去噪 . 武汉大学学报 ● 信息科学版,
    [15] 邢艳秋, 王立海.  基于ICESat-GLAS完整波形的坡地森林冠层高度反演研究——以吉林长白山林区为例 . 武汉大学学报 ● 信息科学版,
    [16] 曾齐红, 毛建华, 李先华, 刘学锋.  激光雷达点云平面拟合过滤算法 . 武汉大学学报 ● 信息科学版,
    [17] 徐前祥, 廖明生, 杨建思.  基于距离限制的机载激光数据滤波方法 . 武汉大学学报 ● 信息科学版,
    [18] 赖旭东, 万幼川.  一种针对激光雷达强度图像的滤波算法研究 . 武汉大学学报 ● 信息科学版,
    [19] 王晓卫, 宁固.  一种改进的基于光流的运动目标的检测算法 . 武汉大学学报 ● 信息科学版,
    [20] 李清泉, 李必军, 陈静.  激光雷达测量技术及其应用研究 . 武汉大学学报 ● 信息科学版,
  • 加载中
计量
  • 文章访问数:  97
  • HTML全文浏览量:  7
  • PDF下载量:  21
  • 被引次数: 0
出版历程

融合相机与激光雷达的目标检测、跟踪与预测

doi: 10.13203/j.whugis20210614
    基金项目:

    国家重点研发计划新能源汽车重点专项(2021YFB2501100)

    国家自然科学基金(42101448)。

    作者简介:

    黄远宪,硕士生,主要从事无人驾驶环境感知研究。yxhuang@whu.edu.cn

  • 中图分类号: P208

摘要: 实时、鲁棒的三维动态目标感知系统是自动驾驶技术的关键。提出了一种融合单目相机和激光雷达的三维目标检测流程,先在图像上使用卷积神经网络进行二维目标检测,根据几何投影关系,生成锥形感兴趣区域(region of interest,ROI),然后在ROI内对点云进行聚类,并拟合三维外包矩形;随后,基于外观特征和匈牙利算法对三维目标进行帧间匹配,并提出了一种基于四元有限状态机的跟踪器管理模型;最后,设计了一种利用车道信息的轨迹预测模型,对车辆轨迹进行预测。实验表明,所提算法鲁棒、有效,并能以约40帧/s的速度运行,满足实时性要求。

English Abstract

黄远宪, 李必军, 黄琦, 周剑, 王兰兰, 朱佳琳. 融合相机与激光雷达的目标检测、跟踪与预测[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210614
引用本文: 黄远宪, 李必军, 黄琦, 周剑, 王兰兰, 朱佳琳. 融合相机与激光雷达的目标检测、跟踪与预测[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210614
HUANG Yuanxian, LI Bijun, HUANG Qi, ZHOU Jian, WANG Lanlan, ZHU Jialin. Camera-LiDAR Fusion for Object Detection, Tracking and Prediction[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210614
Citation: HUANG Yuanxian, LI Bijun, HUANG Qi, ZHOU Jian, WANG Lanlan, ZHU Jialin. Camera-LiDAR Fusion for Object Detection, Tracking and Prediction[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210614
参考文献 (22)

目录

    /

    返回文章
    返回