留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种点线面约束的激光雷达和相机标定方法

谢婧婷 蔺小虎 王甫红 石欣 晏凌云

谢婧婷, 蔺小虎, 王甫红, 石欣, 晏凌云. 一种点线面约束的激光雷达和相机标定方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313
引用本文: 谢婧婷, 蔺小虎, 王甫红, 石欣, 晏凌云. 一种点线面约束的激光雷达和相机标定方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313
XIE Jingting, LIN Xiaohu, WANG Fuhong, SHI Xin, YAN Lingyun. Extrinsic Calibration Method for LiDAR and Camera with Joint Point-Line-Plane Constraints[J]. Geomatics and Information Science of Wuhan University, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313
Citation: XIE Jingting, LIN Xiaohu, WANG Fuhong, SHI Xin, YAN Lingyun. Extrinsic Calibration Method for LiDAR and Camera with Joint Point-Line-Plane Constraints[J]. Geomatics and Information Science of Wuhan University, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313

一种点线面约束的激光雷达和相机标定方法

doi: 10.13203/j.whugis20210313
基金项目: 

国家重点研发计划 2016YFB0501803

详细信息

Extrinsic Calibration Method for LiDAR and Camera with Joint Point-Line-Plane Constraints

Funds: 

The National Key Research and Development Program of China 2016YFB0501803

More Information
  • 摘要: 精确稳定的外参数标定是相机和激光雷达(light detection and ranging, LiDAR)融合感知定位的基础,针对Dhall标定方法在约束精度、稳定性和收敛性等方面存在的问题,提出了一种点线面联合约束的LiDAR和相机标定方法。首先,加入线-线约束和面-面约束并用Kabsch方法求得闭式解,减小了单一角点约束中的噪声影响,提高了标定结果的精度和稳定性;然后,利用多帧点云叠加拟合直线,并对拟合角点求均值,减小了点云噪声的影响,提高了标定方法的收敛速度和稳定性。该方法能在20帧内收敛,且角点的重投影误差小于2 cm,实验结果表明, 该方法比原方法具有更快的收敛速度和更高的精度。
  • 图  1  激光雷达和相机外参数标定流程图

    Figure  1.  Flowchart of Extrinsic Parameters Calibration for LiDAR and Camera

    图  2  激光雷达点云边缘线提取结果

    Figure  2.  Edge Line Extraction Results of LiDAR Point Cloud

    图  3  标定场环境及坐标系定义

    Figure  3.  Calibration Field Environment and Coordinate Systems Definition

    图  4  相机提取点线面特征

    Figure  4.  Camera Extracts Point, Line and Plane Features

    图  5  实验A和实验B的外参数标定结果

    Figure  5.  Extrinsic Parameters Calibration Results of Experiments A and B

    图  6  激光雷达点云投影结果

    Figure  6.  Projection Results of LiDAR Point Cloud

    表  1  重投影误差和收敛时间比较

    Table  1.   Comparison of Reprojection Error and Convergence Time

    实验 重投影误差/cm 收敛时间/s
    本文方法 Dhall标定方法 本文方法 Dhall标定方法
    1 1.66 3.40 3.0 14.1
    2 1.82 4.21 2.2 18.0
    3 1.87 4.33 1.1 14.0
    4 2.25 6.23 3.4 15.1
    5 2.28 6.52 3.8 12.3
    下载: 导出CSV

    表  2  双目外参数校验结果比较

    Table  2.   Results of Binocular Extrinsic Parameters Verification

    实验 本文方法 Dhall标定方法
    dx/cm dy/cm dz/cm dx/cm dy/cm dz/cm
    1 0.55 1.12 0.40 5.96 3.72 0.32
    2 1.97 0.96 0.84 3.41 2.18 0.88
    下载: 导出CSV
  • [1] 张艳辉, 徐坤, 郑春花, 等. 智能电动汽车信息感知技术研究进展[J]. 仪器仪表学报, 2017, 38(4): 794‐805 doi:  10.3969/j.issn.0254-3087.2017.04.002

    Zhang Yanhui, Xu Kun, Zheng Chunhua, et al. Advanced Research on Information Perception Technologies of Intelligent Electric Vehicles[J]. Chinese Journal of Scientific Instrument, 2017, 38(4): 794‐805 doi:  10.3969/j.issn.0254-3087.2017.04.002
    [2] 龚健雅, 季顺平. 从摄影测量到计算机视觉[J]. 武汉大学学报·信息科学版, 2017, 42 (11): 1 518‐1 522 doi:  10.13203/j.whugis20170283

    Gong Jianya, Ji Shunping. From Photogrammetry to Computer Vision[J]. Geomatics and Information Science of Wuhan University, 2017, 42(11) : 1 518‐1 522 doi:  10.13203/j.whugis20170283
    [3] Verma S, Berrio J S, Worrall S, et al. Automatic Extrinsic Calibration Between a Camera and a 3D LiDAR Using 3D Point and Plane Correspondences [C]//IEEE Intelligent Transportation Systems Conference, Auckland, New Zealand, 2019
    [4] 夏鹏飞, 尹慧琳, 何艳侠. 基于最大互信息的激光雷达与相机的配准[J]. 仪器仪表学报, 2018, 39(1): 34‐41

    Xia Pengfei, Yin Huilin, He Yanxia. Calibration of LiDAR and Camera Based on Maximum Mutual Information[J]. Chinese Journal of Scientific Instrument, 2018, 39(1): 34‐41
    [5] 肖军浩, 施成浩, 黄开宏, 等. 单目相机‐3维激光雷达的外参标定及融合里程计研究[J]. 机器人, 2021, 43(1): 17‐28

    Xiao Junhao, Shi Chenghao, Huang Kaihong, et al. Extrinsic Calibration and Fused Odometry for Monocular Camera and 3D LiDAR[J]. Robot, 2021, 43(1): 17‐28
    [6] Gomez‐Ojeda R, Briales J, Fernandez‐Moral E, et al. Extrinsic Calibration of a 2D Laser‐Rangefinder and a Camera Based on Scene Corners[C]//IEEE International Conference on Robotics and Automation, Seattle, USA, 2015
    [7] Bai Z X, Jiang G, Xu A L. LiDAR‐Camera Calibration Using Line Correspondences[J]. Sensors, 2020, 20(21): 6 319‐6 336 doi:  10.3390/s20216319
    [8] Napier A, Corke P, Newman P. Cross‐Calibration of Push‐Broom 2D LiDAR and Cameras in Natural Scenes[C]//IEEE International Conference on Robotics and Automation, Karlsruhe, Germany, 2013
    [9] Pandey G, McBride J R, Savarese S, et al. Automatic Extrinsic Calibration of Vision and LiDAR by Maximizing Mutual Information[J]. Journal of Field Robotics, 2015, 32(5): 696‐722 doi:  10.1002/rob.21542
    [10] Strobl K H, Hirzinger G. Optimal Hand‐Eye Calibration[C]//IEEE International Conference on Intelligent Robots and Systems, Beijing, China, 2006
    [11] Huang K H, Stachniss C. Extrinsic Multi‐sensor Calibration for Mobile Robots Using the Gauss‐Helmert Model[C]//IEEE International Conference on Intelligent Robots and Systems, Vancouver, Canada, 2017
    [12] Xu D F, Anguelov D, Jain A. PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation [C]//IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018
    [13] Shin K, Kwon Y P, Tomizuka M. RoarNet: A Robust 3D Object Detection Based on Region Approximation Refinement[C]//IEEE Intelligent Vehicles Symposium(IV), Paris, France, 2019
    [14] Ku J, Mozifian M, Lee J, et al. Joint 3D Proposal Generation and Object Detection from View Aggregation[C]//IEEE International Conference on Intelligent Robots and Systems, Madrid, Spain, 2018
    [15] Hazirbas C, Ma L N, Domokos C, et al. FuseNet: Incorporating Depth into Semantic Segmentation via Fusion‐Based CNN Architecture[C]//Asian Conference on Computer Vision, Taipei, China, 2016
    [16] Schneider N, Piewak F, Stiller C, et al. RegNet: Multimodal Sensor Registration Using Deep Neural Networks[C]//IEEE Intelligent Vehicles Symposium(IV), Los Angeles, USA, 2017
    [17] Iyer G, Ram R K, Murthy J K, et al. CalibNet: Geometrically Supervised Extrinsic Calibration Using 3D Spatial Transformer Networks[C]//IEEE International Conference on Intelligent Robots and Systems, Madrid, Spain, 2018
    [18] Zhang Q L, Pless R. Extrinsic Calibration of a Camera and Laser Range Finder(Improves Camera Calibration)[C]//IEEE International Conference on Intelligent Robots and Systems, Sendai, Japan, 2004
    [19] Pandey G, Mcbride J, Savarese S, et al. Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera[J]. International Federation of Automatic Control, 2010, 43(16): 336‐341 http://pdfs.semanticscholar.org/684e/c0385d82e141837d481bc17c32c183bb64c5.pdf
    [20] Geiger A, Moosmann F, Car Ö, et al. Automatic Camera and Range Sensor Calibration Using a Single Shot[C]// IEEE International Conference on Robotics and Automation, Saint Paul, USA, 2012
    [21] Kim E S, Park S Y. Extrinsic Calibration Between Camera and LiDAR Sensors by Matching Multiple 3D Planes[J]. Sensors, 2019, 20(1): 52‐69 doi:  10.3390/s20010052
    [22] Zhou L P, Li Z M, Kaess M. Automatic Extrinsic Calibration of a Camera and a 3D LiDAR Using Line and Plane Correspondences[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems, Madrid, Spain, 2018
    [23] 祝飞, 范佳, 黄玉春, 等. 融合多种棋盘格约束的面阵相机和线激光外参标定[J]. 武汉大学学报·信息科学版, 2019, 44 (10): 1 524‐1 529 doi:  10.13203/j.whugis20180022

    Zhu Fei, Fan Jia, Huang Yuchun, et al. Extrinsic Calibration of Camera and 2D Laser‐Rangefinder with Various Chessboard Constrains[J]. Geomatics and Information Science of Wuhan University, 2019, 44(10): 1 524‐1 529 doi:  10.13203/j.whugis20180022
    [24] Park Y, Yun S, Won C S, et al. Calibration Between Color Camera and 3D LiDAR Instruments with a Polygonal Planar Board[J]. Sensors, 2014, 14(3): 5 333‐5 353 doi:  10.3390/s140305333
    [25] Pusztai Z, Hajder L. Accurate Calibration of LiDARCamera Systems Using Ordinary Boxes[C]//IEEE International Conference on Computer Vision Workshops, Venice, Italy, 2017
    [26] Lee G M, Lee J H, Park S Y. Calibration of VLP‐16 LiDAR and Multi‐View Cameras Using a Ball for 360 Degree 3D Color Map Acquisition[C]//IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, Daegu, Korea, 2017
    [27] Dhall A, Chelani K, Radhakrishnan V, et al. LiDAR‐Camera Calibration Using 3D‐3D Point Correspondences[EB/OL]. [2017‐05‐27]. https://arxiv. org/abs/1705. 09785
    [28] Chai Z Q, Sun Y X, Xiong Z H. A Novel Method for LiDAR Camera Calibration by Plane Fitting [C]//IEEE/ASME International Conference on Advanced Intelligent Mechatronics, Auckland, New Zealand, 2018
    [29] Zhang Z. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (11) : 1 330‐1 334 doi:  10.1109/34.888718
    [30] Lepetit V, Moreno‐Noguer F, Fua P. EPnP: An Accurate O(n)Solution to the PnP Problem[J]. International Journal of Computer Vision, 2009, 81 (2): 155‐166 doi:  10.1007/s11263-008-0152-6
    [31] Fischler M A, Bolles R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381‐395 doi:  10.1145/358669.358692
    [32] Arun K S, Huang T S, Blostein S D. Least‐Squares Fitting of Two 3‐D Point Sets[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(5): 698‐700
  • [1] 徐恩恩, 郭颖, 陈尔学, 李增元, 赵磊, 刘清旺.  基于无人机LiDAR和高空间分辨率卫星遥感数据的区域森林郁闭度估测模型 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1298-1308. doi: 10.13203/j.whugis20210001
    [2] 马昕, 史天奇.  利用差分吸收激光雷达探测二氧化碳浓度廓线 . 武汉大学学报 ● 信息科学版, 2022, 47(3): 412-418. doi: 10.13203/j.whugis20190362
    [3] 崔溦, 谢恩发, 张贵科, 李宏璧.  利用无人机技术的高陡边坡孤立危岩体识别 . 武汉大学学报 ● 信息科学版, 2021, 46(6): 836-843. doi: 10.13203/j.whugis20190186
    [4] 曹伟, 陈动, 史玉峰, 曹震, 夏少波.  激光雷达点云树木建模研究进展与展望 . 武汉大学学报 ● 信息科学版, 2021, 46(2): 203-220. doi: 10.13203/j.whugis20190275
    [5] 祝飞, 范佳, 黄玉春, 刘洋洋.  融合多种棋盘格约束的面阵相机和线激光外参标定 . 武汉大学学报 ● 信息科学版, 2019, 44(10): 1524-1529, 1537. doi: 10.13203/j.whugis20180022
    [6] 赵文豪, 闫利, 王成义, 马昕, 李松, 马跃.  基于三维大气探测激光雷达的大气颗粒物污染探测 . 武汉大学学报 ● 信息科学版, 2019, 44(10): 1436-1441. doi: 10.13203/j.whugis20190105
    [7] 张继贤, 段敏燕, 林祥国, 臧艺.  激光雷达点云电力线三维重建模型的对比与分析 . 武汉大学学报 ● 信息科学版, 2017, 42(11): 1565-1572. doi: 10.13203/j.whugis20150385
    [8] 史硕, 龚威, 祝波, 宋沙磊.  新型对地观测多光谱激光雷达及其控制实现 . 武汉大学学报 ● 信息科学版, 2013, 38(11): 1294-1297.
    [9] 吴军, 徐刚, 董增来, 汪杰君.  引入灭点约束的TSAI两步法相机标定改进研究 . 武汉大学学报 ● 信息科学版, 2012, 37(1): 17-21.
    [10] 董立新, 戎志国, 李贵才, 唐世浩.  吉林长白山森林冠顶高度激光雷达与MERSI联合反演 . 武汉大学学报 ● 信息科学版, 2011, 36(9): 1020-1024.
    [11] 吕立蕾, 龚威, 宋沙磊, 祝波.  地物反射率探测激光雷达回波信号的小波去噪 . 武汉大学学报 ● 信息科学版, 2011, 36(1): 56-59.
    [12] 徐进军, 严学清, 王尚庆, 王国栋.  地面激光扫描与数码相机数据的联合处理研究 . 武汉大学学报 ● 信息科学版, 2009, 34(1): 85-87.
    [13] 邢艳秋, 王立海.  基于ICESat-GLAS完整波形的坡地森林冠层高度反演研究——以吉林长白山林区为例 . 武汉大学学报 ● 信息科学版, 2009, 34(6): 696-700.
    [14] 曾齐红, 毛建华, 李先华, 刘学锋.  激光雷达点云平面拟合过滤算法 . 武汉大学学报 ● 信息科学版, 2008, 33(1): 25-28.
    [15] 徐前祥, 廖明生, 杨建思.  基于距离限制的机载激光数据滤波方法 . 武汉大学学报 ● 信息科学版, 2007, 32(7): 605-608.
    [16] 黄先锋, 陶闯, 江万寿, 龚健雅.  机载激光雷达点云数据的实时渲染 . 武汉大学学报 ● 信息科学版, 2005, 30(11): 975-978.
    [17] 赖旭东, 万幼川.  一种针对激光雷达强度图像的滤波算法研究 . 武汉大学学报 ● 信息科学版, 2005, 30(2): 158-160.
    [18] 李清泉, 李必军, 陈静.  激光雷达测量技术及其应用研究 . 武汉大学学报 ● 信息科学版, 2000, 25(5): 387-392.
    [19] 李德仁, 王新华.  CCD阵列相机的几何标定 . 武汉大学学报 ● 信息科学版, 1997, 22(4): 308-313,317.
    [20] 黄远宪, 李必军, 黄琦, 周剑, 王兰兰, 朱佳琳.  融合相机与激光雷达的目标检测、跟踪与预测 . 武汉大学学报 ● 信息科学版, 0, 0(0): -. doi: 10.13203/j.whugis20210614
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  478
  • HTML全文浏览量:  136
  • PDF下载量:  67
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-09-07
  • 刊出日期:  2021-12-05

一种点线面约束的激光雷达和相机标定方法

doi: 10.13203/j.whugis20210313
    基金项目:

    国家重点研发计划 2016YFB0501803

    作者简介:

    谢婧婷,硕士生, 主要从事传感器检校和视觉SLAM的研究。2015301610136@whu.edu.cn

    通讯作者: 王甫红,博士,教授。fhwang@sgg.whu.edu.cn
  • 中图分类号: P237

摘要: 精确稳定的外参数标定是相机和激光雷达(light detection and ranging, LiDAR)融合感知定位的基础,针对Dhall标定方法在约束精度、稳定性和收敛性等方面存在的问题,提出了一种点线面联合约束的LiDAR和相机标定方法。首先,加入线-线约束和面-面约束并用Kabsch方法求得闭式解,减小了单一角点约束中的噪声影响,提高了标定结果的精度和稳定性;然后,利用多帧点云叠加拟合直线,并对拟合角点求均值,减小了点云噪声的影响,提高了标定方法的收敛速度和稳定性。该方法能在20帧内收敛,且角点的重投影误差小于2 cm,实验结果表明, 该方法比原方法具有更快的收敛速度和更高的精度。

English Abstract

谢婧婷, 蔺小虎, 王甫红, 石欣, 晏凌云. 一种点线面约束的激光雷达和相机标定方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313
引用本文: 谢婧婷, 蔺小虎, 王甫红, 石欣, 晏凌云. 一种点线面约束的激光雷达和相机标定方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313
XIE Jingting, LIN Xiaohu, WANG Fuhong, SHI Xin, YAN Lingyun. Extrinsic Calibration Method for LiDAR and Camera with Joint Point-Line-Plane Constraints[J]. Geomatics and Information Science of Wuhan University, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313
Citation: XIE Jingting, LIN Xiaohu, WANG Fuhong, SHI Xin, YAN Lingyun. Extrinsic Calibration Method for LiDAR and Camera with Joint Point-Line-Plane Constraints[J]. Geomatics and Information Science of Wuhan University, 2021, 46(12): 1916-1923. doi: 10.13203/j.whugis20210313
  • 随着传感器技术和计算机视觉技术的快速发展,激光雷达和相机已成为移动测量、自动驾驶、机器人等领域不可或缺的传感器[1-2]。激光雷达精度高、抗干扰性好,不受光照变化的影响,能获取准确的深度信息,但是缺乏色彩和纹理信息;相机能获取色彩、纹理等信息,但难以直接测量长距离的深度[3],且稳定性差,易受光照、天气的影响。这两类传感器具有很强的互补性,二者融合能获得更丰富的环境信息[4]。而精确稳定的外参数标定是激光雷达和相机融合感知定位的基础,因此,高效的外参数标定在自动驾驶和移动机器人应用中至关重要。

    目前,激光雷达和相机的标定方法大致可以分为无目标的方法和基于目标的方法。无目标的方法不需要人为提供标定目标,可以分为基于特征的方法和基于运动的方法[5]。基于特征的方法主要利用了建筑物的常见结构,Gomez‍-Ojeda等[6]提出了利用墙角三面体来提供线-面和点-面约束;Bai等[7]提出了基于环境线特征和无穷点来进行标定;Napier等[8]和Pandey等[9]通过最大化图像灰度和激光雷达反射率的相关性来进行标定。基于运动的方法不要求两种传感器有共视区域,可以视为手眼标定问题[10],Huang等[11]将Gauss-Helmert模型用于求解运动约束,同步优化传感器的相对运动以及外参数,减小了传感器噪声的影响。此外,基于深度学习的方法也逐渐被应用于相机和激光雷达外参数的标定[12-15],Schneider等[16]率先将RegNet网络用于求解传感器之间的六自由度参数,将传统的校准步骤(特征提取、特征匹配和全局回归)转换为一个具有实时功能的卷积神经网络;Iyer等[17]用自监督网络CalibNet来预测校准参数,使输入图像和点云的几何一致性和光度一致性最大化,但基于深度学习的标定方法对计算平台要求较高。以上方法中,基于特征的方法通常需要可靠的初值和合适的外部环境;而基于自运动的方法受到测量值不确定性的影响;基于目标的方法需要人为提供标识物,常用的标识物为棋盘格。Zhang等[18]率先将棋盘格用于相机和激光测距仪的外参数标定,但至少需要5组观测进行求解;Pandey等[19]提出了一种使用棋盘法线向量的校准方法,通过最小化深度和图像帧之间对应关系的函数来估计激光雷达和相机之间的旋转和平移;Geiger等[20]在场景中放置多个棋盘格,通过面-面、点-面约束解算外参数;Kim等[21]使用单个棋盘格,通过匹配多帧的面特征来求解外参数。以上研究都没有使用标定板的边缘线信息,Zhou等[22]和Zhu等[23]加入了线特征,Zhou等[22]用多帧棋盘格的直线和平面信息建立约束,并给出了闭式解,但未使用角点信息;Zhu等[23]用V型棋盘格来求解外参数,并且建立了二维的点-面、点-线、线-面约束,但其构建的点-线约束不能线性化求解,且V型棋盘格需要定制,价格比较昂贵。

    除棋盘格外,还有其他的标识物被用于激光雷达和相机的外参数标定。Park等[24]用多个白色方形板进行标定,只使用了标定板的角点信息。Pusztai等[25]用立方体箱子进行标定,根据角点约束求解外参数,其局限在于立方体必须具有正交特性。Lee等[26]用球形物体进行标定,利用球体中心的对应关系求解外参数,但球形标定物难以制作。Dhall等[27]用方形板贴上ArUco(augmented reality University of Cordoba)二维码作为标定工具,易于制作、成本低廉。其原理是建立三维角点的约束,用Kabsch方法求解。但该方法的角点易受到噪声影响,且没有用到直线和平面信息,约束精度不够。Chai等[28]在Dhall等[27]的基础上进行了改进,使用了定制的ArUco二维码立方体作为标定工具,通过拟合平面求交点获得了噪声更小的角点信息,提升了算法的收敛性和稳定性。但该方法只使用了角点约束求解外参数,并未减小重投影误差,且定制立方体标定工具价格昂贵。

    为了得到更加精确稳定的激光雷达和相机标定结果,本文使用普通方形板和ArUco二维码作为标定工具,在Dhall标定方法[27]的基础上,加入标定板的平面、直线约束信息,提出了基于ArUco二维码的点-线-面约束的标定方法,提高了标定结果的精度。通过多帧点云叠加拟合直线、多帧角点求均值的方法,减小了雷达点云中边缘线和角点噪声的影响,提高了标定结果的收敛性和稳定性。

    • 点线面联合约束的外参数的标定方法流程如图 1所示。首先,通过相机和激光雷达获取二维图像和三维点云;其次,在三维激光雷达点云中提取激光雷达坐标系下的三维点、线、面信息;然后,用二维图像恢复相机坐标系下的三维点、线、面信息;最后,建立相机和激光雷达坐标系下特征之间的约束,求解两种传感器之间的外参数。在本文中,相机坐标系用C系表示,激光雷达坐标系用L系表示,共视物体的世界坐标系用W表示,相机相对于L系的旋转和平移分别表示为RLCtLC

      图  1  激光雷达和相机外参数标定流程图

      Figure 1.  Flowchart of Extrinsic Parameters Calibration for LiDAR and Camera

    • 为了恢复C系下点、线、面的三维信息,本文使用贴有ArUco码的标定板作为标定目标。ArUco码是一种携带二进制编码信息的靶标,常用于提供辅助的特征信息。本文相机的内参数和畸变参数已经通过标定方法[29]获得,通过识别靶标,用PnP(perspective-n-point)方法[30]获得ArUco坐标系(W系)相对于C‍系的转换参数TWC=RWCtWC。在已知标定板尺寸的情况下,根据W系和C系之间的转换参数,可以将标定板角点在图像中的二维坐标反投影到C系下,获得C系下角点特征的三维坐标:

      XCYCZC=RWCPW+tWC=r11r12r13t1r21r22r23t2r31r32r33t3XWYWZW1 ]]>

      求得C系下角点坐标后,用角点之间的两点式方程求出标定板边缘直线的方向向量kC,作为C系下的直线特征。在W系下,已知标定板的平面法向量为nW=001T,根据姿态外参数RWC求出C系下的平面法向量nC=RWCnW,获得C系下的三维平面法向量。

    • 三维激光雷达能直接提供点云的三维信息,因此,先提取标定板上的三维点云,再拟合计算平面、直线和角点参数。首先,提取标定板的点云,即对原始的点云进行深度滤波后,可获得标定板平面ψi拟合的候选点P˜ψi=p1ψi,p2ψipNψi;然后,用随机一致性检验(random sample consensus,RANSAC)方法[31]拟合平面,获得第i次扫描的最优拟合结果,包括平面的k个拟合点Pψi=p1ψi,p2ψipkψi,以及平面参数nL,dL,其中,nL表示L系下的平面法向量。

      拟合平面后,需要进一步获取线特征,计算直线参数。如图 2所示,由于Velodyne16线激光雷达的点云稀疏,为了使拟合结果更加准确,本文采取了多帧点云叠加拟合边缘线的方法。首先,用深度滤波和强度滤波获取第i次观测中第j条边缘线λi,j拟合的候选点P˜λi,j=p1λi,j,p2λi,jpMλi,j;然后,用RANSAC方法拟合直线,由于激光雷达点云中标定板边缘的噪声大,而中心的噪声在有限的范围内[28],为了减弱边缘线噪声的影响,将边缘点P˜λi,j投影到平面上,再用RANSAC方法计算直线参数。

      图  2  激光雷达点云边缘线提取结果

      Figure 2.  Edge Line Extraction Results of LiDAR Point Cloud

      1)用深度和强度滤波获取边缘线候选点P˜λi,j=p1λi,j,p2λi,jpMλi,j。定义强度I为:I=maxrij-1-rij,rij+1-rijrij=xij2+yij2+zij2

      2)将P˜λi,j中的点投影到平面上,把投影后的点集Pλi,j放入点云集合Pλj,组成i帧点云的集合,Pλj=Pλ1,j,Pλ2,jPλi,j

      3)在Pλj中随机选取两个点Qj=paλm,j,pbλn,j,用这两个点计算直线方程。

      4)根据直线方程,计算Pλj中的内点率,判断内点的依据是三维点到直线的距离是否小于阈值τ,实验中τ=0.001

      5)重复步骤1)~步骤4)NN=100)次,选取内点率最高的且大于阈值的直线拟合模型。

      求得直线参数后,计算两条直线的交点即可获得三维角点的坐标。但在实验中,两条三维空间直线可能并不相交,因此,本文以两条直线间的最短线段的中点作为角点。得到角点后,分析多帧的角点位置可验证其噪声的高斯分布特性,因此,将多帧拟合的角点求均值可以减弱激光雷达点云噪声对角点的影响。

    • 对于角点pij、直线向量kij和平面法向量nij,其在L系和C系下的约束关系为:

      RLCpijL+tLC=pijCRLCkijL=kijCRLCnijL=nijC ]]>

      式中,nijLnijC分别表示平面ψiL系和C系下的平面法向量;kijLkijC分别表示边缘线λi,jL系和C系下的方向向量;pijLpijC分别表示L系和C系下的三维点坐标。利用上述约束建立如下的目标函数:

      F=argmini=1N(j=12RLCnijL-nijC2+j=14RLCkijL-kijC2+j=18RLCpijL+tLC-pijC2) ]]>

      式中,3个部分分别表示面-面约束、线-线约束和三维角点约束;i表示观测数量;j表示单次观测中每种约束的数量。其中,每个标定板提供1个面约束、2个线约束与4个角点约束。

    • 根据Kabsch方法[32],可以求出旋转矩阵RLC的闭式解,代入约束方程求平移量tLC。首先,计算RLC的闭式解,可将式(3)中关于RLC的每一种约束分别用Kabsch方法分解;然后,把3种约束一起联合求解。对于角点约束,其目标方程为:

      F(t)=argminj=1nRLCpijL+tLC-pijC2 ]]>

      把角点去中心化,令p¯L=1nj=1npijLp¯C=1nj=1npijC,可得待分解矩阵Mpi

      $\begin{array}{l} {M_{{p_i}}} = (p_i^L - {{\bar p}^L}) \cdot {(p_i^C - {{\bar p}^C})^{\rm{T}}} = \\ \;\;\;\;M_{{p_i}}^L \cdot {(M_{{p_i}}^C)^{\rm{T}}} = {(U\Lambda {V^{\rm{T}}})_{{p_i}}} \end{array}$

      式中,piL=pi,1L,pi,2Lpi,8LpiC=pi,1C,pi,2Cpi,8C,分别表示第i次观测时L系和C系下的8个三维角点坐标;MpiLMpiC分别表示L系和C系下三维角点去中心化的坐标矩阵;Λ为奇异值矩阵。可得角点约束下旋转矩阵R̂LC=VUT。同理,对线-线约束和面-面约束也可求得待分解矩阵MλiMψi

      Mλi=kiLkiCT=MλiLMλiCT=UΛVTλiMψi=niLniCT=MψiLMψiCT=UΛVTψi ]]>

      式中,MψiL=ni,1L,ni,2L为第i次观测时L系下的平面法向量组成的矩阵;MψiC=ni,1C,ni,2C为第i次观测时C系下的平面法向量组成的矩阵;MλiL=ki,1L,ki,2L,ki,3L,ki,4LMλiC=ki,1C,ki,2C,ki,3C,ki,4C,分别为两个坐标系下标定板边缘线的三维方向向量组成的矩阵。3种约束联合求解的公式为:

      Mi=MLMCT=MψiLMλiLMpiLMψiCMλiCMpiCT=UΛVT ]]>

      式中,MLMC分别为:

      ML=[ni,1L,ni,2L,ki,1L,ki,2L,ki,3L,ki,4L,(pi,1L-p¯iL),(pi,2L-p¯iL)(pi,8L-p¯iL)]MC=[ni,1C,ni,2C,ki,1C,ki,2C,ki,3C,ki,4C,(pi,1C-p¯iC),(pi,2C-p¯iC)(pi,8C-p¯iC)] ]]>

      根据Mi的奇异值分解结果,即可求得旋转矩阵RLC=VUT,代入式(4),获得平移参数的方程:

      tLC=p¯C-RLCp¯L ]]>
    • 为了验证本文方法的标定效果,分别进行了不同组实验,并对每组数据结果进行比较分析,验证本文方法在收敛性、稳定性和精度方面的性能提升。相机和激光雷达标定在有稳定光源的室内实验室进行,标定场景如图 3(a)所示。标定采用两块贴有50 cm×42 cm ArUco二维码的标定板,使其在相机和激光雷达的可视范围内。实验使用的激光雷达为Velodyne VLP-16,相机为ZED双目相机,数据为原始彩色影像,激光雷达和相机的坐标系定义如图 3(b)所示。操作平台为Ubuntu 16.04下的机器人操作系统。

      图  3  标定场环境及坐标系定义

      Figure 3.  Calibration Field Environment and Coordinate Systems Definition

      相机提取点线面的结果如图 4所示,红色边框是ArUco二维码的边框,其显示的白色数字是二维码对应的编号,二维码角点间的距离与尺子测量值的均方根误差小于1 cm。黄色点是提取的标定板角点特征,绿色线段是标定板的边线特征,黄色数组是两个标定板的法向量。可以看到,ArUco二维码识别准确,角点和边缘线也与标定板拟合,标定板法向量接近于平行,说明图像提取的点线面特征准确,满足后续联合求解的需求。

      图  4  相机提取点线面特征

      Figure 4.  Camera Extracts Point, Line and Plane Features

    • 对于每组数据,采用本文方法和Dhall标定方法分别计算外参数。为了比较二者结果的收敛性和稳定性,每种方法均用同样初值迭代计算300次,得到每组数据的外参数标定结果,包括L系相对于C系的平移量xyz和旋转角r(横滚角)、p(俯仰角)、y(航向角)。

      平移量标定的结果如图 5所示,图 5(a)5(b)是实验A标定结果的平移和旋转,图 5(c)5(d)是实验B标定结果的平移和旋转。图 5(a)表示前300帧迭代计算的xyz均值结果,蓝色线表示本文方法的结果,绿色线表示Dhall标定方法的结果,红色线表示尺子测量的平移量参考值。与Dhall标定方法相比,本文方法使用点线面约束联合求解,在X轴方向的精度提升明显。图5(b)是旋转参数rpy的均值结果,L系旋转(90°,-‍90°,0°)后,与C系的夹角近似为‍0°,两种方法所得的旋转角均为微小量。与Dhall标定方法相比,本文使用多帧点云叠加拟合直线,并对拟合角点求均值,提高了稳定性和收敛性。从稳定性分析,Dhall标定方法的平移量和旋转角波动较大,而本文方法波动较小,结果更稳定;从收敛性来看,Dhall标定方法在150帧之后收敛,本文方法在20帧左右就能收敛到比较可靠的结果,证明了本文方法的收敛性优于Dhall标定方法。

      图  5  实验A和实验B的外参数标定结果

      Figure 5.  Extrinsic Parameters Calibration Results of Experiments A and B

      为了定性检验外参数的准确性,将标定板上的激光雷达点云用外参数投影到二维图像上,图 6中红色方框表示用初始位姿计算的投影区域,蓝色方框表示用最终外参数计算的投影区域,绿色方框表示图像提取的标定板区域,黄色点表示雷达点云投影到图像上的结果。

      图  6  激光雷达点云投影结果

      Figure 6.  Projection Results of LiDAR Point Cloud

      图 6可以看出,初始姿态的投影区域均不准确。图 6(a)中点云经投影变换后基本分布于标定板上,能与标定板很好地对齐,说明本文方法的外参数准确,修正了初始外参数的误差;而图 6(b)‍中激光雷达点云与标定板存在明显的偏差,说明Dhall标定方法的结果存在较大误差。

    • 角点重投影误差能定量反映外参数结果的准确性。实验中,重投影误差定义为:L系下的角点投影到C系下,减去C系中的角点坐标后,取其模长的均值,计算公式如下:

      E=18j=18RLCpijL+tLC-pijC ]]>

      本文方法与Dhall标定方法的重投影误差比较如表 1所示。从表‍1中重投影误差比较可知,Dhall标定方法的重投影误差在角点位置提取结果较好时为3.40 cm,在角点噪声较大时达到了6.52 cm,重投影误差明显增大;而本文方法的重投影误差虽然也在缓慢增大,但由于添加了线面约束,5组实验中的重投影误差均维持在1~2 cm,且每组实验的重投影误差均小于Dhall标定方法,验证了本文方法比Dhall标定方法具有更高的精度和鲁棒性。

      表 1  重投影误差和收敛时间比较

      Table 1.  Comparison of Reprojection Error and Convergence Time

      实验 重投影误差/cm 收敛时间/s
      本文方法 Dhall标定方法 本文方法 Dhall标定方法
      1 1.66 3.40 3.0 14.1
      2 1.82 4.21 2.2 18.0
      3 1.87 4.33 1.1 14.0
      4 2.25 6.23 3.4 15.1
      5 2.28 6.52 3.8 12.3

      本文方法与Dhall标定方法的收敛时间比较如表 1所示,其处理设备为华硕RX310U笔记本电脑,每组实验所用的图像和激光雷达数据的频率均为10 Hz。从表‍1可见,在5组实验中,与Dhall标定方法相比,本文方法由于使用了多帧点云叠加拟合直线,并对拟合角点求均值,能在更少的观测帧数时收敛,极大地减少了收敛时间。

    • 对于每一组双目图像数据,计算获得激光雷达和左、右相机的之间的外参数,便可以推算ZED左、右相机的外参数。而ZED双目相机的默认参数可作为真实外参数,因此,可以比较推算外参数和真实外参数的差异,结果比较见表 2

      表 2  双目外参数校验结果比较

      Table 2.  Results of Binocular Extrinsic Parameters Verification

      实验 本文方法 Dhall标定方法
      dx/cm dy/cm dz/cm dx/cm dy/cm dz/cm
      1 0.55 1.12 0.40 5.96 3.72 0.32
      2 1.97 0.96 0.84 3.41 2.18 0.88

      表 2可见,Dhall标定方法的误差在x轴方向上比较大,在实验1中为5.96 cm,而本文方法使用点线面约束联合求解,较好地改善了x轴方向的误差,误差减小到0.55 cm。由于本文方法的约束在z轴不如xy方向强,因此,z方向的误差增大了0.08 cm,但也在较小范围内。在实验2中,本文方法的误差在xyz方向上均更小。

    • 本文提出了一种点线面联合约束的激光雷达和相机标定方法,一方面,采用多帧点云叠加,利用更多的激光点云拟合直线来减小误差,同时用多帧角点求均值来削弱噪声的影响,提高收敛性和稳定性;另一方面,加入线面特征,用点线面约束联合求解来提高精度和稳定性。实验结果验证,与Dhall标定方法相比,本文方法能够在20帧内收敛,且重投影误差小于2 cm,这对于自动驾驶和机器人传感器快速标定非常重要。但本方法仍有值得改进的地方,如仍需要标定物体,需要给定初值等,如果能实现无标定物体且无初值的准确标定,会使标定更智能。

参考文献 (32)

目录

    /

    返回文章
    返回