-
中国的高铁建设飞速发展,中国高铁已经成为集中展示中国速度、中国智造、中国力量的典范。而北斗卫星导航、5G通信、大数据和人工智能等新技术的发展又给轨道交通智能化建设带来了新的机遇和挑战。
建筑信息模型(building information model,BIM)技术可实现高铁工程从设计阶段、施工阶段到运营管理阶段全方位的设计和模拟,使二维图纸变成了可视化的三维模型,方便施工人员实现项目优化和管理,建设成本和工期也得到了良好控制。BIM技术实现了全专业、多维度设计,解决了高铁建设中参与专业多、协调难度大、结构复杂、内外综合管线系统繁多等众多难题。然而BIM不能实时仿真、模拟甚至监测整个动态施工过程,缺乏一定的拓展性。与BIM相比,数字孪生理念在本质上具有更先进的普适性意义,具有以下几层含义:(1)在数字空间内,使用高度精确的数字模型描述和模拟现实世界中的事物;(2)将现实世界中采集的真实信息反映到数字模型中,使之随现实进行更新;(3)在数字空间内,使用模型和信息进行预测性的仿真分析和可视化。数字孪生在BIM建模的基础上,还增加了仿真模拟和监测。
高铁环境在建设完成后还需要对整个运营线路进行全生命周期的灾害探测、异物侵限检测、基础设施维护等众多任务,为数字孪生技术的应用提供了更加广阔的空间。作为加速数字孪生技术应用的重要一环,铁路环境建模技术已经非常成熟。按照利用传感器种类的不同,三维建模技术可以分为基于影像、三维激光扫描以及两者结合3种方式;按照载具平台的不同,可分为航空测量系统(aerial measuring system,AMS)和移动测量系统(mobile mapping system,MMS)两种形式。由于AMS测绘仍需要申请空域,并且需要专门调配载人飞机或无人机进行测量,因此在部署效率上MMS具有不可替代的高效性。
利用激光扫描MMS对铁路环境进行检测和建模的研究较为成熟[1-2]。激光雷达(light detection and ranging,LiDAR)测量系统具有数据采集速度快、测距精度高以及受光照条件变化影响小的优点。传统MMS都是基于测绘级高精度三维激光扫描仪、高精度组合导航系统、对应的后处理软件对所有点云进行拼接[3-4],例如德国IGI公司研制的RailMapper[5]和StreetMapper[6]利用了法如或富斯德的激光扫描仪对轨道环境进行测量,成本高、效率低,一般仅安装在工程车辆上进行维护,不能完成实时的铁路沿线倒伏预报、异物侵限检测及灾害监测,因此数字孪生模型数据更新有一定滞后性。而同时定位与建图(simultaneous localization and mapping,SLAM)虽然效率高,但由于实验条件的特殊性,国内外学者对铁路环境的SLAM建图研究非常少。且基于雷达/惯性测量单元(inertial measurement unit,IMU)松组合[7]的方式仅能满足低速城市行驶中的建图定位需求。相比于公路场景,铁路环境的特征更加稀疏且重复性更强,很容易形成特征退化从而使雷达里程计失效。不仅如此,快速行驶的列车给两帧间的数据关联带来了极大的挑战。
针对上述问题,本文提出了一种低成本、实时激光雷达的紧组合SLAM定位和建图方案,该方案具有体积小、易批量安装的优点。利用多个非重复扫描棱镜式雷达搭建扫描系统,提高了系统的探测范围和冗余度;实时可视化和地图快速存储确保了铁路监测的实时性和高效性。经过上海铁路局超过300 km的里程测试,本套系统在高速行驶、特征稀疏的挑战环境下仍能满足分米级定位精度要求。
-
为了满足低成本和批量化装车的需要,本文选用览沃激光雷达开展实验。如图 1所示,作为一款非重复式扫描的半固态激光雷达,其视场中的点云覆盖率会随着积分时间的增大而增加,从而扫描到更多场景特征。
由于览沃激光雷达的视场角受限,本文采用多激光雷达安装方式拓宽了系统的检测范围,提升了系统冗余度,如图 2所示。普通运营车辆仅需安装两个前视的浩界激光雷达,而轨道检测车辆需要装备8个雷达,该平台分为3个模块,前视模块由2个浩界雷达组成,左右两侧模块都由1个泰览雷达和2个浩界雷达组成。
-
作为一个拥有多探测传感器的系统,各传感器之间的外参需要精确标定到统一坐标系下才能应用。虽然对基于点云特征和环境标志的多雷达自动标定方法的研究较多,但是这些方法大都要求各个雷达间有一定的重复视场。考虑到本文设计的平台多雷达间并无重复视场,而且由于铁路安全规定限制了标定,只能在狭小的维护车间内进行,因此设计了一种基于参数传递的多雷达标定方法。首先,两个前视雷达与全景相机间采用基于PnP(perspective-n-point)[8]算法的标定方法进行雷达到相机的外参标定;然后,对全景相机各相机的内参及各相机间的外参进行标定,同时完成左右两侧模块中3个激光雷达的外参标定;最后,由于全景相机覆盖了前视两个雷达和左右侧前视雷达的视场,只需要利用PnP算法标定全景相机和左右侧模块中两个前视雷达的外参,即可确定整个系统中所有雷达相对于全景相机的外参,达到标定整个系统的目的。系统中的两款组合导航设备则由全站仪进行与全景相机之间的外参标定。
-
利用工业交换机将多激光雷达连接到同一网段至主机,采用基于秒脉冲(pulse per second,PPS)信号的GPS时间同步。多雷达间的同步策略如图 3所示,设雷达
为主雷达,其他7个雷达为从属雷达。对于系统中的每一个雷达,其单帧测量周期为0.1 s,考虑到时间延迟等因素的影响,从属雷达不能与主雷达严格同步。因此本文定义8个雷达合并后扫描帧 的起始时间为主雷达每帧的起始时间,而结束时间为最后一个从属雷达帧的结束时间。按照时间将惯性测量单元(inertial measurement unit,IMU)和实时动态差分定位(real time kinematic,RTK)观测值分配给不同雷达扫描帧作运动补偿。 本系统首先将RTK观测的经纬度转换为横轴墨卡托投影坐标系,再输入多雷达的定位建图系统参与优化。
-
假设在任意时刻,轨道车辆的状态
可以表示为: 式中,
、 、 分别表示车辆的位置、速度、姿态矩阵; 和 分别表示IMU中的加速度计和陀螺仪噪声。 整个系统利用输入的多个激光雷达的原始点云、IMU和RTK的位姿进行车身的状态估计。本文采用基于图优化的紧组合策略融合所有传感器参与定位建图任务。因子图中包含因子和节点,其中因子代表各种传感器的观测输入,而节点则是车身的状态信息。本文采用的因子图结构如图 4所示,共包括3种因子,分别为雷达里程计因子、IMU预积分因子和RTK因子。每当轨道车辆运行距离超过一个阈值,就有一个新的位姿节点加入因子图。在整个因子图更新的同时,所有节点、位姿都进行了优化。
由于轨道检测车辆运营时间长、里程远,为了确保系统中的因子数量不随时间增加而大幅度增加,从而降低整个系统运行效率,本系统采用了基于关键帧的滑动窗口法使参与优化的因子限制在一定数量内,极大地提高了系统效率和长时间运行的稳定性。
-
由文献[9]可知,IMU预积分的残差计算如下:
式中,
为从k到k+1时刻的IMU预积分残差, 分别表示位移、速度、姿态方向上的变化;上角标 分别 世界坐标系、轨道车辆的车身坐标系; 表示从世界坐标系转化为车身坐标系的旋转矩阵; 表示重力方向矩阵; 代表k到k+1时刻的时间变化;符号 表示两个四元数间的乘法运算; 表示从四元数中取 分量。 -
本系统采用文献[10]中基于曲率大小的特征提取方式提取平面和边缘特征点,两帧间的特征点关联计算如下:
式中,
、 分别代表第k+1帧中的任意边缘、平面特征点到第k帧中的对应关系; 表示累积到第k帧时刻的全局地图中的点坐标; 、 分别表示第k+1帧中提取出的与 最邻近的边缘、平面点坐标。由此得到雷达里程计的残差因子 。由于览沃激光雷达的棱镜式设计问题,其在0.5 m内没有点云信息返回,且在3 m内的测距误差高于分米级,因此本文只选取每一帧中距离激光雷达超过3 m的点参与估计。 -
系统初始在开阔场地静置数分钟,在获得RTK固定解后将其设为初始点,后续所有位姿都是基于该初始点的车辆坐标系进行优化。由于RTK数据的加入会使得系统当前维护的因子图更新,为了提高系统的运行效率,本系统仅在系统估计的位置协方差大于RTK预报的位置协方差时,将RTK观测加入因子图进行优化。
由于轨道车辆运行速度过快,当遇到特征退化区域时,雷达里程计不能正常工作。此时RTK观测可以作为初始估计进行两帧间基于迭代最近邻点法(iterative closest point,ICP)的点云配准。
-
实验采用搭载Ubuntu-Linux操作系统的大疆妙算2工控机作为车载计算平台,选用飞纳经纬的MiniII-D-INS组合导航设备输出RTK和IMU观测值,将迈普时空的M39设备后处理结果作为系统的位姿真值,并利用千寻的RTK服务提供两个组合导航设备的RTK改正。
-
利用SLAM技术建图可以实时可视化点云地图,且列车结束行程时便可得到全局点云地图,极大地提高了地图更新速度。图 5介绍了几种实验常见情况的实时建图输出。
图 5 铁路上几种典型场景实时建图结果
Figure 5. Real Time Mapping Results of Typical Scnearios Using Our Proposed System
由图 5可以看出,系统实时输出的结果可用于环境地图更新与监测,线缆和铁轨清晰可见,可以直接进行轨道提取和异物侵限检测等后续工作。
-
迈普时空的M39组合导航设备配合GINS后处理软件可以进行高精度的组合导航后处理解算,本文将该处理结果作为地面真值。由于所有激光雷达都与GPS时间同步,时间戳都是GPS时,因此只需比较相同时间SLAM系统输出的位姿和后处理结果便可验证定位精度。
由于SLAM系统受到速度及场景特征丰富性的影响,本文选取4种场景进行系统定位精度对比实验,结果如表 1所示。场景A为低速特征丰富场景,轨道检测车辆缓缓进入保养段内停车,速度保持在10 km/h以下,周围铁轨、杆塔、建筑及植被等特征丰富;场景B为低速特征稀疏场景,轨道检测车辆进入单轨缓速行驶等待停车指令,周围5 m范围内均为灌木植被,特征稀疏,车速保持在20 km/h以下;场景C为高速特征丰富场景,车辆高速驶过站台,车速保持在60 km/h以上;场景D为高速特征稀疏场景,车辆高速行驶在单轨上,车速保持在70 km/h以上,周围5 m范围内均为灌木植被,特征稀疏。
表 1 不同场景定位精度
/m Table 1. Positioning Accuracy in Various Environments
/m 场景 定位误差的均方根 最大定位误差 场景A 0.043 0.108 场景B 0.068 0.173 场景C 0.095 0.541 场景D 0.223 0.850 由表 1可以看出,本文系统在低速特征丰富的环境下能达到厘米级的定位精度,而最差时候的精度也能保持在米级,对于非精细建图任务来说,这是一个足够可用的精度。
-
传统基于MMS的建图方法成本高、难以批量化装车、处理程序复杂,且难以满足地图更新的时效性需求。本文基于多个棱镜式雷达搭建了新型铁路扫描系统,并且开发了一套多雷达/IMU/RTK紧组合SLAM系统。该系统集成了多个激光雷达的点云/IMU/RTK结果,利用图优化方法紧耦合各个传感器信息,构建因子图进行状态估计和全局地图构建,在工控机上可以实时运行。在实时地图可视化的同时,满足了作业完毕即可完成地图更新的需求。经过验证,即使在高速和特征稀疏场景下,该系统仍能达到分米级定位精度。本系统目前已经在轨道检测车辆上测试了超过300 km的里程,鲁棒性和系统稳定性得到了进一步验证。基于此系统,后续可以继续开展轨道环境地物自动提取、基于unity的增强现实和虚拟现实展示技术开发。
Real Time Localization and Mapping Integrating Multiple Prism LiDARs/IMU/RTK on Railway Locomotive
-
摘要: 传统铁路基础设施维护手段单一,依赖于作业车辆上的工程人员进行手动操作,耗费大量人力物力。作为一种多尺度、多概率及长周期的数字映射方案,数字孪生系统近年来在工程建设领域发展迅速。为了推动轨道交通领域的数字孪生建设,设计了一种基于轨道车辆的高精度同时定位与建图(simultaneous localization and mapping, SLAM)方案。不同于传统移动测量方法需要高精度三维激光扫描仪、高精度惯性测量单元(inertial measurement unit,IMU)、实时动态差分定位(real time kinematic,RTK)以及复杂的后处理手段,该方案基于因子图优化的紧耦合方案,融合多个棱镜式雷达、IMU及RTK观测,实现了实时建图可视化。经过超300 km的场景验证,发现所提方案在良好环境下可以达到厘米级定位精度,实时输出的建图结果中可清晰观测到各种轨道特征。Abstract:
Objectives The current railway maintenance method is unitary and simple, which is a human force intensive work, requiring tedious and interminable manual check from professional technicians. As a multi-scale, multi-probability and long-term digital representation approach, the digital-twin has seen a rising popularity in engineering construction. Inspired by the convenience of digital-twin, this paper designs a simultaneous localization and mapping (SLAM) system for railway locomotives. Methods Unlike traditional mobile mapping system which demands high precision three-dimensional laser scanning, inertial measurement unit (IMU) / real time kinematic (RTK), as well as complicated post-processing methods, our solution is capable of real time mapping and odometry visualization through constructed factor graph. The factor graph is a bipartite graph with two node types: Factor nodes and variables nodes, and they are always connected by edges. A new variable node is added to the graph when the pose displacements exceed a certain threshold, then the factor graph is optimized upon the insertion. We use three types of factors for graph construction: IMU preintegration factors, light detection and ranging (LiDAR) odometry factors, RTK factors. Results and Conclusions The real time performance is further achieved through sliding window optimization. Under more than 300 km field test in various environments, our approach can achieve centimeter-lever positioning accuracy in feature rich and low speed cases, and the structures are clearly visible in the real time mapping result. -
表 1 不同场景定位精度
/m Table 1. Positioning Accuracy in Various Environments
/m 场景 定位误差的均方根 最大定位误差 场景A 0.043 0.108 场景B 0.068 0.173 场景C 0.095 0.541 场景D 0.223 0.850 -
[1] 苏靖棋. 车载激光雷达测量系统[J]. 现代城市轨道交通, 2020(1): 110-113 Su Jingqi. Vehicle On-board LiDAR Measurement System[J]. Modern Urban Transit, 2020(1): 110-113 [2] 李维刚, 梅洋, 樊响, 等. 基于车载激光点云的铁路轨道检测[J]. 中国激光, 2021, doi: 10.3788/cjl202249.0410002 Li Weigang, Mei Yang, Fan Xiang, et al. Railway Track Detection Based on Vehicle Laser Point Cloud [J]. Chinese Journal of Laser, 2021, doi: 10.3788/cjl202249.0410002 [3] Sánchez-Rodríguez A, Soilán M, Cabaleiro M, et al. Automated Inspection of Railway Tunnels' Power Line Using LiDAR Point Clouds[J]. Remote Sensing, 2019, 11(21): 2567 doi: 10.3390/rs11212567 [4] Leslar M, Perry G, McNease K. Using Mobile LiDAR to Survey a Railway Line for Asset Inventory [C]//The ASPRS 2010 Annual Conference, San Diego, California, USA, 2010 [5] Kremer J, Grimm A. The Railmapper—A Dedicated Mobile LiDAR Mapping System for Railway Net works[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012, 39(B5): 477-482 http://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XXXIX-B5/477/2012/isprsarchives-XXXIX-B5-477-2012.pdf [6] Haala N, Peter M, Kremer J, et al. Mobile LiDAR Mapping for 3D Point Cloud Collection in Urban Areas—A Performance Test[J]. Department of Geodesy & Geoinformatics, 2008, 37: 1119-1127 http://www.riegl.com/uploads/tx_pxpriegldownloads/Streetmapper_ISPRS2008.pdf [7] Tschopp F, Schneider T, Palmer A W, et al. Ex perimental Comparison of Visual-Aided Odometry Methods for Rail Vehicles[J]. IEEE Robotics and Automation Letters, 2019, 4(2): 1815-1822 doi: 10.1109/LRA.2019.2897169 [8] Li S Q, Xu C, Xie M. A Robust O(n)Solution to the Perspective-n-Point Problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1444-1450 doi: 10.1109/TPAMI.2012.41 [9] Qin T, Li P L, Shen S J. VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Esti mator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020 http://raw.githubusercontent.com/HKUST-Aerial-Robotics/VINS-Mono/master/support_files/paper/tro_technical_report.pdf [10] Zhang J, Singh S. LOAM: LiDAR Odometry and Mapping in Real-Time[C]// Robotics: Science and Systems Foundation, Zurich, Swiss, 2014 -