融合车载影像与点云的道路边界提取与矢量化

李庞胤; 米晓新; 丁鹏辉; 孙为晨; 张华祖; 刘翀; 董震; 杨必胜

doi:10.13203/j.whugis20230284

融合车载影像与点云的道路边界提取与矢量化

李庞胤^{1, 2,},
米晓新^{1, 2, ,},
丁鹏辉³,
孙为晨³,
张华祖¹,
刘翀^{1, 2},
董震^{1, 2},
杨必胜^{1, 2}

1.
武汉大学测绘遥感信息工程国家重点实验室,湖北武汉,430079
2.
时空数据智能获取技术与应用教育部工程研究中心,湖北武汉,430079
3.
青岛市勘察测绘研究院青岛市海陆地理信息集成与应用重点实验室,山东青岛,266034

基金项目:

国家自然科学基金 42171431

自然资源部超大城市自然资源时空大数据分析应用重点实验室开放基金 KFKT-2022-01

详细信息

作者简介:
李庞胤,硕士,主要从事三维场景理解、高精地图生成研究。lipangyin@whu.edu.cn

通讯作者:
米晓新,博士。mixiaoxin@whu.edu.cn

中图分类号: P237;P208
计量
- 文章访问数: 431
- HTML全文浏览量: 96
- PDF下载量: 133
出版历程
- 收稿日期: 2023-08-01
- 网络出版日期: 2023-11-01
- 刊出日期: 2024-04-04

Fusion of Vehicle-Mounted Imagery and Point Cloud for Road Boundary Extraction and Vectorization

LI Pangyin^{1, 2,},
MI Xiaoxin^{1, 2, ,},
DING Penghui³,
SUN Weichen³,
ZHANG Huazu¹,
LIU Chong^{1, 2},
DONG Zhen^{1, 2},
YANG Bisheng^{1, 2}

1.
State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University, Wuhan430079, China
2.
Engineering Research Center for Spatiotemporal Data Smart Acquisition and Application, Ministry of Education, Wuhan University, Wuhan430079, China
3.
Qingdao Surveying & Mapping Institute,Qingdao Key Laboratory for Integration and Application of Marine-terrestrial Geographical Information, Qingdao266034,China

摘要

摘要:
车载激光点云的数据不完整和影像连续帧之间的地物重影现象给提取连续、完整的道路边界带来了巨大挑战。提出了一种融合点云与全景影像的道路边界提取与矢量化方法。首先,分别从点云和全景影像中提取初始道路边界点,然后基于非闭合Snake模型融合两种数据源中的道路边界点,实现结构化和非结构化道路边界的准确提取与矢量化。该融合过程首先基于点云中的道路边界构建特征图,并以车载影像中的道路边界提取结果为初始轮廓,然后基于道路边界的几何特性构建非闭合Snake模型,最后通过求解该模型实现多源道路边界点的融合,并完成道路边界线的矢量化。将该方法应用于2个城市场景数据集,结果表明：该方法可有效提取形状多样的结构化和非结构化道路边界,对由于遮挡导致的数据不完整和多帧影像中的地物重影具有较强的鲁棒性,对城区道路边界提取的精度、召回率、F1值分别优于95.43%、89.27%、93.38%。
- 道路边界提取 /
- 移动激光扫描（MLS） /
- 多模态数据融合
Abstract:
Objectives
The incomplete data in vehicle-mounted laser point clouds and the large number of overlapping objects among consecutive frames of images have brought great challenges to the extraction of continuous and complete road boundaries.
Methods
To address the above challenges, we propose a road boundary extraction and vectorization method that takes the full advantage of point clouds and panoramic images. First, initial road boundaries are extracted from point clouds and panoramic images respectively. Then, the extracted road boundaries are accurately fused at the result level based on an improved Snake model. The fusion procedure includes three main steps: Feature map generation, mathematical model formulation, and the model solver. With the successful fusion of road boundaries from two modal data, the model finally generates complete and continuous vectorized road boundaries.
Results
Additionally, the effectiveness of the proposed method is demonstrated on two typical urban scene datasets. Experiments elaborate that the proposed method can effectively extract complete and continuous vectorized road boundaries with diverse structures and shapes, in terms of precision, recall, and F1 score better than 95.43%, 89.27%, and 93.38%, respectively.
Conclusions
Compared to the single data source based method, the proposed multimodal data fusion method fully leverages the advantages of 3D point clouds with precise geometrical features and panoramic images with rich textures. The method is robust to data incompleteness due to occlusion and overlapping objects in multi-frame images. Consequently, the extracted vectorized road boundaries are more accurate, complete, and smoother compared to the sole source data based methods, which can support downstream applications such as high definition maps generation, directly.
- road boundary extraction /
- mobile laser scanning (MLS) /
- multi-modal data fusion
http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20230284

HTML全文

高精地图可以提供静态交通环境的精确几何和语义信息,可辅助自动驾驶车辆进行定位、感知和运动规划,是自动驾驶技术的重要基础设施^[1-2]。道路边界作为划定车辆行驶区域的常见结构,不仅是高精度地图的关键要素之一,而且是智能车辆实时感知要素之一,在低阶辅助驾驶系统和高阶自动驾驶汽车中均起着至关重要的作用。

早期的道路边界检测研究主要基于单一传感器,如被动式视觉传感器和主动式激光扫描传感器。相关的道路边界检测方法大致有两类：第一类方法直接检测道路边界结构^[3-6],第二类方法则借助路面分割结果提取道路边界^[7-8]。基于被动式视觉图像的道路边界提取方法主要依赖于道路边界与周围路面的纹理差异,例如文献[3]用具有定向梯度特征的支持向量机分类器提取道路边界点,再通过卡尔曼滤波器对其进行追踪。基于主动式激光扫描数据提取道路边界的方法主要依赖于道路边界结构与周围路面的高程、强度和局部法向差异^[9-11],如文献[12]先将三维激光点云数据根据点特征组织成超体素,生成待选道路边界段,再通过三次贝塞尔曲线拟合、卡尔曼滤波跟踪等算法生成矢量道路边界。此外,也有学者通过将三维激光点云数据组织成高程图、体素格网、占位图等数据形式,实现道路边界的精细提取^[13-16]。总体而言,视觉图像与激光点云数据各有优劣。视觉图像分辨率高,且能够提供丰富的颜色、纹理等属性信息,但其成像效果容易受光照条件、季节变化和天气变化的影响。而激光扫描系统可以获取丰富的空间信息,且其主动成像特性使得点云数据不受光照条件变化的影响,但获取的点云数据离散且密度分布不均匀,给信息提取带来了一定的挑战。

相机和激光扫描仪可以从环境中采集地物不同的属性信息,有效地融合两种传感器数据,可大大增强数据的信息丰富度,因此许多研究者开展了融合多模态数据的目标提取研究,但也面临着多模态数据几何维度不一致、空间基准不一致、空间分辨率不一致等挑战。

目前,数据融合策略主要有源数据级融合、特征级融合、结果级融合和多层次融合。对于道路边界检测而言,大多数研究采用结果级融合策略。文献[17]首先基于扫描线投票算法提取图像中的道路边界,再从激光点云中提取道路边界,最后通过卡尔曼滤波和置信度加权策略融合两种数据源中的道路边界。该方法在结果级层面上实现了多源数据中的道路边界融合,然而该方法很难准确提取边界不清晰、断裂或被车辆遮挡情况下的道路边界。文献[18]首先从车载激光点云中利用图割算法和α-shape算法提取道路边界,然后利用U-Net分割出的道路边界补全从激光点云中提取的道路边界,最后利用空间轨迹数据和遥感图像提取的道路中心线,通过条件生成对抗网络生成细化的道路边界。该方法通过4种数据源实现了道路边界的提取,然而该模型依赖多类型输入数据,对新数据或数据源不充分的场景的泛化能力有限。文献[19]联合激光点云、图像和点云高程梯度,通过卷积递归网络预测结构化道路边界多段线,但该方法仅适用于高速公路等简单场景。基于现有研究,目前融合多模态数据的道路边界提取算法主要面临着多源数据融合困难、数据严重缺失场景中提取结果完整度低、场景泛化能力有限等挑战。

针对以上挑战,本文提出了一种基于非闭合Snake模型的道路边界提取与矢量化方法,该方法通过结果级融合策略有效地融合了分别从点云和全景影像中提取的道路边界,对遮挡导致的数据空洞具有较强的鲁棒性,实现了多类型道路边界（结构化、非结构化）的高精度、高完整度的矢量级提取。

1 道路边界提取与矢量化

如图1所示,本文方法包含两部分：单一源道路边界提取和多源道路边界融合。

图 1 技术路线

Figure 1. Workflow of the Proposed Method

下载: 全尺寸图片幻灯片

1.1 单一源道路边界提取

1.1.1 基于点云的道路边界点提取

本文采用文献[12]提出的点云道路边界提取算法从点云中提取道路边界步骤如下：

1）将地面点云投影至二维规则格网,再将离散、不规则点云数据组织成规则体素网格。

2）将规则格网内高差大于阈值的点重新分配,生成准确地保留了道路边界结构的地面超体素。

3）采用基于收缩距离的聚类方法,克服传统欧氏聚类难以设定阈值的问题,从车载激光点云中提取道路边界点。

1.1.2 基于全景影像的道路边界提取

为保留道路边界的精细细节,本文采用一种动态更新卷积核的语义分割网络^[20]分割全景影像,该网络的参数在城市道路场景大型数据集Cityscapes上训练,本文受该语义分割网络良好的泛化性能启发,无需额外的人工标注,以该网络分割出的机动车行驶路面区域为基础,通过区域生长算法搜索所有道路边界像素的八邻域像素,并根据生长准则生长,直到遍历完所有道路边界像素,实现影像中的道路边界提取。

1.2 多源道路边界融合

从点云中提取的道路边界点几何精度较高,但由于遮挡导致的源数据缺失、高差不明显等原因,使得提取的道路边界不完整。而在大部分场景下,从影像中提取的道路边界完整度较高,但受序列图像拼接、配准误差以及车辆行人遮挡的影响,提取的道路边界存在重叠、偏差等问题。因此,本文进一步融合分别从点云和影像中提取的道路边界结果,以获取高精度、高完整度的道路边界。

为融合分别从点云和影像中提取的道路边界点,首先需将点云数据和影像数据转换到同一坐标系下,然后基于梯度矢量流（gradient vector flow, GVF） Snake模型,通过特征图构建、初始轮廓选取和离散非闭合Snake模型求解,实现点云和影像中提取的道路边界的高精度融合。

1.2.1 点云影像对齐

车载激光扫描系统的各组件刚性固定在扫描平台上,除去随机误差,各组件的相对位置关系可以视为稳定不变。通过扫描仪与相机的内外参即可完成车载影像与点云数据的对齐。

由于相机拍摄时深度未知,难以直接将全景影像像素点转换至点云坐标系中,因此本文首先将点云直角坐标系O_w-X_wY_wZ_w中的点投影至全景球面坐标系O_c-X_cY_cZ_c（φ是与z轴正向的夹角,θ是与y轴正向的夹角）下,再根据球面成像模型将全景球面坐标系下的点映射至全景影像像素坐标系O_img-uv中,从而建立点云与全景影像像素的对应关系,如图2所示。基于此对应关系的逆变换,可将全景影像中的道路边界像素坐标反投影至点云直角坐标系中。点云直角坐标向全景球面坐标系转化的公式为：

图 2 坐标转换示意图

Figure 2. Diagram of Coordinate Transformation

下载: 全尺寸图片幻灯片

\begin{array}{l} [X_{c} & Y_{c} & Z_{c} \end{array}] = R [\begin{array}{l} X_{w} & Y_{w} & Z_{w} \end{array}] + T

(1)

\{\begin{array}{l} θ = a r c t a n (X_{c} / Y_{c}) \\ φ = a r c t a n (\sqrt[]{{X_{c}}^{2} + Y_{c}^{2}} / Z_{c}) \end{array}

(2)

式中,[X_wY_wZ_w]为点云坐标系下点P_w的坐标向量；[X_cY_cZ_c]为P_w转换到全景直角坐标系后的对应点P_c的坐标向量；T为全景直角坐标系与点云直角坐标系的平移向量；R为旋转矩阵；P' $(φ, θ)$ 为对应的全景球面坐标系中的点； $φ$ 为P'与z轴正向的夹角； $θ$ 为P'与y轴正向的夹角。

全景球面坐标系上的点 $P^{'}$ 通过圆柱投影转换至全景像素坐标系上点 $p^{'} (u, v)$ 的计算公式为：

\{\begin{array}{l} u = i n t (W \frac{θ}{2 π}) \\ v = i n t (H \frac{φ}{π}) \end{array}

(3)

式中,W为全景影像的宽度；H为全景影像的高度。

1.2.2 基于Snake模型的道路边界融合

通过特征图构建、Snake模型构建和离散非闭合Snake模型求解,实现了点云和影像中提取的道路边界的高精度融合。

1）特征图构建。本文通过将三维点云投影至xoy平面构建特征图,首先确定基于收缩距离聚类得到的道路边界点云的外包围框,然后在道路边界点云的外包围框内的 $x o y$ 平面上划分格网,并将提取出的道路边界点投影至格网内。道路边界点投影坐标的计算公式为：

\{\begin{array}{l} i = ⌊(y - y_{m i n}) / r⌋ \\ j = ⌊(x - x_{m i n}) / r⌋ \end{array}

(4)

式中, $x_{m i n}$ 、 $y_{m i n}$ 是道路边界点云的包围框在x轴和y轴上的最小值；r表示 $x o y$ 平面上二维规则格网单元的大小；i、j分别表示点（x,y,z）投影至 $x o y$ 平面上的格网的行号和列号； $⌊*⌋$ 为向下取整。

对 $x o y$ 平面上每个格网判断是否有道路边界点云落入：若有,那么这个网格的特征值被设定为1；若没有,则该网格的特征值被设定为0,从而完成二值灰度特征图的构建。

2）Snake模型构建。Snake模型^[21]通过在特征图上移动曲线节点最小化曲线模型能量泛函,设曲线为 $φ (s) = [x (s), y (s)], s \in [0,1]$ ,则该能量泛函包括曲线的内部与外部能量：

E = \int E_{i n t} (φ (s)) + E_{e x t} (φ (s)) d s

(5)

式中,E为能量函数； $φ$ （s）为轮廓线；E_ext为外部能量；E_int为内部能量。

本文Snake模型的初始轮廓由从影像中提取的道路边界确定,首先将影像道路边界点反算至点云坐标下,然后按图像序列拼接道路边界,并剔除距离轨迹较远的离群值,最后将其投影至xoy平面即得到初始轮廓线。

内部能量E_int可表达为：

E_{i n t} (φ (s)) = \frac{1}{2} (α {|φ^{'} (s)|}^{2} + β {|φ^{″} (s)|}^{2})

(6)

式中, $α$ 和 $β$ 分别是控制曲线的弹性和刚性（即连续性和光滑性）的权重参数； $φ^{'} (s)$ 和 $φ^{″} (s)$ 是 $φ (s)$ 关于s的一阶和二阶导数。

为解决传统Snake模型对初始轮廓敏感,且难以准确收敛到凹形曲线的问题,本文采用GVF^[22]代替传统Snake模型中的 $E_{e x t} (φ (s))$ 。通过最小化能量函数可得到图像的GVF：V（x,y）=（u（x,y）, v（x,y））。其中,能量函数为：

\begin{array}{l} E_{e x t} = \iint μ (u_{x}^{2} + u_{y}^{2} + v_{x}^{2} + v_{y}^{2}) + \\ | \nabla f |^{2} | V - \nabla f |^{2} d x d y \end{array}

(7)

式中, $f (x, y)$ 为边界图； $\nabla f$ 为边界图 $f (x, y)$ 的梯度； $μ$ 为权重系数；u、v分别表示GVF场在x、y方向上的分量； $u_{x}$ 、 $u_{y}$ 和 $v_{x}$ 、 $v_{y}$ 分别为 $u$ 、 $v$ 在x、y方向的偏导数。

3）Snake模型求解。传统Snake模型的求解本质上是一个变分问题,本文在离散空间中求解道路边界Snake模型,用差分近似微分,以便能够通过迭代的方式得到数值解。因此,使用欧拉-拉格朗日方程最小化能量函数,得到等式：

α φ^{″} (s) - β φ^{''''} (s) - \nabla E_{e x t} (φ (s)) = 0

(8)

式中, $φ^{″} (s)$ 和 $φ^{''''} (s)$ 是 $φ (s)$ 关于s的二阶和四阶导数。

将曲线演化看作时间t的函数,可得到如下迭代公式：

\begin{array}{l} \frac{φ^{t + 1} (s) - φ^{t} (s)}{Δ t} = α (φ_{i + 1}^{t + 1} - 2 φ_{i}^{t + 1} + φ_{i - 1}^{t + 1}) - \\ β (φ_{i + 2}^{t + 1} - 4 φ_{i + 1}^{t + 1} + 6 φ_{i}^{t + 1} - \\ 4 φ_{i - 1}^{t + 1} + φ_{i - 2}^{t + 1}) + E_{e x t} (φ^{t} (s)) \end{array}

(9)

在迭代收敛过程中,内力受到内力矩阵的控制,内力矩阵公式为：

[\begin{matrix} r & q & p & p & q \\ q & r & q & p & p \\ p & q & r & q & p \\ ⋱ & ⋱ & ⋱ & ⋱ & ⋱ \\ p & q & r & q & p \\ p & p & q & r & q \\ q & p & p & q & r \end{matrix}]

(10)

式中,p、q、r是关于α、β和γ的一次函数,p=β,q=-α -4β,r=γ+2α+6β。

由于道路边界是非闭合的轮廓线,在起始点和终点处一阶导数不连续,在第2个点和倒数第2个点处具有一阶连续性。由此修改内力矩阵可得到非闭合轮廓线的内力矩阵为：

[\begin{matrix} 0 & 0 & 0 & 0 & 0 \\ - α & 2 α & - α & 0 \\ p & q & r & q & p \\ ⋱ & ⋱ & ⋱ & ⋱ & ⋱ \\ p & q & r & q & p \\ 0 & 0 & - α & 2 α & - α \\ 0 & 0 & 0 & 0 & 0 \end{matrix}]

(11)

对于Snake模型中的 $E_{e x t} (φ (s))$ ,也即GVF,也通过最小化能量函数式（7）求解。为求能量函数的最小值,一般采用变分法求解。可通过求解以下欧拉方程来求解GVF：

\{\begin{array}{l} μ \nabla^{2} u - (u - f_{x}) (f_{x}^{2} + f_{y}^{2}) = 0 \\ μ \nabla^{2} v - (u - f_{y}) (f_{x}^{2} + f_{y}^{2}) = 0 \end{array}

(12)

式中,f_x为边界图 $f (x, y)$ 关于x的偏导数,f_y为边界图 $f (x, y)$ 关于y的偏导数。

将 $u$ 和 $v$ 看作关于时间t的函数,并用有限差分法离散化迭代求解,可得到GVF场的离散迭代方程为：

\{\begin{array}{l} u_{i, j}^{n + 1} = (1 - b_{i, j} Δ t) u_{i, j}^{n} + c_{i, j}^{1} Δ t + r (u_{i + 1, j}^{n} + \\ u_{i, j + 1}^{n} + u_{i - 1, j}^{n} + u_{i, j - 1}^{n} + 4 u_{i, j}^{n}) \\ v_{i, j}^{n + 1} = (1 - b_{i, j} Δ t) v_{i, j}^{n} + c_{i, j}^{2} Δ t + r (v_{i + 1, j}^{n} + \\ v_{i, j + 1}^{n} + v_{i - 1, j}^{n} + v_{i, j - 1}^{n} + 4 v_{i, j}^{n}) \\ b (x, y) = f_{x} {(x, y)}^{2} + f_{y} {(x, y)}^{2} \\ c^{1} (x, y) = b (x, y) f_{x} (x, y) \\ c^{2} (x, y) = b (x, y) f_{y} (x, y) \\ r = \frac{μ Δ t}{Δ x Δ y} \end{array}

(13)

式中, $∆ t$ 为每次迭代的时间步长。

将GVF代入Snake模型的迭代方程式（9）,通过迭代逼近边界,实现点云道路边界与影像道路边界的融合。

为进一步得到平滑的道路边界矢量线,本文对融合后的离散道路边界点进行了矢量化。道路线型一般包括直线和曲线^[23],为得到精确的拟合结果,本文首先采用Douglas-Peucker^[24-25]算法记录切线变化剧烈的分割点,并在分割点处对道路分段；然后,通过局部加权回归散点平滑法^[26]分段拟合融合后的道路边界点；最终,实现了高精度、高完整度的道路边界的提取与矢量化。

2 道路边界提取实验结果与分析

2.1 实验数据

本文选取了上海和武汉复杂城区数据测试该方法的有效性。上海点云数据由AS-900HL多平台激光雷达测量系统采集,武汉市点云数据由HiScan-Z 3D激光移动测量系统采集,全景影像数据均由LadyBug全景视觉系统采集,两组数据均获取了高精度的点云和高清的全景影像数据。其中,上海市实验路段总长约为4.5 km,共有约36亿个激光扫描点以及约2 000张分辨率为8 192×4 096像素的全景图像。武汉市实验数据路段总长约为1.1 km,共有约5亿个激光雷达点以及约110张分辨率为8 192×4 096像素的全景图像。上海实验数据包括结构化（与路面有固定高差）与非结构化（与道路无固定高差）道路边界,武汉实验数据主要为结构化道路边界,但数据的道路边界存在大量由于机动车遮挡导致的缺失,两组数据的道路边界处均存在大量道路出入口。实验数据的详细信息见表1,覆盖的区域如图3所示。

表 1 数据集信息

Table 1. Dataset Description

数据集	道路环境	覆盖范围/km²	道路长度/km
上海张江区	城区	0.8×0.3	4.5
武汉高新区	城区	1.4×2.0	1.1

下载: 导出CSV

| 显示表格

图 3 测区范围

Figure 3. Experimental Areas

下载: 全尺寸图片幻灯片

2.2 评价指标

本文的真值数据通过Cloud Compare软件^[27]人工标注得到,并补全了由于遮挡等导致的缺失的道路边界,并以多段线的形式存储。定量评价时,等距离采样真值多段线形成等间隔有序点集；同时对提取出的矢量化道路边界以相同距离等间隔采样得到有序点集。当提取的道路边界点在真值缓冲区内时,视为真阳性（true positive,TP）点,否则为假阳性（false positive,FP）点,缺失的点为假阴性（false negative,FN）点。本文缓冲区半径取值为5 cm,并利用精度P、召回率R和综合评估指数F1值来定量进行精度评价。计算公式为：

\{\begin{array}{l} P = \frac{T_{P}}{T_{P} + F_{P}} \times 100 % \\ R = \frac{T_{P}}{T_{P} + F_{N}} \times 100 % \\ F 1 = \frac{2 P R}{P + R} \times 100 % \end{array}

(14)

式中, $T_{P}$ 表示TP点数； $F_{P}$ 表示FP点数； $F_{N}$ 表示FN点数。

2.3 实验设置

GVF Snake模型的曲线弹性和刚性受参数 $α$ 和 $β$ 控制。 $α$ 控制的是Snake的拉伸特性, $α$ 越大,Snake向内收缩的力量越大； $β$ 控制Snake的弯曲特性, $β$ 越大,Snake的抗弯曲的力量越大。对于城市场景而言,城市道路宽度变化较缓慢,且存在大量出入口,因此对连续性的要求高于光滑性,参数 $α$ 的取值一般相较于 $β$ 的取值大。若参数 $β$ 的取值过大,Snake曲线会难以收敛。经大量实验测试后,本文Snake模型的权重 $β$ 设为0.02, $α$ 设为0.98。迭代步长γ设置为0.5。实验参数如表2所示。

表 2 实验参数说明

Table 2. Parameters Description and Setting

参数	描述	值
r	特征图格网分辨率	0.05
$α$	Snake模型的弹性参数	0.98
$β$	Snake模型的刚性参数	0.02
γ	Snake模型的迭代步长	0.5

下载: 导出CSV

| 显示表格

2.4 实验结果

本文方法在两份测试数据中提取出的矢量化道路边界及其叠加至原始点云数据上的效果分别如图4、图5所示。此外,本文还放大显示了部分道路边界的局部细节,图4（a）、4（b）和图5 （a）、4（b）分别展示了本文方法所提取的直线道路和弯曲道路的道路边界结果,图5（c）展示了路口的提取效果；在图4（c）以花坛隔离带作为道路边界的场景中,本文方法依然可准确地提取出平滑且完整的矢量化道路边界。

图 4 上海数据实验结果

Figure 4. Experimental Results of Shanghai Dataset

下载: 全尺寸图片幻灯片

图 5 武汉数据实验结果

Figure 5. Experimental Results of Wuhan Dataset

下载: 全尺寸图片幻灯片

两份数据的定量评价结果见表3。本文方法在上海数据集上的道路边界提取精度达到97.89%,召回率达到89.27%,F1值达到93.38%。在武汉数据集上的道路边界提取精度达到95.43%,召回率达到96.71%,F1值达到96.06%。定性和定量实验结果表明,本文方法可精准地提取和矢量化城区场景中的大部分道路边界,且实验结果与真实道路边界位置贴合良好。

表 3 实验数据定量评价结果/%

Table 3. Quantitative Evaluation of Two Datasets/%

数据集	精度	召回率	F1值
上海张江区	97.89	89.27	93.38
武汉高新区	95.43	96.71	96.06

下载: 导出CSV

| 显示表格

为了进一步验证本文提出的融合全景影像与点云提取道路边界方法的优势,从测试数据集中选择了约1 km的局部挑战路段（存在非结构化道路边界和大量遮挡导致的点云数据不完整的路段）,将本文方法与仅基于点云进行道路边界提取的两种方法（文献[12]和文献[14]）进行对比。图6展示了3种方法在部分挑战场景下的提取结果。对于图6（a）中高度差异不明显的非结构化道路边界,文献[12]和文献[14]的方法均未能提取出平滑的道路边界,而本文的多模态数据融合方法实现了非结构化道路边界的完整且平滑的提取；图6（b）所示的大量道路边界被车辆遮挡的场景,仅使用点云的方法漏提取了部分被遮挡的道路边界,而本文方法能够完整地提取出点云中被遮挡的道路边界；针对图6（c）中的隔离带路段,文献[12]及文献[14]方法的提取结果均出现了明显的误提取和漏提取,而本文方法能够更精准地提取复杂的异形道路边界。

图 6 本文方法和文献[12]、文献[14]方法道路边界提取结果

Figure 6. Road Boundary Extraction Results by Methods Proposed by Reference [12], Reference [14] and Ours

下载: 全尺寸图片幻灯片

表4展示了局部挑战路段3种方法的定量对比结果及效率统计。从表4可以看出,本文方法的精度、召回率以及F1值均优于文献[12]和文献[14]的方法。综上所述,本文提出的点云与影像融合的道路边界提取方法充分发挥了点云和影像两种数据的优势,在点云道路边界提取结果的基础上,一方面通过影像丰富的纹理信息补充在点云中特征不明显、提取精度低的非结构化道

表 4 定量对比结果

Table 4. Quantitative Comparison Results

方法	精度/%	召回率/%	F1值/%	效率/(s∙m^－1)
本文方法	96.64	96.89	96.76	1.00
文献[12]	95.66	95.52	95.59	0.18
文献[14]	90.90	84.08	87.35	0.69

下载: 导出CSV

| 显示表格

路边界,另一方面通过影像中提取的道路边界引导点云数据空洞严重场景中的道路边界的提取,显著提升了此场景下道路边界提取结果的完整性。但由于采用了两种数据源,在道路边界提取效率上低于单一数据源的两种方法。

2.5 错误案例

图7展示了道路边界提取实验中的几个错误案例。图7（a）展示了少数情况下由于影像语义分割结果欠佳导致从影像中提取的道路边界存在大量噪声,进一步影响了路口处的道路边界提取的完整度,而当影像语义分割效果提升后,此类错误将显著减少；图7（b）展示了一路口处Snake模型求解错误导致不准确的道路边界提取结果。

图 7 错误案例

Figure 7. Error Cases

下载: 全尺寸图片幻灯片

3 结语

本文提出了融合点云与全景影像的道路边界提取与矢量化方法,采用改进的Snake模型实现了点云和影像中提取的道路边界的结果级融合,并通过上海和武汉城区数据集验证了该方法的有效性。实验结果表明,本文方法综合了点云和全景影像数据的优点,融合了点云精确的三维坐标信息与图像的颜色、纹理等属性信息,能较好地适应由行人、车辆的遮挡导致的道路边界缺失和非结构化道路边界等挑战性场景,获得了精度更高、更完整、更平滑的矢量级道路边界结果。在本文实验数据上,道路边界提取的精度、召回率和F1值至少达到95.43 %、89.27 %、93.38 %。本文提出的道路边界提取方法可直接提取矢量三维道路边界,提取结果可直接应用于基础地理信息数据的更新,也可服务于高精度地图构建、道路几何参数计算以及城市规划等。

http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20230284

图 1 技术路线

Figure 1. Workflow of the Proposed Method

下载: 全尺寸图片幻灯片

图 2 坐标转换示意图

Figure 2. Diagram of Coordinate Transformation

下载: 全尺寸图片幻灯片

图 3 测区范围

Figure 3. Experimental Areas

下载: 全尺寸图片幻灯片

图 4 上海数据实验结果

Figure 4. Experimental Results of Shanghai Dataset

下载: 全尺寸图片幻灯片

图 5 武汉数据实验结果

Figure 5. Experimental Results of Wuhan Dataset

下载: 全尺寸图片幻灯片

图 6 本文方法和文献[12]、文献[14]方法道路边界提取结果

Figure 6. Road Boundary Extraction Results by Methods Proposed by Reference [12], Reference [14] and Ours

下载: 全尺寸图片幻灯片

图 7 错误案例

Figure 7. Error Cases

下载: 全尺寸图片幻灯片

表 1 数据集信息

Table 1 Dataset Description

数据集道路环境覆盖范围/km² 道路长度/km

上海张江区城区 0.8×0.3 4.5
武汉高新区城区 1.4×2.0 1.1

下载: 导出CSV

表 2 实验参数说明

Table 2 Parameters Description and Setting

参数描述值

r 特征图格网分辨率 0.05
$α$ Snake模型的弹性参数 0.98
$β$ Snake模型的刚性参数 0.02
γ Snake模型的迭代步长 0.5

下载: 导出CSV

表 3 实验数据定量评价结果/%

Table 3 Quantitative Evaluation of Two Datasets/%

数据集精度召回率 F1值

上海张江区 97.89 89.27 93.38
武汉高新区 95.43 96.71 96.06

下载: 导出CSV

表 4 定量对比结果

Table 4 Quantitative Comparison Results

方法精度/% 召回率/% F1值/% 效率/(s∙m^－1)

本文方法 96.64 96.89 96.76 1.00
文献[12] 95.66 95.52 95.59 0.18
文献[14] 90.90 84.08 87.35 0.69

下载: 导出CSV

参考文献(27)

[1]	Ying Shen, Jiang Yuewen, Gu Jiangyan, et al. High Definition Map Model for Autonomous Driving and Key Technologies [J]. Geomatics and Information Science of Wuhan University, 2023, DOI： 10.13203/j.whugis20230227. （应申,蒋跃文,顾江岩,等.面向自动驾驶的高精地图模型及关键技术[J].武汉大学学报（信息科学版）, 2023,DOI： 10.13203/j.whugis20230227.） doi: 10.13203/j.whugis20230227
[2]	Li Bijun, Guo Yuan, Zhou Jian, et al. Development and Prospects of High Definition Map for Intelligent Vehicle[J]. Geomatics and Information Science of Wuhan University, 2023, DOI： 10.13203/j.whugis20230287. （李必军,郭圆,周剑,等.智能驾驶高精地图发展与展望[J].武汉大学学报（信息科学版）,2023,DOI： 10.13203/j.whugis20230287.） doi: 10.13203/j.whugis20230287
[3]	Prinet V,Wang J S,Lee J, et al.3D Road Curb Extraction from Image Sequence for Automobile Parking Assist System[C]//IEEE International Conference on Image Processing,Phoenix,USA, 2016.
[4]	Seibert A, Hähnel M, Tewes A, et al. Camera Based Detection and Classification of Soft Shoulders, Curbs and Guardrails[C]//IEEE Intelligent Vehicles Symposium, Gold Coast, Australia, 2013.
[5]	Rasmussen C.Texture-Based Vanishing Point Voting for Road Shape Estimation[C]/The British Machine Vision Conference, Kingston, 2004.
[6]	Oniga F, Nedevschi S. Polynomial Curb Detection Based on Dense Stereovision for Driving Assistance[C]//The 13th International IEEE Conference on Intelligent Transportation Systems,Funchal, Portugal,2010.
[7]	Zhu W N, Chen Q, Wang H. Lane Detection in some Complex Conditions[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, China, 2006.
[8]	Chiu K Y, Lin S F. Lane Detection Using Color-Based Segmentation[C]//IEEE Intelligent Vehicles Symposium, Las Vegas, USA, 2005.
[9]	周淑芳, 李增元, 范文义, 等. 基于机载激光雷达数据的DEM获取及应用[J]. 遥感技术与应用, 2007, 22（3）： 356-360. Zhou Shufang, Li Zengyuan, Fan Wenyi, et al. DEM Extraction and Its Application Based on Airborne LiDAR Data[J]. Remote Sensing Technology and Application, 2007, 22（3）： 356-360.
[10]	Serna A, Marcotegui B. Urban Accessibility Diagnosis from Mobile Laser Scanning Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 84： 23-32.
[11]	韩婷, 杨必胜, 袁鹏飞, 等. OSM辅助的车载激光点云道路三维矢量边界提取[J]. 测绘科学技术, 2018, 6（2）： 13. Han Ting, Yang Bisheng, Yuan Pengfei, et al. OSM-Assisted Extraction of 3D Vector Boundary from Mobile Laser Scanning Point Cloud[J]. Geomatics Science and Technology, 2018, 6（2）： 13.
[12]	Mi X X, Yang B S, Dong Z, et al. Automated 3D Road Boundary Extraction and Vectorization Using MLS Point Clouds[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23（6）：5287-5297.
[13]	Siegemund J, Pfeiffer D, Franke U, et al. Curb Reconstruction Using Conditional Random Fields[C]//IEEE Intelligent Vehicles Symposium, La Jolla, USA, 2010.
[14]	Zai D W,Li J, Guo Y L, et al. 3-D Road Boundary Extraction from Mobile Laser Scanning Data via Supervoxels and Graph Cuts[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19（3）： 802-813.
[15]	Zhou L, Vosselman G. Mapping Curbstones in Airborne and Mobile Laser Scanning Data[J]. International Journal of Applied Earth Observation and Geoinformation, 2012, 18： 293-304.
[16]	Yang B S, Liu Y, Dong Z, et al. 3D Local Feature BKD to Extract Road Information from Mobile Laser Scanning Point Clouds[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2017,130： 329-343.
[17]	Janda F, Pangerl S, Lang E, et al. Road Boundary Detection for Run-off Road Prevention Based on the Fusion of Video and Radar[C]//IEEE Intelligent Vehicles Symposium, Gold Coast, Australia, 2013.
[18]	Wen C L, You C B, Wu H, et al. Recovery of Urban 3D Road Boundary via Multi-source Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 156： 184-201.
[19]	Liang J, Homayounfar N, Ma W C, et al. Convolutional Recurrent Network for Road Boundary Extraction[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,USA, 2019.
[20]	Zhang W, Pang J, Chen K, et al. K-Net： Towards Unified Image Segmentation[J]. Advances in Neural Information Processing Systems, 2021, 34： 10326-10338.
[21]	Kass M, Witkin A, Terzopoulos D. Snakes： Active Contour Models[J]. International Journal of Computer Vision, 1988, 1（4）： 321-331.
[22]	Xu C Y, Prince J L. Gradient Vector Flow： A New External Force for Snakes[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Juan, USA, 2002.
[23]	Martín-Jiménez J A,Zazo S,Justel J J A,et al. Road Safety Evaluation Through Automatic Extraction of Road Horizontal Alignments from Mobile LiDAR System and Inductive Reasoning Based on a Decision Tree[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 146： 334-346.
[24]	Douglas D H, Peucker T K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or Its Caricature[J].Cartographica： The International Journal for Geographic Information and Geovisualization,1973,10（2）： 112-122.
[25]	Liu M S, He G F, Long Y. A Semantics-Based Trajectory Segmentation Simplification Method[J]. Journal of Geovisualization and Spatial Analysis, 2021, 5（2）： 19.
[26]	Cleveland W S. Robust Locally Weighted Regression and Smoothing Scatterplots[J]. Journal of the American Statistical Association,1979,74（368）： 829-836.
[27]	Montaut G. Cloud Compare [EB/OL].（2006-02-17）[2023-07-31].https：//www.danielgm.net/cc/main.html.

施引文献(4)

期刊类型引用(4)

1.	马浩，刘凤珠，裴智惠，曹明亮，赵亚丽. SSW移动测量系统在道路实景三维建设中的应用. 北京测绘. 2024(04): 532-537 . 百度学术
2.	任德旺. 基于无人机航测技术的农村建筑物矢量化方法研究. 测绘技术装备. 2024(03): 36-39 . 百度学术
3.	王泽华. 基于车载点云的道路边界精细提取方法. 北京测绘. 2024(12): 1699-1704 . 百度学术
4.	金帅，蒋飞熊，陈进华. 基于车载LiDAR点云数据的杆状地物分类模型. 北京测绘. 2024(12): 1718-1723 . 百度学术

其他类型引用(0)

资源附件(0)

图(7) / 表(4)

计量

文章访问数: 431
HTML全文浏览量: 96
PDF下载量: 133
被引次数: 4

1 道路边界提取与矢量化
1.1 单一源道路边界提取
1.1.1 基于点云的道路边界点提取
1.1.2 基于全景影像的道路边界提取
1.2 多源道路边界融合
1.2.1 点云影像对齐
1.2.2 基于Snake模型的道路边界融合
2 道路边界提取实验结果与分析
2.1 实验数据
2.2 评价指标
2.3 实验设置
2.4 实验结果
2.5 错误案例
3 结语

1 道路边界提取与矢量化
1.1 单一源道路边界提取
1.1.1 基于点云的道路边界点提取
1.1.2 基于全景影像的道路边界提取
1.2 多源道路边界融合
1.2.1 点云影像对齐
1.2.2 基于Snake模型的道路边界融合
2 道路边界提取实验结果与分析
2.1 实验数据
2.2 评价指标
2.3 实验设置
2.4 实验结果
2.5 错误案例
3 结语

参考文献(27)

施引文献

资源附件(0)

融合车载影像与点云的道路边界提取与矢量化

作者简介: 李庞胤,硕士,主要从事三维场景理解、高精地图生成研究。lipangyin@whu.edu.cn

通讯作者: 米晓新,博士。mixiaoxin@whu.edu.cn

计量

出版历程