留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种基于条件生成式对抗网络的道路提取方法

陆川伟 孙群 赵云鹏 孙士杰 马京振 程绵绵 李元復

陆川伟, 孙群, 赵云鹏, 孙士杰, 马京振, 程绵绵, 李元復. 一种基于条件生成式对抗网络的道路提取方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159
引用本文: 陆川伟, 孙群, 赵云鹏, 孙士杰, 马京振, 程绵绵, 李元復. 一种基于条件生成式对抗网络的道路提取方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159
LU Chuanwei, SUN Qun, ZHAO Yunpeng, SUN Shijie, MA Jingzhen, CHENG Mianmian, LI Yuanfu. A Road Extraction Method Based on Conditional Generative Adversarial Nets[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159
Citation: LU Chuanwei, SUN Qun, ZHAO Yunpeng, SUN Shijie, MA Jingzhen, CHENG Mianmian, LI Yuanfu. A Road Extraction Method Based on Conditional Generative Adversarial Nets[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159

一种基于条件生成式对抗网络的道路提取方法

doi: 10.13203/j.whugis20190159
基金项目: 

国家自然科学基金 41571399

详细信息
    作者简介:

    陆川伟, 博士生, 主要从事轨迹数据挖掘与地图更新研究。19wei.90chuan@163.com

    通讯作者: 孙群, 博士, 教授。sunqun@371.net
  • 中图分类号: P208

A Road Extraction Method Based on Conditional Generative Adversarial Nets

Funds: 

The National Natural Science Foundation of China 41571399

More Information
    Author Bio:

    LU Chuanwei, PhD candidate, majors in trajectory data mining and map revision. E-mail: 19wei.90chuan@163.com

    Corresponding author: SUN Qun, PhD, professor. E-mail: sunqun@371.net
  • 摘要: 基于车辆轨迹数据的道路信息提取是地理信息领域的热点也是难点之一, 传统方法面临着轨迹数据源要求高、道路提取算法复杂、不同道路提取模型参数适应性不强等问题。针对以上问题, 提出基于条件生成式对抗网络的轨迹地图向道路地图转换的轨迹-道路转换方法。该方法以轨迹数据与道路数据的对应关系为先验知识, 通过“生成-博弈”的不断循环逐渐逼近最优结果, 学习优化条件生成式对抗网络模型参数。首先将轨迹数据栅格化处理, 然后基于样本数据学习优化条件生成式对抗网络参数, 最后将训练好的模型应用到整个实验区域提取道路数据, 发现所提方法可以有效地发现新增道路; 同时将训练好的轨迹-道路转换模型与栅格化道路提取方法对比, 发现所提方法在轨迹稀疏稠密区域都有更强的轨迹数据适应性, 且生成的道路精确率更高。
  • 图  1  轨迹数据道路提取流程

    Figure  1.  Flowchart of Road Extraction from Trajectory Data

    图  2  样本数据增强

    Figure  2.  Sample Data Augmentation

    图  3  TR-CGAN模型结构

    Figure  3.  Model Structure of TR-CGAN

    图  4  不同深度U-Net模型生成道路对比图

    Figure  4.  Comparison of Generated Roads of Different Depths U-Net Models

    图  5  不同深度U-Net模型训练过程目标函数损失值变化曲线

    Figure  5.  Loss Curve of Objective Function in Different Depth U-Net Models Training Process

    图  6  不同感受野尺寸生成道路对比图

    Figure  6.  Comparison of Generated Roads of Different Receptive Field Sizes

    图  7  不同尺寸感受野训练过程目标函数损失值变化曲线

    Figure  7.  Loss Curve of Objective Function in Different Receptive Field Sizes Training Process

    图  8  不同目标函数的模型生成道路对比图

    Figure  8.  Comparison of Generated Roads of Different Objective Function Models

    图  9  实验数据分布

    Figure  9.  Distribution of Experimental Data

    图  10  TR-CGAN模型提取道路与影像数据叠加图

    Figure  10.  Overlay Map of Road Extracted from TR-CGAN and Romote Sensing Image

    图  11  新增道路区域提取道路叠加图

    Figure  11.  Overlay Map of Road Extracted from Added Road Area

    图  12  轨迹稀疏区域提取道路叠加图

    Figure  12.  Overlay Map of Road Extracted from Trajectory Sparse Area

    表  1  不同道路提取方法的评价指标对比表

    Table  1.   Comparison of Evaluation Indicators of Different Road Extraction Methods

    道路提取方法 P R
    TR-CGAN模型 0.88 0.62
    文献[10]栅格化方法 0.61 0.60
    下载: 导出CSV
  • [1] Edelkamp S, Schrödl S. Route Planning and Map Inference with Global Positioning Traces[M]. Heidelberg: Springer, 2003
    [2] Schroedl S, Wagstaff K, Rogers S, et al. Mining GPS Traces for Map Refinement[J]. Data Mining & Knowledge Discovery, 2004, 9(1): 59-87
    [3] Worrall S, Nebot E. Automated Process for Generating Digitised Maps Through GPS Data Compression[C]//Australasian Conference on Robotics and Automation, Brisbane, Queensland, Australia, 2007
    [4] Jang S, Kim T, Lee E. Map Generation System with Lightweight GPS Trace Data[C]// International Conference on Advanced Communication Technology, Gangwon-Do, South Korea, 2010
    [5] Cao L, Krumm J. From GPS Traces to a Routable Road Map[C]//The 17th ACM SIGSPATIAL International Symposium on Advances in Geographic Information Systems, Seattle, Washington D C, USA, 2009
    [6] Niehöfer B, Burda R, Wietfeld C, et al. GPS Community Map Generation for Enhanced Routing Methods Based on Trace-Collection by Mobile Phones[C]//The 1st International Conference on Advances in Satellite and Space Communications, Colmar, Alsace, France, 2009
    [7] 杨伟, 艾廷华. 基于众源轨迹数据的道路中心线提取[J]. 地理与地理信息科学, 2016, 32(3): 1-7 doi:  10.3969/j.issn.1672-0504.2016.03.001

    Yang Wei, Ai Tinghua. Road Centerline Extraction from Crowdsourcing Trajectory Data[J]. Geography and Geo-Information Science, 2016, 32(3): 1-7 doi:  10.3969/j.issn.1672-0504.2016.03.001
    [8] Davies J J, Beresford A R, Hopper A. Scalable, Distributed, Real-Time Map Generation[J]. IEEE Pervasive Computing, 2006, 5(4): 47-54 doi:  10.1109/MPRV.2006.83
    [9] 孔庆杰, 史文欢, 刘允才. 基于GPS轨迹的矢量路网地图自动生成方法[J]. 中国科学技术大学学报, 2012, 42(8): 623-627 https://www.cnki.com.cn/Article/CJFDTOTAL-ZKJD201208007.htm

    Kong Qingjie, Shi Wenhuan, Liu Yuncai. A GPS-Track-Based Method for Automatically Generating Road-Network Vector Map[J]. Journal of University of Science and Technology of China, 2012, 42(8): 623-627 https://www.cnki.com.cn/Article/CJFDTOTAL-ZKJD201208007.htm
    [10] 蒋益娟, 李响, 李小杰, 等. 利用车辆轨迹数据提取道路网络的几何特征与精度分析[J]. 地球信息科学学报, 2012, 14(2): 165-170 https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201202003.htm

    Jiang Yijuan, Li Xiang, Li Xiaojie, et al. Geometrical Characteristics Extraction and Accuracy Analysis of Road Network Based on Vehicle Trajectory Data[J]. Journal of Geo-information Science, 2012, 14(2): 165-170 https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201202003.htm
    [11] Van Winden K, Biljecki F, Der Spek S V, et al. Automatic Update of Road Attributes by Mining GPS Tracks[J]. Transactions in GIS, 2016, 20(5): 664-683 doi:  10.1111/tgis.12186
    [12] 唐炉亮, 杨雪, 靳晨, 等. 基于约束高斯混合模型的车道信息获取[J]. 武汉大学学报·信息科学版, 2017, 42(3): 341-347 doi:  10.13203/j.whugis20140965

    Tang Luliang, Yang Xue, Jin Chen, et al. Traffic Lane Number Extraction Based on the Constrained Gaussian Mixture Model[J]. Geomatics and Information Science of Wuhan University, 2017, 42(3): 341-347 doi:  10.13203/j.whugis20140965
    [13] 米春蕾, 彭玲, 姚晓婧, 等. 基于浮动车轨迹数据的路网快速提取[J]. 地理与地理信息科学, 2019, 35(1): 12-19 doi:  10.3969/j.issn.1672-0504.2019.01.003

    Mi Chunlei, Peng Ling, Yao Xiaojing, et al. Rapid Extraction of Road Network Based on Floating Vehicle Trajectory Data[J]. Geography and Geo-Information Science, 2019, 35(1): 12-19 doi:  10.3969/j.issn.1672-0504.2019.01.003
    [14] Goodfellow I J, Pougetabadie J, Mirza M, et al. Generative Adversarial Nets[C]. Advances in Neural Information Processing Systems(NIPS), Montreal, Canada, 2014
    [15] Mirza M, Osindero S. Conditional Generative Adversarial Nets[J/OL]. https://arxiv.org/abs/1411.1784, 2014
    [16] Isola P, Zhu J, Zhou T, et al. Image-to-Image Translation with Conditional Adversarial Networks[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii, USA, 2017
    [17] Zhu J, Park T, Isola P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]//The IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017
    [18] Ronneberger O, Fischer P, Brox T, et al. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]//The 18th International Conference on Medical Image Computing and Computer Assisted Intervention, Munich, Germany, 2015
  • [1] 徐虹, 王禄斌, 方志祥, 何明辉, 侯学成, 左亮, 管昉立, 熊策, 龚毅宇, 庞晴霖, 张涵, 孙树藤, 娜迪热∙艾麦尔.  街景影像下的临街建筑风格映射及地图生成方法 . 武汉大学学报 ● 信息科学版, 2021, 46(5): 659-671. doi: 10.13203/j.whugis20200445
    [2] 陈行, 罗斌.  利用动态上采样滤波深度网络进行多角度遥感影像超分辨率重建 . 武汉大学学报 ● 信息科学版, 2021, 46(11): 1716-1726. doi: 10.13203/j.whugis20200651
    [3] 周于涛, 吴华意, 成洪权, 郑杰, 李学锡.  结合自注意力机制和结伴行为特征的行人轨迹预测模型 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1989-1996. doi: 10.13203/j.whugis20200159
    [4] 郭旦怀, 张鸣珂, 贾楠, 王彦棡.  融合深度学习技术的用户兴趣点推荐研究综述 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1890-1902. doi: 10.13203/j.whugis20200334
    [5] 巨袁臻, 许强, 金时超, 李为乐, 董秀军, 郭庆华.  使用深度学习方法实现黄土滑坡自动识别 . 武汉大学学报 ● 信息科学版, 2020, 45(11): 1747-1755. doi: 10.13203/j.whugis20200132
    [6] 潘银, 邵振峰, 程涛, 贺蔚.  利用深度学习模型进行城市内涝影响分析 . 武汉大学学报 ● 信息科学版, 2019, 44(1): 132-138. doi: 10.13203/j.whugis20170217
    [7] 邵振峰, 张源, 黄昕, 朱秀丽, 吴亮, 万波.  基于多源高分辨率遥感影像的2 m不透水面一张图提取 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1909-1915. doi: 10.13203/j.whugis20180196
    [8] 张兵.  遥感大数据时代与智能信息提取 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1861-1871. doi: 10.13203/j.whugis20180172
    [9] 赵金奇, 杨杰, 李平湘, 邓少平, 李小娟, 路嘉铭.  改进剖面匹配和EKF对SAR影像道路半自动提取 . 武汉大学学报 ● 信息科学版, 2017, 42(8): 1144-1150. doi: 10.13203/j.whugis20150200
    [10] 刘如飞, 卢秀山, 岳国伟, 田茂义.  一种车载激光点云数据中道路自动提取方法 . 武汉大学学报 ● 信息科学版, 2017, 42(2): 250-256. doi: 10.13203/j.whugis20140959
    [11] 陈光, 眭海刚, 涂继辉, 宋志娜.  基于P-N学习的高分遥感影像道路半自动提取方法 . 武汉大学学报 ● 信息科学版, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
    [12] 樊恒, 徐俊, 邓勇, 向金海.  基于深度学习的人体行为识别 . 武汉大学学报 ● 信息科学版, 2016, 41(4): 492-497. doi: 10.13203/j.whugis20140110
    [13] 黄先锋, 李娜, 张帆, 万文辉.  利用LiDAR点云强度的十字剖分线法道路提取 . 武汉大学学报 ● 信息科学版, 2015, 40(12): 1563-1569. doi: 10.13203/j.whugis20130640
    [14] 余洁, 余峰, 张晶, 刘振宇.  结合区域生长与道路基元的高分辨率遥感影像道路提取 . 武汉大学学报 ● 信息科学版, 2013, 38(7): 761-764.
    [15] 余长慧, 易尧华.  利用MRF方法的高分辨率影像道路提取 . 武汉大学学报 ● 信息科学版, 2011, 36(5): 544-547.
    [16] 吴小波, 杨辽, 沈金祥, 王杰.  利用空间连续性进行高分辨率遥感影像道路提取 . 武汉大学学报 ● 信息科学版, 2011, 36(11): 1298-1301.
    [17] 余长慧, 孟令奎, 秦昆.  基于标点随机过程的遥感影像道路提取 . 武汉大学学报 ● 信息科学版, 2006, 31(1): 59-62.
    [18] 刘少创, 林宗坚.  航空遥感影像中道路的半自动提取 . 武汉大学学报 ● 信息科学版, 1996, 21(3): 258-264.
    [19] 李彦胜, 张永军.  耦合知识图谱和深度学习的新一代遥感影像解译范式 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210652
    [20] 李星华, 白学辰, 李正军, 左芝勇.  面向高分影像建筑物提取的多层次特征融合网络 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210506
  • 加载中
图(12) / 表(1)
计量
  • 文章访问数:  481
  • HTML全文浏览量:  119
  • PDF下载量:  114
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-17
  • 刊出日期:  2021-06-05

一种基于条件生成式对抗网络的道路提取方法

doi: 10.13203/j.whugis20190159
    基金项目:

    国家自然科学基金 41571399

    作者简介:

    陆川伟, 博士生, 主要从事轨迹数据挖掘与地图更新研究。19wei.90chuan@163.com

    通讯作者: 孙群, 博士, 教授。sunqun@371.net
  • 中图分类号: P208

摘要: 基于车辆轨迹数据的道路信息提取是地理信息领域的热点也是难点之一, 传统方法面临着轨迹数据源要求高、道路提取算法复杂、不同道路提取模型参数适应性不强等问题。针对以上问题, 提出基于条件生成式对抗网络的轨迹地图向道路地图转换的轨迹-道路转换方法。该方法以轨迹数据与道路数据的对应关系为先验知识, 通过“生成-博弈”的不断循环逐渐逼近最优结果, 学习优化条件生成式对抗网络模型参数。首先将轨迹数据栅格化处理, 然后基于样本数据学习优化条件生成式对抗网络参数, 最后将训练好的模型应用到整个实验区域提取道路数据, 发现所提方法可以有效地发现新增道路; 同时将训练好的轨迹-道路转换模型与栅格化道路提取方法对比, 发现所提方法在轨迹稀疏稠密区域都有更强的轨迹数据适应性, 且生成的道路精确率更高。

English Abstract

陆川伟, 孙群, 赵云鹏, 孙士杰, 马京振, 程绵绵, 李元復. 一种基于条件生成式对抗网络的道路提取方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159
引用本文: 陆川伟, 孙群, 赵云鹏, 孙士杰, 马京振, 程绵绵, 李元復. 一种基于条件生成式对抗网络的道路提取方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159
LU Chuanwei, SUN Qun, ZHAO Yunpeng, SUN Shijie, MA Jingzhen, CHENG Mianmian, LI Yuanfu. A Road Extraction Method Based on Conditional Generative Adversarial Nets[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159
Citation: LU Chuanwei, SUN Qun, ZHAO Yunpeng, SUN Shijie, MA Jingzhen, CHENG Mianmian, LI Yuanfu. A Road Extraction Method Based on Conditional Generative Adversarial Nets[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 807-815. doi: 10.13203/j.whugis20190159
  • 车辆轨迹数据是车辆行驶路径的完整记录,包含了海量、精确、实时的道路几何、拓扑与属性信息,其空间分布直接反映了道路网络的空间几何特征。基于车辆轨迹数据的道路信息提取与更新方法的研究已经成为基础地理空间数据更新研究与商业应用的一个热点。根据数据处理方式的不同,基于车辆轨迹数据的道路信息提取与更新方法可以分为矢量化方法和栅格化方法。矢量化方法将车辆轨迹点(线)作为矢量点(线)要素,然后采用空间聚类[1-4]、增量融合[5-6]、图论[7-8]等方法提取道路数据;栅格化方法将车辆轨迹点映射到栅格图像中,然后运用图像形态学方法进行图像运算,提取道路骨架线[9-10]。矢量化方法可以提取出丰富的道路信息[11],如车道信息[12]、道路边界[13]等,这些信息对大比例尺道路地图更新有着十分重要的作用,但是矢量化方法大多适用于密度差异小、噪声低、采样频率高的轨迹数据[14]。栅格化方法可以快速地提取出道路骨架,算法不受轨迹点数量影响,轨迹点数量越多,道路提取效果越好,适用于大规模轨迹数据处理。但是栅格化方法将所有轨迹点同等对待,在使用全局密度参数阈值时,无法顾及轨迹在路网空间中的密度、运动特征、噪音等分布差异性,使得提取结果的精度和完整度不高。因此,研究基于轨迹数据的道路信息提取方法应充分考虑以下两点:(1)轨迹点分布的密度差异性,即轨迹点分布的稀疏稠密对道路提取结果的影响;(2)模型参数的全局适用性,即模型算法参数在不同轨迹区域、不同轨迹密度等情况下的普适性。

    生成式对抗网络(generative adversarial networks,GAN)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。文献[15]提出条件生成式对抗网络(conditional generative adversarial nets,CGAN)以解决生成式对抗网络缺少约束,无法处理较大分辨率图像生成的问题,被广泛用于图像生成、数据增强等领域,并衍生出诸如Image-to-Image模型[16]、CycleGAN模型[17]等。基于CGAN,将轨迹数据和道路数据转换为栅格图像数据,即轨迹地图和道路地图。由此,基于车辆轨迹数据的道路提取问题可转化为轨迹地图向道路地图转换的图像转换生成问题。本文引入CGAN,首先构建模型训练数据,在样本区将轨迹数据与道路数据进行栅格化,并进行图像分割;然后构建轨迹地图向道路地图转换的条件生成式对抗网络(trajectory-to-road translation with conditional generative adversarial nets,TR-CGAN)模型,并进行训练;最后基于TR-CGAN模型实现整个实验区域轨迹地图向道路地图的转换,进而实现道路数据的提取与更新。

    • GAN模型主要包括生成器(generative model,G)和判别器(discriminative model,D)两部分,其基本过程为生成器不断地学习真实图像分布而使得生成图像更加真实,判别器对生成图像进行真假判断,两者相互博弈对抗,最终达到模型的动态平衡,即生成器生成的图像接近于真实图像分布,判别器识别不出真假图像。两者博弈过程的目标函数如下:

      $$ \underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\;\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}\;{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}(D, G)={E}_{x\sim {P}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\mathrm{l}\mathrm{o}\mathrm{g}D\right(x\left)\right]+\\ \;\;\;\;\;\;\;\; {E}_{z\sim {P}_{z}\left(z\right)}\left[\mathrm{l}\mathrm{o}\mathrm{g}\right(1-D\left(G\right(z\left)\right)\left)\right] $$ (1)

      式中,$ x $为真实值;$ {P}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right) $为真实图像分布;$ D\left(x\right) $表示判别器$ D $判断真实数据$ x $为真的概率;$ z $为生成器的输入值;$ {P}_{z}\left(z\right) $为先验噪声分布;$ G\left(z\right) $表示生成器$ G $将输入噪声z转化为生成数据;$ D\left(G\right(z\left)\right) $表示判别器$ D $判断生成数据$ G\left(z\right) $为真的概率。

      GAN模型的优势是不需要先验知识,可用一种噪声分布直接进行采样,逐渐完全逼近真实数据。但是由于缺乏先验信息会产生不可控的训练结果,因此有研究提出了加入条件变量的CGAN模型。CGAN模型在生成器和判别器中均加入条件变量y,其目标函数如下:

      $$ \begin{array}{c}\underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\;\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}\;{L}_{\mathrm{C}\mathrm{G}\mathrm{A}\mathrm{N}}(D, G)={E}_{x\sim {P}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\mathrm{l}\mathrm{o}\mathrm{g}D\right(x, y\left)\right]+\\ {E}_{z\sim {P}_{z}\left(z\right)}\left[\mathrm{l}\mathrm{o}\mathrm{g}\right(1-D\left(G\right(z, y), y)\left)\right]\end{array} $$ (2)

      式中,$ y $为条件变量,如类别标签或者不同模态的数据;$ D(x, y) $表示将真实数据$ x $和条件变量$ y $共同输入判别器$ D $,并判断其为真的概率;$ G(z, y) $表示将噪声$ z $和条件变量$ y $共同输入生成器$ G $,转化为生成数据。

      基于CGAN模型,以输入图像作为条件变量$ y $,文献[16]提出了Image-to-Image模型,实现图像到图像的图像转换任务。该模型以图像作为条件变量$ y $分别加入生成器和判别器,同时该模型在生成器中加入$ \mathrm{L}1 $范数损失函数,其目标函数如下:

      $$ G*=\mathrm{a}\mathrm{r}\mathrm{g}\;\underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\;\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}\;{L}_{\mathrm{C}\mathrm{G}\mathrm{A}\mathrm{N}}(D, G)+\lambda \mathrm{L}1\left(G\right) $$ (3)

      式中,$ \lambda $为比例系数;$ \mathrm{L}1\left(G\right) $表示生成数据的$ \mathrm{L}1 $范数损失函数。

    • CGAN模型是一种图像生成模型,其输入与输出皆为图片数据(栅格数据),而车辆轨迹数据与道路数据的一般格式为矢量格式,因此本文首先进行矢栅转换,分别将矢量轨迹数据和道路数据栅格化处理为轨迹地图与道路地图;其次确定输入栅格的图像尺寸,进行图像分割,并确定轨迹图片与道路图片的对应关系,构建轨迹-道路图像对;然后使用训练数据集进行TR-CGAN模型训练,计算最优的模型参数;最后将实验区域轨迹图片集输入模型得到道路图片集,合并提取道路网数据,并与原始道路地图进行叠加分析,进而实现道路更新或其他工作。图 1为TR-CGAN模型轨迹数据道路提取的主要流程。

      图  1  轨迹数据道路提取流程

      Figure 1.  Flowchart of Road Extraction from Trajectory Data

    • 样本数据预处理主要包括投影转换、矢栅转换和图像分割等处理过程。首先将车辆轨迹数据和道路数据由WGS84地理坐标系转换为CGCS2000投影坐标系(投影带根据实际位置确定),然后确定矢栅转换中像元的尺寸,最后根据街区尺寸确定TR-CGAN模型输入像片的尺寸,进行栅格地图分割。

    • 在矢栅转换过程中需要预先设定像元尺寸,即每个栅格像素的实际空间尺寸。像元尺寸越小,图像分辨率越大,地物要素表示越精细,但存储空间和计算空间耗费越大。随着图像分辨率的增大,要素符号的像素宽度随之变小,图像变得不清晰,不利于TR-CGAN模型对图像特征的提取;随着图像分辨率的降低,要素符号的像素宽度随之变大,线状要素相互重叠,同一像素点代表多个点状要素等。因此本文分别设计了DPP(dots per pixel)和LPP(lines per pixel)指标用于确定点要素和线要素矢栅转换的像元尺寸,表达如下:

      $$ \underset{\mathrm{P}\mathrm{P}}{\mathrm{m}\mathrm{a}\mathrm{x}}\;\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{D}\mathrm{P}\mathrm{P}\right)<\alpha $$ (4)
      $$ \underset{\mathrm{P}\mathrm{P}}{\mathrm{m}\mathrm{a}\mathrm{x}}\;\mathrm{m}\mathrm{i}\mathrm{n}\left(\mathrm{L}\mathrm{P}\mathrm{P}\right)>\beta $$ (5)

      式中,PP(per pixel)表示一个像元;$ \mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{D}\mathrm{P}\mathrm{P}\right) $表示每个像元内点要素数量的最大值;$ \mathrm{m}\mathrm{i}\mathrm{n}\left(\mathrm{L}\mathrm{P}\mathrm{P}\right) $表示每个像元内线要素数量的最小值;$ \underset{\mathrm{P}\mathrm{P}}{\mathrm{m}\mathrm{a}\mathrm{x}} $为一个像元尺寸的最大值;$ \underset{\mathrm{P}\mathrm{P}}{\mathrm{m}\mathrm{a}\mathrm{x}}\;\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{D}\mathrm{P}\mathrm{P}\right)<\alpha $表示像元内点要素数量的最大值小于阈值$ \alpha $时,像元尺寸的最大值即为点要素矢栅转换的像元尺寸;$ \underset{\mathrm{P}\mathrm{P}}{\mathrm{m}\mathrm{a}\mathrm{x}}\;\mathrm{m}\mathrm{i}\mathrm{n}\left(\mathrm{L}\mathrm{P}\mathrm{P}\right)>\beta $表示像元内线要素数量的最小值大于阈值$ \beta $时,像元尺寸的最大值即为点要素矢栅转换的像元尺寸。

    • 深度学习模型训练过程是根据样本数据不断学习增强的过程,因此训练样本数量越多,训练次数越多,得到模型的精确度越高。训练样本数量的扩大,除了在数据采集阶段扩大采集范围外,还可以利用样本数据自身的特征产生新的样本,即数据增强(data augmentation,DA)方法。空间数据具有方向不变性的特征,即方向的改变不影响轨迹和道路的性质。利用该特征,参考文献[17],对样本数据进行镜像、旋转操作,扩大样本数量,如图 2所示,经过数据增量,数据增加了7倍。

      图  2  样本数据增强

      Figure 2.  Sample Data Augmentation

    • 参考Image-to-Image图像转换模型,本文设计了TR-CGAN模型实现轨迹地图向道路地图的转换。在该模型中,轨迹地图X作为条件变量分别输入生成器和判别器中,生成器和判别器分别采用U-Net模型[18]和PathGAN模型[16],模型结构如图 3所示。

      图  3  TR-CGAN模型结构

      Figure 3.  Model Structure of TR-CGAN

    • U-Net模型结构呈U形,包括下采样编码过程和上采样解码过程。U-Net模型在结构上与自编码模型相似,但其在上采样和下采样的同一阶段使用跳跃连接(skip-connection)保证最终重编码的特征图像既融合了原始图像的浅层特征以判别物体类别,又融合了多种尺度的高分辨率特征以精确分割定位边界信息。本文采用6层U-Net模型,其过程主要包括下采样过程的卷积计算、上采样过程的反卷积计算和连接上采样与下采样之间的跳跃连接。

    • 普通GAN模型判别器将输入图像直接映射输出为一个实数,进而判断输入为真或假,但是这种方法对于高分辨率图像并不适用。PatchGAN判别器则对输入图像多次卷积计算,输出一个大小为N的特征图,进一步对特征图上每一个元素判断真或假,最后求均值,即输入图像为真或假的概率。多次卷积计算生成的特征图上的每个元素对应输入图像中的感受野即为Patch。因此PatchGAN判别器本质上是一个卷积网络,特征图上每个元素都对应输入图像上的一个感受野,随着卷积层数的不同,感受野的大小亦不相同。感受野V的计算如下:

      $$ {V}_{n}=({k}_{n}-1)\prod\limits_{i=1}^{n-1}{s}_{i}+{V}_{n-1}, n\ge 2 $$ (6)

      式中,$ {V}_{n} $为第n层的感受野,$ {V}_{0}=1 $,$ {V}_{1}={k}_{1} $;$ {V}_{n-1} $为第n-1层的感受野;$ {s}_{i} $为第i层卷积层的步长;$ {k}_{n} $为当前层卷积层滤波器大小。

    • 在深度学习网络模型优化过程中,衡量目标值与真实值差异的函数称为损失函数,如平方损失函数、对数损失函数等。训练集的平均损失称为经验风险,模型优化过程即为经验风险最小化过程;但经验风险最小化过程又要防止过拟合,需要降低模型复杂度,称为结构风险最小化,常用L1、L2范数等。这种使得经验风险和结构风险最优化的优化函数称为目标函数。

      在CGAN模型中,其目标函数主要考虑判别器的博弈过程。本文所提轨迹数据道路提取TR-CGAN模型的目标函数除了优化判别器的博弈过程,还要在判别过程构建对数损失函数(式(2)),同时在生成器的生成结果G(X)与目标图像Y之间构建损失函数,采用L2范数。故轨迹数据道路提取TR-CGAN模型的目标函数如下:

      $$ G\mathrm{*}=\mathrm{a}\mathrm{r}\mathrm{g}\;\underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\;\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}\;{L}_{\mathrm{C}\mathrm{G}\mathrm{A}\mathrm{N}}(G, D)+\lambda \mathrm{L}2\left(G\right) $$ (7)
    • 为了训练用于道路提取的TR-CGAN模型,本文选取了部分实验区域作为模型训练样本区,训练数据为样本区的轨迹数据和OSM(Open- StreetMap)道路数据。首先分别将轨迹数据和OSM道路数据矢栅转换并按照500 m×500 m网格大小进行图像分割,将样本区域划分为168张轨迹栅格图和168张道路栅格图;其次按照网格对应关系建立轨迹-道路图片对,去除没有轨迹点的空白图对;然后进行镜像、旋转等数据增量操作,增量7倍共生成104对轨迹-道路图片对;最后将图片对按照7∶3的比例随机选取训练集和测试集,其中训练集914张,测试集390张。

      由于深度学习过程是一个黑箱过程,模型中许多参数和流程难以给出一个明确的含义,因此为了使TR-CGAN模型更加适用于基于轨迹数据的道路提取,本文采用控制变量法和枚举法对模型中的U-Net模型深度、感受野大小和目标函数等参数的设定进行讨论。

    • 图 4为U-Net模型深度分别为4、6、8层时道路提取效果对比。由图 4可知,随着U-Net模型深度的增加,道路提取效果越好,图 4(d)4(e)明显优于图 4(c)

      图  4  不同深度U-Net模型生成道路对比图

      Figure 4.  Comparison of Generated Roads of Different Depths U-Net Models

      图 5为不同深度U-Net模型训练过程目标函数损失值变化曲线。由图 5可知,4层U-Net网络的损失值均值为0.014 1,6层U-Net网络的损失值均值为0.013 9,8层U-Net网络的损失值均值为0.013 8,可见,随着U-Net模型深度的增加,损失值均值呈下降趋势;随着训练次数的增加,8层U-Net网络损失值发生震荡,生成图像产生不稳定性;随着模型深度的增加,网络参数也随着增加,模型训练复杂度和训练时间相应增加,6层网络的模型参数数量为32 018 116,而8层网络模型参数数量达到57 190 084;训练集数据迭代500次的训练时间也从2.97 h增加到4.95 h。可以看出,持续增加U-Net模型的深度并不一定能取得最优效果。因此,考虑模型训练效率、模型损失值和实际道路提取效果,本文选择6层U-Net模型作为TR-CGAN模型生成器。

      图  5  不同深度U-Net模型训练过程目标函数损失值变化曲线

      Figure 5.  Loss Curve of Objective Function in Different Depth U-Net Models Training Process

    • 图 6为感受野分别为16×16、34×34、70×70、286×286时道路提取效果的对比图。由图 6可以看出,判别器patch感受野尺寸直接影响道路提取的详细程度,感受野尺寸越小,提取道路的细节越丰富,如图 6中的2、3区域。但感受野较小时(见图 6(c)6(d))可以提取出较多的细碎路段,并不利于道路中心线的提取;感受野过大亦会损失提取道路的局部细节信息,如图 6中的1、4区域在感受野为286×286时(见图 6(f))道路交叉口细节信息模糊或由于轨迹点稀疏而导致信息丢失。

      图  6  不同感受野尺寸生成道路对比图

      Figure 6.  Comparison of Generated Roads of Different Receptive Field Sizes

      图 7为模型分别在不同感受野尺寸下的训练过程目标函数损失值变化曲线。由图 7可知,感受野尺寸为16×16时,模型训练过程的损失值均值为0.015;感受野尺寸为34×34时,模型训练过程的损失值均值为0.015;感受野尺寸为70×70时,模型训练过程的损失值均值为0.011;感受野尺寸为286×286时,模型训练过程的损失值均值为0.014。可见,感受野尺寸过大或过小都会导致损失值较大。

      图  7  不同尺寸感受野训练过程目标函数损失值变化曲线

      Figure 7.  Loss Curve of Objective Function in Different Receptive Field Sizes Training Process

      综上所述,感受野较小时,提取道路较为破碎;感受野较大时,道路细节难以提取。因此本文选择感受野尺寸为70×70的PatchGAN判别器。

    • 图 8为目标函数分别为GAN、L1范数、L2范数时道路提取效果对比图。

      图  8  不同目标函数的模型生成道路对比图

      Figure 8.  Comparison of Generated Roads of Different Objective Function Models

      图 8可以看出,在轨迹松散且分布较宽区域(区域1),GAN和L1提取的道路可以较好地保持道路中心线特性,但L2提取的道路随轨迹分布密度发生弯曲;在道路交叉口区域(区域2),GAN和L2提取的道路交叉效果较好;在轨迹稀疏区域(区域3、4、5),L2道路提取的效果最优。

      综上所述,本文研究的车辆轨迹道路提取中TR-CGAN模型的U-Net模型深度为6,判别器patch感受野尺寸为70×70,损失函数为L2范数。

    • 本文实验的硬件环境为Ubuntu18.04系统、64 GB内存、12核i7处理器、Quadro P5000显卡,基于Python3.6编程语言、Tensorflow1.12.0深度学习开源库进行算法实现与结果分析。实验区域为郑州市三环内区域,如图 9所示,实验数据包括实验区域内的车辆轨迹数据和OSM矢量道路数据。其中车辆轨迹数据为郑州市2016-11-15 14:00—15:00时间范围内出租车轨迹,数量约100万个定位点,包括位置和时间信息,定位间隔60 s以上。

      图  9  实验数据分布

      Figure 9.  Distribution of Experimental Data

    • 基于§3.1训练的TR-CGAN模型进行车辆轨迹道路生成与提取,图 10为TR-CGAN模型提取道路与影像数据叠加效果图。

      图  10  TR-CGAN模型提取道路与影像数据叠加图

      Figure 10.  Overlay Map of Road Extracted from TR-CGAN and Romote Sensing Image

      图 10可以看出,TR-CGAN模型提取道路基本覆盖了城区的主要路网。为了对比评价道路提取效果,本文分别选取4个区域(图 10中黄色矩形框),从新增道路提取和轨迹稀疏区域道路提取两个方面将TR-CGAN模型提取道路与OSM道路数据、文献[10]提出的栅格化方法提取道路(其中缓冲区半径为10 m,细化算法采用查表法,剪枝长度为20 m)进行叠加对比。

    • 图 11图 10中的区域(1)、(2)的局部放大图,展示了TR-CGAN模型提取道路、OSM道路、车辆轨迹点、谷歌影像叠加效果。

      图  11  新增道路区域提取道路叠加图

      Figure 11.  Overlay Map of Road Extracted from Added Road Area

      图 11可以看出,在城中村建设区域,原有道路网络已经消失,基于轨迹数据的道路提取可以很好地提取出新增道路网络(图 11(a));由于市政建设等因素造成原有路网的局部改道也可以在基于轨迹数据的道路提取中有较好的发现(图 11(b)为郑州地铁5号线桐淮站地铁施工的道路保通改道路线)。

    • 图 12图 10中的区域(3)、(4)的局部放大图,展示了TR-CGAN模型提取道路、文献[10]提取道路、车辆轨迹点、谷歌影像叠加效果。由图 12可以看出,在城市新建成区域道路网络,由于通行车辆较少,轨迹分布稀疏,此时文献[10]方法使用轨迹稠密区域适用的缓冲区半径参数已经难以在轨迹稀疏区域提取出有效的道路(图 12中深红色道路为文献[10]栅格化方法在轨迹稠密区域提取出的道路,但是在稀疏区域只能提取出零散的短路段);TR-CGAN模型则表现出很好的参数全局适用性,在轨迹稀疏稠密区域都能提取出较为完整的道路(图 12中绿色道路)。

      图  12  轨迹稀疏区域提取道路叠加图

      Figure 12.  Overlay Map of Road Extracted from Trajectory Sparse Area

    • 为了评价道路提取效果和提取道路的准确程度,本文以真实道路建立5 m缓冲区,落入该缓冲区内的提取道路即认为正确提取的道路。依据以下两个指标评定提取质量:(1)精确率P,即正确提取的道路长度与提取道路总长度的比值;(2)召回率R,即正确提取的道路长度与真实道路总长度的比值。

      表 1为以OSM道路数据为参考,TR-CGAN模型和文献[10]栅格化方法提取道路的评价指标对比。可以看出,TR-CGAN模型提取道路的精确率和召回率均优于栅格化方法。

      表 1  不同道路提取方法的评价指标对比表

      Table 1.  Comparison of Evaluation Indicators of Different Road Extraction Methods

      道路提取方法 P R
      TR-CGAN模型 0.88 0.62
      文献[10]栅格化方法 0.61 0.60

      从以上道路提取对比实验效果和评价指标对比结果中可以得出以下结论:(1)基于车辆轨迹数据的道路提取方法可以有效地发现新增道路,TR-CGAN模型方法在轨迹稀疏区域拥有较好的道路提取效果,这对依托车辆轨迹数据更新新建成道路有着重要作用。(2)TR-CGAN模型提取道路的精确率较高,说明该方法能够较准确地提取道路,且道路位置较准确。

    • 针对车辆轨迹数据的道路提取问题,本文引入深度学习领域的条件生成式对抗网络解决传统方法数据源要求高、算法复杂、模型参数适应性不强等问题,提出了轨迹地图向道路地图转换的条件生成式对抗网络模型——TR-CGAN。首先构建模型训练数据,在样本区将轨迹数据与道路数据进行栅格化,并进行图像分割和数据增量;然后训练TR-CGAN模型并优化参数;最后基于TR-CGAN模型进行轨迹数据向道路数据的转换,实现道路数据的提取。实验结果证明,TR-CGAN模型可以有效地发现新增道路,且模型参数对轨迹稀疏稠密区域都有较强的适应性。

参考文献 (18)

目录

    /

    返回文章
    返回