留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

数据驱动的地外星表通行性分析及数据集生成方法

张智宇 朱昶安 唐敏 童若锋

张智宇, 朱昶安, 唐敏, 童若锋. 数据驱动的地外星表通行性分析及数据集生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308
引用本文: 张智宇, 朱昶安, 唐敏, 童若锋. 数据驱动的地外星表通行性分析及数据集生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308
ZHANG Zhiyu, ZHU Chang'an, TANG Min, TONG Ruofeng. A Data-driven Method for Traversability Analysis and Dataset Generation on Extraterrestrial Terrain[J]. Geomatics and Information Science of Wuhan University, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308
Citation: ZHANG Zhiyu, ZHU Chang'an, TANG Min, TONG Ruofeng. A Data-driven Method for Traversability Analysis and Dataset Generation on Extraterrestrial Terrain[J]. Geomatics and Information Science of Wuhan University, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308

数据驱动的地外星表通行性分析及数据集生成方法

doi: 10.13203/j.whugis20210308
基金项目: 

国家重点研发计划 2018AAA0102703

国家自然科学基金 61972341

国家自然科学基金 61832016

国家自然科学基金 51775496

国家自然科学基金 61732015

详细信息
    作者简介:

    张智宇,硕士生,主要研究方向为计算机辅助设计、计算机图形学。541600517@qq.com

    通讯作者: 唐敏,博士,教授,博士生导师。tang_m@zju.edu.cn
  • 中图分类号: P208;TP391

A Data-driven Method for Traversability Analysis and Dataset Generation on Extraterrestrial Terrain

Funds: 

The National Key Reaearch and Development Program of China 2018AAA0102703

the National Natural Science Foundation of China 61972341

the National Natural Science Foundation of China 61832016

the National Natural Science Foundation of China 51775496

the National Natural Science Foundation of China 61732015

More Information
    Author Bio:

    ZHANG Zhiyu, postgraduate, specializes in computer aided design and computer graphics. E-mail: 541600517@qq.com

    Corresponding author: TANG Min, PhD, professor. E?mail: tang_m@zju.edu.cn
  • 摘要: 针对巡航器在地外星表的通行性分析问题,提出了一种数据驱动的算法。将通行性分析建模为语义分割问题,能够根据输入的地表多维信息显式地计算出特定巡视器在该环境中的通行性地图。同时提出绑定特定巡视器的数据集生成方法,首先通过测量特定巡视器在实验场地中的运行参数,获得该巡视器在特定位置的有向可通行性结果,然后利用该结果将无向可通行地图的计算问题转化为一个全局优化问题进行求解,从而得到更直观且便于指导路径规划的无向可通行性地图,最后将该地图与场地数据对应,生成绑定特定巡视器的数据集。为使实验更加方便快捷,提出了虚拟地表数据的过程式生成方法,设计了在虚拟环境中对特定巡视器进行可通行实验的方法,并在虚拟数据集上验证了所提算法的有效性。
  • 图  1  本文算法流程及模块划分

    Figure  1.  Frame and Modules of the Proposed Algorithm

    图  2  过程式生成地表信息

    Figure  2.  Procedurally Generated Terrain Information

    图  3  不同方向的可通行性实验结果

    Figure  3.  Results of Oriented Traverse Tests

    图  4  不同方法给出的标签细节对比

    Figure  4.  Detail Comparison of Labels of Different Methods

    图  5  数据集制作

    Figure  5.  Generation of Datasets

    图  6  通行性分析分割网络架构

    Figure  6.  Segmentation Network Model for Traversability Analysis

    图  7  网络训练过程

    Figure  7.  Training of Network

    图  8  通行性标签与网络预测结果对比

    Figure  8.  Comparison of Traversability Labels and Prediction Results

    图  9  网络在测试集上的逐像素分类统计结果

    Figure  9.  Statistics of Network Classification Results of Test Datasets

    表  1  不同方法给出的通行性地图结果统计

    Table  1.   Statistics of Allowed States in Traversability Maps of Different Methods

    场地编号 实际允许状态数 有效路径规划面积/像素 不连通障碍物数量
    NA CA OA NA CA OA NA CA OA
    1 816 604 1 719 620 1 766 688 309 773 501 319 541 506 63 91 95
    2 378 660 1 059 872 1 134 230 164 822 380 948 389 157 43 49 73
    3 261 384 801 828 861 014 118 027 297 896 306 067 8 13 20
    4 45 322 269 792 304 296 29 237 119 283 123 735 6 12 19
    下载: 导出CSV
  • [1] Huertas A, Matthies L, Rankin A. Stereo-Based Tree Traversability Analysis for Autonomous OffRoad Navigation[C]//2005 Seventh IEEE Workshops on Applications of Computer Vision(WACV/ MOTION'05), Breckenridge, CO, USA, 2005
    [2] Kim D, Sun J, Oh S M, et al. Traversability Classification Using Unsupervised On-Line Visual Learning for Outdoor Robot Navigation[C]//IEEE International Conference on Robotics and Automation, Orlando, FL, USA, 2006
    [3] Zhang K, Niroui F, Ficocelli M, et al. Robot Navigation of Environments with Unknown Rough Terrain Using Deep Reinforcement Learning[C]//IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR), Philadelphia, PA, USA, 2018
    [4] Zhang Y F, Wang W S, Bonatti R, et al. Integrating Kinematics and Environment Context into Deep Inverse Reinforcement Learning for Predicting OffRoad Vehicle Trajectories[EB/OL]. [2021-03-11]. https://arxiv.org/pdf/1810.07225
    [5] Guastella D C, Muscato G. Learning-Based Methods of Perception and Navigation for Ground Vehicles in Unstructured Environments: A Review[J]. Sensors, 2020, 21(1): 73 doi:  10.3390/s21010073
    [6] 李修贤, 孙敏, 黎晓东, 等. 面向空地协同应急的地表可通行性分析方法[J]. 石河子大学学报(自然科学版), 2019, 37(1): 12-20 https://www.cnki.com.cn/Article/CJFDTOTAL-SHZN201901002.htm

    Li Xiuxian, Sun Min, Li Xiaodong, et al. Terrain Traversability Analysis Method for Air-Ground Collaborative Emergency[J]. Journal of Shihezi University(Natural Science), 2019, 37(1): 12-20 https://www.cnki.com.cn/Article/CJFDTOTAL-SHZN201901002.htm
    [7] Iagnemma K, Genot F, Dubowsky S. Rapid PhysicsBased Rough-Terrain Rover Planning with Sensor and Control Uncertainty[C]//IEEE International Conference on Robotics and Automation, Detroit, MI, USA, 1999
    [8] Lalonde J F, Vandapel N, Huber D F, et al. Natural Terrain Classification Using Three-Dimensional LiDAR Data for Ground Robot Mobility[J]. Journal of Field Robotics, 2006, 23(10): 839-861 doi:  10.1002/rob.20134
    [9] Larson J, Trivedi M. LiDAR Based Off-Road Negative Obstacle Detection and Analysis[C]//14th International IEEE Conference on Intelligent Transportation Systems(ITSC), Washington DC, USA, 2011
    [10] Kuthirummal S, Das A, Samarasekera S. A Graph Traversal Based Algorithm for Obstacle Detection Using LiDAR or Stereo[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems, San Francisco, CA, USA, 2011
    [11] Langer D, Rosenblatt J K, Hebert M. A BehaviorBased System for Off-Road Navigation[J]. IEEE Transactions on Robotics and Automation, 1994, 10(6): 776-783 doi:  10.1109/70.338532
    [12] Gennery D B. Traversability Analysis and Path Planning for a Planetary Rover[J]. Autonomous Robots, 1999, 6(2): 131-146 doi:  10.1023/A:1008831426966
    [13] Kolter J Z, Rodgers M P, Ng A Y. A Control Architecture for Quadruped Locomotion over Rough Terrain[C]//IEEE International Conference on Robotics and Automation, Pasadena, CA, USA, 2008
    [14] Zucker M, Ratliff N, Stolle M, et al. Optimization and Learning for Rough Terrain Legged Locomotion [J]. The International Journal of Robotics Research, 2011, 30(2): 175-191 doi:  10.1177/0278364910392608
    [15] 顾海燕, 李海涛, 闫利, 等. 地理本体驱动的遥感影像面向对象分析方法[J]. 武汉大学学报·信息科学版, 2018, 43(1): 31-36 doi:  10.13203/j.whugis20150468

    Gu Haiyan, Li Haitao, Yan Li, et al. A Geographic Object-Based Image Analysis Methodology Based on Geo-ontology[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 31-36 doi:  10.13203/j.whugis20150468
    [16] Ososinski M, Labrosse F. Automatic Driving on IllDefined Roads: An Adaptive, Shape-Constrained, Color-Based Method[J]. Journal of Field Robotics, 2015, 32(4): 504-533 doi:  10.1002/rob.21494
    [17] Mei J L, Yu Y F, Zhao H J, et al. Scene-Adaptive Off-Road Detection Using a Monocular Camera[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(1): 242-253 doi:  10.1109/TITS.2017.2768573
    [18] Holder C J, Breckon T P. Learning to Drive: Using Visual Odometry to Bootstrap Deep Learning for Off-Road Path Prediction[C]//IEEE Intelligent Vehicles Symposium(Ⅳ), Changshu, China, 2018
    [19] Faigl J, Prágr M. On Unsupervised Learning of Traversal Cost and Terrain Types Identification Using Self-Organizing Maps[M]//Artificial Neural Networks and Machine Learning–ICANN 2019: Theoretical Neural Computation. Cham: Springer, 2019: 654-668
    [20] Sutoh M, Otsuki M, Wakabayashi S, et al. The Right Path: Comprehensive Path Planning for Lunar Exploration Rovers[J]. IEEE Robotics & Automation Magazine, 2015, 22(1): 22-33 http://ieeexplore.ieee.org/document/7059362/citations
    [21] Zhang Y F, Wang W S, Bonatti R, et al. Integrating Kinematics and Environment Context into Deep Inverse Reinforcement Learning for Predicting OffRoad Vehicle Trajectories [EB/OL]. [2018-02- 16]. https://arxiv.org/pdf/1810.07225
    [22] Andrakhanov A, Stuchkov A. Traversability Estimation System for Mobile Robot in Heterogeneous Environment with Different Underlying Surface Characteristics[C]//12th International Scientific and Technical Conference on Computer Sciences and Information Technologies(CSIT), Lviv, Ukraine, 2017
    [23] 刘浩敏, 章国锋, 鲍虎军. 基于单目视觉的同时定位与地图构建方法综述[J]. 计算机辅助设计与图形学学报, 2016, 28(6): 855-868 doi:  10.3969/j.issn.1003-9775.2016.06.001

    Liu Haomin, Zhang Guofeng, Bao Hujun. A Survey of Monocular Simultaneous Localization and Mapping[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 855-868 doi:  10.3969/j.issn.1003-9775.2016.06.001
    [24] 李小倩, 何伟, 朱世强, 等. 基于环境语义信息的同步定位与地图构建方法综述[J]. 工程科学学报, 2021, 43(6): 754-767 https://www.cnki.com.cn/Article/CJFDTOTAL-BJKD202106004.htm

    Li Xiaoqian, He Wei, Zhu Shiqiang, et al. Survey of Simultaneous Localization and Mapping Based on Environmental Semantic Information[J]. Chinese Journal of Engineering, 2021, 43(6): 754-767 https://www.cnki.com.cn/Article/CJFDTOTAL-BJKD202106004.htm
    [25] Chen Z X, Xu X C, Wang Y, et al. Deep Phase Correlation for End-to-End Heterogeneous Sensor Measurements Matching [EB/OL]. [2020-03-01]. https://arxiv. org/abs/2008. 09474
    [26] 刘阳, 于兴超, 贾占永. 面向车辆通过性的地理因子分析与应用[J]. 国防科技, 2020, 41(5): 105-110 https://www.cnki.com.cn/Article/CJFDTOTAL-GFCK202005018.htm

    Liu Yang, Yu Xingchao, Jia Zhanyong. Geographical Factor Analysis and Application for Vehicle Trafficability[J]. National Defense Technology, 2020, 41(5): 105-110 https://www.cnki.com.cn/Article/CJFDTOTAL-GFCK202005018.htm
    [27] Singh S, Simmons R, Smith T, et al. Recent Pro gress in Local and Global Traversability for Planetary Rovers[C]//IEEE International Conference on Robotics and Automation, San Francisco, CA, USA, 2000
    [28] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation [C]//Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 2015
    [29] Oktay O, Schlemper J, Folgoc L L, et al. Attention U Net: Learning Where to Look for the Pancreas [EB/OL]. [2020-03-01]. https://arxiv.org/pdf/1804.03999
    [30] Duchi J, Hazan E, Singer Y. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization[J]. The Journal of Machine Learning Research, 2011, 12(1-2): 2 121-2 159 http://web.stanford.edu/~jduchi/projects/DuchiHaSi10.html
  • [1] 张绍成, 黄龙强, 殷飞, 侯威震.  星基反演TEC与地基GNSS TEC数据融合可行性分析 . 武汉大学学报 ● 信息科学版, 2020, 45(4): 557-564. doi: 10.13203/j.whugis20180293
    [2] 潘晓, 张翠娟, 吴雷, 闫晓倩.  众源地理空间数据的空间文本相关性分析 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1910-1918. doi: 10.13203/j.whugis20200185
    [3] 祝飞, 范佳, 黄玉春, 刘洋洋.  融合多种棋盘格约束的面阵相机和线激光外参标定 . 武汉大学学报 ● 信息科学版, 2019, 44(10): 1524-1529, 1537. doi: 10.13203/j.whugis20180022
    [4] 李维炼, 朱军, 朱秀丽, 付林, 张昀昊, 胡亚, 何秋玲, 黄鹏诚.  无人机遥感数据支持下滑坡VR场景探索分析方法 . 武汉大学学报 ● 信息科学版, 2019, 44(7): 1065-1072. doi: 10.13203/j.whugis20190047
    [5] 王进, 杨元喜, 张勤, 黄观文, 韩军强.  多模GNSS融合PPP系统间偏差特性分析 . 武汉大学学报 ● 信息科学版, 2019, 44(4): 475-481. doi: 10.13203/j.whugis20170132
    [6] 张旗升, 王艳慧, 刘轩朋.  面状实体增量融合过程中拓扑冲突检测及一致性维护方法研究 . 武汉大学学报 ● 信息科学版, 2019, 44(3): 467-474. doi: 10.13203/j.whugis20160490
    [7] 李佳田, 贾成林, 张蓝, 李显凯, 李应芸, 罗富丽.  利用化简分割生成示意性网络地图 . 武汉大学学报 ● 信息科学版, 2017, 42(6): 721-725. doi: 10.13203/j.whugis20150010
    [8] 沈占锋, 夏列钢, 程 熙, 胡晓东, 骆剑承.  等值线追踪生成等值面过程中的算法策略 . 武汉大学学报 ● 信息科学版, 2015, 40(9): 1201-1208. doi: 10.13203/j .whu g is20130621
    [9] 单杰, 秦昆, 黄长青, 胡翔云, 余洋, 胡庆武, 林志勇, 陈江平, 贾涛.  众源地理数据处理与分析方法探讨 . 武汉大学学报 ● 信息科学版, 2014, 39(4): 390-396. doi: 10.13203/j.whugis20130633
    [10] 吴云, 杨鑫春, 陈慧, 翟广.  多系统多频率的EGNOS系统完备性模拟分析 . 武汉大学学报 ● 信息科学版, 2012, 37(3): 269-273.
    [11] 杨春成, 谢鹏, 何列松, 周校东.  地图数据读取过程中的数据调度 . 武汉大学学报 ● 信息科学版, 2009, 34(2): 166-169.
    [12] 高文秀, 朱俊杰, 侯建光.  探索性数据分析在土地利用数据分析中的应用 . 武汉大学学报 ● 信息科学版, 2009, 34(12): 1502-1506.
    [13] 李连营, 许小兰, 吴中恒, 周祖浩.  多源导航电子地图数据融合更新方法研究 . 武汉大学学报 ● 信息科学版, 2008, 33(4): 409-412.
    [14] 张捍卫, 郑勇, 杜兰.  河外射电源地面VLBI观测的相对论时延模型 . 武汉大学学报 ● 信息科学版, 2003, 28(5): 585-588.
    [15] 余晓红, 刘大杰.  地图数字化数据坐标变换的相关性分析 . 武汉大学学报 ● 信息科学版, 2002, 27(5): 456-461.
    [16] 游涟, 张洁.  地图代数系统居民地编绘工艺过程及评价 . 武汉大学学报 ● 信息科学版, 1996, 21(1): 69-72.
    [17] 王桥.  线状地图要素的自相似性分析及其自动综合 . 武汉大学学报 ● 信息科学版, 1995, 20(2): 123-128.
    [18] 李霖.  基于协调过程的地图政区自动着色 . 武汉大学学报 ● 信息科学版, 1992, 17(3): 91-96.
    [19] 胡毓钜.  地图投影系统进一步补充的可能性——关于多圆柱投影 . 武汉大学学报 ● 信息科学版, 1986, 11(3): 55-61.
    [20] 李晓霖, 李刚, 张恩琪, 顾广华.  行列式点过程采样的文本生成图像方法 . 武汉大学学报 ● 信息科学版, 0, 0(0): -. doi: 10.13203/j.whugis20210373
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  513
  • HTML全文浏览量:  214
  • PDF下载量:  57
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-05-31
  • 刊出日期:  2021-09-18

数据驱动的地外星表通行性分析及数据集生成方法

doi: 10.13203/j.whugis20210308
    基金项目:

    国家重点研发计划 2018AAA0102703

    国家自然科学基金 61972341

    国家自然科学基金 61832016

    国家自然科学基金 51775496

    国家自然科学基金 61732015

    作者简介:

    张智宇,硕士生,主要研究方向为计算机辅助设计、计算机图形学。541600517@qq.com

    通讯作者: 唐敏,博士,教授,博士生导师。tang_m@zju.edu.cn
  • 中图分类号: P208;TP391

摘要: 针对巡航器在地外星表的通行性分析问题,提出了一种数据驱动的算法。将通行性分析建模为语义分割问题,能够根据输入的地表多维信息显式地计算出特定巡视器在该环境中的通行性地图。同时提出绑定特定巡视器的数据集生成方法,首先通过测量特定巡视器在实验场地中的运行参数,获得该巡视器在特定位置的有向可通行性结果,然后利用该结果将无向可通行地图的计算问题转化为一个全局优化问题进行求解,从而得到更直观且便于指导路径规划的无向可通行性地图,最后将该地图与场地数据对应,生成绑定特定巡视器的数据集。为使实验更加方便快捷,提出了虚拟地表数据的过程式生成方法,设计了在虚拟环境中对特定巡视器进行可通行实验的方法,并在虚拟数据集上验证了所提算法的有效性。

English Abstract

张智宇, 朱昶安, 唐敏, 童若锋. 数据驱动的地外星表通行性分析及数据集生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308
引用本文: 张智宇, 朱昶安, 唐敏, 童若锋. 数据驱动的地外星表通行性分析及数据集生成方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308
ZHANG Zhiyu, ZHU Chang'an, TANG Min, TONG Ruofeng. A Data-driven Method for Traversability Analysis and Dataset Generation on Extraterrestrial Terrain[J]. Geomatics and Information Science of Wuhan University, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308
Citation: ZHANG Zhiyu, ZHU Chang'an, TANG Min, TONG Ruofeng. A Data-driven Method for Traversability Analysis and Dataset Generation on Extraterrestrial Terrain[J]. Geomatics and Information Science of Wuhan University, 2021, 46(9): 1362-1369,1385. doi: 10.13203/j.whugis20210308
  • 近年来,中国对地外行星的探索取得了里程碑式的进展,从“嫦娥”对月球的探索,到“天问”对火星的探索,这一系列课题对中国地外探测水平提出了新的要求和挑战。地外行星探索问题与近年来引人瞩目的无人驾驶问题具有相似之处,都涉及到对未知环境的理解及自主的路径规划与运动。不同的是,无人驾驶的主要关注点是捕捉人工信标的位置并进行规划,户外无人驾驶关注更多的是判定草坪等几何不规则区域的通行性[1-2]。而在星外探测问题中,最大的难点在于判别非人工环境中的潜在风险。

    现有解决巡视器自主规划问题的方法可分为两类。一类是端到端的方法,通过将复杂的外界环境信息及巡视器自身的信息输入网络,直接输出巡视器的动作方案[3-4];另一类是首先显式地计算出通行性地图,然后在该地图上进行路径的规划。前者能够得到更加接近人在未知环境中做出决策的结果,但难以进行多数据源的协同以及多端合作,如地空协同探测等[5-6]。本文采用第二类方法,能够显式提供出通行性地图,具有更好的可解释性。

    显式通行性分析方法往往以几何信息为主[7-10]。文献[11]提出的一种经典方法是将3D点集按网格划分,计算网格内的高程、坡度和法线,并根据这些特征划分阈值,判断网格的通行性。文献[12]通过最小二乘法,由原始点云数据得到更加平滑的高程数据、更加精确的坡度数据以及衡量单个网格内部高程变化的粗糙度数据,并以这些参数作为通行性代价函数的参数来计算可通行性。但仅基于阈值和经验判断的方法难以应对复杂的地表情况,相关研究逐渐从特征驱动转向了数据驱动[5],旨在使用大量的实测数据与可通行性数据,用回归或分类的方法预测特定情况下的通行代价、可通行性及其他属性[13-15]。这类方法的缺陷在于只考虑了地表的几何形态,无法完全理解地表的全部属性,在实际探索中可能会发生车轮下陷、打滑等险情,使探索无法继续进行。因此,许多研究引入了图像作为几何之外的补充判别可通行性的依据,使得巡视器能够更多考虑到地表的材质信息,从而使通行代价与可通行性的判别更加准确[16-18]

    基于大量数据进行预测的方法会遇到通行性标签定义的问题,如通过机器人在各种地形上的实验收集通行时消耗的能量或时间作为通行代价[19-22],以此为标签,使用机器学习的方法对未经过区域的通行性进行评估。这类方法提供了一个很好的思路,但未对不可通行区域的判别进行定义。文献[23]提出了使用车辆通过某区域的时间以及通过后车辆角度的偏移量作为该区域通行性判定的标准之一。上述方法的共同特点在于通行性的判别依赖于车辆的运动方向和运动状态,进行局部路径规划时容易让车驶入全局的不可退回的断头路中。因此,本文通过实验后对数据的进一步处理,将有方向限制的可通行性判定转化为了无方向限制的地图障碍标定。同时,将该问题抽象为一个优化问题,能够给出更加直观的无向通行性地图标签。

    针对星表探测任务中的危险区域识别问题,本文提出了一种基于深度学习的方法,通过多维语义数据判断特定巡视器的星表可通行性,并在虚拟环境中验证了该方法的有效性。主要贡献包括:(1)提出了从通行性定义、数据集生成到网络逐像素分类预测的完整算法流程;(2)设计了巡视器在特定环境的通行性实验方法和相应的通行性标注准则,并搭建了巡视器的虚拟实验环境;(3)将地图通行性的判别条件转化为结合实验结果的优化问题,并给出求解方法。

    • 本文的算法流程及模块划分如图 1所示,分为4个主要模块:

      图  1  本文算法流程及模块划分

      Figure 1.  Frame and Modules of the Proposed Algorithm

      1)多维语义信息生成模块

      对于模拟场地,通过传感器及相关的同步定位与建图(simultaneous localization and mapping, SLAM)算法进行地图的构建与映射,可以得到模拟场地的多维语义信息[23-24]。由于模拟场地搭建成本高、周期长,为缩短算法迭代周期、扩充数据量,本文采用过程式生成的方法,构建出合理的虚拟场地多维语义信息。

      2)场地实验模块

      场地实验分为两类,即在模拟场地进行的实验以及在虚拟环境中过程式生成的场地上进行的实验。本模块提出了特定的实验方法以及通行性实验结果判别方法,考虑了地形材质属性、巡视器模型、几何属性对通行性的影响,最终记录了有方向限制的通行性实验的结果。

      3)通行性地图标签生成模块

      本模块将生成通行性地图标签的问题转化为基于通行性实验记录的结果的优化问题,并将有方向的通行性实验结果转化为了无方向限制的通行性地图,该地图也可视为障碍物地图。

      4)网络训练/预测模块

      本模块使用带有多维语义的二维栅格地图作为输入,输出无方向限制的二值通行性地图,将通行性分析问题建模为逐像素分类问题,即语义分割问题,可以获得与输入数据同粒度的通行性地图,利于对场景的理解和后续规划。

    • 巡视器在模拟场地运行时可以通过各类传感器收集到场地中的多维原始数据,如点云数据、可见光数据、地表温度数据、红外光谱数据等,通过空间地图的重建[25]以及基于视觉的分割与映射[22],可以得到在二维栅格上的多通道数据。

      在实际操作过程中,搭建模拟场地耗时极长,为实现算法的快速迭代验证,本文设计了一个过程式生成地表多维语义信息的方法。待生成的场地数据分为几何数据与材质数据,几何数据已有比较成熟的生成方法,在此不进行赘述,本节主要阐述材质数据的生成过程。

      场地材质通常会表现出多种属性,如地表颗粒度、裂隙大小、表面粗糙度等,将每一属性视为多维语义信息的一个通道。同一通道的数据之间需要考虑几何连贯性,在多数区域需要形成较连续的大面积斑块。不同通道的数据之间具有一定约束性,且受场地几何数据的制约,如地表颗粒度极小的区域无法出现较大的裂隙或较大的粗糙度,在坡度较大的区域不会出现颗粒度极小的情况等。

      本文提出了一种基于随机能量场的算法产生连续合法的地表材质。首先,确定每一材质通道的可取离散数值集合,并确定合法的地表状态集合Φ,表达式为:

      $$ \varPhi=\left\{\left(c_{1}, c_{2} \cdots\right) \mid c_{1} \in C_{1}, c_{2} \in C_{2} \cdots\right\} $$ (1)

      式中,c1c2为单通道内允许的离散地表状态;C1C2为每一通道内允许取值的集合;同时(c1, c2⋯)为一种合法的地表状态组合。

      在地图上设置若干能量源,能量源集合E的表达式为:

      $$ E=\left\{e_{i} \mid e_{i}=\left(\phi_{i}, x_{i}, y_{i}, p_{i}\right), \phi_{i} \in \varPhi\right\} $$ (2)

      式中,ei为一个能量源;ϕi为合法状态集中的随机取值;(xi, yi)为地图范围内的随机位置;pi为适当范围内的随机能量大小。

      使用平方递减的能量场计算每一栅格上各类型的累计能量,计算式为:

      $$ G\left(x, y, \phi_{t}\right)=\sum\limits_{i=1}^{|E|} \lambda \frac{p_{i}}{\left(x-x_{i}\right)^{2}+\left(y-y_{i}\right)^{2}} $$ (3)

      式中,G(x, yϕt)表示地图(x, y)位置上的ϕt类型对应的累计能量;|E|表示场地中能量源的总个数;λ的定义如下:

      $$ \lambda=\left\{\begin{array}{l} 1, \phi_{t}=\phi_{i} \\ 0, \phi_{t} \neq \phi_{i} \end{array}\right. $$ (4)

      取能量最大的状态为该位置的状态,T0(x, y)表示地图上(x, y)位置的状态按照能量积累的取值,计算式为:

      $$ T_{0}(x, y)=\arg \max \limits_{\phi_{t}} G\left(x, y, \phi_{t}\right) $$ (5)

      考虑地表材质通道与几何通道组合后是否为非法状态,并确定材质通道的最终结果。T(x, y)表示地图上(x, y)位置状态的最终取值,并需要保证ϕi是合法取值,计算式为:

      $$ T(x, y)=\underset{\phi_{i}}{\arg }\min \left(\left\|\phi_{i}-T_{0}(x, y)\right\|\right), \phi_{i} \in \varPhi $$ (6)

      最终可以得到在约束条件限制下,具有较好连通性的斑块状地表信息。

    • 为使系统最终能够预测经验公式之外的危险状况,采用数据驱动的方法,用巡视器在场地中行进的实验结果判定险情,从而建立针对特定车辆的场地多维信息与通行性的对应关系。实验时,对巡视器在地图上分别向上、下、左、右4个正方向进行遍历式的模拟实验。每当车辆中心行驶到栅格边界中心附近时,进行离散的实验状态记录。

      在实际任务中,巡视器自身会覆盖若干栅格,将巡视器覆盖的栅格及其周边小范围邻域记为C(x, y, d),并将该范围内全部的地表多维语义信息记为T(x, y, d),其中(x, y)为地图上某一点的位置,同时约定车的坐标按照车中心位置计算,d为巡视器行驶的方向。假设在某一特定实验环境中,对于特定巡视器存在判别其通行性的隐函数f (T, d, s),即在场地信息与巡视器状态不发生改变时,该巡视器在特定位置的通行性是固定的。其中s为巡视器自身参数,f是0/1二值函数,该函数难以通过经验公式显式定义,因此本文引入了一个实验结果的中间函数P(x, y, d),通过测定实验结果给出中间函数的值,间接得到该位置的通行性。

      由于在沙地、碎石地等区域会遇到打滑、颠簸等易于引发危险的状态,但轻微的打滑与颠簸属于正常情况,因此本文对巡视器某一状态的通行性做出了更加显式的定义。参考文献[22]中的方法,记录巡视器通过栅格前后时间t1t2和通过栅格前后的速度方向v1v2,当速度方向的角度偏移大于阈值θ0时,认为该状态为不可通行。当巡视器通过该栅格的平均速率v小于认为设定的最小速度阈值vmin时,该状态判定为不可通行;v越接近额定功率下的最大速率vmax,则该状态可通行的概率越大,并对速度到概率进行平滑映射。定义有实验数据时的概率公式如下:

      $$ \begin{array}{c} P(x,y,\mathit{\boldsymbol{d}}) = {\chi ^ + }\left( { < {\mathit{\boldsymbol{v}}_1},{\mathit{\boldsymbol{v}}_2} > - {\theta _0}} \right) \cdot \\ S\left( {{v_{\min }},{v_{\max }},\frac{{|\Delta x|}}{{{t_2} - {t_1}}}} \right) \end{array} $$ (7)

      式中,P(x, y, d)表示地图中(x, y)位置对应的栅格单元在巡视器行驶方向为d时的可通行概率;χ+表示若参数为正则取参数值,否则取0;Δx表示地图栅格单元的边长;S为平滑映射函数,其定义如下:

      $$ S\left(v_{\min }, v_{\max }, \bar{v}\right)=\left\{\begin{array}{l} 0, k \leqslant 0 \\ k^{2}(3-2 k), 0<k<1 \\ 1, k \geqslant 1 \end{array}\right. $$ (8)
      $$ k=\frac{\bar{v}-v_{\min }}{v_{\max }-v_{\min }} $$ (9)

      从而可定义有实验数据时的状态判别函数:

      $$ f(\boldsymbol{T}(x, y, \boldsymbol{d}), \boldsymbol{d}, \boldsymbol{s})=\left\{\begin{array}{l} 1, P(x, y, \boldsymbol{d}) \geqslant p_{0} \\ 0, P(x, y, \boldsymbol{d})<p_{0} \end{array}\right. $$ (10)

      式中,p0为人为设定的概率阈值。

      同样的,在模拟场地的巡视器实验会消耗大量时间与人力物力,因此使用虚拟环境来进行仿真测试及实验数据的采集。为使结果更加接近真实环境,根据通行性难以用经验公式详尽描述这一特点,一方面结合物理仿真平台进行上述方法的实验;另一方面结合车身覆盖范围内的地表材质与几何数据,设置符合常理的断言式不可通行规则,如结合巡视器具体参数设置可通行的坡度阈值、可通过地面类型等[26]

      在场地中进行遍历式实验后,将每一个不可通行的实验结果对应的位置与方向称为一个非安全状态,其集合记为:

      $$ U = \{ (x,y,\mathit{\boldsymbol{d}})\mid f(\mathit{\boldsymbol{T}}(x,y,\mathit{\boldsymbol{d}}),\mathit{\boldsymbol{d}},\mathit{\boldsymbol{s}}) = 0\} $$ (11)

      相对地,每一个可通行的实验结果对应的巡视器状态称为一个安全状态,其集合记为:

      $$ F = \{ (x,y,\mathit{\boldsymbol{d}})\mid f(\mathit{\boldsymbol{T}}(x,y,\mathit{\boldsymbol{d}}),\mathit{\boldsymbol{d}},\mathit{\boldsymbol{s}}) = 1\} $$ (12)

      至此得到了有通行方向限制的通行性实验结果,只有在巡视器行进方向与限制方向相近时,该记录的实验数据才是有效的。需要注意,根据不同的巡视器参数s以及不同的场景判定规则f得到的UF是不同的,巡视器特定参数对函数的影响已隐式地反映在实验结果中。

    • 许多使用实验数据驱动的方法[20, 27]将带有方向限制的实验结果直接对应到无方向限制的通行性地图及代价地图中。在最保守且直观的方法中,对于任意非安全状态,可以将其覆盖的区域全部标记为不可通行,最终未标注过的区域则为可通行区域(naive algorithm, NA)。NA方法虽然简便快捷,但会使得可用于路径规划的面积大大减少,将很多本可以通行的区域标注为不可通行。另外一类典型的方法是以巡视器中心为基准,将该区域多方向的实验结果汇总到中心栅格上[27],若各方向均可通行,则该栅格可通行,最终得到的通行性地图中将巡视器简化为中心点(central algorithm, CA)。CA方法在某些特定地形中可通行区域会收缩很多,如3个方向可通行的斜坡会被标注为完全不可通行。

      针对上述方法出现的问题,本文提出了一种新的通行性生成方法(optimized algorithm, OA),使用带方向限制的实验结果生成无方向限制的通行性地图,并且在保证安全的情况下,使得最终地图中可容纳的安全状态更多,有效可通行区域更大。

      将一个代表通行性地图的0/1矩阵数据记为一个方案X,在该地图上进行规划时,每一个可能出现的状态称为一个可能状态,其集合记为:

      $$ H(\mathit{\boldsymbol{X}}) = \left\{ {(x,y,\mathit{\boldsymbol{d}})\mid \mathop \sum \limits_{(i,j) \in C(x,y,\mathit{\boldsymbol{d}})} {\mathit{\boldsymbol{X}}_{(i,j)}} = 1} \right\} $$ (13)

      理想状态是H(X)与U无交集,且包含尽量多的F中的元素,因此可设计评价函数如下:

      $$ g=\alpha|F \cap H|+\beta|U \cap H|+\gamma \sum\limits_{(i, j)} \boldsymbol{X}_{(i, j)} $$ (14)

      式中,g表示优化的目标函数;α是一个大常数,用于优先避免方案中出现非安全状态;β是负常数,用于鼓励安全状态的产生;γ是小的正常数;累加X(i, j)中的元素用于鼓励在不影响安全状态数时尽量出现更大面积的不可通行区域,使最终地图具有更好的连贯性。

      由于不同的安全状态与非安全状态有相互约束关系,可将这一问题视为一个全局优化问题。优化目标为在以式(14)为目标函数的情况下得到最终优化方案结果,计算式为:

      $$ \hat{\boldsymbol{X}}=\arg \min \limits_{\boldsymbol{X}}[g(H, F, U, \boldsymbol{X})] $$ (15)

      本文采用遗传算法对方案进行优化。为避免开始时方案中出现过多的非安全状态影响收敛,方案初始状态设置为全部不可通行。每次迭代随机将若干个状态覆盖的区域变为可通行/不可通行,产生多个迭代结果,保留其中值最小的若干结果进行下一步迭代,直到结果收敛,最终可得到相对连贯、可解释性强的通行性地图。

    • 实验选取高程、地表裂隙度、地表颗粒度、地表粗糙度作为多维语义信息的通道,借助Unity随机地表生成工具得到高程图,通过§1.2中描述的能量算法,生成其余几个通道的离散数据,其可视化结果如图 2所示。完整的多维语义地图将用于后续的虚拟环境实验,并将用于网络训练数据集的制作。

      图  2  过程式生成地表信息

      Figure 2.  Procedurally Generated Terrain Information

    • 借助Linux平台中的Gazebo仿真环境,在虚拟环境中对特定巡视器进行了上、下、左、右4个方向的遍历式通行性实验,按照§1.3所述方法记录了实验数据并判定了带方向限制的通行性测试结果。另外,对于不同的地表材质,添加了断言式的复杂规则,如设定了可通行坡度的阈值上限、巡视器覆盖的沙地比例每增加10%则可通行的坡度阈值降低3%等,不同方向的可视化实验结果如图 3所示。

      图  3  不同方向的可通行性实验结果

      Figure 3.  Results of Oriented Traverse Tests

    • 对四方向的实验结果进行进一步处理,采用遗传算法对方案进行优化,对于§1.4中提出的评价函数,实际执行时选取α=1×106β=1×103γ=1。除本文提出的优化算法之外,还测试了§1.4中的NA与CA方法,为使结果更易于统计比较,在该阶段中使用了预设vmax较大的虚拟实验结果。不同方法在不同场地中的表现(局部)见图 4,对其结果的统计指标见表 1,其中CA的有效规划面积按照巡视器允许覆盖的全部面积近似等效。

      图  4  不同方法给出的标签细节对比

      Figure 4.  Detail Comparison of Labels of Different Methods

      表 1  不同方法给出的通行性地图结果统计

      Table 1.  Statistics of Allowed States in Traversability Maps of Different Methods

      场地编号 实际允许状态数 有效路径规划面积/像素 不连通障碍物数量
      NA CA OA NA CA OA NA CA OA
      1 816 604 1 719 620 1 766 688 309 773 501 319 541 506 63 91 95
      2 378 660 1 059 872 1 134 230 164 822 380 948 389 157 43 49 73
      3 261 384 801 828 861 014 118 027 297 896 306 067 8 13 20
      4 45 322 269 792 304 296 29 237 119 283 123 735 6 12 19

      表 1可以看出,在可通行比例不同的地图中,OA方法的结果优于CA方法,远优于NA方法。此外,虽然OA方法给出的允许状态数与有效规划面积仅比CA方法高约10%,但这些区域主要分布在影响地图几何的窄口位置,因此OA结果中不连通的障碍数量显著高于CA结果,说明OA方法给出的地图具有更好的规划连通性。

    • 为扩充数据量、提升训练效果,在数据集的制作中采用了滑动窗口的方法(见图 5),取滑动步长为15像素,窗口大小为100×100,对生成的全局地表信息进行划分,最终得到3 240组虚拟数据集。

      图  5  数据集制作

      Figure 5.  Generation of Datasets

      本文使用Unet分割网络[28]作为基础网络架构,参考Attention Gate模型[29],使用Attention机制对网络结构进行改进,改进后的网络在收敛速度上具有更好的性能,相关网络架构如图 6所示。

      图  6  通行性分析分割网络架构

      Figure 6.  Segmentation Network Model for Traversability Analysis

      将生成的虚拟数据集以6∶2∶2的比例按顺序进行划分,分别作为网络的训练集、验证集和测试集进行实验。本文将包含高程、坡度、裂隙度、颗粒度、粗糙度的多维语义信息作为网络的输入通道,训练过程中采用交叉熵损失作为网络的损失函数,使用RMSProp优化算法[30]对学习率进行自适应。

      本文使用语义分割指标评价实验结果,网络训练的loss函数及验证集上的dice系数的变化过程见图 7。使用该网络在648组测试集上进行预测,平均dice系数达到93.85%,网络预测结果与标签比对见图 8,测试集上的逐像素结果分类统计见图 9图 9中记可通行为正类,不可通行为负类,TP为预测为正类,事实上为正类;TN为预测为负类,事实上为负类;FP为预测为正类,事实上为负类;FN为预测为负类,事实上为正类。由统计和预测结果可以看出,分割网络能够基于多维语义输入对通行性进行像素级分类,整体分割结果较好,验证了整体算法流程的有效性。

      图  7  网络训练过程

      Figure 7.  Training of Network

      图  8  通行性标签与网络预测结果对比

      Figure 8.  Comparison of Traversability Labels and Prediction Results

      图  9  网络在测试集上的逐像素分类统计结果

      Figure 9.  Statistics of Network Classification Results of Test Datasets

    • 本文提出了一套数据驱动的星外地表可通行性分析方案用以指导巡视器的自主规划,设计了一种数据集的制作及收集方法用于验证该方案的有效性。针对收集模拟场地数据及标签耗时耗力、难以支持流程高效迭代的问题,设计了虚拟环境数据集的生成方法,同时提出了在虚拟环境中进行模拟实验的方法。在此基础之上又提出了新的生成对应可通行性标签的方法,获得了比传统方法更优质的可通行性标签。实验证明,使用该数据集训练的网络能够有效预测可通行性。

      由于实验条件受限,本文仅基于虚拟环境验证了方法的有效性,后续将围绕模拟场地展开算法的迁移测试。在将通行性标注问题转化为优化问题后,采用的遗传算法在运行效率上还有很大的优化空间。此外,用于对多维语义数据进行分割的深度神经网络还有进一步改进的空间,如使其可以更好地应对实际中因为遮挡引起的大块数据缺失的情况,并能够应对相近规则的不同数据集下的预测,从而获得更好的泛用性。

参考文献 (30)

目录

    /

    返回文章
    返回