空间认知导向下利用分层强化学习的最优路径规划

美国《工程索引》（EI）核心期刊
美国《剑桥科学文摘》（CSA）收录期刊
荷兰斯高帕斯数据库（Scopus）收录期刊
英国INSPEC数据库（SA）收录期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

空间认知导向下利用分层强化学习的最优路径规划

赵卫锋, 李清泉, 李必军

文章导航 > 武汉大学学报 ● 信息科学版 > 2012 > 37(11): 1271-1275

赵卫锋, 李清泉, 李必军. 空间认知导向下利用分层强化学习的最优路径规划[J]. 武汉大学学报 ● 信息科学版, 2012, 37(11): 1271-1275.

引用本文:

赵卫锋, 李清泉, 李必军. 空间认知导向下利用分层强化学习的最优路径规划[J]. 武汉大学学报 ● 信息科学版, 2012, 37(11): 1271-1275.

ZHAO Weifeng, LI Qingquan, LI Bijun. Spatial Cognition Oriented Optimal Route Planning with Hierarchical Reinforcement Learning[J]. Geomatics and Information Science of Wuhan University, 2012, 37(11): 1271-1275.

Citation:

ZHAO Weifeng, LI Qingquan, LI Bijun. Spatial Cognition Oriented Optimal Route Planning with Hierarchical Reinforcement Learning[J]. Geomatics and Information Science of Wuhan University, 2012, 37(11): 1271-1275.

空间认知导向下利用分层强化学习的最优路径规划

¹武汉大学测绘遥感信息工程国家重点实验室,武汉市珞喻路129号430079

基金项目: 国家自然科学基金重点资助项目(40830530);国家自然科学基金资助项目(60872132)

作者简介:
赵卫锋，博士生，现从事智能交通系统研究。

中图分类号: P208

Spatial Cognition Oriented Optimal Route Planning with Hierarchical Reinforcement Learning

¹ State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing, Wuhan University,129 Luoyu Road,Wuhan 430079,China

Funds: 国家自然科学基金重点资助项目(40830530);国家自然科学基金资助项目(60872132)

摘要: 针对空间认知导向下模型驱动型路径规划和人们认知偏好多样性之间的矛盾,提出了一种基于分层强化学习的交互学习型路径规划方法。该方法将最优路径标准转换为路口处转向决策的瞬时奖励值,并通过预学习和实时学习两个阶段实现高效地发现总奖励值最大的最优路径策略。其中,预学习阶段自动发现子目标节点,并构建包含局部最优策略的子任务;实时学习阶段利用预定义策略实现高效的Q值更新,并根据Q值追溯最优路径。实验表明,该方法具有足够好的实时性和最优性。
- 空间认知 /
- 最优路径规划 /
- 分层强化学习 /
- 预学习 /
- 实时学习
Abstract: Against the contradictions between model-driven route planning and the diversity of human cognitive preferences for spatial cognition oriented optimal routes,we present a kind of interactive route planning approach based on hierarchical reinforcement learning.In this approach,optimal route criterias are translated into immediate rewards of turning decisions at intersections,and optimal route policies with maximal cumulative rewards can be found through a two-stage learning process.The first pre-learning stage automatically identifies some nodes in road network as subgoals and constructs corresponding subtasks containing local optimal route policies for achieving the subgoals.The second real-time learning stage focuses on efficiently updating the Q values of every available state-action pair using predefined policies,and tracing the optimal routes according to Q values.The experimental results show that our proposed approach learns effectively enough and ensures the routes found close to global optimal ones.
- spatial cognition /
- optimal route planning /
- hierarchical reinforcement learning /
- pre-learning /
- real-time learning

[1]	邵振峰, 孙悦鸣, 席江波, 李岩. 智能优化学习的高空间分辨率遥感影像语义分割 . 武汉大学学报 ● 信息科学版, 2022, 47(2): 234-241. doi: 10.13203/j.whugis20200640
[2]	卢笑, 竺一薇, 阳牡花, 周炫余, 王耀南. 联合图像与单目深度特征的强化学习端到端自动驾驶决策方法 . 武汉大学学报 ● 信息科学版, 2021, 46(12): 1862-1871. doi: 10.13203/j.whugis20210409
[3]	张立强, 李洋, 侯正阳, 李新港, 耿昊, 王跃宾, 李景文, 朱盼盼, 梅杰, 姜颜笑, 李帅朋, 辛奇, 崔颖, 刘素红. 深度学习与遥感数据分析 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
[4]	陈逸敏, 黎夏. 机器学习在城市空间演化模拟中的应用与新趋势 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1884-1889. doi: 10.13203/j.whugis20200423
[5]	马明明, 龚建华, 李文航, 黄琳, 马晓辉, 李亚斌. 基于虚拟眼动实验的指向型应急疏散标识布局优化方法 . 武汉大学学报 ● 信息科学版, 2020, 45(9): 1386-1394. doi: 10.13203/j.whugis20190409
[6]	应申, 庄园, 黄丽娜, 陈乃镔, 张雯博. 性别和认知差异对三维空间寻路结果的影响 . 武汉大学学报 ● 信息科学版, 2020, 45(3): 317-324. doi: 10.13203/j.whugis20190184
[7]	潘银, 邵振峰, 程涛, 贺蔚. 利用深度学习模型进行城市内涝影响分析 . 武汉大学学报 ● 信息科学版, 2019, 44(1): 132-138. doi: 10.13203/j.whugis20170217
[8]	李佳田, 贾成林, 牛一如, 阿晓荟, 高鹏, 晏玲. 一种求解单像空间后方交会的监督学习方法 . 武汉大学学报 ● 信息科学版, 2019, 44(8): 1144-1152. doi: 10.13203/j.whugis20170292
[9]	申申, 龚建华, 李文航, 梁剑鸣. 基于虚拟亲历行为的空间场所认知对比实验研究 . 武汉大学学报 ● 信息科学版, 2018, 43(11): 1732-1738. doi: 10.13203/j.whugis20170083
[10]	樊恒, 徐俊, 邓勇, 向金海. 基于深度学习的人体行为识别 . 武汉大学学报 ● 信息科学版, 2016, 41(4): 492-497. doi: 10.13203/j.whugis20140110
[11]	李靖涵, 巩现勇, 武芳, 黄博华. 一种改进的面目标间方向关系相似性计算模型 . 武汉大学学报 ● 信息科学版, 2016, 41(7): 925-931,951. doi: 10.13203/j.whugis20140341
[12]	付仲良, 赵星源, 王楠, 杨元维, 田宗舜, 俞志强. 一种基于流形学习的空间数据划分方法 . 武汉大学学报 ● 信息科学版, 2015, 40(10): 1294-1298,1323. doi: 10.13203/j.whugis20141008
[13]	陈科, 王家耀, 成毅, 谢明霞. 利用流形学习进行空间信息服务分类 . 武汉大学学报 ● 信息科学版, 2013, 38(3): 324-328.
[14]	. 利用流形学习进行空间信息服务分类 . 武汉大学学报 ● 信息科学版, 2013, 38(3): 324-.
[15]	邓兴升, 花向红. 动态最小二乘支持向量机学习算法 . 武汉大学学报 ● 信息科学版, 2008, 33(11): 1122-1125.
[16]	严勇, 李清泉, 孙久运. 投影寻踪学习网络的遥感影像分类 . 武汉大学学报 ● 信息科学版, 2007, 32(10): 876-879.
[17]	董卫华, 郭庆胜, 刘纪平, 吕秀琴. 道路网示意性地图的渐进式综合研究 . 武汉大学学报 ● 信息科学版, 2007, 32(9): 829-832.
[18]	黄解军, 万幼川, 潘和平. 贝叶斯网络结构学习及其应用研究 . 武汉大学学报 ● 信息科学版, 2004, 29(4): 315-318.
[19]	舒红. 地理空间的存在 . 武汉大学学报 ● 信息科学版, 2004, 29(10): 868-871.
[20]	郑束蕾, 黎雪儿. 认知（心象）地图助力寻亲成功 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20220068

WeChat

点击查看大图

计量

文章访问数: 1256
HTML全文浏览量: 27
PDF下载量: 482
被引次数: 0

空间认知导向下利用分层强化学习的最优路径规划

¹武汉大学测绘遥感信息工程国家重点实验室,武汉市珞喻路129号430079

基金项目: 国家自然科学基金重点资助项目(40830530);国家自然科学基金资助项目(60872132)

作者简介:
赵卫锋，博士生，现从事智能交通系统研究。

收稿日期: 2012-09-15
刊出日期: 2012-11-05

中图分类号: P208

关键词:

最优路径规划 /

分层强化学习 /

摘要: 针对空间认知导向下模型驱动型路径规划和人们认知偏好多样性之间的矛盾,提出了一种基于分层强化学习的交互学习型路径规划方法。该方法将最优路径标准转换为路口处转向决策的瞬时奖励值,并通过预学习和实时学习两个阶段实现高效地发现总奖励值最大的最优路径策略。其中,预学习阶段自动发现子目标节点,并构建包含局部最优策略的子任务;实时学习阶段利用预定义策略实现高效的Q值更新,并根据Q值追溯最优路径。实验表明,该方法具有足够好的实时性和最优性。

English Abstract

赵卫锋, 李清泉, 李必军. 空间认知导向下利用分层强化学习的最优路径规划[J]. 武汉大学学报 ● 信息科学版, 2012, 37(11): 1271-1275.

引用本文:

赵卫锋, 李清泉, 李必军. 空间认知导向下利用分层强化学习的最优路径规划[J]. 武汉大学学报 ● 信息科学版, 2012, 37(11): 1271-1275.

ZHAO Weifeng, LI Qingquan, LI Bijun. Spatial Cognition Oriented Optimal Route Planning with Hierarchical Reinforcement Learning[J]. Geomatics and Information Science of Wuhan University, 2012, 37(11): 1271-1275.

Citation:

ZHAO Weifeng, LI Qingquan, LI Bijun. Spatial Cognition Oriented Optimal Route Planning with Hierarchical Reinforcement Learning[J]. Geomatics and Information Science of Wuhan University, 2012, 37(11): 1271-1275.

全文HTML

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

我要投稿

投稿攻略

联系我们

二维码