一种中文自然语言表达交通信息的跨阶分词算法

陆锋; 刘焕焕; 陈传彬

美国《工程索引》（EI）核心期刊
美国《剑桥科学文摘》（CSA）收录期刊
荷兰斯高帕斯数据库（Scopus）收录期刊
英国INSPEC数据库（SA）收录期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种中文自然语言表达交通信息的跨阶分词算法

陆锋, 刘焕焕, 陈传彬

文章导航 > 武汉大学学报 ( 信息科学版) > 2009 > 34(8): 943-947

陆锋, 刘焕焕, 陈传彬. 一种中文自然语言表达交通信息的跨阶分词算法[J]. 武汉大学学报 ( 信息科学版), 2009, 34(8): 943-947.

引用本文:

陆锋, 刘焕焕, 陈传彬. 一种中文自然语言表达交通信息的跨阶分词算法[J]. 武汉大学学报 ( 信息科学版), 2009, 34(8): 943-947.

LU Feng, LIU Huanhuan, CHEN Chuanbin. A Cross-step Word Segmentation Algorithm for Understanding Traffic Information Represented in Natural Chinese Language[J]. Geomatics and Information Science of Wuhan University, 2009, 34(8): 943-947.

Citation:

LU Feng, LIU Huanhuan, CHEN Chuanbin. A Cross-step Word Segmentation Algorithm for Understanding Traffic Information Represented in Natural Chinese Language[J]. Geomatics and Information Science of Wuhan University, 2009, 34(8): 943-947.

一种中文自然语言表达交通信息的跨阶分词算法

陆锋¹,
刘焕焕^1,2,
陈传彬^1,3

¹中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室,北京市朝阳区大屯路甲11号,100101;²中国矿业大学(北京)资源与安全工程学院,北京市海淀区学院路丁11号,100083;³福州大学福建省空间信息工程研究中心,福州市工业路523号,350002

基金项目: 国家863计划资助项目(2006AA12Z209,2007AA12Z241)；国家自然科学基金资助项目(40871184)；中国科学院知识创新工程重点方向性资助项目(KZCX2-YW-308)

详细信息

作者简介:
陆锋,博士,研究员,博士生导师,研究方向包括空间数据库管理技术、交通GIS理论与技术、LBS与导航数据库技术、城市发展与城市GIS技术等。

中图分类号: P208

A Cross-step Word Segmentation Algorithm for Understanding Traffic Information Represented in Natural Chinese Language

¹ LREIS,Institute of Geographic Sciences and Natural Resources Research,CAS,A11 Datun Road,Beijing 100101,China;² College of Resources and Safety Engineering,China University of Mining and Technology,D11 Xueyuan Road,Beijing 100083,China;³ Spatial Information Research Center,Fuzhou University,523 Gongye Road,Fuzhou 350002,China

Funds: 国家863计划资助项目(2006AA12Z209,2007AA12Z241)；国家自然科学基金资助项目(40871184)；中国科学院知识创新工程重点方向性资助项目(KZCX2-YW-308)

摘要: 在分析中文分词算法和交通信息自然语言表达特点基础上,提出了一种自然语言表达交通信息的跨阶匹配分词算法,以适应动态出行信息服务对数字形式结构化实时交通信息的迫切需求。该算法充分考虑了交通信息自然语言描述词库记录长度特点,通过设置对应的中文分词阶数,将传统中文分词的字符串指针1阶跨越方法改进为依词库性质变化的多阶跨越方法,对可能成词的中文字符串进行整体处理,极大地提高了自然语言表达交通信息的实时分词与理解效率。通过与改进MM(maximum matching)算法的实验比较,本方法在理解成功率和容错性相同的情况下,效率比MM分词算法提高了10倍以上。
- 交通信息 /
- 中文自然语言处理 /
- 分词 /
- 跨阶法
Abstract: A novel cross-step word segmentation algorithm is proposed to process real-time traffic information represented in natural Chinese in this paper,to meet the urgent need of real-time traveling information service,for dynamic traffic information. Considering the record length distribution of the word libraries depicting real-time traffic information,this algorithm sets corresponding steps of word segmentation for address,direction and event libraries,and improves the one step running of the string pointer in classical Chinese word segmentation to flexible multiple steps running,so as to aggregate possible Chinese words efficiently. A case study shows that the proposed algorithm runs 10 times faster than an improved MM algorithm,whilst keeping similar accuracy and robustness. The authors argued that the presented algorithm is greatly helpful to the automatic and intelligent processing of the real-time traffic information,and facilitate the development of travel information services.
- traffic information /
- natural Chinese processing /
- word segmentation /
- cross-step algorithm

[1]	吕亚飞, 熊伟, 张筱晗. 一种通用的跨模态遥感信息关联学习方法 . 武汉大学学报 ( 信息科学版), 2022, 47(11): 1887-1895. doi: 10.13203/j.whugis20200213
[2]	彭明军, 李宗华, 刘辉, 孟成, 李勇. 基于中文分词的加权地理编码在COVID-19疫情防控空间定位中的应用 . 武汉大学学报 ( 信息科学版), 2020, 45(6): 808-815. doi: 10.13203/j.whugis20200212
[3]	应申, 李威阳, 贺彪, 王维, 万远. 统计决策树下的城市地址集中文分词 . 武汉大学学报 ( 信息科学版), 2019, 44(2): 302-309. doi: 10.13203/j.whugis20170072
[4]	李迎松, 郑顺义, 夏远鑫, 王政. 自然环境下圆形禁令交通标志检测 . 武汉大学学报 ( 信息科学版), 2016, 41(12): 1619-1625. doi: 10.13203/j.whugis20140638
[5]	杜清运, 任福. 空间信息的自然语言表达模型 . 武汉大学学报 ( 信息科学版), 2014, 39(6): 682-688. doi: 10.13203/j.whugis20140118
[6]	黄雪萍, 邓敏, 吴静, 马杭英. 线面目标自然语言空间关系集成表达与描述方法研究 . 武汉大学学报 ( 信息科学版), 2013, 38(2): 230-234.
[7]	谭文虎, 李清泉. 利用位置服务信息的车用自组织网络有效路由 . 武汉大学学报 ( 信息科学版), 2012, 37(9): 1126-1129.
[8]	邓敏, 黄雪萍, 刘慧敏, 李光强. 利用自然语言空间关系的空间查询方法研究 . 武汉大学学报 ( 信息科学版), 2011, 36(9): 1089-1093.
[9]	宋莺, 李清泉. 实时交通信息与移动导航电子地图融合表达 . 武汉大学学报 ( 信息科学版), 2010, 35(9): 1108-1111.
[10]	姜桂艳, 常安德, 张玮. 基于GPS浮动车采集交通信息的路段划分方法 . 武汉大学学报 ( 信息科学版), 2010, 35(1): 42-45.
[11]	雷波, 李清泉. 复杂交通场景中车辆视频检测的背景提取与更新 . 武汉大学学报 ( 信息科学版), 2009, 34(8): 906-909.
[12]	方志祥, 宋莺. 嵌入式环境基于实时交通信息的多层次路径规划算法 . 武汉大学学报 ( 信息科学版), 2008, 33(4): 397-401.
[13]	徐爱萍, 边馥苓. GIS中文查询系统的词典设计与分词研究 . 武汉大学学报 ( 信息科学版), 2006, 31(4): 348-351.
[14]	乐小虬, 杨崇俊, 于文洋. 基于空间语义角色的自然语言空间概念提取 . 武汉大学学报 ( 信息科学版), 2005, 30(12): 1100-1103.
[15]	杜世宏, 王桥, 李治江. GIS中自然语言空间关系定义 . 武汉大学学报 ( 信息科学版), 2005, 30(6): 533-538.
[16]	吴云, 孙海燕, 马学忠. 半参数估计的自然样条函数法 . 武汉大学学报 ( 信息科学版), 2004, 29(5): 398-101. doi: 10.13203/j.whugis2004.05.006
[17]	马林兵, 龚健雅. 空间信息自然语言查询接口的研究与应用 . 武汉大学学报 ( 信息科学版), 2003, 28(3): 301-305.
[18]	李德仁, 李清泉, 谢智颖, 朱欣焰. 论空间信息与移动通信的集成应用 . 武汉大学学报 ( 信息科学版), 2002, 27(1): 1-8.
[19]	李德仁, 李清泉. 论地球空间信息技术与通信技术的集成 . 武汉大学学报 ( 信息科学版), 2001, 26(1): 1-7.
[20]	龚健雅, 袁相儒, 陈莉丽, 韩海洋. 跨平台分布式地理信息组织与处理 . 武汉大学学报 ( 信息科学版), 1998, 23(4): 364-369.

点击查看大图

计量

文章访问数: 728
HTML全文浏览量: 57
PDF下载量: 489
被引次数: 0

一种中文自然语言表达交通信息的跨阶分词算法

¹中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室,北京市朝阳区大屯路甲11号,100101;²中国矿业大学(北京)资源与安全工程学院,北京市海淀区学院路丁11号,100083;³福州大学福建省空间信息工程研究中心,福州市工业路523号,350002

基金项目: 国家863计划资助项目(2006AA12Z209,2007AA12Z241)；国家自然科学基金资助项目(40871184)；中国科学院知识创新工程重点方向性资助项目(KZCX2-YW-308)

作者简介:
陆锋,博士,研究员,博士生导师,研究方向包括空间数据库管理技术、交通GIS理论与技术、LBS与导航数据库技术、城市发展与城市GIS技术等。

收稿日期: 2009-05-20
修回日期: 2009-05-20
刊出日期: 2009-08-05

中图分类号: P208

关键词:

交通信息 /

中文自然语言处理 /

分词 /

跨阶法

摘要: 在分析中文分词算法和交通信息自然语言表达特点基础上,提出了一种自然语言表达交通信息的跨阶匹配分词算法,以适应动态出行信息服务对数字形式结构化实时交通信息的迫切需求。该算法充分考虑了交通信息自然语言描述词库记录长度特点,通过设置对应的中文分词阶数,将传统中文分词的字符串指针1阶跨越方法改进为依词库性质变化的多阶跨越方法,对可能成词的中文字符串进行整体处理,极大地提高了自然语言表达交通信息的实时分词与理解效率。通过与改进MM(maximum matching)算法的实验比较,本方法在理解成功率和容错性相同的情况下,效率比MM分词算法提高了10倍以上。

English Abstract

A Cross-step Word Segmentation Algorithm for Understanding Traffic Information Represented in Natural Chinese Language

¹ LREIS,Institute of Geographic Sciences and Natural Resources Research,CAS,A11 Datun Road,Beijing 100101,China;² College of Resources and Safety Engineering,China University of Mining and Technology,D11 Xueyuan Road,Beijing 100083,China;³ Spatial Information Research Center,Fuzhou University,523 Gongye Road,Fuzhou 350002,China

Funds: 国家863计划资助项目(2006AA12Z209,2007AA12Z241)；国家自然科学基金资助项目(40871184)；中国科学院知识创新工程重点方向性资助项目(KZCX2-YW-308)

Received Date: 2009-05-20
Rev Recd Date: 2009-05-20
Publish Date: 2009-08-05

Keywords:

Abstract: A novel cross-step word segmentation algorithm is proposed to process real-time traffic information represented in natural Chinese in this paper,to meet the urgent need of real-time traveling information service,for dynamic traffic information. Considering the record length distribution of the word libraries depicting real-time traffic information,this algorithm sets corresponding steps of word segmentation for address,direction and event libraries,and improves the one step running of the string pointer in classical Chinese word segmentation to flexible multiple steps running,so as to aggregate possible Chinese words efficiently. A case study shows that the proposed algorithm runs 10 times faster than an improved MM algorithm,whilst keeping similar accuracy and robustness. The authors argued that the presented algorithm is greatly helpful to the automatic and intelligent processing of the real-time traffic information,and facilitate the development of travel information services.

陆锋, 刘焕焕, 陈传彬. 一种中文自然语言表达交通信息的跨阶分词算法[J]. 武汉大学学报 ( 信息科学版), 2009, 34(8): 943-947.

引用本文:

陆锋, 刘焕焕, 陈传彬. 一种中文自然语言表达交通信息的跨阶分词算法[J]. 武汉大学学报 ( 信息科学版), 2009, 34(8): 943-947.

Citation: