云存储中面向访问任务的小文件合并与预取策略

美国《工程索引》（EI）核心期刊
美国《剑桥科学文摘》（CSA）收录期刊
荷兰斯高帕斯数据库（Scopus）收录期刊
英国INSPEC数据库（SA）收录期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

云存储中面向访问任务的小文件合并与预取策略

王涛, 姚世红, 徐正全, 熊炼

文章导航 > 武汉大学学报 ● 信息科学版 > 2013 > 38(12): 1504-1508

王涛, 姚世红, 徐正全, 熊炼. 云存储中面向访问任务的小文件合并与预取策略[J]. 武汉大学学报 ● 信息科学版, 2013, 38(12): 1504-1508.

引用本文:

王涛, 姚世红, 徐正全, 熊炼. 云存储中面向访问任务的小文件合并与预取策略[J]. 武汉大学学报 ● 信息科学版, 2013, 38(12): 1504-1508.

WANG Tao, YAO Shihong, XU Zhengquan, XIONG Lian. A Small File Merging and Prefetching Strategy Basedon Access Task in Cloud Storage[J]. Geomatics and Information Science of Wuhan University, 2013, 38(12): 1504-1508.

Citation:

WANG Tao, YAO Shihong, XU Zhengquan, XIONG Lian. A Small File Merging and Prefetching Strategy Basedon Access Task in Cloud Storage[J]. Geomatics and Information Science of Wuhan University, 2013, 38(12): 1504-1508.

云存储中面向访问任务的小文件合并与预取策略

¹ 武汉大学测绘遥感信息工程国家重点实验室,武汉市珞喻路129号,430079

基金项目: 国家973计划资助项目(2011CB302306)；国家自然科学基金资助项目(41271398)

作者简介:
王涛,博士。主要从事云存储和大数据研究。

中图分类号: P208

A Small File Merging and Prefetching Strategy Basedon Access Task in Cloud Storage

¹State Key Laboratory of Information Engineering in Surveying,Mapping and RemoteSensing,Wuhan University,129Luoyu Road,Wuhan 430079,China

Funds: 国家973计划资助项目(2011CB302306)；国家自然科学基金资助项目(41271398)

摘要: 针对云存储中通用分布式文件系统的小文件问题,改进概率潜语义分析(PLSA)模型,提出了一种面向用户访问任务的小文件合并与预取策略。该策略分析用户的访问任务、系统应用和访问文件之间的关系,根据任务合并小文件,并基于任务的转移概率预取文件。对建立的效率模型的分析和基于HDFS的数字城市原型系统实验结果都表明,此策略有较高的预取命中率,可以有效减少元数据服务器的负载和用户请求响应时延。
- 分布式文件系统 /
- 概率潜语义分析 /
- 小文件 /
- 访问任务 /
- 合并与预取
Abstract: Aiming to improve the small file problem of a general distributed file system incloud storage,a file merging and prefetching strategy based on a users’access task is pro-posed that improves the PLSA model.Analyzing the relationships among the access tasks,applications,and access files the strategy merge small files on the basis of tasks and selectsprefetching files based the transition probability of the tasks.Efficiency model analysis andexperimental results of a digital city prototype system based on HDFS all show that the pro-posed strategy has a high prefetching hit ratio and can effectively reduce the metadata serv-ers’load and the response delay for users’request.
- distributed file system /
- probability latent semantic analysis /
- small files /
- accesstask /
- merging and prefetching

[1]	王占刚, 吴自兴, 王想红. 语义尺度影响的相离区域合并与拓扑关系计算 . 武汉大学学报 ● 信息科学版, 2018, 43(11): 1712-1718. doi: 10.13203/j.whugis20170009
[2]	李林阳, 吕志平, 崔阳, 王宇谱, 周海涛. 海量GNSS小文件云存储优化方法研究 . 武汉大学学报 ● 信息科学版, 2017, 42(8): 1068-1074. doi: 10.13203/j.whugis20150136
[3]	仇林遥, 杜志强, 谢金华, 邱振戈, 许伟平, 张叶廷. 大文件高分辨率遥感影像的实时可视化方法 . 武汉大学学报 ● 信息科学版, 2016, 41(8): 1021-1026. doi: 10.13203/j.whugis20140379
[4]	孟令奎, 段红伟, 黄长青, 李颖. 一种GML文件到地理OWL文件的流式转换方法 . 武汉大学学报 ● 信息科学版, 2014, 39(1): 112-116.
[5]	熊炼, 徐正全, 王涛, 顾鑫. 云环境下的时空数据小文件存储策略 . 武汉大学学报 ● 信息科学版, 2014, 39(10): 1252-1256.
[6]	刘小俊, 徐正全, 潘少明. 一种结合RDBMS和Hadoop的海量小文件存储方法 . 武汉大学学报 ● 信息科学版, 2013, 38(1): 113-115,120.
[7]	林雪原. 多传感器组合导航系统的两级分布式融合算法研究 . 武汉大学学报 ● 信息科学版, 2012, 37(3): 274-277.
[8]	林雪原, 刘磊. 多传感器组合导航系统的多尺度分布式滤波算法 . 武汉大学学报 ● 信息科学版, 2012, 37(7): 823-826.
[9]	郑肇葆, 郑宏. 利用PLSA技术进行图像分割 . 武汉大学学报 ● 信息科学版, 2012, 37(2): 132-135.
[10]	王浩, 潘少明, 彭敏, 李锐. 数字地球中影像数据的Zipf-like访问分布及应用分析 . 武汉大学学报 ● 信息科学版, 2010, 35(3): 356-359.
[11]	尹天鹤, 张丰, 刘仁义, 刘南. 一种基于航迹线文件的声纳图像裂缝处理方法 . 武汉大学学报 ● 信息科学版, 2009, 34(8): 898-901.
[12]	班志杰, 金瑜. 利用LMS规则的预取策略 . 武汉大学学报 ● 信息科学版, 2009, 34(8): 1004-1007.
[13]	邓伟, 陈庆虎, 袁凤, 鄢煜尘. 复杂背景文件图像的字符提取 . 武汉大学学报 ● 信息科学版, 2009, 34(3): 313-316.
[14]	陈玉敏, 龚健雅, 姚明. 分布式多级道路网的最优路径服务应用系统设计 . 武汉大学学报 ● 信息科学版, 2008, 33(4): 384-387.
[15]	何超英, 蒋捷, 陈军, 韩刚. 基于角色和任务的层次对象访问控制模型 . 武汉大学学报 ● 信息科学版, 2006, 31(8): 716-719.
[16]	徐丙立, 龚建华, 林珲. 基于HLA的分布式虚拟地理环境系统框架研究 . 武汉大学学报 ● 信息科学版, 2005, 30(12): 1096-1099.
[17]	姚宜斌, 刘经南, 陶本藻, 施闯. 基于SINEX文件的ERP参数估计 . 武汉大学学报 ● 信息科学版, 2005, 30(8): 739-743.
[18]	袁相儒, 陈能成, 龚健雅. 互联网地理信息系统的分布式超地图模型 . 武汉大学学报 ● 信息科学版, 2000, 25(4): 299-304.
[19]	何健鹰, 袁宇正. 电子手簿的数据存储与文件管理系统设计 . 武汉大学学报 ● 信息科学版, 1995, 20(3): 277-281.
[20]	徐庆荣. 用栅格填充法建立多边形文件 . 武汉大学学报 ● 信息科学版, 1989, 14(4): 42-46.

WeChat

点击查看大图

计量

文章访问数: 776
HTML全文浏览量: 36
PDF下载量: 837
被引次数: 0

云存储中面向访问任务的小文件合并与预取策略

¹ 武汉大学测绘遥感信息工程国家重点实验室,武汉市珞喻路129号,430079

基金项目: 国家973计划资助项目(2011CB302306)；国家自然科学基金资助项目(41271398)

作者简介:
王涛,博士。主要从事云存储和大数据研究。

收稿日期: 2013-10-25
修回日期: 2013-12-05
刊出日期: 2013-12-05

中图分类号: P208

关键词:

分布式文件系统 /

概率潜语义分析 /

合并与预取

摘要: 针对云存储中通用分布式文件系统的小文件问题,改进概率潜语义分析(PLSA)模型,提出了一种面向用户访问任务的小文件合并与预取策略。该策略分析用户的访问任务、系统应用和访问文件之间的关系,根据任务合并小文件,并基于任务的转移概率预取文件。对建立的效率模型的分析和基于HDFS的数字城市原型系统实验结果都表明,此策略有较高的预取命中率,可以有效减少元数据服务器的负载和用户请求响应时延。

English Abstract

王涛, 姚世红, 徐正全, 熊炼. 云存储中面向访问任务的小文件合并与预取策略[J]. 武汉大学学报 ● 信息科学版, 2013, 38(12): 1504-1508.

引用本文:

王涛, 姚世红, 徐正全, 熊炼. 云存储中面向访问任务的小文件合并与预取策略[J]. 武汉大学学报 ● 信息科学版, 2013, 38(12): 1504-1508.

WANG Tao, YAO Shihong, XU Zhengquan, XIONG Lian. A Small File Merging and Prefetching Strategy Basedon Access Task in Cloud Storage[J]. Geomatics and Information Science of Wuhan University, 2013, 38(12): 1504-1508.

Citation:

WANG Tao, YAO Shihong, XU Zhengquan, XIONG Lian. A Small File Merging and Prefetching Strategy Basedon Access Task in Cloud Storage[J]. Geomatics and Information Science of Wuhan University, 2013, 38(12): 1504-1508.

全文HTML

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

我要投稿

投稿攻略

联系我们

二维码