云环境下的时空数据小文件存储策略

熊炼; 徐正全; 王涛; 顾鑫

美国《工程索引》（EI）核心期刊
美国《剑桥科学文摘》（CSA）收录期刊
荷兰斯高帕斯数据库（Scopus）收录期刊
英国INSPEC数据库（SA）收录期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

云环境下的时空数据小文件存储策略

熊炼, 徐正全, 王涛, 顾鑫

文章导航 > 武汉大学学报 ● 信息科学版 > 2014 > 39(10): 1252-1256

熊炼, 徐正全, 王涛, 顾鑫. 云环境下的时空数据小文件存储策略[J]. 武汉大学学报 ● 信息科学版, 2014, 39(10): 1252-1256.

引用本文:

熊炼, 徐正全, 王涛, 顾鑫. 云环境下的时空数据小文件存储策略[J]. 武汉大学学报 ● 信息科学版, 2014, 39(10): 1252-1256.

XIONG　Lian, XU　Zhengquan, WANG　Tao　, GU　Xin. On　the 　Store 　Strate gy　of 　Small　Spatio－Temporal　Data Files 　in　Cloud　Environment[J]. Geomatics and Information Science of Wuhan University, 2014, 39(10): 1252-1256.

Citation:

XIONG　Lian, XU　Zhengquan, WANG　Tao　, GU　Xin. On　the 　Store 　Strate gy　of 　Small　Spatio－Temporal　Data Files 　in　Cloud　Environment[J]. Geomatics and Information Science of Wuhan University, 2014, 39(10): 1252-1256.

云环境下的时空数据小文件存储策略

¹武汉大学测绘遥感信息工程国家重点实验室湖北武汉430079

基金项目: 国家973计划资助项目2011CB302306 国家自然科学基金资助项目41271398

详细信息

作者简介:
熊炼博士生主要从事Web数据挖掘及分布式存储研究

中图分类号: P208

On　the 　Store 　Strate gy　of 　Small　Spatio－Temporal　Data Files 　in　Cloud　Environment

¹State Key Laboratory of Information Engineerin g in Surveyin gMapp in g and Remote SensingWuhan UniversityWuhan 430079 China

摘要: 云环境下的网络应用中存在着海量的时空数据小文件针对HDFS处理小文件效率不高的问题提出了一种结合用户访问规律与数据自身属性的数据处理方案该方案将用户访问转化为数据请求序列根据数据的时空属性提取并构建特征序列通过模板匹配找到用户在不同访问模式下的特征模板发现模板内文件之间的访问相关性合并相关文件实验结果表明该方案有效地提高了系统对小文件的存储读取效率减小了网络应用的响应时间
- 云存储 /
- 小文件 /
- 时空数据 /
- 特征提取 /
- 模板匹配
Abstract: Internet 　applications 　create　massive　small　spatio－temporal 　data 　files 　in 　cloud 　environments．Therefore　a　method　aimin g　to 　raise 　the　processing　efficienc y　of 　small　files 　in　HDFSa　data　scheme combining　user 　access 　and　data 　featuresis 　proposed．This 　scheme 　re gards 　a　user 　access 　stream　as 　file re quest 　se quenceand　constructs 　a　characteristic 　se quence　by　spatio－temporal 　attribute 　extraction．A characteristic 　template 　of 　different 　user 　access 　patterns 　is 　formed　when　anal yzin g　the 　characteristic 　sequence　by　template　matching．Then　merger－related 　files 　are 　anal yzed．Experimental 　results 　show　that our　scheme 　improves 　the 　stora ge　efficienc y　for 　small　files and　also 　decreases　network　application 　response　times．
- loud 　stora ge /
- small　file /
- spatio－temporal 　data /
- feature 　extraction /
- template　matching

[1]	罗亦泳, 姚宜斌, 黄城, 张静影. 基于改进VMD的变形特征提取与分析 . 武汉大学学报 ● 信息科学版, 2020, 45(4): 612-619. doi: 10.13203/j.whugis20180286
[2]	陈铁桥, 柳稼航, 朱锋, 王一豪, 刘佳, 陈杰. 适用于遥感分类的多邻域粗糙集加权特征提取方法 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 311-317. doi: 10.13203/j.whugis20150290
[3]	李宗华, 孟成, 周海燕, 潘琛玲. 一种基于4D流本体建设工程时空数据模型的地理要素更新方法 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 2310-2316. doi: 10.13203/j.whugis20180173
[4]	陈光, 眭海刚, 涂继辉, 宋志娜. 基于P-N学习的高分遥感影像道路半自动提取方法 . 武汉大学学报 ● 信息科学版, 2017, 42(6): 775-781. doi: 10.13203/j.whugis20140999
[5]	李林阳, 吕志平, 崔阳, 王宇谱, 周海涛. 海量GNSS小文件云存储优化方法研究 . 武汉大学学报 ● 信息科学版, 2017, 42(8): 1068-1074. doi: 10.13203/j.whugis20150136
[6]	刘小俊, 胡志华, 潘少明. 智慧城市云存储系统中的副本量控制策略研究 . 武汉大学学报 ● 信息科学版, 2016, 41(9): 1205-1210. doi: 10.13203/j.whugis20140440
[7]	何培培, 万幼川, 高贤君, 秦家鑫. 基于彩色信息尺度不变特征的街景影像匹配 . 武汉大学学报 ● 信息科学版, 2014, 39(7): 867-872.
[8]	万雪, 张祖勋, 柯涛. 一种利用零交叉点理论的改进SIFT特征提取算法 . 武汉大学学报 ● 信息科学版, 2013, 38(3): 270-273.
[9]	林娜, 杨武年, 王斌. 高光谱遥感影像核最小噪声分离变换特征提取 . 武汉大学学报 ● 信息科学版, 2013, 38(8): 988-992.
[10]	陈敏, 邵振峰. 一种稳健的高效角点特征提取变换 . 武汉大学学报 ● 信息科学版, 2013, 38(12): 1142-1147.
[11]	刘小俊, 徐正全, 潘少明. 一种结合RDBMS和Hadoop的海量小文件存储方法 . 武汉大学学报 ● 信息科学版, 2013, 38(1): 113-115,120.
[12]	王涛, 姚世红, 徐正全, 熊炼. 云存储中面向访问任务的小文件合并与预取策略 . 武汉大学学报 ● 信息科学版, 2013, 38(12): 1504-1508.
[13]	孟樊, 方圣辉. 利用模板匹配和BSnake算法准自动提取遥感影像面状道路 . 武汉大学学报 ● 信息科学版, 2012, 37(1): 39-42.
[14]	林祥国, 张继贤, 李海涛, 杨景辉. 基于T型模板匹配半自动提取高分辨率遥感影像带状道路 . 武汉大学学报 ● 信息科学版, 2009, 34(3): 293-296.
[15]	陈飞, 胡鹏, 王秀芳, 王坤. 基于距离变换的提取和识别点状符号的方法 . 武汉大学学报 ● 信息科学版, 2007, 32(12): 1172-1175.
[16]	李新双, 张良培, 李平湘, 吴波. 基于小波分量特征值匹配的高光谱影像分类 . 武汉大学学报 ● 信息科学版, 2006, 31(3): 274-277.
[17]	程曦冉, 张剑清, 张祖勋. 航空影像多直角平顶房屋的半自动提取 . 武汉大学学报 ● 信息科学版, 2004, 29(12): 1097-1100.
[18]	江万寿, 郑顺义, 张祖勋, 张剑清. 航空影像特征匹配研究 . 武汉大学学报 ● 信息科学版, 2003, 28(5): 510-513.
[19]	李必军, 方志祥, 任娟. 从激光扫描数据中进行建筑物特征提取研究 . 武汉大学学报 ● 信息科学版, 2003, 28(1): 65-70.
[20]	张祖勋, 张剑清, 胡翔云. 基于物方空间几何约束最小二乘匹配的建筑物半自动提取方法 . 武汉大学学报 ● 信息科学版, 2001, 26(4): 290-295.

点击查看大图

计量

文章访问数: 681
HTML全文浏览量: 24
PDF下载量: 482
被引次数: 0

云环境下的时空数据小文件存储策略

¹武汉大学测绘遥感信息工程国家重点实验室湖北武汉430079

基金项目: 国家973计划资助项目2011CB302306 国家自然科学基金资助项目41271398

作者简介:
熊炼博士生主要从事Web数据挖掘及分布式存储研究

收稿日期: 2013-04-23
刊出日期: 2014-10-05

中图分类号: P208

关键词:

云存储 /

小文件 /

时空数据 /

特征提取 /

模板匹配

摘要: 云环境下的网络应用中存在着海量的时空数据小文件针对HDFS处理小文件效率不高的问题提出了一种结合用户访问规律与数据自身属性的数据处理方案该方案将用户访问转化为数据请求序列根据数据的时空属性提取并构建特征序列通过模板匹配找到用户在不同访问模式下的特征模板发现模板内文件之间的访问相关性合并相关文件实验结果表明该方案有效地提高了系统对小文件的存储读取效率减小了网络应用的响应时间