Message Board

Respected readers, authors and reviewers, you can add comments to this page on any questions about the contribution, review,        editing and publication of this journal. We will give you an answer as soon as possible. Thank you for your support!

Name
E-mail
Phone
Title
Content
Verification Code
Volume 44 Issue 2
Feb.  2019
Turn off MathJax
Article Contents

PAN Shaoming, LAI Xinguo, CHONG Yanwen, LI Hong. User-driving Based Storage and Organization Strategy for Spatial Data[J]. Geomatics and Information Science of Wuhan University, 2019, 44(2): 296-301, 309. doi: 10.13203/j.whugis20170019
Citation: PAN Shaoming, LAI Xinguo, CHONG Yanwen, LI Hong. User-driving Based Storage and Organization Strategy for Spatial Data[J]. Geomatics and Information Science of Wuhan University, 2019, 44(2): 296-301, 309. doi: 10.13203/j.whugis20170019

User-driving Based Storage and Organization Strategy for Spatial Data

doi: 10.13203/j.whugis20170019
Funds:

The National Natural Science Foundation of China 41671382

The National Natural Science Foundation of China 61572372

The National Natural Science Foundation of China 41271398

the National Key Research and Development Program of China 2017YFB0504202

More Information
  • Author Bio:

    PAN Shaoming, associate professor, specializes in distributed storage and the service method on GIS. E-mail: pansm@whu.edu.cn

  • Received Date: 2018-06-09
  • Publish Date: 2019-02-05
  • Aimed at the conflict between load balancing for user access services and sequentially reading for disk storage services, a user-driving storage and organization strategy for spatial data is proposed, which takes a comprehensive consideration of the strategy of data placement and load balance (CSDL). This scheme mines the users' behaviors and computes the correlations among all data so as to distribute and store the popular data into different storage nodes to realize load balancing. Then, the concurrency degree is also computed among the data stored in the same storage node and which can be used to store some data in contiguous disk space to realize continuous reading. The CSDL method proposed in this paper tries to organize spatial data storage from two aspects of load balancing and lower disk efficiency at the same time, so as to improve the service efficiency of GIS. Experimental results show that our scheme improves the performance of average request response time by 45.2%-245.3% and also improves the performance of load balance degree by 0.5%-440.9%, which can meet the requirements of large scale distributed environments.
  • [1] 张磊, 程朋根, 陈静.基于"天地图"地震信息集成的设计与实现[J].东华理工大学学报(自然科学版), 2013, 36(3):323-327 doi:  10.3969/j.issn.1674-3504.2013.03.012

    Zhang Lei, Cheng Penggen, Chen Jing. The Design and Implementation of the Earthquake Information Services Integration Based on "Tianditu"[J]. Journal of East China Institute of Technology(Natural Science Edition), 2013, 36(3):323-327 doi:  10.3969/j.issn.1674-3504.2013.03.012
    [2] 李鹤元, 安晓亚, 陈刚, 等.一种地理信息服务动态负载均衡算法[J].武汉大学学报·信息科学版, 2016, 41(11):1524-1529 http://ch.whu.edu.cn/CN/abstract/abstract5600.shtml

    Li Heyuan, An Xiaoya, Chen Gang, et al. A Geographical Information Service Load Balancing Algorithm[J]. Geomatics and Information Science of Wuhan University, 2016, 41(11):1524-1529 http://ch.whu.edu.cn/CN/abstract/abstract5600.shtml
    [3] 潘少明, 徐正全, 刘小俊.空间数据访问规律的动态统计算法[J].武汉大学学报·信息科学版, 2013, 38(6):734-736, 741 http://ch.whu.edu.cn/CN/abstract/abstract2678.shtml

    Pan Shaoming, Xu Zhengquan, Liu Xiaojun. Dynamic Statistical Algorithm of Spatial Data Access Laws[J]. Geomatics and Information Science of Wuhan University, 2013, 38(6):734-736, 741 http://ch.whu.edu.cn/CN/abstract/abstract2678.shtml
    [4] 李鹏飞, 孙开敏, 李德仁, 等.无人机影像应急并行处理负载均衡方法[J].武汉大学学报·信息科学版, 2018, 43(2):268-274 http://ch.whu.edu.cn/CN/abstract/abstract5979.shtml

    Li Pengfei, Sun Kaimin, Li Deren, et al. A Load Balancing Strategy for Urgent Parallel Processing of UAV Imagery[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2):268-274 http://ch.whu.edu.cn/CN/abstract/abstract5979.shtml
    [5] Dong B, Zheng Q H, Tian F, et al. An Optimized Approach for Storing and Accessing Small Files on Cloud Storage[J]. Journal of Network and Computer Application, 2012, 35:1847-1862 doi:  10.1016/j.jnca.2012.07.009
    [6] 王涛, 姚士红, 徐正全, 等.云存储中面向访问任务的小文件合并与预取策略[J].武汉大学学报·信息科学版, 2013, 38(12):1504-1508 http://ch.whu.edu.cn/CN/abstract/abstract2840.shtml

    Wang Tao, Yao Shihong, Xu Zhengquan, et al. A Small File Merging and Prefetching Strategy Based on Access Task in Cloud Storage[J]. Geomatics and Information Science of Wuhan University, 2013, 38(12):1504-1508 http://ch.whu.edu.cn/CN/abstract/abstract2840.shtml
    [7] 熊炼, 徐正全, 王涛, 等.云环境下的时空数据小文件存储策略[J].武汉大学学报·信息科学版, 2014, 39(10):1252-1256 http://ch.whu.edu.cn/CN/abstract/abstract3105.shtml

    Xiong Lian, Xu Zhengquan, Wang Tao, et al. On the Store Strategy of Small Spatio-Temporal Data Files in Cloud Environment[J]. Geomatics and Information Science of Wuhan University, 2014, 39(10):1252-1256 http://ch.whu.edu.cn/CN/abstract/abstract3105.shtml
    [8] Pan S, Li Y, Xu Z, et al. Distributed Storage Algorithm for Geospatial Image Data Based on Data Access Patterns[J]. PLoS One, 2015, 10(7):e0133029 doi:  10.1371/journal.pone.0133029
    [9] Pan S, Chong Y, Zhang H, et al. A Global User-Driven Model for Tile Prefetching in Web Geographical Information Systems[J]. PLoS One, 2017, 12(1):e0170195 doi:  10.1371/journal.pone.0170195
    [10] 刘小俊, 徐正全, 潘少明.一种结合RDBMS和Hadoop的海量小文件存储方法[J].武汉大学学报·信息科学版, 2013, 38(1):113-115, 120 http://ch.whu.edu.cn/CN/abstract/abstract6085.shtml

    Liu Xiaojun, Xu Zhengquan, Pan Shaoming. A Massive Small File Storage Solution Combination of RDBMS and Hadoop[J]. Geomatics and Information Science of Wuhan University, 2013, 38(1):113-115, 120 http://ch.whu.edu.cn/CN/abstract/abstract6085.shtml
    [11] 王芳, 张顺达, 冯丹, 等.对象存储系统中的柔性对象分布策略[J].华中科技大学学报(自然科学版), 2007, 35(3):46-48 doi:  10.3321/j.issn:1671-4512.2007.03.014

    Wang Fang, Zhang Shunda, Feng Dan, et al. Hybrid Object Allocation Policy for Object Storage Systems[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2007, 35(3):46-48 doi:  10.3321/j.issn:1671-4512.2007.03.014
    [12] 刘建亮, 杨琳, 郭明阳, 等. I/O访问相关性原理[J].计算机研究与发展, 2014, 51(S1):48-56 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=8500202

    Liu Jianliang, Yang Lin, Guo Mingyang, et al. The Relevance Principle of I/O Reference[J]. Journal of Computer Research and Development, 2014, 51(S1):48-56 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=8500202
    [13] 李绍俊, 杨海军, 黄耀欢, 等.基于NoSQL数据库的空间大数据分布式存储策略[J].武汉大学学报·信息科学版, 2017, 42(2):163-169 http://ch.whu.edu.cn/CN/abstract/abstract5656.shtml

    Li Shaojun, Yang Haijun, Huang Yaohuan, et al. Geo-spatial Big Data Storage Based on NoSQL Database[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2):163-169 http://ch.whu.edu.cn/CN/abstract/abstract5656.shtml
    [14] 王浩, 潘少明, 彭敏等.数字地球中影像数据的Zipf-like访问分布及应用分析[J].武汉大学学报·信息科学版, 2010, 35(3):356-359 http://ch.whu.edu.cn/CN/abstract/abstract873.shtml

    Wang Hao, Pan Shaoming, Peng Min, et al. Zipf-like Distribution and Its Application to Image Data Tile Request in Digital Earth[J]. Geomatics and Information Science of Wuhan University, 2010, 35(3):356-359 http://ch.whu.edu.cn/CN/abstract/abstract873.shtml
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(4)

Article Metrics

Article views(917) PDF downloads(223) Cited by()

Related
Proportional views

User-driving Based Storage and Organization Strategy for Spatial Data

doi: 10.13203/j.whugis20170019
Funds:

The National Natural Science Foundation of China 41671382

The National Natural Science Foundation of China 61572372

The National Natural Science Foundation of China 41271398

the National Key Research and Development Program of China 2017YFB0504202

  • Author Bio:

Abstract: Aimed at the conflict between load balancing for user access services and sequentially reading for disk storage services, a user-driving storage and organization strategy for spatial data is proposed, which takes a comprehensive consideration of the strategy of data placement and load balance (CSDL). This scheme mines the users' behaviors and computes the correlations among all data so as to distribute and store the popular data into different storage nodes to realize load balancing. Then, the concurrency degree is also computed among the data stored in the same storage node and which can be used to store some data in contiguous disk space to realize continuous reading. The CSDL method proposed in this paper tries to organize spatial data storage from two aspects of load balancing and lower disk efficiency at the same time, so as to improve the service efficiency of GIS. Experimental results show that our scheme improves the performance of average request response time by 45.2%-245.3% and also improves the performance of load balance degree by 0.5%-440.9%, which can meet the requirements of large scale distributed environments.

PAN Shaoming, LAI Xinguo, CHONG Yanwen, LI Hong. User-driving Based Storage and Organization Strategy for Spatial Data[J]. Geomatics and Information Science of Wuhan University, 2019, 44(2): 296-301, 309. doi: 10.13203/j.whugis20170019
Citation: PAN Shaoming, LAI Xinguo, CHONG Yanwen, LI Hong. User-driving Based Storage and Organization Strategy for Spatial Data[J]. Geomatics and Information Science of Wuhan University, 2019, 44(2): 296-301, 309. doi: 10.13203/j.whugis20170019
  • 随着高空间分辨率和高光谱分辨率遥感影像数据的获取越来越便利以及Google、百度、天地图[1]等利用瓦片金字塔模型将遥感影像数据通过分布式网络地理信息系统面向大众用户的发布和应用[2],其在城市规划、环境监测以及防灾减灾等领域的应用也越来越普及[3-4],用户数量急剧增长,因此,为提高网络地理信息系统的服务质量,需要着重解决由于用户密集访问所带来的无限带宽需求、无限容量需求以及无限处理能力需求等,在此条件下,利用分布式系统为海量空间数据提供存储和访问服务成为解决上述问题的有效途径之一。

    数据组织的主要目标是支撑快速的数据处理和高效的数据存取服务。目前传统的网络地理信息系统,如NASA World Wind等,通常采用数据驱动的空间数据存储组织方法,其主要利用数据本身的固有特性(位置、属性)对数据进行分布存储,该方法的一个显著优点是查找索引效率较高,但也存在用户访问需求匹配度不够,存在部分存储节点热度高、访问服务排队长以及负载由于用户访问行为导致的不均衡等问题。

    在信息处理领域,针对数据的分布存储等研究较多,相应算法策略包括动态布局策略、SP策略及PB策略、数据融合(合并)与数据分块技术以及K-means聚类等[5]。其中动态布局策略在每次数据访问请求之后更新现有数据布局,以实时优化数据布局;SP策略及PB策略通过最小化服务时间方差实现负载均衡;而K-means聚类则通过两阶段算法动态部署数据集,使每个数据中心处理的计算数都非常接近;但这些算法大部分都是针对专门的应用系统,或者为了计算的负载均衡进行设计,或者其布局更新策略难以满足“大数据”的应用需求,但相关研究可为空间数据存储组织与分布算法提供借鉴。

    专门针对空间数据的组织策略则包括基于概率潜语义分析[6]和基于特征匹配[7]的小文件合并策略,以及基于并发访问的数据分布算法[8-9]和利用数据库存储格式进行小文件合并[10-11]等,其中前两者主要通过数据合并存储和组织,实现数据从存储节点的磁盘连续批量读取,重点考虑的是磁盘I/O效率;而后者则利用访问相关性分布存储和组织数据,实现数据的并发访问和系统的负载均衡,重点考虑的是网络I/O效率,但上述算法策略都只考虑了空间数据存储组织在某一个层面的局部要求,缺乏全局协同。

    基于以上分析,论文挖掘空间数据的用户访问模式,提出一种综合考虑存储节点连续读取效率和网络负载均衡效率的空间数据存储组织方法(combined strategy of data placement and load balance, CSDL),以在满足空间数据从存储节点连续读取的同时,实现网络访问的负载均衡。

  • 用户在访问地理信息系统时,其访问行为蕴涵了地理空间数据相互之间的关系[5],算法的目的是利用用户访问行为关系对空间数据文件进行两次分布存储组织:①通过计算空间数据相互之间的访问相关性,将热点数据均匀分布存储在不同的服务器上,即同时访问的数据分布到不同的存储节点,以实现用户访问服务时的负载均衡性;②对存储在同一个存储服务器上的数据,按照其访问相关性将连续访问的空间数据存储在同一个磁盘分区,以实现合并、存储和读取,减少磁盘移动距离,提高磁盘访问效率。

    考察一般性,设F= {f1, f2fN}为系统存储的空间数据所有文件的集合,F中的元素分别通过自然数1, 2…N进行标识,其中N为空间数据文件的总个数,若分布式地理信息系统中,{fa1, fa2faM }为存储系统记录的按访问时间先后顺序排列的空间数据文件访问序列,则A= {a1a2aM }称为空间数据文件访问序列向量, 其中M为对F中所有空间数据文件访问的总次数; 1≤aiN表示地理信息系统中第i次用户请求的空间数据文件标识值,即ai=k表示第i次请求的空间数据文件为fk(i= 1,2…m; k=1, 2…N)。

    若设S={ S1, S2SC}为分布式网络地理信息系统的所有服务器集合,其中C是总的服务器数量,考虑空间数据文件分布问题,将A按原顺序以C个元素一组分割为若干子向量,此时A表示为:A= {A1 A2AK},其中Ai= {ai1 ai2aiC },aij∈[1, N](1≤jC)为长度为C的子向量; K为子向量的总数量。考察任意子向量Ai,若任意空间数据文件fmfn在子向量中出现的次数分别为rimrin次,则定义空间数据文件fmfn在子向量Ai上的相关性为:

    显然,空间数据文件fmfn在子向量Ai上出现的次数越多,两者的相关性越强;当rim=0或rin=0时,两者的相关性为0,即在子向量Ai上没有相关性。为此,任意两个空间数据文件fmfn在总访问序列向量A上的总平均相关性为:

    从式(2)可知,空间数据文件fmfn在一定时间间隔内被访问的次数越多(1个子向量内)或在不同时间间隔内被同时访问的次数越多(同时出现在多个子向量中),则两者的相关性越强。

  • 为实现各个服务器在用户访问服务时的负载均衡(第1次分布存储组织),需要将相关性高的数据均匀地分布存储到不同服务器上。不失一般性,对∀SiS(i∈[1, C]),共存储Ci个空间数据,设Si为存储在服务器Si上的所有空间数据集合,同时定义Pi=(pi(m, n))N×N为服务器Si存储空间数据的指示矩阵,其中当且仅当空间数据文件fmfn都存储在服务器Si上时,pi(m, n)=1, 否则pi(m, n)=0(m, n∈[1, N])。显然,指示矩阵Pi是一个对称矩阵,且矩阵中非零元素的个数‖Pi0=Ci×(Ci-1)。

    为此,基于以上指示矩阵给出的数据布置策略将所有空间数据分布存储在不同服务器上,进而可计算服务器Si存储的所有空间数据的总相关度为:

    式中, Ξ =(ξ(m, n))N×N为所有空间数据的相关度矩阵。

    同样,设P={P1, P2PC}为所有服务器的空间数据分布存储组织的指示矩阵集合,则根据空间数据分布P可得到空间数据在所有服务器上存储分布后的总相关度为:

    更进一步,若所有的空间数据都均匀分布在不同的服务器上(事实上,非均匀分布可以通过创建一些合适的副本数据,并将所创建的副本数据赋予一个新的数据编号,从而实现均匀分布),有${C_i} = {C_j} = N/C, {\left\| {{\mathit{\boldsymbol{P}}_i}} \right\|_0} = {\left\| {{\mathit{\boldsymbol{P}}_j}} \right\|_0} = \frac{N}{C} \times \left( {\frac{N}{C} - 1} \right)$(1≤i, jC),则式(3)、式(4)可简化为:

    式中,$\omega = \frac{{{C^2}}}{{N\left( {N - C} \right)}};\mathit{\boldsymbol{H}} = \sum\limits_{i = 1}^C {{\mathit{\boldsymbol{P}}_i}} $。显然H矩阵同样为对称矩阵,且其中有且只有C×‖Pi0= N×(N/C-1)个元素为1,其余元素为0。

    根据均匀分布的基本原理,若设Ψ(P)为根据空间数据在不同服务器上的一个布置策略P所得到的相关度数学期望,则负载均衡的要求就是实现各个服务器上所分布的空间数据相关度差最小,即:

    即算法的目标是根据空间数据相关度矩阵Ξ找到一个合适的布局策略P,使得存储在不同服务器上的空间数据总相关度均匀分布。显然,根据式(7)求解结果所得到的布局策略P,并按照P将数据分布存储到不同服务器上,即可实现用户访问地理信息系统的负载均衡目的。

  • 一方面,通过式(7)求解得到全部空间数据在不同服务器中的分布存储布局策略P,并根据该策略将空间数据分布存储到不同的服务器,可以实现各服务器访问服务的负载均衡。另一方面,由于磁盘访问速度较低,通过连续多空间数据从存储节点到高速缓存的读取,可有效减少磁盘访问延迟对服务性能的影响。

    不失一般性,设并发读取长度为μ,对∀S′=SiS(1≤iC),将存储在服务节点S′上的空间数据子集标签重新排序,并定义为F′= {f1, f2fN′}。相应地得到一个只包含空间数据子集F′的访问向量A′= [a1 a2aM′],其中M′为基于空间数据集F′得到的空间数据文件访问序列向量长度,N′为存储在服务器节点S′上的空间数据文件数量。类似的,根据式(2)可计算得到任意空间数据文件fmfn在总访问序列向量A′上的总平均相关性为:

    式中,K′为将总访问序列向量A′=[A1 A2AK]按照读取长度为μ划分得到的子向量的总数量。

    同理,设空间数据文件fmfn在子向量Ai中的平均访问间隔距离为di(m, n),显然有:di(m, n)=di(n, m),则fmfn在总访问序列向量A′上的总平均访问距离为:

    由于相关度高的数据有较高的概率在某时间窗口内一起被访问,基于磁盘I/O效率,将这些相关的数据顺序存放在磁盘上可以优化存储性能[12], 即访问相关性高和访问间隔距离短的数据有较高概率被连续访问。为此,定义空间数据文件fmfn总被连续访问的连续度为:

    由式(10)可计算得到任意空间数据文件fm和其他数据文件之间的访问连续度为:

    根据式(11)以及读取长度μ,从Γ(m)中选择μ-1个最大元素对应的空间数据和fm一起连续存储,保证有较高访问连续度的数据合并读取,以改善磁盘I/O性能。显然,根据式(11)计算结果排序所得到的空间数据合并存储策略,并按照顺序将数据合并存储到服务器的连续磁盘上,即可实现地理信息系统数据的高效并发读取目的。

  • 选择SRTM 90全球数据作为实验数据集,每个空间数据文件大小约44 kB[4],按照512 kB的小文件标准[13],选择最大读取长度为μ=12。同时利用GlobeSIGht作为实验平台并依据Zipf-like分布对实验数据集进行模拟访问[14],以得到所有空间数据文件的访问序列A,序列长度包含约2 000万条记录(即M的大小)。

    利用访问序列A的前半部分记录,并根据本文提出的算法计算各个数据的相关度,以及按照不同分布式服务器节点数量和不同算法及其参数条件,按照算法模型将数据分布存储在不同服务节点上;同时计算各个数据的连续度,并对存储在同一个服务节点的数据按照其连续度进行连续存储和访问时合并读取。

    仿真实验平台由多台服务器组成分布式网络, 每个服务器通过千兆网络连接本地存储器, 分布式系统之间通过100 MB网络共享远程存储资源, 每个服务器提供不少于10 Mbps的用户访问服务带宽, 最后以访问序列A的后半部分记录对地理信息系统进行仿真访问,并记录系统的平均访问请求时间(服务器准备数据的时间)和不同服务器节点间的负载均衡性,通过比较本文所提出的算法(CSDL)与单纯的数据分布算法(data placement,DP)和传统地理信息系统基于地理位置的数据分布(data placement based on location,DL)算法进行比较, 以检验算法的性能。

  • 按照实验方案,图 1给出了不同算法在不同分布式网络规模条件下单个数据平均访问请求时间对比实验结果。CSDL算法采用两步分布存储组织策略将数据分布存储到不同服务器,并采用连续读取策略对所请求的数据进行合并读取,以便提前将相关性高的数据预取到缓存区中,降低磁盘I/O次数,减少平均访问请求时间,提高服务响应速度;DP算法采用单纯的数据分布算法,将数据分布存储,但不考虑数据的连续读取,也没有合并预取;DL算法同样没有连续读取和合并预取,且其数据分布策略依赖数据的位置等固定属性信息。

    Figure 1.  Comparison of Different Algorithms in Average Access Time

    图 1可以看出,随服务器数量增加,所有算法的平均访问请求时间会缓慢下降。显然,在相同数据规模下,服务器数量的增加可更好地保证热点数据被分布存储到不同的服务器上,以实现用户访问并行服务,减少了跨服务器调度数据的次数。同时,由于CSDL算法采用数据合并读取策略,其不但减少了磁盘I/O次数,而且部分数据进入缓存区,也提高了访问请求的响应时间。因此,本文的CSDL算法在不同服务器规模条件下都能取得较快的单数据平均访问请求时间。在给定实验条件下,总的平均请求响应时间性能比DP算法快约45.2%;比DL算法快约245.3%。

    更进一步,由于用户对地理数据的访问存在极度的不平衡,部分热点区域吸引的用户访问数量可达到总访问量的80%以上[12],因此,基于地理位置的数据分布可导致部分服务器访问请求排队,从而整体上影响系统的平均访问请求时间。图 2给出的不同算法在不同分布式网络规模条件下的服务器间负载偏差对比实验可进一步说明算法的负载均衡性能。

    Figure 2.  Comparison of Different Algorithms in Load Balance

    平均负载偏差是指不同时刻各个服务器的负载和理论平均负载之间差异的平均值。平均负载偏差越大,表明系统的负载均衡性能越差。从图 2可以看出,分布式系统规模扩大时,不同算法条件下的平均负载偏差相应的增大;但在不同系统规模条件下,CSDL算法和DP算法的平均负载偏差基本都在10%以内,而DL算法的平均负载偏差达到了65%以上,表明由于地理数据存在局部访问热度问题,根据地理位置将热点数据同时分布存储在同一个服务器将带来负载的极度不均衡。从图 2可知,本文的CSDL算法都能取得最好的负载均衡性能,其平均负载偏差性能比DP算法低约0.5%,比DL算法低约440.9%。

  • 由于用户访问行为的不同,地理信息系统中的数据相互之间表现出不同的相关性,其关系可以用Zipf-like分布模型表示[12],对应的分布参数α∈[0.6, 1.03],为验证算法的适应性, 分别在不同分布参数条件下对CSDL算法进行对比实验,图 3为不同分布参数条件下CSDL算法的平均响应时间测试结果。

    Figure 3.  Adaptability Test for Different Access Distributed Parameter

    图 3可知,访问分布参数α越大,用户对地理信息系统数据的访问越集中,热点数据相互之间的相关性越强[12],因此对数据进行合并读取的有效性越高,磁盘的I/O次数越少,相应的单数据平均响应时间就越短。从图 3可以看出,当分布参数α扩大10%时,单数据平均响应时间就能相应地降低约5.8%。

  • 分布式地理信息系统下,空间数据的存储规模较大,为验证算法对大规模分布式环境应用的适应性, 分别在不同数据规模条件下对CSDL算法进行实验,图 4为4种不同数据规模条件下CSDL算法的平均负载偏差测试结果。

    Figure 4.  Adaptability Test for Different Data Scale

    图 2的测试结果类似,不同数据规模下,平均负载偏差都随分布式系统的服务器数量增加而扩大,但平均负载偏差的扩大速度远小于分布式系统服务器数量的增长速度。从图 4可以看出,服务器数量规模扩大10倍时,平均负载偏差只扩大了约4倍;同时,数据规模越大(其中N为空间数据总数量),平均负载偏差越小,且平均负载偏差随服务器数量增加而扩大的速度也越小,这是因为数据规模越大,用户对空间数据的访问分布越分散,利用本文算法更容易将同时访问的数据分布存储,因此本文方法对大规模分布式环境的应用有效。

  • 针对分布式地理信息系统访问中数据存储要求和用户访问特征,从磁盘存储性能以及用户访问的负载均衡需求两个方面综合考虑空间数据文件在不同服务器节点和同一个服务器节点内部的存储分布需求,通过挖掘用户访问行为,对所有空间数据进行相关性和连续度度量,并据此完成空间数据存储的合理配置,以提高分布式地理信息系统的综合服务性能。对比实验表明,所提出的算法可有效提高约45.2%~245.3%的平均请求响应时间;通过负载均衡分布,分布式服务器节点的负载均衡度可提高约0.5%~440.9%,且模型能满足大规模分布式环境的应用需求。

    未来进一步的研究将包括如何在用户行为变化时对用户访问行为的时效性进行度量,避免无效用户访问行为对空间数据相关性计算的影响以及快速实现空间数据分布策略的动态调整,以跟踪空间数据相关性的变化等;同时,地理信息系统在面向计算密集型应用时,需要考虑计算任务需求对数据进行分布存储等。

Reference (14)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return