多维时空场数据的多模式张量表达模型

胡勇; 罗文; 俞肇元; 冯琳耀

doi:10.13203/j.whugis20130491

多维时空场数据的多模式张量表达模型

胡勇^1,2,
罗文¹,
俞肇元^1,,
冯琳耀¹

¹南京师范大学计算机科学与技术学院,江苏南京,210023²南京师范大学虚拟地理环境教育部重点实验室,江苏南京,210023

基金项目: 国家自然科学基金资助项目(41201377,41231173)；江苏省高校自然科学基金资助项目(12KJD170003)

详细信息

作者简介:
胡勇,博士生,讲师,主要研究领域为计算机体系架构、操作系统与算法设计。

通讯作者:
俞肇元,博士,讲师。

中图分类号: P208;TP317
计量
- 文章访问数: 1255
- HTML全文浏览量: 62
- PDF下载量: 790
出版历程
- 收稿日期: 2013-09-16
- 修回日期: 2015-07-04
- 发布日期: 2015-07-04

Multi-mode Tensor Expression Model of Multidimensional Spatio-temporal Field Data

¹DepartmentofComputerScienceandTechnology,NanjingNormalUniversity,Nanjing210023,China;²KeyLaboratoryofVirtualGeographicalEnvironment,MinistryofEducation,NanjingNormalUniversity,Nanjing210023,China

Funds: TheNationalNaturalScienceFoundationofChina,Nos.41231173,41201377;theNaturalScienceFundforColle gesandUniversitiesinJiangsuProvince,No.12KJD170003.

More Information

Author Bio:
HU Yong: HUYong,PhDcandidate,lecturer,specializesincomputersystemarchitecture,computersystemandalgorithmdesign.;

Corresponding author:
YU Zhaoyuan: YUZhaoyuan,PhD,lecturer.

摘要

摘要: 对数据量及复杂度日益激增的多维时空场数据进行有效的管理与分析是当前GIS必须解决的重要瓶颈。本文通过引入具有多维统一与坐标无关特性的张量数学结构,研究了多维时空场数据的多模式表达模型,实现了地学数据的张量表达以及面向分析的多维张量数据流与任务流构建。针对不同类型的数据管理与分析需求,通过定义基于原始张量、张量分解以及层次张量分解的三类张量数据表达及应用模式,实现了面向不同应用场景的多维时空场数据的管理与分析。在此基础上,设计了基于张量的多模式数据分析框架以及应用分析业务流模板。对上述关键技术进行算法实现并基于卫星测高数据对相关性能进行了测试与验证。结果显示,基于张量的新型海量时空场数据的多模式表达模型可以很好地支撑海量时空场数据的管理、分析与存储,并在存储空间占用,检索与分析效率上具有明显优势。
- 张量分解 /
- 海量时空场数据 /
- 多模式结构 /
- 分析模板
Abstract: Theeffectivemanagementandanalysisofmultidimensionalspatio temporalfielddatawithincreasedquantityandcomplexityisabottleneckincurrentGIS.Thispaperintroducesatensorstruc turewithmultidimensionalunityandcoordinateindependencetoprovideamulti modetensorexpres sionmodelforspatio temporalfielddata.Werealizetensorconstructionforgeosciencesdataandde signdataandtaskflowsformultidimensionaltensordataanalysis.Themanagementandanalysisofmultidimensionalspatio temporalfielddataisaimedatdifferentapplicationcontexts;realizedinthepaperbydefiningthreekindsoftensordataexpressionandapplicationmodelsbasedonoriginalten sor,tensordecompositionandhierarchicaltensordecomposition,respectively;accordingtodifferentdatamanagementandanalysisneeds.Onthisbasis,wedesignedthetensor basedmulti modedataa nalysisframeworkandapplicationanalysistrafficflowtemplate.Weimplementedthesekeytechnolo gies,integratedtheminaprototypesystem,andtesteditsperformancebasedonthesatellitealtimetrymeasurements.Theresultsshowthatthisnewtypeoftensor basedmulti modeexpressionmodelcansupportthemanagement,analysisandstorageofmassivespatio temporalfielddata.Italsohasanad vantageformemoryspaceoccupancyandtheefficiencyofretrievalandanalysis.
- tensordecomposition /
- massivespatio temporalfielddata /
- multi modelstructure /
- analysistemplate

HTML全文

参考文献(1)

[1]

GuanX,WuH.LeveragingthePowerofMulti CorePlatformsforLarge ScaleGeospatialDataPro cessing:ExemplifiedbyGeneratingDEMfromMassiveLiDARPointClouds[J].犆狅犿狆狌狋犲狉狊牔犌犲 狅狊犮犻犲狀犮犲狊，２０１０，３６（１０）：１２７６１２８２[2] MillerHJ,HanJ.GeographicDataMiningandKnowledgeDiscovery[M].BocaRaton,FL:CRCPress,2009[3] LiQingquan,LiDeren.BigDataGIS[J].犌犲狅犿犪狋犻犮狊犪狀犱犐狀犳狅狉犿犪狋犻狅狀犛犮犻犲狀犮犲狅犳犠狌犺犪狀犝狀犻狏犲狉狊犻狋狔，2014,39(6):641 644(李清泉,李德仁.大数据GIS[J].武汉大学学报·信息科学版,2014,39(6):641 644)[4] ZhangXiaoxiang.SpatialAnalysisintheEraofBigData[J].犌犲狅犿犪狋犻犮狊犪狀犱犐狀犳狅狉犿犪狋犻狅狀犛犮犻犲狀犮犲狅犳犠狌犺犪狀犝狀犻狏犲狉狊犻狋狔，２０１４，３９（６）：６５５６５９（张晓祥．大数据时代的空间分析［Ｊ］．武汉大学学报· 信息科学版,2014,39(6):655 659)[5] RewR,DavisG.NetCDF:AnInterfaceforScien tificDataAccess[J].犆狅犿狆狌狋犲狉犌狉犪狆犺犻犮狊犪狀犱犃狆 狆犾犻犮犪狋犻狅狀狊，犐犈犈犈，１９９０，１０（４）：７６８２[6] DuaneW,LivingstoneD,KiddD.IntegratingEn vironmentalModelswithGIS:AnObject orientedApproachUtilisingaHierarchicalDataFormat(HDF)DataRepository[J].犜狉犪狀狊犪犮狋犻狅狀狊犻狀犌犐犛，2000,4(3):263 280[7] BrownPG.OverviewofSciDB:LargeScaleArrayStorage,ProcessingandAnalysis[C].Proceedingsofthe2010ACMSIGMODInternationalConferenceonManagementofdata,ACM,Indianapolis,Indi ana,2010[8] BaumannP,DehmelA,FurtadoP,etal.TheMul tidimensionalDatabaseSystemRasdaman[J].犃犆犕犛犐犌犕犗犇犚犲犮狅狉犱，１９９８，２７（２）：５７５５７７[9] BermanF,ChienA,CooperK,etal.TheGrAD SProject:SoftwareSupportforHigh LevelGridApplicationDevelopment[J].犐狀狋犲狉狀犪狋犻狅狀犪犾犑狅狌狉狀犪犾狅犳犎犻犵犺犘犲狉犳狅狉犿犪狀犮犲犆狅犿狆狌狋犻狀犵犃狆狆犾犻犮犪狋犻狅狀狊，2001,15(4):327 344[10] HibbardB.ConfessionsofaVisualizationSkeptic[J].犃犆犕犛犐犌犌犚犃犘犎犆狅犿狆狌狋犲狉犌狉犪狆犺犻犮狊，２０００，34(3):11 13[11] WhiteT.Hadoop:theDefinitiveGuideIncSebas topol[M].CA:O’ReillyMedia,2012[12] LiuXiaojun,XuZhengquan,PangShaoming.AMassiveSmallFileStorageSolutionCombinationofRDBMSandHadoop[J].犌犲狅犿犪狋犻犮狊犪狀犱犐狀犳狅狉犿犪 狋犻狅狀犛犮犻犲狀犮犲狅犳犠狌犺犪狀犝狀犻狏犲狉狊犻狋狔，２０１３，３８（１）：113 115(刘小俊,徐正全,潘少明.一种结合RD BMS和Hadoop的海量小文件存储方法[J].武汉大学学报·信息科学版,2013,38(1):113 115)[13] YuZhaoyuan,YuanLinwang,LuoWen,etal.Tensor basedTopographicalSpatial temporalFieldDataOrganizationandAnalysis[J].犚犲犿狅狋犲犛犲狀狊 犻狀犵犜犲犮犺狀狅犾狅犵狔犪狀犱犃狆狆犾犻犮犪狋犻狅狀，２０１２，２７（５）：６９９７０５（俞肇元，袁林旺，罗文，等．基于张量的地学时空场数据组织与分析方法［Ｊ］．?屑际跤胗τ?2012,27(5):699 705)[14] KoldaTG,BaderBW.TensorDecompositionsandApplications[J].犛犐犃犕犚犲狏犻犲狑，２００９，５１（３）：455 500[15] vanLoanC.FutureDirectionsinTensor BasedComputationandModeling[R].UnpublishedNSFWorkshopReport.5,Ottawa,Ontario,2009[16] HarshmanRA,LundyME.UniquenessProofforaFamilyofModelsSharingFeaturesofTucker’sThree modeFactorAnalysisandPARAFAC/CAN DECOMP[J].犘狊狔犮犺狅犿犲狋狉犻犽犪，１９９６，６１：１３３１５４

施引文献(9)

期刊类型引用(3)

1.	周永章，陈川，张旗，王功文，肖凡，沈文杰，卞静，王亚，杨威，焦守涛，刘艳鹏，韩枫. 地质大数据分析的若干工具与应用. 大地构造与成矿学. 2020(02): 173-182 . 百度学术
2.	王叶晨梓，杜震洪，张丰，刘仁义. 面向分片地图的多分辨率格点数据统一存取方法. 浙江大学学报(理学版). 2017(05): 584-590 . 百度学术
3.	朱建章，石强，陈凤娥，史晓丹，董泽民，秦前清. 遥感大数据研究现状与发展趋势. 中国图象图形学报. 2016(11): 1425-1439 . 百度学术