Volume 42 Issue 2
Feb.  2017
Turn off MathJax
Article Contents
Abstract
References
LI Shaojun, YANG Haijun, HUANG Yaohuan, ZHOU Qin. Geo-spatial Big Data Storage Based on NoSQL Database[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 163-169. DOI: 10.13203/j.whugis20140774
Citation: LI Shaojun, YANG Haijun, HUANG Yaohuan, ZHOU Qin. Geo-spatial Big Data Storage Based on NoSQL Database[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 163-169. DOI: 10.13203/j.whugis20140774
shu

Geo-spatial Big Data Storage Based on NoSQL Database

  • 1.

    Institute of Geographic Sciences and Natural Resources Research, CAS, Beijing 100101, China

  • 2.

    Satellite Environment Center, Ministry of Environmental Protection, Beijing 100094, China

  • 3.

    Beijing Supermap GIS Technologies Company, Beijing 100015, China

Funds: 

The National Natural Science Foundation of China No. 51309210

More Information
  • Author Bio:

    LI Shaojun, PhD, specializes in geographic information software. E-mail:lishaojun@supermap.com

  • Corresponding author:

    YANG Haijun, PhD, senior engineer. E-mail:yanghj@lreis.ac.cn

  • Received Date: April 16, 2015
  • Published Date: February 04, 2017
    Graphical Abstract
    • Abstract
  • Geospatial data in databases have shifted to conform to the characteristics of big-data in tandem with the development of the Internet, mobile Internet, cloud computing, and especially, spatial data acquisition technologies. Faced with tackling spatial big data, traditional spatial database management techniques based on Relational Database Management Systems have encountered problems including the unstructured characteristics of the spatial object, the high scalability of storage capacity, and the high concurrency in big data application environment. This paper focuses on the mainstream of NoSQL databases that successfully deal with unstructured big data and are widely used in Internet applications, but lack of spatial characteristics. The data operational and query modes cannot meet the requirments of GIS applications. To resolve this problem, this paper proposes a strategy that takes a NoSQL database as a warehouse for spatial big data and a traditional spatial database as the application server. The storage system architecture and the key technology and solutions are discussed. A prototype system was developed based on MongoDB, PostgreSQL and SQLite to verify the feasibility and effectiveness of the strategy.
    • FullText(HTML)
    • References (15)
  • [1]
    Mooney P, Corcoran P, Winstanley A C. Geospatial Data Issues in the Provision of Location-based Services[C].Proceedings of the 7th International Symposium on LBS & Telecartography, Guangzhou, China, 2010
    [2]
    龚健雅.空间数据库管理系统的概念与发展趋势[J].测绘科学, 2001, 26(3):4-9 http://www.cnki.com.cn/Article/CJFDTOTAL-CHKD200103001.htm

    Gong Jianya. Concepts and Development of Spatial Database Management System[J]. Science of Surveying and Mapping, 2001, 26(3):4-9 http://www.cnki.com.cn/Article/CJFDTOTAL-CHKD200103001.htm
    [3]
    刘经南, 方媛.位置大数据的分析处理研究进展[J]. 武汉大学学报·信息科学版, 2014, 39(4):380-385 http://ch.whu.edu.cn/CN/abstract/abstract2947.shtml

    Liu Jingnan, Fang Yuan. Research Progress in Location Big Data Analysis and Processing[J].Geomatics and Information Science of Wuhan University,2014, 39(4):380-385 http://ch.whu.edu.cn/CN/abstract/abstract2947.shtml
    [4]
    周芹,李绍俊.基于Oracle Spatial的空间数据库缓存技术研究[J].地球信息科学, 2007, 9(3):39-44 http://www.cnki.com.cn/Article/CJFDTOTAL-DQXX200703010.htm

    Zhou Qin, Li Shaojun. Study on Spatial Data Cache Technology Based on Oracle Spatial[J].Geo-Information Science, 2007, 9(3):39-44 http://www.cnki.com.cn/Article/CJFDTOTAL-DQXX200703010.htm
    [5]
    周芹,李绍俊,李云锦,等.空间数据库引擎的关键技术及发展[C]. 中国地理信息系统协会第四次会员代表大会, 北京,2007

    Zhou Qin, Li Shaojun, Li Yunjin, et al. The Key Technique and Development of Spatial Database Engine[C]. The Fourth Member Representative Assembly of China Geographic Information System Association, Beijing, China, 2007
    [6]
    Zhong Y, Han J, Zhang T, et al. A Distributed Geospatial Data Storage and Processing Framework for Large-scale WebGIS[C]. The 20th International Conference on Geoinformatics, Hong Kong. China, 2012
    [7]
    Han D, Stroulia E. HGrid:A Data Model for Large Geospatial Data Sets in HBase[C]. Proceedings of the 2013 IEEE Sixth International Conference on Cloud Computing, CA. USA, 2013
    [8]
    Wei L Y, Hsu Y T, Peng W C, et al. Indexing Spatial Data in Cloud Data Managements[J].Pervasive and Mobile Computing, 2014, 15:48-61 doi: 10.1016/j.pmcj.2013.07.001
    [9]
    陈崇成, 林剑峰, 吴小竹, 等.基于NoSQL的海量空间数据云存储与服务方法[J].地球信息科学学报, 2013, 15(2):166-174 doi: 10.3724/SP.J.1047.2013.00166

    Chen Chongcheng, Lin Jianfeng, Wu Xiaozhu,et al. Massive Geo-spatial Data Cloud Storage and Services Based on NoSQL Database Technique[J]. Journal of Geo-Information Science, 2013, 15(2):166-174 doi: 10.3724/SP.J.1047.2013.00166
    [10]
    Chang F, Dean J, Ghemawat S, et al. Bigtable:A Distributed Storage System for Structured Data[J].ACM Transactions on Computer Systems, 2008, 26(2):1-26 http://cn.bing.com/academic/profile?id=6034c75210d72de01b3e8b076389df33&encoded=0&v=paper_preview&mkt=zh-cn
    [11]
    Ghemawat S, Gobioff H, Leung S T. The Google File System[C]. 19th ACM Symposium on Operating Systems Principles, New York, USA, 2003
    [12]
    Burrows M. The Chubby Lock Service for Loosely-coupled Distributed Systems[C]. Proceedings of the 7th Symposium on Operating Systems Design and Implementation, Berkeley, USA, 2006
    [13]
    陈吉荣,乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学, 2013, 35(10):25-35 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201310004.htm

    Chen Jirong, Le Jiajin. Reviewing the Big Data Solution Based on Hadoop Ecosystem[J]. Computer Engineering & Science, 2013, 35(10):25-35 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJK201310004.htm
    [14]
    Hecht R, Jablonski S. NoSQL Evaluation:A Use Case Oriented Survey[C]. 2011 International Conference on Cloud and Service Computing, Hong Kong, China, 2011
    [15]
    李绍俊,钟耳顺,周芹,等.开放式空间数据库访问接口的开发应用[J].地球信息科学学报, 2013, 10(2):193-199 http://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201302007.htm

    Li Shaojun, Zhong Ershun, Zhou Qin,et al. Study on Opening Geospatial Database Connectivity[J].Journal of Geo-Information Science,2013, 10(2):193-199 http://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201302007.htm
    • Related Articles

  • Cited by

    Periodical cited type(67)

    1. 刘旭辉. 边缘计算与分布式处理在uR LLC传感网的应用. 中国新技术新产品. 2025(04): 30-32 .
    2. 韩烨. 基于大数据技术的非关系型数据库分布式存储方法研究. 信息与电脑(理论版). 2024(04): 166-168 .
    3. 黄小冬，陈薇. 虚拟仿真实训基地成果积分管理系统设计. 现代信息科技. 2024(08): 24-27 .
    4. 付艳丽，邵飞，王海斌. 矢量空间数据文档存储模型研究. 电脑与信息技术. 2024(03): 78-81 .
    5. 袁泽文，周国成，周胜洁，邸国辉. 分布式存储与计算方法在水利地理空间大数据中的应用. 测绘与空间地理信息. 2024(07): 10-13 .
    6. 李兴能. 通信运营信息的大数据采集及存储系统. 信息记录材料. 2024(07): 184-186 .
    7. 王阳，周小虎，史小辉，黄琪，刘禄山. 青藏高原东北缘清水河流域地貌特征及其构造意义. 成都理工大学学报(自然科学版). 2024(04): 624-639+648 .
    8. 彭志忠，袁飞云，何朝阳，李东来，解明礼，饶泽迅. 地质灾害多源基础数据结构体系及应用. 成都理工大学学报(自然科学版). 2024(04): 675-686 .
    9. 方乾，张晓霞，王霖，石磊，王雅琨. 智能化煤矿大数据治理关键技术研究、实践与应用. 工矿自动化. 2023(05): 37-45+73 .
    10. 谌诞楠，关雪峰，韩林栩，向隆刚，吴华意. VA-HBase:一种面向矢量数据的自适应分布式管理方案. 武汉大学学报(信息科学版). 2023(12): 1999-2008 .
    11. 宋德周. 大数据背景下数据库技术应用分析. 软件. 2022(01): 99-101 .
    12. 王伟，姚晓婧，蒋许峰，陈静，刘烁. 高性能瓦片数据存储与发布应用技术研究. 天津职业技术师范大学学报. 2022(02): 15-22 .
    13. 徐子君，郑杰，吴华意. 一站式遥感大数据分布式管理与训练云平台. 测绘地理信息. 2022(S1): 80-84 .
    14. 曾初阳，陈刚，庞晓健，吴金宇，胡海生. 数据存储技术在电力监控系统安全审计平台中的应用. 数字技术与应用. 2022(08): 143-145 .
    15. 唐时荞. 基于GIS的智慧园区动态感知数据服务平台的设计与实现. 物联网技术. 2022(09): 32-34 .
    16. 陈真玄，王琳，张怡，孟庆学. 水文预报业务非结构化数据库选型探索. 水利信息化. 2022(05): 43-47 .
    17. 袁智勇，肖泽坤，于力，徐全，林跃欢，李培强，何西. 智能电网大数据研究综述. 广东电力. 2021(01): 1-12 .
    18. 余列冰，向隆刚，孙尚宇，关雪峰，吴华意. 面向分布式列式存储的轨迹大数据k近邻查询. 武汉大学学报(信息科学版). 2021(05): 736-745 .
    19. 奚军庆，李绍俊，李波. 分布式系统设计中NewSQL数据库技术的应用. 长江信息通信. 2021(05): 64-67 .
    20. 赵鹏飞，赵敏，王亮. 省级国土空间基础信息平台建设关键技术研究. 测绘与空间地理信息. 2021(S1): 106-109 .
    21. 李正伟. 大数据分析视域下分布式MOLAP技术运用. 电子技术与软件工程. 2021(13): 185-186 .
    22. 刘娜. 分布式数据库查询优化研究. 微型电脑应用. 2021(08): 108-111 .
    23. 赵秋菊. 新疆自然资源一体化数据库构建及应用. 测绘与空间地理信息. 2021(09): 151-154+160 .
    24. 刘汉龙，马彦彬，仉文岗. 大数据技术在地质灾害防治中的应用综述. 防灾减灾工程学报. 2021(04): 710-722 .
    25. 余秋实，邵燕林. 空间数据库的回归与发展趋势. 地理空间信息. 2021(11): 31-33+6 .
    26. 申红雪，郭延哺. 分布式数据库研究新趋势. 软件. 2021(10): 31-34 .
    27. 刘慧慧. 基于NoSQL技术的卫星配载数据管理系统设计. 廊坊师范学院学报(自然科学版). 2021(04): 34-37 .
    28. 虢莉娟. 大数据时代的数据库建设与应用. 信息技术与信息化. 2021(11): 81-83 .
    29. 陈钊，白穆，郭春喜，余晓松，王泓森. 地理空间大数据中心基础设施架构研究与应用. 测绘与空间地理信息. 2021(12): 141-143+149 .
    30. 平宗玮. 大数据存储技术在测绘数据管理中的应用. 地矿测绘. 2021(04): 1-6+11 .
    31. 温建伟，张立，李永利. 面对气象大数据的存储管理与快速查询的技术研究. 河南科技. 2021(26): 144-146 .
    32. 奥勇，李美丽，赵永华，孙佳佳，付泉. 分布式数据库中数据集成与共享的研究进展. 科技与创新. 2020(01): 31-35 .
    33. 卢万杰，徐青，蓝朝桢，吕亮，施群山. 基于SQL/NoSQL的空间目标光学特性数据混合存储策略. 天文学报. 2020(01): 59-69 .
    34. 张生鹏. 基于WebGIS的公示地价信息管理平台的设计与实现. 地理空间信息. 2020(04): 79-83+7 .
    35. 陈敬彬. 基于NoSQL数据库的空间大数据分布式存储策略. 计算机产品与流通. 2020(08): 40 .
    36. 陈勉，李龙海，谢鹏，付少锋，何列松，周校东. 基于Phoenix的地理空间大数据管理系统. 武汉大学学报(信息科学版). 2020(05): 719-727 .
    37. 张凯斐，王翠娥. 分布式空间数据库有效数据高效检测方法. 吕梁学院学报. 2020(02): 39-42 .
    38. 刘延芳. 基于二分图的动态排课系统的设计与实现. 滁州学院学报. 2020(02): 122-127 .
    39. 杨帆，高国静，张怡锋. 并行计算框架的内存优化算法研究. 信息技术. 2020(08): 132-135+140 .
    40. 徐万江. 大数据时代信息与计算科学专业数据库原理课程改革研究. 电脑知识与技术. 2020(25): 156-157+165 .
    41. 龚利，谯兵，赵超，姚凯. 机务安全监测及检测数据融合与应用研究. 控制与信息技术. 2020(05): 62-67 .
    42. 林徐. 一种关系型数据非结构化的转换方法. 榆林学院学报. 2020(06): 69-72 .
    43. 屈志坚，范明明，赵亮，朱丹，孙旭兵，王子潇. 基于倒排索引的铁道供电集群监控H-CRQ技术. 铁道学报. 2020(11): 75-83 .
    44. 吴华意，成洪权，郑杰，祁昆仑，杨红兵，李学锡. RS-ODMS:一种分布式遥感数据在线管理与服务框架. 武汉大学学报(信息科学版). 2020(12): 1836-1846 .
    45. 徐拥军，何文春，刘媛媛，王琦. 气象大数据存储体系设计与实现. 电子测量技术. 2020(22): 19-25 .
    46. 张雪英，闾国年，叶鹏. 大数据地理信息系统:框架、技术与挑战. 现代测绘. 2020(06): 1-8 .
    47. 刘纪平，董春，亢晓琛，邱士可，赵荣，栗斌，孙立坚. 大数据时代的地理国情统计分析. 武汉大学学报(信息科学版). 2019(01): 68-76+83 .
    48. 潘少明，赖新果，种衍文，李红. 用户访问驱动的空间数据存储组织策略. 武汉大学学报(信息科学版). 2019(02): 296-301+309 .
    49. 唐桂文，韩嘉福，李洪省. 面向空间大数据的分布式存储策略. 计算机技术与发展. 2019(03): 194-197 .
    50. 姚立群，邓攀，任海，白亮，邱源，张凤源，李辉勇，牛建伟. 星载多源数据的分布式存储与快速检索系统设计. 单片机与嵌入式系统应用. 2019(04): 1-5 .
    51. 蒋元义，金宝轩，赵康，朱文. 一种基于NoSQL数据库与瓦片技术的WebGIS系统架构研究. 工程勘察. 2019(09): 64-68+74 .
    52. 黄培. 基于非关系数据库的文件型大数据存储技术研究. 电脑知识与技术. 2019(23): 3-4 .
    53. 李斌，郭景维，彭骞. 面向大数据存储的HBase二级索引设计. 计算技术与自动化. 2019(02): 124-129 .
    54. 王艳喜. 探索基于NoSQL数据库的空间大数据分布式存储策略. 数码世界. 2019(10): 76 .
    55. 华满，邵雄凯，高榕. 基于Spark的电信用户画像的研究应用. 湖北工业大学学报. 2019(05): 78-82 .
    56. 戴昀. 基于大数据背景的数据库技术应用现状与发展方向研究. 数字技术与应用. 2019(10): 86-87 .
    57. 龚健雅，张翔，向隆刚，陈能成. 智慧城市综合感知与智能决策的进展及应用. 测绘学报. 2019(12): 1482-1497 .
    58. 荣雪琴，刘勇，刘昊，卜树坡. 基于时序数据库的电力运维系统关键技术研究. 电测与仪表. 2018(09): 48-51+83 .
    59. 蔡亮，鲁俊，程雅琼. 智慧校园建设平台下系统负载分析研究. 兰州文理学院学报(自然科学版). 2018(04): 68-72 .
    60. 陈长林，申家双，贾俊涛，王耿峰，邹永刚. 基于混合云模式的海洋基础地理信息云服务. 海洋测绘. 2018(03): 43-47 .
    61. 张慧宁，李拥军，王绍东. Redis压缩列表研究与优化设计. 计算机工程与应用. 2018(18): 90-98+124 .
    62. 沈洋. NoSQL数据库中的空间大数据分布式存储实现研究. 科技风. 2018(23): 224 .
    63. 王大冬. NoSQL技术在气象传感器数据处理中的应用. 科技风. 2018(26): 111-112 .
    64. 刘阳娜. 基于NoSQL数据库下空间大数据分布式存储策略的分析. 数字技术与应用. 2018(02): 77+79 .
    65. 刘丽婕，杨昆桦，王泽芬，蒋友权. 信息碎片化的模式探讨企业大数据的挖掘. 电力大数据. 2018(12): 76-82 .
    66. 关雪峰，曾宇媚. 时空大数据背景下并行数据处理分析挖掘的进展及趋势. 地理科学进展. 2018(10): 1314-1327 .
    67. 周杨，胡校飞，靳彩娇，张龙，陈安东. 图形图像融合的海量建筑绘制. 中国图象图形学报. 2018(07): 1072-1080 .

    Other cited types(68)

Catalog

    Get Citation
    PDF
    XML
    Article views (6298) PDF downloads (1054) Cited by(135)
    Related

    Copyright © 2013 《武汉大学学报·信息科学版》编辑部

    Address：武汉大学文理学部本科生院楼北5楼Post Code：430072

    Tel：027-68778465,68788631E-mail:whuxxb@vip.163.com

    Submit Article

    Submission Guidelines

    e

    Contact Us

    Qrcode

    Supported by: Beijing Renhe Information Technology Co., Ltd.  Baidu Analytics

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return