留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种面向陆地碳循环模型服务的去中心化计算方法

何元庆 陈旻 乐松山 黄丙湖 宋杰 马载阳 王进

何元庆, 陈旻, 乐松山, 黄丙湖, 宋杰, 马载阳, 王进. 一种面向陆地碳循环模型服务的去中心化计算方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203
引用本文: 何元庆, 陈旻, 乐松山, 黄丙湖, 宋杰, 马载阳, 王进. 一种面向陆地碳循环模型服务的去中心化计算方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203
HE Yuanqing, CHEN Min, YUE Songshan, HUANG Binghu, SONG Jie, MA Zaiyang, WANG Jin. Service-Oriented Decentralized Computing Method for Terrestrial Carbon Cycle Model[J]. Geomatics and Information Science of Wuhan University, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203
Citation: HE Yuanqing, CHEN Min, YUE Songshan, HUANG Binghu, SONG Jie, MA Zaiyang, WANG Jin. Service-Oriented Decentralized Computing Method for Terrestrial Carbon Cycle Model[J]. Geomatics and Information Science of Wuhan University, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203

一种面向陆地碳循环模型服务的去中心化计算方法

doi: 10.13203/j.whugis20200203
基金项目: 

国家自然科学基金 41622108

国家自然科学基金 41701441

国家自然科学基金 41930648

详细信息

Service-Oriented Decentralized Computing Method for Terrestrial Carbon Cycle Model

Funds: 

The National Natural Science Foundation of China 41622108

The National Natural Science Foundation of China 41701441

The National Natural Science Foundation of China 41930648

More Information
  • 摘要: 在开放式Web环境中,模型服务化共享促进了陆地碳循环模型的发展,然而海量的计算数据导致模型计算缓慢,现有模型服务化方案难以满足其计算需求。为了解决这一问题,提出了一种面向陆地碳循环模型服务的去中心化计算方法。该方法主要思想是基于现有模型服务化方案,通过增加计算节点的方法以缓解陆地碳循环模型计算压力,主要包括陆地碳循环模型服务准备和陆地碳循环模型分布式运行两个步骤。基于此设计了任务分割和派发策略将复杂计算任务离散化并派发至计算节点进行运算。将设计的方法应用到3个典型陆地碳循环模型的计算中,验证了该方法的可行性,提高了陆地碳循环模型的计算速度。
  • 图  1  陆地碳循环模型去中心化计算步骤

    Figure  1.  Steps of Decentralized Calculation for Terrestrial Carbon Cycle Model

    图  2  LPJ模型的模型描述语言文档示例

    Figure  2.  Example of Model Description Language Document for LPJ Model

    图  3  任务派发过程

    Figure  3.  Task Dispatch Process

    图  4  计算过程

    Figure  4.  Calculation Process

    图  5  数据处理过程

    Figure  5.  Data Processing Process

    图  6  去中心化计算Web系统

    Figure  6.  Web System for Decentralized Compute

    图  7  实验过程

    Figure  7.  Experimental Process

    图  8  模型计算时间

    Figure  8.  Time of Model Calculation

    表  1  模型服务API

    Table  1.   Model Sevice API

    Router Request Operation Return
    /modelser/:msid?ac=run GET Run model service msid
    /modelser/inputdata/json/:msid GET Query model details model description document
    /geodata?type=stream POST Upload Data dataId
    /geodata?type=file POST Upload Data dataId
    /geodata?type=URL POST Upload Data dataId
    /geodata/json/:gdid GET Download Data status
    /modelserrun/json/:msrid GET Query run record operation record
    下载: 导出CSV
  • [1] Lin H, Chen M, Lu G, et al. Virtual Geographic Environments (VGEs): A New Generation of Geographic Analysis Tool[J]. Earth Science Reviews, 2013, 126: 74–84 doi:  10.1016/j.earscirev.2013.08.001
    [2] Lin H, Chen M, Lu G. Virtual Geographic Environment: A Workspace for Computer-Aided Geographic Experiments[J]. Annals of the Association of American Geographers, 2013, 103(3):465-482 doi:  10.1080/00045608.2012.689234
    [3] Chen M, Lin H. Virtual Geographic Environments (VGEs): Originating from or Beyond Virtual Reality (VR)?[J]. International Journal of Digital Earth, 2018, 11(4):329-333 doi:  10.1080/17538947.2017.1419452
    [4] Lin H, Chen M. Managing and Sharing Geographic Knowledge in Virtual Geographic Environments (VGEs)[J]. Annals of GIS, 2015, 21(4):261-263 doi:  10.1080/19475683.2015.1099568
    [5] 林珲, 陈旻.利用虚拟地理环境的实验地理学方法[J].武汉大学学报·信息科学版, 2014, 39(6):689-694 doi:  10.13203/j.whugis20140153

    Lin Hui, Chen Min. Experimental Geography Based on Virtual Geographic Environments (VGEs)[J]. Geomatics and Information Science of Wuhan University, 2014, 34(6): 689-694 doi:  10.13203/j.whugis20140153
    [6] 蒋秉川, 游雄, 夏青, 等.体素在虚拟地理环境构建中的应用技术研究[J].武汉大学学报·信息科学版, 2013, 38(7):875-878 http://ch.whu.edu.cn/article/id/2707

    Jiang Bingchuan, You Xiong, Xia Qing, et al. Voxels and the Construction of a Virtual Geographic Environment[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7): 875-878 http://ch.whu.edu.cn/article/id/2707
    [7] 曹明奎, 陶波, 李克让, 等.1981—2000年中国陆地生态系统碳通量的年际变化[J].植物学报(英文版), 2003, 45(5):552-560

    Cao Mingkui, Tao Bo, Li Kerang, et al. Interannual Variation in Terrestrial Ecosystem Carbon Fluxes in China from 1981 to 1998[J]. Acta Botanica Sinica, 2003, 45(5):552-560
    [8] 汪业勖, 赵士洞.陆地碳循环研究中的模型方法[J].应用生态学报1998, 9(6):658-664 http://www.cnki.com.cn/Article/CJFDTotal-YYSB806.018.htm

    Wang Yexu, Zhao Shidong. Modelings of Terrestrial Carbon Cycling[J].Chinese Journal of Applied Ecology, 1998, 9(6):658-664 http://www.cnki.com.cn/Article/CJFDTotal-YYSB806.018.htm
    [9] Wen Y, Chen M, Lu G, et al. Prototyping an Open Environment for Sharing Geographical Analysis Models on Cloud Computing Platform[J]. International Journal of Digital Earth, 2013, 6(4): 356-382 doi:  10.1080/17538947.2012.716861
    [10] Yang C, Goodchild M, Huang Q, et al. Spatial Cloud Computing: How can the Geospatial Sciences Use and Help Shape Cloud Computing?[J]. International Journal of Digital Earth, 2011, 4(4): 305-329 doi:  10.1080/17538947.2011.587547
    [11] Zhao P, Foerster T, Yue P. The Geoprocessing Web[J]. Computers and Geosciences, 2012, 47:3-12 doi:  10.1016/j.cageo.2012.04.021
    [12] Laniak G F, Olchin G, Goodall J, et al. Integrated Environmental Modeling: A Vision and Roadmap for the Future[J]. Environmental Modelling & Software, 2013, 39:3-23 https://www.sciencedirect.com/science/article/abs/pii/S1364815212002381
    [13] Belete G F, Voinov A, Laniak G F. An Overview of the Model Integration Process: From Pre-integration Assessment to Testing[J]. Environmental Modelling & Software, 2017, 87:49-63 https://www.sciencedirect.com/science/article/pii/S1364815216308805
    [14] Argent R M, Voinov A, Maxwell T, et al. Comparing Modelling Frameworks—A Workshop Approach[J]. Environmental Modelling & Software, 2006, 21(7): 895-910
    [15] Granell C, Díaz L, Gould M. Service-Oriented Applications for Environmental Models: Reusable Geospatial Services[J]. Environmental Modelling & Software, 2010, 25(2):182-198 https://www.sciencedirect.com/science/article/pii/S1364815209002047
    [16] Chen M, Lin H, Lu G, et al. A Spatial-Temporal Framework for Historical and Cultural Research on China[J].Applied Geography, 2011, 31(3):1 059-1 074 doi:  10.1016/j.apgeog.2011.01.022
    [17] Li S, Xiong C, Ou Z. A Web GIS for Sea Ice Information and an Ice Service Archive[J]. Transactions in GIS, 2011, 15(2):189-211 doi:  10.1111/j.1467-9671.2011.01250.x
    [18] Lu G. Geographic Analysis-Oriented Virtual Geographic Environment: Framework, Structure and Functions[J]. Science China (Earth Sciences), 2011, 54(5):733-743 doi:  10.1007/s11430-011-4193-2
    [19] Butt M A, Li S. Developing a Web-based, Collaborative PPGIS Prototype to Support Public Participation[J]. Applied Geomatics, 2012, 4(3):197-215 doi:  10.1007/s12518-012-0085-1
    [20] Brovelli M A, Li S, Dragicevic S. Introductory Editorial: Web-Based Sensors and Geoprocessing Services[J]. Applied Geomatics, 2013, 5(1):1-2 doi:  10.1007/s12518-013-0102-z
    [21] Chen M, Lin H, Hu M, et al. Real-Geographic-Scenario-Based Virtual Social Environments: Integrating Geography with Social Research[J]. Environment & Planning B Planning & Design, 2013, 40(6):1 103-1 121 doi:  10.1068/b38160
    [22] Yang C, Xu Y, Nebert D. Redefining the Possibility of Digital Earth and Geosciences with Spatial Cloud Computing[J]. International Journal of Digital Earth, 2013, 6(4):297-312 doi:  10.1080/17538947.2013.769783
    [23] Evangelidis K, Ntouros K, Makridis S, et al. Geospatial Services in the Cloud[J]. Computers and Geosciences, 2014, 63: 116-122 doi:  10.1016/j.cageo.2013.10.007
    [24] Wen Y, Chen M, Yue S, et al. A Model-Service Deployment Strategy for Collaboratively Sharing Geo-Analysis Models in an Open Web Environment[J]. International Journal of Digital Earth, 2017, 10(4):405-425 doi:  10.1080/17538947.2015.1131340
    [25] Yue S, Chen M, Wen Y, et al. Service-Oriented Model-Encapsulation Strategy for Sharing and Integrating Heterogeneous Geo-Analysis Models in an Open Web Environment[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2016, 114:258-273 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=4f62f60c1c9480ff37c0ced20d7ba11e
    [26] Swain N R, Christensen S D, Snow A D, et al. A New Open Source Platform for Lowering the Barrier for Environmental Web App Development[J]. Environmental Modelling & Software, 2016, 85: 11-26 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=3e73aeff914346efd58a1b41e7a5c1d6
    [27] Kadlec J, Ames D P. Using Crowdsourced and Weather Station Data to Fill Cloud Gaps in MODIS Snow Cover Datasets[J]. Environmental Modelling & Software, 2017, 95:258-270 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=c33c027f219d26d487d26e6e7320ce4a
    [28] Belete G F, Voinov A, Morales J. Designing the Distributed Model Integration Framework-DMIF[J]. Environmental Modelling & Software, 2017, 94:112-126 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=086c051f3132db155a090defe493365f
    [29] 谭羽丰, 陈旻, 张博文, 等.面向虚拟地理环境的Linux平台地理分析模型服务化封装方法[J].测绘学报, 2018, 47(8):1 031-1 042 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201808003

    Tang Yufeng, Chen Min, Zhang Bowen, et al. Service-Oriented Encapsulation Method of Geo-Analysis Model on Linux for Virtual Geographic Environments[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(8):1 031-1 042 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb201808003
    [30] Ma Z, Chen M, Zhang B, et al. A Web‐Based Integrated Modeling and Simulation Method for Forest Growth Research[J]. Earth and Space Science, 2019, 6(11):2 142-2 159 doi:  10.1029/2019EA000748
    [31] 徐丙立, 林珲, 朱军, 等.面向珠三角空气污染模拟的虚拟地理环境系统研究[J].武汉大学学报·信息科学版, 2009, 34(6): 636-640 http://ch.whu.edu.cn/article/id/1336

    Xu Bingli, Lin Hui, Zhu Jun, et al. Construction of a Virtual Geographic Environment for Air Pollution Simulation in Pearl River Delta[J]. Geomatics and Information Science of Wuhan University, 2009, 34(6):636-640 http://ch.whu.edu.cn/article/id/1336
    [32] Qiao X, Li Z, Ames D P, et al. Simplifying the Deployment of OGC Web Processing Services (WPS) for Environmental Modelling-Introducing Tethys WPS Server[J]. Environmental Modelling & Software, 2019, 115:38-50 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=040b2d5251d536315a4805d1c68570c8
    [33] Goodall J L, Robinson B F, Castronova A M. Modeling Water Resource Systems Using a Service-Oriented Computing Paradigm[J]. Environmental Modelling & Software, 2011, 26(5):573-582 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=a5fa10dbefbe26114786ed0a3f111e88
    [34] Byrne J, Heavey C, Byrne P J. A Review of Web-Based Simulation and Supporting Tools[J]. Simulation Modelling Practice & Theory, 2010, 18(3):253-276
    [35] Zhang F, Chen M, Ames D P, et al. Design and Development of a Service-oriented Wrapper System for Sharing and Reusing Distributed Geoanalysis Models on the Web[J]. Environmental Modelling & Software, 2019, 111: 498-509 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=f1a3c82cb1288873786b5cc1ac1e20e4
  • 加载中
图(8) / 表(1)
计量
  • 文章访问数:  31
  • HTML全文浏览量:  8
  • PDF下载量:  9
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-30
  • 刊出日期:  2020-09-05

一种面向陆地碳循环模型服务的去中心化计算方法

doi: 10.13203/j.whugis20200203
    基金项目:

    国家自然科学基金 41622108

    国家自然科学基金 41701441

    国家自然科学基金 41930648

    作者简介:

    何元庆,硕士生,研究方向为地理建模与模拟。heyuanqing007@163.com

    通讯作者: 陈旻,博士,教授。chenmin0902@163.com
  • 中图分类号: P208

摘要: 在开放式Web环境中,模型服务化共享促进了陆地碳循环模型的发展,然而海量的计算数据导致模型计算缓慢,现有模型服务化方案难以满足其计算需求。为了解决这一问题,提出了一种面向陆地碳循环模型服务的去中心化计算方法。该方法主要思想是基于现有模型服务化方案,通过增加计算节点的方法以缓解陆地碳循环模型计算压力,主要包括陆地碳循环模型服务准备和陆地碳循环模型分布式运行两个步骤。基于此设计了任务分割和派发策略将复杂计算任务离散化并派发至计算节点进行运算。将设计的方法应用到3个典型陆地碳循环模型的计算中,验证了该方法的可行性,提高了陆地碳循环模型的计算速度。

English Abstract

何元庆, 陈旻, 乐松山, 黄丙湖, 宋杰, 马载阳, 王进. 一种面向陆地碳循环模型服务的去中心化计算方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203
引用本文: 何元庆, 陈旻, 乐松山, 黄丙湖, 宋杰, 马载阳, 王进. 一种面向陆地碳循环模型服务的去中心化计算方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203
HE Yuanqing, CHEN Min, YUE Songshan, HUANG Binghu, SONG Jie, MA Zaiyang, WANG Jin. Service-Oriented Decentralized Computing Method for Terrestrial Carbon Cycle Model[J]. Geomatics and Information Science of Wuhan University, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203
Citation: HE Yuanqing, CHEN Min, YUE Songshan, HUANG Binghu, SONG Jie, MA Zaiyang, WANG Jin. Service-Oriented Decentralized Computing Method for Terrestrial Carbon Cycle Model[J]. Geomatics and Information Science of Wuhan University, 2020, 45(9): 1395-1402. doi: 10.13203/j.whugis20200203
  • 地理建模与模拟是虚拟地理环境(virtual geographic environments,VGE)对现实世界进行抽象与表达的重要途径[1-6]。自20世纪初,研究人员就开始利用地理模型模拟生态系统,以期理解陆地碳收支变化情况。建立陆地碳循环模型,模拟碳循环过程并探索碳循环与全球气候之间的相互作用,对研究全球气候变化有重要意义[7-8]。然而,在使用陆地碳循环模型之前,研究人员通常需要步骤繁琐地下载、安装专业软件,不利于普通用户便捷广泛地参与到陆地碳循环研究之中;而模型的运行特征,如模型的运行环境以及计算机性能需求等,也阻碍了陆地碳循环模型的共享和推广。

    近年来,随着网络技术的发展,研究人员试图改进模型共享与重用策略,以期更加简单、便捷地共享地理模型[9]。在开放式网络环境中,面向服务的模型共享越来越受到研究人员青睐[10-12]。文献[13-31]研究了用于地理模型服务化的工具和解决方案,实现在Web环境下的地理模型服务远程调用。在开放式网络环境下,基于以上解决方案,模型使用者不需要考虑繁杂的安装步骤,上传计算数据就可以调用服务器上的陆地碳循环模型进行计算。

    相比传统的桌面端运行模式,模型网络化服务拥有良好的跨平台性,能够较好地促进模型共享,但现有模型服务化方案多是以单中心的方式提供单个模型服务[32-34]。基于这种单中心式服务模式,模型使用者通常只能调用一台服务器计算单个模型任务,难以满足计算量较大的地理模型的计算需求。计算量较大的地理模型则计算数据量庞大,要求计算机性能相对较高。陆地碳循环模型每年的基础输入数据量(日平均温度、云量、风速、相对湿度等)往往以GB计量。此外,陆地碳循环计算涉及到数据的迭代计算等复杂计算过程,对计算机的性能要求也较高。如果以单中心式服务模式共享陆地碳循环模型,一次实验所需要的计算时间可能长达一周甚至更长。

    针对以上问题,在现有服务化策略基础上,本文提出了基于陆地碳循环模型服务的去中心化计算方法。该方法将复杂计算任务分割为子任务,利用模型服务派发至多个计算节点同时计算,以缓解模型的计算压力,提高计算速度。此外,本文还设计了任务分割和任务派发策略以支撑陆地碳循环模型去中心化计算。该方法不仅能集成于现有的陆地碳循环模型共享服务中,还能充分利用闲置计算资源,实现计算资源共享。

    • 去中心化是指以增加模型计算节点的方式缓解陆地碳循环模型计算压力。在模型计算过程中,模型使用者调用网络环境中的多个计算节点同时计算,不再依赖于一台服务器。这种多台计算机共同承担计算压力的去中心化计算模式,可以缩短陆地碳循环模型的计算时间;研究人员能够将更多的时间花在陆地碳循环模型研究上,而不是耗费在等待计算结果的过程中。如图 1所示,在Web环境中实现本文提出的面向陆地碳循环模型服务的去中心化计算方法主要包含以下两步:陆地碳循环模型服务准备和陆地碳循环模型分布式运行。

      图  1  陆地碳循环模型去中心化计算步骤

      Figure 1.  Steps of Decentralized Calculation for Terrestrial Carbon Cycle Model

      首先,为陆地碳循环模型去中心化计算准备标准化的模型服务。陆地碳循环模型是去中心化计算的基础,然而, 大量异构模型往往难以直接用于去中心化计算,在此过程中常需要大量重复的编程工作。因此,需要对陆地碳循环模型进行分析,根据模型语言、运行环境等特征,借助模型服务容器将模型封装成标准化的模型服务。基于模型服务,使研究人员能够在网络环境下调用模型执行计算任务。

      基于模型服务,利用陆地碳循环模型分布式运行,实现去中心化计算。海量计算数据是导致陆地碳循环模型计算缓慢的主要原因。由于陆地碳循环模型的计算数据是网格数据,且网格之间没有交互,耦合性较低,因此可通过数据分割的方法实现计算任务的划分。基于此,以模型服务为驱动,将计算任务派发至多个计算节点计算以缓解模型的计算压力。模型服务包括数据服务和功能服务,利用数据服务将计算任务派发至计算节点;利用功能服务调用计算节点上的模型执行计算任务。本文制定了任务分割策略和任务派发策略,辅助用户分割计算任务并派发至计算节点计算。各计算节点计算完毕后的结果打包汇总并上传至服务器以供用户下载。

    • 计算量大是造成陆地碳循环模型计算缓慢的主要原因。陆地碳循环模型计算机理复杂,在全球尺度下进行碳循环模拟往往需要基于长时间序列的海量数据。然而,单台服务器的计算能力有限,模拟全球尺度下的碳循环往往需要耗费大量时间。因此,以多台服务器分担陆地碳循环模型计算压力是解决模型计算缓慢问题的有效途径。

      此外,陆地碳循环模型采用的计算数据(如气象数据、通量观测数据等)以网格形式组织。以通量观测数据集为例,本文使用的是Fluxnet 2015通量数据集。该数据集包含总初级生产力(gross primary productivity, GPP)、净生物群系生产力(net primary productivity, NEP)、光合有效辐射比例(fraction of absorbed photosynthetically active radiation, FPAR)以及温度、降水等通量数据。所有通量数据均来源于全球129个观测站点,在碳循环模拟过程中,各观测站点数据互不影响,耦合性低。

      基于陆地碳循环模型计算数据量大、耦合性低的特点,本文提出去中心化计算方法,以分割计算任务、利用多个计算节点计算的方式缓解模型的计算压力。

    • 服务化是陆地碳循环模型去中心化计算的基础。本文采用OpenGMS(open geographic modeling and simulation)研究组提出的面向服务的模型封装和部署策略将陆地碳循环模型标准化封装,利用模型服务容器[35]为去中心化计算提供模型服务。

      首先,使用模型描述语言(model description language, MDL)对陆地碳循环模型进行标准化描述,以便模型容器能够正确理解模型,例如确定模型的输入、输出数据类型。如图 2所示,MDL文档是一个基于XML的文档,包含AttributeSet节点、Behavior节点和Runtime节点。AttributeSet节点描述模型属性,如作者、建模时间、模型类型等。Behavior节点记录模型行为信息,如输入数据、参数设置以及输出数据。Runtime节点对模型依赖环境进行说明,如操作系统和软件环境。根据MDL文档的描述信息,共使用3个标准化接口(数据接口、行为接口和日志接口)将陆地碳循环模型包装成标准化模型。其中,数据接口处理数据输入和输出,行为接口描述模型状态和事件,日志接口记录模型执行期间的信息。

      图  2  LPJ模型的模型描述语言文档示例

      Figure 2.  Example of Model Description Language Document for LPJ Model

      其次,将标准化陆地碳循环模型上传至计算节点并部署模型服务容器。根据MDL文档中的描述,模型服务容器软硬件环境需要与陆地碳循环模型运行依赖的软硬件环境相匹配。例如,根据LPJ模型运行环境(Linux系统、运行内存至少为500 MB、硬盘空间至少为4 GB)匹配可部署的模型服务容器。基于模型部署策略,将标准化模型部署在模型容器中,为模型运行提供服务。

    • 基于多模型服务的分布式模型运算是陆地碳循环模型去中心化计算的核心内容。为了让多个计算节点共同执行计算任务,本文设计了任务分割策略和任务派发策略。任务分割策略以离散化的思想分割计算任务,使复杂任务简单化。任务派发策略采用动态派发方法将计算任务派发至计算节点计算。基于模型服务,在陆地碳循环模型计算中应用任务分割、派发策略,实现去中心化计算。

    • 任务分割策略旨在将陆地碳循环模型计算任务分割为子任务,使复杂任务简单化,减缓模型的计算压力。陆地碳循环模型的基础输入数据以网格点的形式组织,耦合性低,故可采取分割计算数据的方式划分计算任务。基于此,本文提出两种任务分割方法:参数法和数据传输法。

      1)参数法。参数法以改变模型参数的方式更换计算区域,实现计算任务的划分。使用参数法分割计算任务时,模型使用者需要将计算数据传输至计算节点,根据需要设定子任务的站点数目并构建参数文件。参数文件由3部分组成:开始站点编号(Start Number)、结束站点编号(End Number)以及状态标识(Status)。开始站点编号、结束站点编号分别表示计算数据的起始位置和结束位置。状态标识用来标识计算任务的完成进度,例如,状态标识为1时,表示计算任务完成,计算节点停止计算并上传计算结果。在去中心化计算过程中,以参数文件中的开始、结束站点编号为索引分割计算数据,形成子任务。

      2)数据传输法。数据传输法以数据块的形式划分计算任务。在去中心化计算过程中,模型使用者需要以一定数量的网格点分割计算数据,形成数据块并上传至计算节点。例如,以50个站点的数据形成数据块,将包含10 000个站点的计算数据分割为200个数据块。计算节点根据数据块地址调用陆地碳循环模型执行计算任务,并通过更换数据块的方式实现计算任务更新。

      两种任务分割方法各有优劣,应用场景有所不同。采用参数法分割计算任务,不需要分割计算数据,调整模型的计算参数即可实现任务分割,但计算节点必须配置一份完整的计算数据。缺点是每个计算节点仅需要承担一部分计算任务,额外的数据配置会导致大量数据冗余,给计算节点带来了不必要的数据存储压力。在计算节点较多时,这种缺陷尤为突出。数据传输法采用即用即取的形式将数据块传输给计算节点进行计算,不会造成数据冗余,但与计算节点数据交互频繁,需要消耗大量时间用来传输数据。因此,在计算节点较多的时候,采用数据传输法以减少不必要的数据冗余,节省计算节点的存储空间;在计算节点较少时,采用参数法以缓解因大量数据交互带来的数据传输压力,避免因数据传输带来的时间浪费。

    • 任务派发策略旨在合理安排计算节点的计算量,将子任务及时派发给分布在网络环境中的计算节点计算。根据计算节点数目平均分配计算任务是一种常用的任务派发方法。然而,考虑到计算节点之间的性能差异,采用“均分法”派发计算任务会导致计算性能较好的计算节点因提前完成计算任务造成计算资源闲置问题。为了解决这一问题,本文设计了“1+n”(1个调度中心和n个计算节点)的任务派发策略动态派发计算任务。调度中心是任务派发策略的大脑,负责与计算节点通信,动态派发计算任务。

      为了保持与计算节点之间的通信,调度中心不断向计算节点请求模型状态信息,监听模型的运行状态。通过对反馈的状态信息进行分析,调度中心可以在模型计算完毕后及时更新计算任务,避免因计算节点性能差异导致的资源闲置问题。图 3展示了调度中心向计算节点派发任务的过程。

      图  3  任务派发过程

      Figure 3.  Task Dispatch Process

    • 基于模型服务,在陆地碳循环模型计算中应用任务分割派发策略,实现分布式运算。本文涉及的模型服务包括两种:数据服务和功能服务。数据服务提供数据上传和下载功能,为模型提供基础数据支撑,存储模型计算结果。功能服务提供模型操作功能,例如调用模型、终止模型计算、查询模型运行记录等功能。表 1展示了驱动陆地碳循环去中心化计算所使用的应用程序接口(application programming interface, API)。

      表 1  模型服务API

      Table 1.  Model Sevice API

      Router Request Operation Return
      /modelser/:msid?ac=run GET Run model service msid
      /modelser/inputdata/json/:msid GET Query model details model description document
      /geodata?type=stream POST Upload Data dataId
      /geodata?type=file POST Upload Data dataId
      /geodata?type=URL POST Upload Data dataId
      /geodata/json/:gdid GET Download Data status
      /modelserrun/json/:msrid GET Query run record operation record

      所有数据服务和功能服务都被顺序调用以执行陆地碳循环的去中心化计算,图 4展示了陆地碳循环模型分布式运算过程。以参数法为例,控制中心通过数据服务将参数文件上传至计算节点,通过功能服务调用模型计算。调用模型时会产生模型实例,模型实例包含以下内容:唯一标识(ID)、模型状态(Model Status)和描述信息(Description)。基于任务派发策略,调度中心通过模型实例的唯一标识(ID)区别计算节点,准确派发计算任务。

      图  4  计算过程

      Figure 4.  Calculation Process

      所有计算任务完成后,需要对计算结果进行处理。陆地碳循环模型的计算数据为网格数据,在计算过程中,每个网格站点会产生一份结果文件并以站点编号命名。图 5展示了计算结果的处理过程,各计算节点将计算结果打包上传至控制中心,由控制中心汇总后上传至服务器以供用户下载。

      图  5  数据处理过程

      Figure 5.  Data Processing Process

    • 本文设计开发了Web系统以验证面向陆地碳循环模型服务的去中心化计算方法的可行性。用户在此系统中查看计算节点的状态信息(是否可用),根据计算需要,选择可用的计算节点执行计算任务。

      图 6所示,陆地碳循环Web验证系统主要分为3个部分:基本信息、计算节点信息以及基本操作部分。基本信息部分介绍去中心化计算相关的基本信息(如计算节点数量、可用的计算节点信息以及任务进度)。计算节点信息部分列出各个计算节点的信息(IP地址、名称等)以及服务器状态。在基本操作部分中,用户访问和使用已部署在计算节点上的陆地碳循环模型,执行计算任务并下载计算结果。

      图  6  去中心化计算Web系统

      Figure 6.  Web System for Decentralized Compute

      基于Web系统,如图 7所示,在3个典型陆地碳循环模型(integrated biosphere simulator, IBIS; lund-potsdam-jena dynamic global vegetation model, LPJ; biome-biogeochemical cycle, Biome-BGC)中应用去中心化计算方法对本文提出的方法进行验证,具体实验步骤如下:

      图  7  实验过程

      Figure 7.  Experimental Process

      1) 根据模型的基本信息,使用MDL对陆地碳循环模型进行标准化描述,生成MDL文档。

      2) 根据MDL文档的描述信息,使用3个标准化接口将陆地碳循环模型包装成标准化模型并部署模型服务容器。将标准化模型部署在模型容器中,为模型计算提供服务。

      3) 整理LPJ模型的计算数据并上传至计算节点。采用参数法分割任务,以计算站点的起始编号和结束编号构建参数文件。

      4) 创建模型计算实例,根据模型运行状态,调度中心会自动调整参数文件中计算站点的起始编号和结束编号,迭代计算任务。Web界面实时显示计算进度,并记录计算时间。

      5) 所有计算任务完成后,计算结果自动打包汇总,存储至后台服务器。用户可使用下载按钮下载数据(在计算任务还没结束时,下载按钮不可用)。

      6) 记录陆地碳循环模型完成所有计算任务所消耗的时间,调整计算节点的数量,重复实验。

      本文对LPJ模型的全球40 595个网格点以及231个观测站点数据进行去中心化计算,获取碳通量结果并记录不同数量节点下的模型计算时间。以计算节点为横轴、计算时间为纵轴构建表格对实验结果进行分析。如图 8所示,随着计算节点增加,计算时间逐渐减少。计算节点增加为2时,模型计算时间下降尤为显著,计算节点增加至4时,计算时间下降速度变缓。实验结果表明,通过增加计算节点的方式,能够提高模型的计算速度;但随着计算节点进一步增加,模型计算时间变化趋于平缓,计算节点利用率逐渐降低。计算节点数量的选取依赖于计算节点性能以及计算量,当计算节点过多时,各计算节点分配到的计算量较少,实际模型计算时间会小于计算过程中的其他时间消耗(如数据传输)。因此,在实际应用中应合理选择计算节点数量,使计算节点利用率达到最高,例如本实验可选择4~5个计算节点使计算节点的利用率最高。

      图  8  模型计算时间

      Figure 8.  Time of Model Calculation

    • 本文针对陆地碳循环模型计算缓慢的问题,提出一种面向陆地碳循环模型服务的去中心化计算方法,并设计了任务分割和派发策略。该方法提供了一种去中心化计算方式,将计算任务离散化,派发至多个计算节点上处理。实验结果表明,在陆地碳循环模型中应用去中心化计算方法能够缓解因计算量大带来的计算压力,加快模型计算速度。

      但是,本文的研究还存在不足之处。去中心化计算方法基于网格数据耦合性低的特点,以分割计算数据的方式实现计算任务的分割,难以用于使用耦合性较高数据的其他模型之中。此外,去中心化计算方法利用网络环境下的多个计算节点执行模型计算任务,需要对计算节点的选择准确把控。本文没有涉及到计算节点的性能评估、根据计算节点性能和计算量智能选择计算节点数量、派发计算任务,这也是后续研究的一个重点。

参考文献 (35)

目录

    /

    返回文章
    返回