留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

分布式MODIS植被供水指数生产模型研究与实现

孟令奎 朱会玲 谢文君 胡艺杰 张文

孟令奎, 朱会玲, 谢文君, 胡艺杰, 张文. 分布式MODIS植被供水指数生产模型研究与实现[J]. 武汉大学学报 ● 信息科学版, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
引用本文: 孟令奎, 朱会玲, 谢文君, 胡艺杰, 张文. 分布式MODIS植被供水指数生产模型研究与实现[J]. 武汉大学学报 ● 信息科学版, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
MENG Lingkui, ZHU Huiling, XIE Wenjun, HU Yijie, ZHANG Wen. Distributed Production Method for MODIS VSWI Based on OSGI[J]. Geomatics and Information Science of Wuhan University, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
Citation: MENG Lingkui, ZHU Huiling, XIE Wenjun, HU Yijie, ZHANG Wen. Distributed Production Method for MODIS VSWI Based on OSGI[J]. Geomatics and Information Science of Wuhan University, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699

分布式MODIS植被供水指数生产模型研究与实现

doi: 10.13203/j.whugis20150699
基金项目: 

国家重点研发计划 2017YFC0405806

高分辨率对地观测系统重大专项(民用部分) 08-Y30B07-9001-13/15

详细信息

Distributed Production Method for MODIS VSWI Based on OSGI

Funds: 

The National Key Research and Development Program of China 2017YFC0405806

The National High-Resolution Earth Observation System Projects (Civil Part) 08-Y30B07-9001-13/15

More Information
    Author Bio:

    MENG Lingkui, PhD, professor, specializes in remote sensing and geography information system. E-mail: lkmeng@whu.edu.cn

    Corresponding author: ZHANG Wen, PhD, lecturer. E-mail: wen_zhang@whu.edu.cn
图(7) / 表(3)
计量
  • 文章访问数:  2931
  • HTML全文浏览量:  149
  • PDF下载量:  225
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-03-15
  • 刊出日期:  2018-05-05

分布式MODIS植被供水指数生产模型研究与实现

doi: 10.13203/j.whugis20150699
    基金项目:

    国家重点研发计划 2017YFC0405806

    高分辨率对地观测系统重大专项(民用部分) 08-Y30B07-9001-13/15

    作者简介:

    孟令奎, 教授, 主要从事遥感和地理信息系统研究。lkmeng@whu.edu.cn

    通讯作者: 张文, 博士, 讲师。wen_zhang@whu.edu.cn
  • 中图分类号: P237

摘要: 遥感监测已成为旱情监测的重要手段,其中植被供水指数(vegetation supply water index,VSWI)产品是进行遥感旱情监测的重要参考依据,但其生产涉及的数据量大,处理周期长,严重影响监测数据处理的及时性。面向分布式计算环境,提出了一种基于开放服务网关协议(open services gateway initiative,OSGI)的分布式中分辨率成像光谱仪(Moderate-Resolution Imaging Spectroradiometer,MODIS)植被供水指数产品生产模型(OSGI-based VSWI distributed production model,ODPM),通过该模型将MODIS影像的植被供水指数产品生产算法转化成OSGI的Bundle组件,使其能够在分布式OSGI的平台中进行动态的部署与安装,充分利用局域网内的计算资源,实现快速的遥感数据处理与监测产品生产。利用中国7大流域数据对模型的稳定性进行实验,结果表明,相对传统的单机处理模式,该模型的运算速度提升3倍左右,内存占用减少大约2/3倍,并具有良好的计算稳定性。ODPM模型在提升数据处理部门的工作效率方面具有重要意义,可在海量遥感数据处理、大范围遥感监测产品生产领域发挥显著的作用。

English Abstract

孟令奎, 朱会玲, 谢文君, 胡艺杰, 张文. 分布式MODIS植被供水指数生产模型研究与实现[J]. 武汉大学学报 ● 信息科学版, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
引用本文: 孟令奎, 朱会玲, 谢文君, 胡艺杰, 张文. 分布式MODIS植被供水指数生产模型研究与实现[J]. 武汉大学学报 ● 信息科学版, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
MENG Lingkui, ZHU Huiling, XIE Wenjun, HU Yijie, ZHANG Wen. Distributed Production Method for MODIS VSWI Based on OSGI[J]. Geomatics and Information Science of Wuhan University, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
Citation: MENG Lingkui, ZHU Huiling, XIE Wenjun, HU Yijie, ZHANG Wen. Distributed Production Method for MODIS VSWI Based on OSGI[J]. Geomatics and Information Science of Wuhan University, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
  • 近年来中国的干旱具有发生频率高、持续时间长、影响范围大等特点[1],成为农业生产所面临的主要问题。随着遥感技术发展和遥感手段的增加,大面积实时动态监测土壤水分已成为干旱监测的一种趋势[2]。在实时动态监测土壤水分时,植被供水指数法(vegetation supply water index,VSWI)是较常用的一种监测方法。但因干旱监测具有长期性特点,在生产植被供水指数产品时涉及的遥感数据量大、计算资源多,数据易访问性需求大[3],耗费时间长,严重影响了产品的时效性以及监测的及时性。

    开放服务网关协议(open services gateway initiative,OSGI)是由OSGI联盟于1999年提出的一种Java模块化架构,它提供了Java模块化的一般标准和解决方案。运行在OSGI环境的类似于Web容器中应用程序的组件称为Bundle[4],它是一个具有JAR格式的文件, 包含了Java的类文件和其他资源文件。OSGI框架以一种动态可扩充、热插拔方式管理Bundle生命周期,可在任何时候对Bundle进行安装、启动、更新、停止和卸载[5]。基于中间件的OSGI技术提供了一个面向服务、基于组件的开发环境,并提供标准化的方式来管理整个软件生命周期[6]。这为那些需要长时间运行、动态更新并且对运行环境的影响尽可能小的系统提供了很好的支持。基于OSGI开发的系统具有复杂度低、动态部署、高可复用性、可持续运行等特点,得到越来越多的关注和认同。

    本文结合OSGI框架规范化、模块化、支持服务的动态部署与安装以及服务生命周期管理等特点,提出了一种基于OSGI的分布式VSWI产品生产模型(OSGI-based VSWI distributed production model,ODPM),即在VSWI产品生产中引入OSGI服务的思想,将VSWI产品生产算法封装成OSGI中的组件Bundle,并将VSWI产品生产流程封装成Bundle中的服务,使其能够在OSGI的平台中进行动态的部署与安装,通过调用不同节点上的服务将VSWI产品生产任务分发到局域网内不同的计算机上进行处理。该模型有助于节省运算时间,提高效率,同时减少海量数据处理时的内存占用量。

    • VSWI法是一种综合利用归一化植被指数(normalized difference vegetation index, NDVI)和地表温度(land surface temperature, LST)的干旱监测方法。根据植被供水指数的原理[7],VSWI越小,表明土壤水分越小;反之,土壤水分越大。其定义为:

      $$ \left\{ \begin{array}{l} {P_{{\rm{VSWI}}}} = {P_{{\rm{NDVI}}}}/{P_{{\rm{LST}}}}\\ {P_{{\rm{NDVI}}}} = \left( {{\rho _{{\rm{NIR}}}}-{\rho _R}} \right)/\left( {{\rho _{{\rm{NIR}}}} + {\rho _R}} \right)\\ {P_{{\rm{LST}}}} = {A_0} + {A_1}{T_{31}}-{A_2}{T_{32}} \end{array} \right. $$ (1)

      式中,ΡVSWI为VSWI的值;ΡNDVI为NDVI的值;ΡLST为LST的值;ρNIR表示近红外波段数值;ρR表示可见光红波段数值。在MODIS影像的VSWI产品生产中,植被冠层温度的计算采取的是分裂窗算法,T31T32分别是MODIS影像第31和32波段的亮度温度,A0A1A2是分裂窗算法的参数,定义为:

      $$ \left\{ \begin{array}{l} {A_0} = {E_1}{a_{31}}-{E_2}{a_{32}}\\ {A_1} = 1 + A + {E_1}{b_{31}}\\ {A_2} = A + {E_2}{b_{32}} \end{array} \right. $$ (2)

      式中,a31a32b31b32为常数,在地表温度0~50 ℃范围内分别可取a31 = -64.603 63,a32=-68.725 75,b31=0440 817,b32=0.473 453;其他中间参数定义见式(3)。

      本文将上述的中分辨率成像光谱仪(moderate-resolution imaging spectroradiometer,MODIS)的VSWI产品生成算法用IDL语言进行实现,并将其Bundle化。

      $$ \left\{ \begin{array}{l} A = {D_{31}}/{E_0}\\ {E_1} = {D_{32}}\left( {1-{C_{31}}-{D_{31}}} \right)/{E_0}\\ {E_2} = {D_{31}}\left( {1-{C_{32}} - {D_{32}}} \right)/{E_0}\\ {E_0} = {D_{32}}{C_{31}} + {D_{31}}{C_{32}}\\ {C_i} = {\varepsilon _i}{\tau _i}\left( \theta \right)\\ {D_i} = \left( {1 - {\tau _i}\left( \theta \right)} \right)\left( {1 + \left( {1 - {\varepsilon _i}} \right){\tau _i}\left( \theta \right)} \right) \end{array} \right. $$ (3)

      式中,τi(θ)为波段i在视角θ下的大气透过率[8]εi为波段i的地表比辐射率[9],其中i=31,32。

    • 遥感影像的并行化处理主要是识别出算法中可以进行并行处理的计算部分,采用并行程序设计模型来设计整个处理流程,即将处理流程分解为多个相互独立的任务,并确定这些任务之间的相互依赖关系[10]。常用的分解方法有任务分解、数据分解和数据流分解[11]。VSWI产品生产算法中NDVI计算以及LST的计算属于并行不相关业务,但最终的VSWI产品生产与上述两步结果紧密相连。就整体而言,VSWI产品生产算法具有显著的流水线并行性与邻域性,即上一阶段的输出是下一阶段的输入。针对此特点,任务分解与数据流分解两种方法涉及大量的数据传输,本文采用数据分解的方式对算法作并行化处理。

      1) 当生产单幅影像的VSWI产品时,首先将输入影像规则的分割为n块,保证每相邻两块之间有重叠区域(如图 1(a)所示),每块影像分发到不同的节点的同时进行相同的处理,最后,处理后的影像块再拼接为整幅输出影像。

      图  1  遥感影像分割及覆盖示意图

      Figure 1.  Division and Cover of Remote Sensing Image

      2) 当生产某一地区或某一流域的VSWI产品时,因生产过程所涉及的遥感数据量大,图幅数多(如图 1(b)所示),所以不对遥感影像进行分割,每幅影像都作为输入影像分发到不同节点进行相同处理,处理后的影像进行拼接、裁剪,最终获取生产地区或流域的VSWI产品。如式(4)所示。

      $$ \begin{array}{l} {D_{{\rm{vswi}}}} = {P_{{1_{{\rm{vswi}}}}}} + {P_{{2_{{\rm{vswi}}}}}} + \cdots + {P_{{i_{{\rm{vswi}}}}}}\\ \;\;\;\;\;\;\;\;\; + \cdots-{d_{{\rm{vswi}}}} \end{array} $$ (4)

      式中,Dvswi为生产地区的VSWI产品;Pivswi为第i幅影像的VSWI产品;dvswi为生产地区边界以外的VSWI产品;式中的“+”表示不同幅影像之间的拼接操作,“-”表示按照边界进行的裁剪操作。

    • 实现VSWI产品生产算法的并行化处理,需将算法封装成OSGI环境下的Bundle组件。本文中的VSWI产品生产算法的Bundle化机制是利用代理及打包工具将1.1.1节所述的VSWI产品生产算法文件转换为OSGI框架中的Bundle组件,并将产品的生成流程封装成Bundle组件中的服务。通过对Bundle组件的安装与启动注册VSWI产品生产服务,进而调用该服务实现MODIS影像的VSWI产品生产,并且利用Bundle组件的分发备份实现1.1.2节中的算法并行化处理。

      Bundle化的实现机制主要分为对服务的调用和服务的实现两部分,其中,服务的实现是整个Bundle化机制的核心。对服务的调用是利用反射机制获取Bundle组件中已注册服务的输入参数和类型,输入参数主要包括输入影像以及输出影像存储位置等,通过输入相应的参数对服务进行调用。服务的实现主要存在于Bundle组件的实现类中,在该类中利用Java的cmd命令行调用遥感图像处理软件的处理进程对算法文件进行编译和运行,进而完成VSWI产品的生产过程。

      首先将VSWI产品生产算法文件上传至平台中,进行服务解析以获取服务的名称、类型以及输入参数的类型和数量;随后Bundle化代理根据解析出的结果生成Bundle文件、元数据文件,以及打包工具ant必须的XML文件;最后利用打包工具ant将生成的文件按照XML文件中的描述打包成系统所需要的Bundle。

    • OSGI的设计初衷是为服务网关提供解决方案,这使得其只能在单个的Java虚拟机上构建动态模块化系统,在一个OSGI框架中发布的服务是无法被其他OSGI框架发现和使用的[12]。OSGI分布式扩展是指将分布式计算技术与OSGI框架融合,使之能够支持跨多虚拟机的异构分布式处理[13]。现有的OSGI分布式拓展技术主要有D-OSGI、StarOSGI、R-OSGI等方法。本文选取了R-OSGI作为OSGI的分布式拓展技术,R-OSGI使用服务定位协议(service locator protocol,SLP)进行远程服务的发布和定位,需要服务消费者进行自定义,如图 2所示。

      图  2  OSGI分布式拓展架构图

      Figure 2.  Distributed Framework of OSGI

      在分布式节点上,除了部署R-OSGI框架所必须的Bundle以外,本文定义了监听器、Bundle管理器、服务管理器3个Bundle与R-OSGI进行交互。其中,监听器主要用于监听服务器与分布式节点之间的通信,接收服务器上传的Bundle,并将其存入指定路径;Bundle管理器主要负责管理Bundle的生命周期,响应服务器对远程Bundle的相关操作,并将Bundle状态返回服务器;服务管理器为远程服务调用生成代理,以保证远程调用的顺利进行,并将远程服务调用的响应时间、执行时间,以及内存占用情况等信息发回服务器,以便于服务器对远程服务进行监控与管理。

    • 基于OSGI的服务支撑平台是基于OSGI规范建立的一个用于管理遥感图像处理服务,以及OSGI标准服务的平台。平台选用Felix框架作为其OSGI框架,为遥感图像处理服务的注册、发布提供一种统一的管理方式,并支持服务的自动安装和部署。除此之外,平台还提供了完善的容错机制,如果有服务发生错误,平台会通过代理机制进行容错,以保证服务正常进行。

      基于OSGI的服务支撑平台是一个分布式作业的集中式资源管理系统,通过整合局域网内的若干台计算机,由一台机器作为中央管理器,同时也同其他计算机一样作为作业的提交者和执行者,也可以方便用户共享平台中的所有服务,其系统架构图如图 3所示,考虑到实际处理中使用节点配置的差异性,选取节点信息如表 1所示。将平台应用于分布式遥感图像处理,可以充分利用网络中的计算资源,节省运算时间,并利用平台的容错机制对图像处理的中间过程进行保存,以便及时恢复。

      图  3  原型系统架构图

      Figure 3.  Framework of Prototype System

      表 1  节点信息表

      Table 1.  Nodes Information

      节点编号 操作系统 处理器 内存
      节点A (服务器) Windows64 AMDⅡ×4 955 4 GB
      节点B Windows32 Intel(R) i3-M330 2.31 GB
      节点C Windows64 Intel(R) i7-4510U 8 GB
      节点D Windows64 Intel(R) i7-3770 4 GB
    • 为验证平台在分布式MODIS植被供水指数产品生产中的效率和作用,实验选取了3幅分辨率为1 km的MODIS反射率影像产品和热辐射影像产品作为输入数据,分别为2014年10月7日的第440景数据2014-10-07.440和第445景数据2014-10-07.445,以及10月21日的第315景数据2014-10-21.315。以每幅影像的VSWI产品生产为例进行验证,如图 4所示。实验主要步骤如下:

      图  4  VSWI产品生成流程图

      Figure 4.  Flowchart of VSWI Product Generation

      1) 将VSWI算法Bundle化,并将其分发到4个节点上备用。

      2) 将每一幅影像分幅裁剪成4份(如1_440,2_440, 3_440,4_440),本文称其为分幅影像,其中相邻的两份分幅影像之间均有重叠区域,以便后期拼接。

      3) 分别调用分布在4台节点上的图像处理服务对上一步骤中裁剪所得的分幅影像进行处理。为提高实验的准确性,本次实验分别针对每一分幅影像进行4次处理,记录其服务调用的响应时间、执行时间和内存占用值,并计算其总耗时平均值以及内存占用最大值,其中响应时间与执行时间的总和即为总耗时。

      4) 调用分布在节点B上的图像处理服务对每幅完整影像进行4次处理,记录其服务调用的响应时间、执行时间和内存占用值,并计算总耗时平均值以及内存占用最大值。

      5) 利用节点B上的影像可视化环境(environment for visualizing images,ENVI) +交互式数据语言(interactive data language,IDL)软件环境对每幅完整影像按照原始方法进行4次处理,记录其总耗时和内存占用的平均值。

      6) 对比分析获取的数据,得出结论。

    • 实验将每幅影像裁剪成4份进行多次处理,其分幅执行的响应时间、执行时间和内存占用平均值如表 2所示。在分幅执行的过程中,2014-10-07.440影像的VSWI产品生产总耗时为29.205 s,内存占用最大值为65.6 MB;2014-10-07.445影像的VSWI产品生产总耗时为27.186 s,内存占用最大值为68.8 MB;2014-10-21.315影像的VSWI产品生产总耗时为23.849 s,内存占用最大值为61.5 MB。

      表 2  分幅执行结果

      Table 2.  Results of Partitioning

      影像序号 影像大小/MB 分幅编号 响应时间/s 执行时间/s 内存占用/MB
      2014-10-07.440 368 1_440 0.226 20.303 65.6
      2_440 0.333 28.872 43.8
      3_440 0.382 14.158 35.8
      4_440 1.075 6.794 39.1
      2014-10-07.445 369 1_445 0.299 24.146 68.8
      2_445 0.570 26.616 45.9
      3_445 0.251 14.700 37.2
      4_445 0.836 7.340 38.8
      2014-10-21.315 343 1_315 0.240 16.466 61.5
      2_315 0.685 23.164 41.1
      3_315 0.209 13.017 36.1
      4_315 0.891 6.219 38.3

      除分幅执行以外,实验还选用了整幅处理以及使用ENVI+IDL环境对整幅影像进行传统处理两种方法,其结果可用图 5所示的图形表示。可以看出,基于OSGI的服务支撑平台在生产MODIS影像产品时具有时间和内存占用双重优势。其整幅处理计算速度相比于传统的ENVI处理提升4倍左右,内存占用减少15倍左右;分幅处理计算速度相比于整幅处理提升4~5倍,内存占用相差不大。

      图  5  性能对比图

      Figure 5.  Performance Comparison

      实验结果验证了ODPM模型以及OSGI服务支撑平台在分布式VSWI产品生产中的效率和作用,很大程度上解决了在旱情监测中处理海量遥感数据获取VSWI产品时耗时多、内存占用大、对计算机性能要求高的问题。另外,基于OSGI框架开发的OSGI服务支撑平台为系统的动态扩充、系统功能修改等提供了支撑,并为VSWI产品生产服务带来了规范化、统一化的组织方式。在实际生产中,使用者可以简单方便地对平台中的服务进行扩充,如MODIS影像处理服务、环境星影像处理服务以及高分影像处理服务等。

    • 遥感旱情监测是指通过遥感数据对土壤水分以及地表信息进行观测,是当前大面积旱情监测的主要技术手段之一。目前,应用较为广泛的遥感旱情监测方法主要有4类[14]:基于土壤热惯量的旱情监测方法、基于土壤波谱特征的旱情监测方法、基于蒸散发模型的旱情监测方法和基于植被指数的旱情监测方法。其中,基于植被指数的旱情监测方法容易受植被覆盖率及其他因素的影响,不同的植被覆盖率通常采用不同的植被指数进行监测[15]。植被供水指数是一种综合植被指数,它考虑了植被在红光、近红外、热红外下对干旱的不同的反应[16],适用于植被覆盖度较高、下垫面无裸露或处于植被生长季的地区[17]。国内外利用植被供水指数进行旱情监测的研究从未终止[18-21]。本文应用实例以中国7大流域为研究区,选取MODIS数据V005版本的MOD021KM数据,研究区域共涉及2015-07-26和2015-07-27共51景数据。首先,对每一景数据分别利用传统软件(ENVI+IDL)和ODPM模型进行VSWI产品生产,进行产品生产时,为保证与传统方法具有一致性,选取与传统方法相同的节点进行生产;然后,将处理完的各流域数据进行拼接裁剪以获取各流域旱情分布情况。经过多次实验分析所得ODPM模型与传统软件生产方法在生产7大流域数据时的对比结果如表 3所示,其中长江流域2015-07-26旱情分布情况如图 6所示。

      表 3  ODPM模型与传统方法对比结果

      Table 3.  Results Comparison of ODPM and Traditional Method

      研究区域 数据/景 ODPM模型 传统方法
      总耗时/min 内存占用/MB 总耗时/min 内存占用/MB
      太湖流域 2 21.87 273.7 100.35 646.0
      淮河流域 4 44.78 273.7 135.05 646.0
      海河流域 6 78.77 273.7 197.55 988.3
      珠江流域 9 96.27 273.7 252.27 646.0
      黄河流域 9 117.23 273.7 256.90 988.3
      长江流域 10 117.88 273.7 349.75 767.7
      松辽流域 11 229.62 338.5 432.40 1 081.6

      图  6  2015年7月26日长江流域旱情分布示意图

      Figure 6.  Drought of the Yangtze River Basin in July 26, 2015

      表 3可见,在7个流域的VSWI产品生产中,ODPM模型的处理速度比传统方法提高2~3倍,内存占用减少2/3左右。ODPM模型有效降低了数据处理时耗费时间长和硬件需求高的问题,在提升产品生产部门效率方面有突出作用。

      在长江流域VSWI产品生产过程中分别对两种生产方法每隔3 min记录一次其内存占用情况,可得到ODPM模型与传统软件生产方法在处理一景遥感数据时内存变化情况(见图 7)。

      图  7  单景数据处理时间与内存占用对比图

      Figure 7.  Time Consume and Memory Size Comparison of One Scene Data Processing

      对以上数据进行分析可得,当产品生产尚未开始时,即t=0时,传统方法已有273 MB左右的内存占用,说明在处理数据时,传统方法的内存占用主要包括两部分:一部分是传统方法所用软件本身的内存占用,另外一部分才为数据生产所耗用的内存。但是利用软件进行产品生产,其本身的内存占用不可避免,所以造成数据生产时对硬件的需求高,否则,将很容易出现电脑死机或未响应状态,影响产品的生产,增加时间成本。但是,利用ODPM模型进行生产时,只有在调用影像处理服务时,开始占用系统内存,且只调用idlrt.exe执行操作,所占用内存大大减少,速度也大幅提升。

    • 随着遥感数据量的日益增大、遥感技术在各领域的广泛应用,以及自然灾害的日益频发,当今社会对于海量遥感数据的快速处理,以及时效性需求越来越大。而传统意义上的手工作业人力耗费大、资源占用多、耗费时间长,已不能满足需求,亟需可以大幅提高作业效率的计算模式。本文中的基于OSGI的分布式遥感图像处理平台可以在影像产品生产时,通过整合局域网内的多个节点,充分利用局域网内的计算资源,通过ODPM模型将影像处理算法进行Bundle化,以及对影像数据的裁剪大幅提升其运算速度,减少内存占用,在遥感应急监测方面具有显著意义,对于提升数据处理部门的工作效率有重要作用,可为农业、气象部门的决策和生产提供有效的技术支持。

参考文献 (21)

目录

    /

    返回文章
    返回