留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

全球电离层模型的分布式并行解算

王成 毛大智 施闯 章红平

王成, 毛大智, 施闯, 章红平. 全球电离层模型的分布式并行解算[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274
引用本文: 王成, 毛大智, 施闯, 章红平. 全球电离层模型的分布式并行解算[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274
WANG Cheng, MAO Dazhi, SHI Chuang, ZHANG Hongping. Distributed Parallel Estimation for Global Ionospheric Modeling[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274
Citation: WANG Cheng, MAO Dazhi, SHI Chuang, ZHANG Hongping. Distributed Parallel Estimation for Global Ionospheric Modeling[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274

全球电离层模型的分布式并行解算

doi: 10.13203/j.whugis20160274
基金项目: 

国家重点研发计划 2016YFB0501802

中国博士后科学基金 2016M600613

中央高校基本科研业务费专项资金 2042016kf0061

详细信息
    作者简介:

    王成, 博士, 主要从事电离层模型研究。acex@foxmail.com

  • 中图分类号: P228

Distributed Parallel Estimation for Global Ionospheric Modeling

Funds: 

The National Key Research and Development Program of China 2016YFB0501802

China Postdoctoral Science Foundation 2016M600613

Fundamental Research Funds for the Central Universities 2042016kf0061

More Information
    Author Bio:

    WANG Cheng, PhD, specializes in ionosphere models. E-mail:acex@foxmail.com

  • 摘要: 为满足GNSS数据处理效率不断提升的需求,提出并开发了一套分布式并行计算框架,并基于该框架实现了全球电离层模型的分布式并行解算。采用2台服务器和4台台式机,对全球电离层建模分别测试了单机多线程、多机分布式等并行计算方案,并分析了不同方案建模的数据处理效率。结果表明,采用多线程并行计算可以大幅提高数据处理效率,且当开启线程数与计算机CPU核心数一致时效率提升最佳;采用多机分布式并行计算可进一步提高数据处理效率,使用4台台式机相对于单台台式机解算时间减少约60%,使用2台服务器相对于单台服务器解算时间减少约18%;采用分布式并行计算方案,可充分利用多台计算机资源来提高全球电离层建模效率,对电离层产品快速发布、建模算法的测试等具有重要的意义,对多系统GNSS精密定轨与定位、大网解算也具有很好的参考价值。
  • 图  1  全球电离层模型的分布式并行计算流程图

    Figure  1.  Flowchart of Distributed Parallel Computing for Global Ionospheric Modeling

    图  2  实验采用的计算机设备及网络连接示意图

    Figure  2.  Sketch Map of Computers and Network Connections

    图  3  卫星DCB与IGS电离层产品之间的差异

    Figure  3.  Difference of Satellite DCB Between our Results and IGS Products

    图  4  接收机DCB与IGS电离层产品之间的差异

    Figure  4.  Difference of Receiver DCB Between our Results and IGS Products

    图  5  单台服务器和台式机在不同线程数下数据处理耗时

    Figure  5.  Time Consumption of Data Processing by Single Server and Desktop Computer Using Different Numbers of Threads

    图  6  单台服务器和台式机开启最佳线程时全球电离层建模耗时

    Figure  6.  Time Consumption of Global Ionospheric Modeling by Single Server and Desktop Computer Using the Best Number of Threads

    图  7  全球电离层建模的分布式并行计算耗时

    Figure  7.  Time Consumption of Global Ionospheric Modeling by Distributed Parallel Computing

    表  1  实验采用的服务器、台式机硬件配置

    Table  1.   Hardware Configurations of Servers and Desktop Computers

    计算机 型号 CPU 主频/GHz CPU数 核心数 线程数 内存/GB
    服务器 Dell R730 Xeon(R) E5-2640 2.6 2 16 32 128
    台式机 Dell OptPlex 9020 Core i7-4790 3.6 1 4 8 8
    下载: 导出CSV

    表  2  不同年积日电离层图与IGS电离层产品对比

    Table  2.   Comparison of VTEC Maps Between our Results and IGS Ionospheric Products Under Different DOYs

    评价指标 173 174 175 176 177 178 179
    均值 0.279 0.071 0.059 -0.054 0.096 0.031 -0.320
    标准差 2.921 2.813 2.553 2.395 2.527 2.606 2.608
    均方根 2.930 2.814 2.554 2.396 2.529 2.606 2.627
    下载: 导出CSV

    表  3  单台服务器和台式机多线程数据处理耗时

    Table  3.   Time Consumption of Data Processing by Single Server and Desktop Computer Using Multi-threads

    服务器 台式机
    线程数 耗时/min 线程数 耗时/min
    1 82.90 1 66.89
    2 38.21 2 55.08
    4 20.61 3 45.26
    8 12.06 4 36.63
    16 9.44 5 44.45
    24 10.31 6 51.79
    32 11.58 7 54.91
    48 10.72 8 53.09
    下载: 导出CSV

    表  4  各方案不同年积日总体耗时/min

    Table  4.   Total Time Consumption of the Four Approaches in Different Day/min

    方案 173 174 175 176 177 178 179 平均
    方案1 24.23 22.72 22.73 26.45 25.10 24.77 25.88 24.55
    方案2 14.50 14.43 11.87 14.80 14.53 14.37 13.68 13.91
    方案3 7.73 7.43 6.75 7.98 8.33 7.98 8.20 7.77
    方案4 9.65 9.85 8.8 10.75 10.30 10.48 10.15 10.00
    下载: 导出CSV

    表  5  各方案不同年积日通讯耗时/min

    Table  5.   Time Consumption of Communication by the Four Approaches in Different Day/min

    方案 173 174 175 176 177 178 179 平均
    方案1 1.11 0.64 0.52 1.44 1.37 0.76 0.93 0.98
    方案2 1.24 1.06 0.89 0.75 1.93 1.42 1.62 1.27
    方案3 1.81 2.19 1.32 2.41 2.52 2.58 2.47 2.19
    方案4 4.91 5.16 4.23 5.82 5.12 5.64 5.10 5.14
    下载: 导出CSV
  • [1] 李征航, 张小红.卫星导航定位新技术及高精度数据处理方法[M].武汉:武汉大学出版社, 2009

    Li Zhenghang, Zhang Xiaohong. New Techniques and Precise Data Processing Methods of Satellite Navigation and Positioning[M]. Wuhan:Wuhan University Press, 2009
    [2] Klobuchar J A. Ionospheric Time-Delay Algorithm for Single-Frequency GPS Users[J]. IEEE Transactions on Aerospace and Electronic Systems, 1987, AES-23(3):325-331 doi:  10.1109/TAES.1987.310829
    [3] Jodogne J C, Nebdi H, Warnant R. GPS TEC and ITEC from Digisonde Data Compared with NEQUICK Model[J]. Adv. Space Res, 2004, 2:269-273
    [4] Bilitza D, Reinisch B W. International Reference Ionosphere 2007:Improvements and New Parameters[J]. Advances in Space Research, 2008, 42:599-609 doi:  10.1016/j.asr.2007.07.048
    [5] 王成, 王解先.国际参考电离层在电离层电子密度特征分析中的应用[J].大地测量与地球动力学, 2012, 32(2):55-59 https://www.wenkuxiazai.com/doc/db6c62393968011ca300916d.html

    Wang Cheng, Wang Jiexian, International Reference Ionosphere and its Application in Features Analysis of Ionosphere Electron Density[J]. Journal of Geodesy and Geodynamics, 2012, 32(2):55-59 https://www.wenkuxiazai.com/doc/db6c62393968011ca300916d.html
    [6] 王成, 王解先.全球电离层图和国际参考电离层在中国区域的评估[J].大地测量与地球动力学, 2013, 33(3):125-128 http://www.cqvip.com/QK/95685A/201303/46379513.html

    Wang Cheng, Wang Jiexian. Assessment of Global Ionospheric Maps and International Reference Ionosphere over China[J]. Journal of Geodesy and Geodynamics, 2013, 33(3):125-128 http://www.cqvip.com/QK/95685A/201303/46379513.html
    [7] Hernández-Pajares M, Juan J M, Sanz J, et al. The IGS VTEC Maps:A Reliable Source of Ionospheric Information Since 1998[J]. Journal of Geodesy, 2009, 83(3-4):263-275 doi:  10.1007/s00190-008-0266-1
    [8] 袁运斌, 欧吉坤.利用IGS的GPS资料确定全球电离层TEC的初步结果与分析[J].自然科学进展, 2003, 13(8):885-888 http://www.oalib.com/paper/1692564

    Yuan Yunbin, Ou Jikun. Preliminary Results and Analysis of Global Ionospheric TEC by GPS Mea-surements from IGS[J]. Progress in Natural Science, 2003, 13(8):885-888 http://www.oalib.com/paper/1692564
    [9] 章红平, 韩文慧, 黄玲, 等.地基GNSS全球电离层延迟建模[J].武汉大学学报·信息科学版, 2012, 37(10):1186-1189 http://ch.whu.edu.cn/CN/Y2012/V37/I10/1186

    Zhang Hongping, Han Wenhui, Huang Lin, et al. Modeling Global Ionospheric Delay with IGS Ground-Based GNSS Observations[J]. Geomatic and Information Science of Wuhan Uinversity, 2012, 37(10):1186-1189 http://ch.whu.edu.cn/CN/Y2012/V37/I10/1186
    [10] 李子申. GNSS/Compass电离层时延修正及TEC监测理论与方法研究[D]. 北京: 中国科学院大学, 2012

    Li Zishen. Study on the Mitigation of Ionospheric Delay and the Monitoring of Global Ionospheric TEC Based on GNSS/Compass[D]. Beijing: University of Chinese Academy of Sciences, 2012
    [11] 王成, 王解先, 段兵兵.附有国际参考电离层约束的全球电离层模型[J].武汉大学学报·信息科学版, 2014, 39(11):1340-1346 http://ch.whu.edu.cn/CN/abstract/abstract3121.shtml

    Wang Cheng, Wang Jiexian, Duan Bingbing. Global Ionospheric Model with International Reference Ionosphere Constraint[J]. Geomatic and Information Science of Wuhan Uinversity, 2014, 39(11):1340-1346 http://ch.whu.edu.cn/CN/abstract/abstract3121.shtml
    [12] 党亚民, 王虎, 赵文娇, 等.融合BDS/GPS/GLONASS反演全球电离层特性研究[J].大地测量与地球动力学, 2015, 35(1):87-91 http://mall.cnki.net/magazine/Article/QUDW201704010.htm

    Dang Yamin, Wang Hu, Zhao Wenjiao, et al. Research of the Characteristics of Inversing Global Ionospheric with Fusing of BDS, GPS and GLONASS[J]. Journal of Geodesy and Geodynamics, 2015, 35(1):87-91 http://mall.cnki.net/magazine/Article/QUDW201704010.htm
    [13] 黄玲, 章红平, 徐培亮, 等.中国区域VTEC模型Kriging算法研究[J].武汉大学学报·信息科学版, 2016, 41(6):729-737 http://ch.whu.edu.cn/CN/abstract/abstract5456.shtml

    Huang Ling, Zhang Hongping, Xu Peiliang, et al. VTEC Modeling with Kriging Algorithm over China Area[J]. Geomatics and Information Science of Wuhan University, 2016, 41(6):729-737 http://ch.whu.edu.cn/CN/abstract/abstract5456.shtml
    [14] 高广辉, 王小亚, 吴斌. GPS全球电离层TEC的并行算法建模及初步结果分析[J].中国科学院上海天文台年刊, 2011, 32:35-44 https://www.cnki.com.cn/qikan-KXTW201100007.html

    Gao Guanghui, Wang Xiaoya, Wu Bin. Global Ionospheric Modeling Using GPS Data with Parallel Algorithms[J]. Annual of Shanghai Astronomical Observatory, CAS, 2011, 32:35-44 https://www.cnki.com.cn/qikan-KXTW201100007.html
    [15] Schaer S. Mapping and Predicting the Earth's Ionosphere Using the Global Positioning System[D]. Bern: The University of Bern, 1999
  • [1] 李涌涛, 李建文, 魏绒绒, 师一帅, 张硕, 车通宇.  全球电离层TEC格网时空变化特性分析 . 武汉大学学报 ● 信息科学版, 2020, 45(5): 776-783. doi: 10.13203/j.whugis20180431
    [2] 孟令奎, 朱会玲, 谢文君, 胡艺杰, 张文.  分布式MODIS植被供水指数生产模型研究与实现 . 武汉大学学报 ● 信息科学版, 2018, 43(5): 676-683. doi: 10.13203/j.whugis20150699
    [3] 施闯, 王成, 张涛.  基于超算的全球电离层模型快速并行解算 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 2093-2098. doi: 10.13203/j.whugis20180114
    [4] 张强, 赵齐乐.  OpenMP并行计算在全球电离层反演中的应用 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 227-233, 240. doi: 10.13203/j.whugis20160065
    [5] 王成, 施闯, 章红平.  全球电离层模型的OpenMP多线程并行解算 . 武汉大学学报 ● 信息科学版, 2018, 43(6): 813-819. doi: 10.13203/j.whugis20150223
    [6] 沈迎春, 闫昊明, 彭鹏, 白希选, 田代恒.  质量负荷引起地表形变的格林函数和球谐函数方法对比研究 . 武汉大学学报 ● 信息科学版, 2017, 42(7): 1008-1014. doi: 10.13203/j.whugis20150201
    [7] 王成, 施闯, 段兵兵, 刘晓莉.  利用位置与云计算建立电离层TEC主动式播发平台 . 武汉大学学报 ● 信息科学版, 2016, 41(3): 304-309. doi: 10.13203/j.whugis20130307
    [8] 谢益炳, 伍吉仓, 陈俊平, 刘伟洲.  GPS和GLONASS组合的全球实测电离层TEC建模 . 武汉大学学报 ● 信息科学版, 2014, 39(8): 930-934. doi: 10.13203/j.whugis20130128
    [9] 曾艳艳, 于锦海, 万晓云.  任意球冠下Stokes-Neumman混合边值问题的球谐函数有限逼近方法 . 武汉大学学报 ● 信息科学版, 2014, 39(1): 65-69.
    [10] 谢益炳, 陈俊平, 伍吉仓, 胡丛玮.  不同约束条件对电离层电子含量和硬件延迟的影响 . 武汉大学学报 ● 信息科学版, 2014, 39(7): 799-803.
    [11] 王成, 王解先, 段兵兵.  附有国际参考电离层约束的全球电离层模型 . 武汉大学学报 ● 信息科学版, 2014, 39(11): 1340-1346.
    [12] 汤俊, 姚宜斌, 陈鹏, 张顺.  利用EMD方法改进电离层TEC预报模型 . 武汉大学学报 ● 信息科学版, 2013, 38(4): 408-411.
    [13] 祁昆仑, 陈玉敏, 吴华意, 龚健雅.  MPI+OpenMP环境下的特征函数空间滤值并行化方法研究 . 武汉大学学报 ● 信息科学版, 2013, 38(6): 742-745.
    [14] 王建强, 李建成, 王正涛, 赵国强.  球谐函数变换快速计算扰动引力 . 武汉大学学报 ● 信息科学版, 2013, 38(9): 1039-1043.
    [15] 章红平, 韩文慧, 黄玲, 耿长江.  地基GNSS全球电离层延迟建模 . 武汉大学学报 ● 信息科学版, 2012, 37(10): 1186-1189.
    [16] 陈静, 向隆刚, 朱欣焰.  分布式异构栅格数据的集成管理研究 . 武汉大学学报 ● 信息科学版, 2011, 36(9): 1094-1096.
    [17] 陈鹏, 姚宜斌, 吴寒.  利用时间序列分析预报电离层TEC . 武汉大学学报 ● 信息科学版, 2011, 36(3): 267-270.
    [18] 陈玉敏, 龚健雅, 姚明.  分布式多级道路网的最优路径服务应用系统设计 . 武汉大学学报 ● 信息科学版, 2008, 33(4): 384-387.
    [19] 李征航, 陈锴, 刘万科, 黄欢.  顾及f~3项的电离层延迟模型 . 武汉大学学报 ● 信息科学版, 2007, 32(2): 139-143.
    [20] 蔡昌盛, 高井祥, 李征航.  利用GPS监测电离层总电子含量的季节性变化 . 武汉大学学报 ● 信息科学版, 2006, 31(5): 451-453.
  • 加载中
图(7) / 表(5)
计量
  • 文章访问数:  985
  • HTML全文浏览量:  97
  • PDF下载量:  297
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-10-28
  • 刊出日期:  2018-08-05

全球电离层模型的分布式并行解算

doi: 10.13203/j.whugis20160274
    基金项目:

    国家重点研发计划 2016YFB0501802

    中国博士后科学基金 2016M600613

    中央高校基本科研业务费专项资金 2042016kf0061

    作者简介:

    王成, 博士, 主要从事电离层模型研究。acex@foxmail.com

  • 中图分类号: P228

摘要: 为满足GNSS数据处理效率不断提升的需求,提出并开发了一套分布式并行计算框架,并基于该框架实现了全球电离层模型的分布式并行解算。采用2台服务器和4台台式机,对全球电离层建模分别测试了单机多线程、多机分布式等并行计算方案,并分析了不同方案建模的数据处理效率。结果表明,采用多线程并行计算可以大幅提高数据处理效率,且当开启线程数与计算机CPU核心数一致时效率提升最佳;采用多机分布式并行计算可进一步提高数据处理效率,使用4台台式机相对于单台台式机解算时间减少约60%,使用2台服务器相对于单台服务器解算时间减少约18%;采用分布式并行计算方案,可充分利用多台计算机资源来提高全球电离层建模效率,对电离层产品快速发布、建模算法的测试等具有重要的意义,对多系统GNSS精密定轨与定位、大网解算也具有很好的参考价值。

English Abstract

王成, 毛大智, 施闯, 章红平. 全球电离层模型的分布式并行解算[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274
引用本文: 王成, 毛大智, 施闯, 章红平. 全球电离层模型的分布式并行解算[J]. 武汉大学学报 ● 信息科学版, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274
WANG Cheng, MAO Dazhi, SHI Chuang, ZHANG Hongping. Distributed Parallel Estimation for Global Ionospheric Modeling[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274
Citation: WANG Cheng, MAO Dazhi, SHI Chuang, ZHANG Hongping. Distributed Parallel Estimation for Global Ionospheric Modeling[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1207-1213. doi: 10.13203/j.whugis20160274
  • 电离层总电子含量(total electron content, TEC)是卫星导航、电离层物理和空间天气等研究中一个十分重要的参量。电离层延迟误差是卫星导航定位中最重要的误差源一[1]。已有的经验模型如Klobuchar模型、国际参考电离层、NeQuick模型等能够有效反映电离层长期变化趋势[2-6], 却无法满足高精度导航定位的需求。

    国际卫星导航服务机构(International GNSS Service, IGS)电离层工作组自1998年开始根据全球IGS跟踪站观测数据建立全球电离层模型并提供较高精度的全球电离层产品,为电离层研究和卫星导航定位提供了很好的参考数据和应用基础[7]。2016年,中国科学院(测量与地球物理研究所)和武汉大学(卫星导航定位技术研究中心)成为新的IGS电离层分析中心,为电离层研究提供日常的全球电离层产品,对进一步提升IGS最终电离层产品的精度和可靠性有着重要意义。国内很多学者对全球电离层模型的研究取得了比较丰富的成果,如利用GPS资料确定全球电离层TEC的初步结果与分析,地基GNSS全球电离层延迟建模,GNSS/北斗电离层时延修正及全球电离层建模,附有国际参考电离层约束的全球电离层模型,融合中国北斗卫星导航系统(BeiDou Navigation Satellite System, BDS)/GPS/GLONASS反演全球电离层模型等[8-13]

    随着多系统GNSS的不断发展,日益增加的GNSS台站将带来更多的电离层观测资料, 有助于提升全球电离层模型的精度。同时,随着观测数据的增多,数据处理所需的时间也就越长。2011年,高广辉等[14]采用OpenMP多线程并行计算实现了全球电离层TEC的并行算法建模及初步结果分析。该技术通常适用于共享存储的单个具有多核处理器的计算机,不能直接用于多台计算机联合分布式的并行计算。为此,本文将探讨采用多台计算机的联合并行计算方案,充分利用更多的计算资源来提高全球电离层建模效率,对电离层产品快速发布、建模算法的测试、电离层产品再分析及电离层预测等具有重要的意义。

    • 目前,IGS电离层分析中心各自采用不同的数据处理方法来计算全球电离层TEC。其中有5个电离层分析中心均以球谐函数为基础建立全球电离层模型。本文采用的建模方法与欧洲定轨中心(Center for Orbit Determination in Europe, CODE)基本一致,即采用双频GNSS观测数据建立用于表达全球电离层TEC的球谐函数模型,同时估计模型系数与卫星和测站接收机的差分码偏差(differential code bias, DCB)[15]。由双频观测值差分得到:

      $$ \begin{align} &{{P}_{1}}-{{P}_{2}}=\frac{40.3\left( f_{2}^{2}-f_{1}^{2} \right)}{f_{1}^{2}f_{2}^{2}}\text{STEC}+ \\ &c(\text{DC}{{\text{B}}_{R}}+\text{DC}{{\text{B}}_{S}}) \\ \end{align} $$ (1)

      式中,P1P2为双频伪距观测值;f1f2为双频载波相位的频率;STEC为卫星信号传播路径总电子含量; DCBS、DCBR分别为观测卫星与测站接收机的差分码偏差。将卫星信号传播路径TEC投影到天顶方向,采用的投影函数为改进的单层模型投影函数(modified single-layer model mapping function, MSLM):

      $$ \left\{ \begin{align} &mf\left( z \right)=\frac{1}{\text{cos}z\prime } \\ &\text{sin}z\prime =\frac{R}{R+H~}\text{sin}~\left( \alpha z \right) \\ \end{align} \right. $$ (2)

      式中,z为接收机与信号接收相关的天顶距;R为地球半径;H为假设的电离层薄层高度;α=0.978 2,H=506.7 km时,该投影函数与喷气推进实验室(Jet Propulsion Laboratory,JPL)的扩展板模型(extended slab model,ESM)投影函数的一致性最好[15]。用来描述全球电离层天顶总电子含量(vertical TEC, VTEC)的球谐函数为:

      $$ \begin{align} &\text{VTEC}~\left( \varphi , \lambda \right)\text{ }=\sum\limits_{n=0}^{{{n}_{\text{max}}}}{\sum\limits_{m=0}^{n}{{{{\tilde{P}}}_{nm}}(\text{sin}\varphi )({{a}_{nm}}\text{cos}~\left( m\lambda \right)}+} \\ &{{b}_{nm}}\text{sin}~\left( m\lambda \right)) \\ \end{align} $$ (3)

      式中,φ为地磁纬度;λ为日固经度;nm为球谐模型的阶次;${{\tilde{P}}_{nm}} $为标准化勒让德多项式;anmbnm为待估计的模型系数。本文在建模过程中采用的模型阶次为15×15,卫星和测站接收机的DCB一天内作为一个未知常量,并设所有观测卫星DCB之和为零。

    • 并行计算是同时使用多种计算资源解决计算问题的过程,是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是将求解问题分解成若干个部分,各部分由多个线程或进程同时计算从而提高效率。常用的并行计算技术主要有多进程、多线程、分布式、GPU并行和集群并行计算等。

      多进程并行计算将一个任务分解为多个独立的进程来执行,进程间的通讯加大了程序构建的复杂性,且进程间的通讯通常都比较低效。多线程并行计算是将计算任务分配到同一个进程间的多个线程来执行,由于多线程都处在统一进程中,它们共用该进程的共享资源,拥有高效的线程间通讯。通常情况下,使用多线程并行编程比使用多进程有更大的优势, 这是因为:①多线程的创建和上下文切换的开销比多进程小得多;②线程间通信的方式多, 简单高效, 不需要繁琐的进程间通信;③多线程有庞大的基础库的支持;④基于多线程的并行程序比基于多进程的程序更容易理解和修改。

      分布式计算主要是使用分散系统如若干计算机通过互联网连接和通讯后形成的系统对大型计算工程分块化分配处理计算。分布式并行计算中较为出名的一种编程模型为MapReduce。它是通过将数据集的大规模操作分发给各个节点实现可靠性,每个节点则周期性地返回所完成的工作和最新状态。每一个MapReduce计算任务分为Map阶段和Reduce阶段,分别完成分解任务和合并结果。Hadoop是一个能够对大量数据进行分布式处理的软件框架,实现了高容错性的分布式文件系统以及基于MapReduce编程思想的支持海量数据的并行计算。消息传递接口(message passing interface, MPI)是一种基于信息传递的分布式并行编程技术,定义了一组具有可移植性的编程接口,可应用于对计算效率需求较高的科学计算。

    • 然而,Hadoop目前仅适用于数据关联性不强、计算密度不大的互联网方面的数据处理,处理全球电离层建模这类计算密集型的科学计算问题非常低效。MPI通常用于具有多个稳定计算单位的集群和超级计算机的并行计算场景,却不能直接用于具有不同配置、处于不同网段的多个计算机的分布式并行计算。采用GPU的并行方案需要根据不同显卡及提供的编程接口对代码重新改造调整, 适配不同的显卡, 才能实现并行技术,实现过程较为麻烦,且通用性较差。而集群并行方案依赖的集群设备和运行成本太高,仅适用于具备条件的单位和个人使用。为此,笔者开发了一套自适应不同硬件配置、网络的多计算机联合分布式并行计算框架。该框架的基本思路与MapReduce类似,即将计算任务根据计算机的性能均衡分配给各台计算机,各计算机接收任务并执行,将中间结果返回给主计算机,主计算机负责合并中间结果并解算完成计算任务。该框架在全球电离层建模中的具体实现为:①由主计算机将分解任务指令下达到各计算机,分解的任务为各台计算机应处理的GNSS观测数据;②各计算机接收到任务指令后,开启多线程模式并行处理GNSS观测数据,将观测信息累加到法方程;③各计算机处理完任务后将法方程非零元素以二进制形式传回到主计算机;④主计算机等待所有参与的计算机传回各自的法方程信息并将其合并,解算合并后的法方程并生成全球电离层产品。全球电离层模型的分布式并行算法流程如图 1所示。

      图  1  全球电离层模型的分布式并行计算流程图

      Figure 1.  Flowchart of Distributed Parallel Computing for Global Ionospheric Modeling

    • 本文采用位于两个不同网段的2台服务器、4台台式机联合进行分布式并行计算实验,实验设备网络连接如图 2所示, 其中2台服务器位于N1网段,4台台式机位于N2网段。此外,服务器、台式机与计算效率相关的硬件配置见表 1

      图  2  实验采用的计算机设备及网络连接示意图

      Figure 2.  Sketch Map of Computers and Network Connections

      表 1  实验采用的服务器、台式机硬件配置

      Table 1.  Hardware Configurations of Servers and Desktop Computers

      计算机 型号 CPU 主频/GHz CPU数 核心数 线程数 内存/GB
      服务器 Dell R730 Xeon(R) E5-2640 2.6 2 16 32 128
      台式机 Dell OptPlex 9020 Core i7-4790 3.6 1 4 8 8
    • 采用2014年年积日173~179 d,全球330个左右的IGS台站的GPS观测数据建立全球电离层模型,并将实验结果与IGS电离层产品进行对比。图 3图 4分别为卫星DCB和接收机DCB与IGS电离层产品的差异,图中不同颜色点分别代表对应年积日的结果。PRN指伪随机噪声码(pseudo random noise code, PRN)。由图 3图 4可知,本文解算的卫星DCB与IGS电离层产品差异大多在0.1 ns以内,而接收机DCB与IGS电离层产品差异大多在2 ns以内,仅少数几个接收机DCB在某几天超过2 ns。本文解算所得的全球电离层图与IGS最终电离层产品之间差异的均值、标准差和均方根见表 2。可知,本文结果与IGS电离层产品之间差异的均值较小,标准差和均方根均小于3个总电子数单位(total electron content unit, TECU),说明两者有较好的一致性且不存在明显的系统性偏差。

      图  3  卫星DCB与IGS电离层产品之间的差异

      Figure 3.  Difference of Satellite DCB Between our Results and IGS Products

      图  4  接收机DCB与IGS电离层产品之间的差异

      Figure 4.  Difference of Receiver DCB Between our Results and IGS Products

      表 2  不同年积日电离层图与IGS电离层产品对比

      Table 2.  Comparison of VTEC Maps Between our Results and IGS Ionospheric Products Under Different DOYs

      评价指标 173 174 175 176 177 178 179
      均值 0.279 0.071 0.059 -0.054 0.096 0.031 -0.320
      标准差 2.921 2.813 2.553 2.395 2.527 2.606 2.608
      均方根 2.930 2.814 2.554 2.396 2.529 2.606 2.627
    • 在分布式并行计算实验前有必要对参与的各计算机计算效率进行评估,以便根据各计算机性能来均衡分配任务。由于本文实验采用的6台计算机只包括两种类型,故而根据2014年年积日173这天330左右IGS站的GPS观测数据,分别使用单台服务器和单台台式机,在不同线程数的情况下建立全球电离层模型。不同多线程测试方案下的数据处理耗时如图 5表 3。由图 5可知,不论台式机或服务器,如采用多线程并行计算均可以大幅提高数据处理效率。随着线程数的增加,计算效率逐渐提高,但当服务器开启线程数超过16,台式机开启线程数超过4时,数据处理效率不再提高,反而有所降低。这是由于更多的线程对CPU资源的争抢降低了效率。可知,最佳线程数应和计算机CPU核心数保持一致,而非Intel宣称的最大线程数。Intel采用了超线程技术使得线程数可为实际CPU核心数的2倍,更多的线程数可使多任务的效率提升,但对于全球电离层建模等密集型科学计算来说并没有显著作用。从图 5表 3可知,随着开启线程数成倍增加,服务器数据处理效率也几乎成倍提高;而台式机的性能表现不如服务器,当开启最佳的4线程时效率仅为单线程时的2倍。另外值得一提的是,当服务器和台式机均采用单线程时,服务器耗时82.90 min,而台式机耗时66.89 min。这表明单线程时服务器的效率不如台式机,因为服务器CPU主频比台式机CPU主频低,单位时间内计算量比台式机要少一些,所以最终耗时较长。分别采用单台服务器、台式机在开启最佳线程数16、4时计算2014年年积日173~179 d的全球电离层模型耗时,如图 6所示。由图 6可知,服务器性能表现平稳,平均耗时约10 min;而台式机表现不如服务器稳定,平均耗时约38 min。

      图  5  单台服务器和台式机在不同线程数下数据处理耗时

      Figure 5.  Time Consumption of Data Processing by Single Server and Desktop Computer Using Different Numbers of Threads

      表 3  单台服务器和台式机多线程数据处理耗时

      Table 3.  Time Consumption of Data Processing by Single Server and Desktop Computer Using Multi-threads

      服务器 台式机
      线程数 耗时/min 线程数 耗时/min
      1 82.90 1 66.89
      2 38.21 2 55.08
      4 20.61 3 45.26
      8 12.06 4 36.63
      16 9.44 5 44.45
      24 10.31 6 51.79
      32 11.58 7 54.91
      48 10.72 8 53.09

      图  6  单台服务器和台式机开启最佳线程时全球电离层建模耗时

      Figure 6.  Time Consumption of Global Ionospheric Modeling by Single Server and Desktop Computer Using the Best Number of Threads

    • 为充分利用计算机资源,提高全球电离层建模效率,本文采用分布式并行计算框架对全球电离层建模在不同数量、种类的多台计算机进行分布式并行计算实验。具体采用的计算机组合方案有以下几种:2台台式机、4台台式机、2台服务器以及2台服务器+4台台式机,分别简称为方案1~4。其中,选择台式机C作为方案1和方案2中的主计算机;选择服务器A作为方案3和方案4的主计算机。实验仍然采用2014年年积日173~179 d IGS站的GPS观测数据对全球电离层建模在不同方案下进行测试,各方案的总体耗时情况如图 7所示,有关耗时的详细情况见表 4~5

      图  7  全球电离层建模的分布式并行计算耗时

      Figure 7.  Time Consumption of Global Ionospheric Modeling by Distributed Parallel Computing

      表 4  各方案不同年积日总体耗时/min

      Table 4.  Total Time Consumption of the Four Approaches in Different Day/min

      方案 173 174 175 176 177 178 179 平均
      方案1 24.23 22.72 22.73 26.45 25.10 24.77 25.88 24.55
      方案2 14.50 14.43 11.87 14.80 14.53 14.37 13.68 13.91
      方案3 7.73 7.43 6.75 7.98 8.33 7.98 8.20 7.77
      方案4 9.65 9.85 8.8 10.75 10.30 10.48 10.15 10.00

      表 5  各方案不同年积日通讯耗时/min

      Table 5.  Time Consumption of Communication by the Four Approaches in Different Day/min

      方案 173 174 175 176 177 178 179 平均
      方案1 1.11 0.64 0.52 1.44 1.37 0.76 0.93 0.98
      方案2 1.24 1.06 0.89 0.75 1.93 1.42 1.62 1.27
      方案3 1.81 2.19 1.32 2.41 2.52 2.58 2.47 2.19
      方案4 4.91 5.16 4.23 5.82 5.12 5.64 5.10 5.14

      图 7可知,采用多台台式机的分布式并行计算比仅使用单台台式机的数据处理效率有了显著的提升;采用多台服务器的分布式并行计算也比仅使用单台服务器的效率有明显提升。根据图 7表 3表 4可知,方案1相对于单台台式机解算时间减少约35%,方案2相对于单台台式机解算时间减少约60%;方案3相对于单台服务器解算时间减少约18%;而方案4相对于方案3时间却有所增加,这与分布式计算时多台计算机通讯耗时有一定关系。表 5列出了各方案不同年积日建模时多台计算机的通讯耗时,即各计算机向主计算机传输法方程信息所耗时间。由表 5可知,网速不稳定导致各方案各天的通讯时间存在一定差异,且参与分布式计算的计算机越多,不稳定程度越大。尤其是当采用方案4时,由于2台服务器和4台台式机在不同的网段,数据传输比较耗时,所占总体耗时的比重较大。若从总体耗时中扣除掉通讯时间,各方案仅顾及计算过程的平均耗时为:方案1为23.57, 方案2为12.64, 方案3为5.58, 方案4为4.86, 单位均为min。可知,参与的计算机越多,实际计算耗时越少,符合实验预期。

    • 本文针对GNSS数据处理效率不断提升的需求,开发了多计算机联合分布式并行计算框架。该框架能够适应于不同硬件配置、网络的多台计算机联合分布式数据处理。本文基于该框架实现了全球电离层模型的分布式并行计算,采用2014年年积日173~179 d全球330个左右的IGS台站的GPS观测数据建立全球电离层模型,解算得到的卫星DCB、接收机DCB和全球电离层图与IGS电离层产品符合较好。此外,采用4台Dell OptPlex 9020台式机和2台Dell R730服务器对全球电离层建模进行了单机多线程并行计算、多机分布式并行计算实验。实验结果表明,采用多线程并行计算可以大幅提高数据处理效率,且当开启线程数与计算机CPU核心数一致时效率提升最佳,单台服务器效率可提升8倍多,单台台式机效率可提升近2倍;采用多机分布式并行计算可进一步提高数据处理效率,使用4台台式机相对于单台台式机解算时间减少约60%,使用2台服务器相对于单台服务器解算时间减少约18%。而实验中同时使用2台服务器和4台台式机解算时间有所增加,这是由于不同网段计算机通讯耗时增多造成总体耗时反而较多。所以建议在采用分布式并行计算时,需将多台计算机安置在同一个网速良好的网段以保障数据通讯流畅从而节省数据处理时间。采用多台计算机分布式并行计算方案,可充分利用计算机资源来提高全球电离层建模效率,对电离层产品快速发布、建模算法的测试等具有重要的意义。此外,本文开发的多计算机联合分布式并行计算框架未来或可采用分布式并行算法来求解法方程, 从而进一步提升计算效率,还可拓展应用到多系统GNSS精密定轨与定位等数据处理,对大规模GNSS基准站网的快速解算等也有着积极的参考价值。

参考文献 (15)

目录

    /

    返回文章
    返回