-
卫星钟差预报是导航定位工作中一项非常重要的工作[1-6]。常用的钟差模型如二次多项式模型(quadratic polynomial, QP)、灰色系统模型(GM(1, 1))的星载原子钟钟差预报精度不理想[2-3]。鉴于此,有学者将人工神经网络技术用于卫星钟差预报,如小波神经网络(wavelet neural network, WNN)[3-4]、径向基函数(radial basis function, RBF)神经网络[5]等,并取得了较好的预报效果。然而,传统前馈神经网络采用梯度训练算法,收敛速度慢且易陷入局部最优,此外,还存在网络结构和网络参数难以确定的问题。
极端学习机(extreme learning machine, ELM)是一种新型的单隐层前馈神经网络[7],因其具有结构简单、学习速度快和泛化能力好等优点,目前在时间序列预测领域得到了广泛的应用[8]。ELM的网络结构包括1个输入层、1个隐含层和1个输出层,其中隐含层包含大量的非线性节点。ELM克服了传统前馈神经网络的缺陷,在训练初始阶段随机产生输入权值和偏置,并在训练过程中保持不变,网络的输出权值是唯一需要确定的参数。
研究表明,ELM的学习效果和泛化能力在很大程度上取决于隐层节点的数量[7],所以在设计ELM网络时,如何确定最优的网络结构是研究的重点。本文将ELM网络用于卫星钟差预报,并针对其网络结构设计问题,提出了一种基于自适应共振理论(adaptive resonance theory, ART)神经网络思想的结构自适应ELM网络预测模型,利用ART的分类思想,通过一次相似度比较确定隐层节点的规模,从而实现对卫星钟差的精确预测。
-
给定N个训练样本(xi, yi),其中输入向量xi=[xi1 xi2…xim]T∈Rm,输出向量yi=[yi1 yi2…yin]T∈ Rn,m、n分别表示输入向量和输出向量维数,则具有h个隐层节点的单隐层前馈神经网络能够以零误差逼近这N个采样点,即使得:
$$ {\mathit{\boldsymbol{y}}_i} = \sum {_{j = 1}^h{\mathit{\boldsymbol{\beta }}_j}g\left( {{\mathit{\boldsymbol{w}}_j} \cdot {\mathit{\boldsymbol{x}}_i} + {\mathit{\boldsymbol{b}}_j}} \right), j = 1, 2 \cdots N} $$ (1) 式中,wj=[wj1 wj2…wjm]T为第j个隐层节点与输入节点之间的连接权值;βj=[βj1 βj2…βjn]T为第j个隐层节点与输出节点之间的连接权值;bj为第j个隐层节点的偏置;g(·)是激活函数。将式(1)表示为矩阵相乘的形式:
$$ \mathit{\boldsymbol{Y = H\beta }} $$ (2) 其中,H为隐层输出矩阵。
$$ \begin{array}{l} \;\;\;\;\;\;\mathit{\boldsymbol{H}}\left( {{\mathit{\boldsymbol{w}}_1}, {\mathit{\boldsymbol{w}}_2} \cdots {\mathit{\boldsymbol{w}}_h}, {\mathit{\boldsymbol{b}}_1}, {\mathit{\boldsymbol{b}}_2} \cdots {\mathit{\boldsymbol{b}}_h}} \right) = \\ {\left[{\begin{array}{*{20}{c}} {g\left( {{\mathit{\boldsymbol{w}}_1}^{\rm{T}} \cdot {\mathit{\boldsymbol{x}}_1} + {\mathit{\boldsymbol{b}}_1}} \right)}& \cdots &{g\left( {{\mathit{\boldsymbol{w}}_h}^{\rm{T}} \cdot {\mathit{\boldsymbol{x}}_1} + {\mathit{\boldsymbol{b}}_h}} \right)}\\ \vdots &{}& \vdots \\ {g\left( {{\mathit{\boldsymbol{w}}_1}^{\rm{T}} \cdot {\mathit{\boldsymbol{x}}_N} + {\mathit{\boldsymbol{b}}_1}} \right)}& \cdots &{g\left( {{\mathit{\boldsymbol{w}}_h}^{\rm{T}} \cdot {\mathit{\boldsymbol{x}}_N} + {\mathit{\boldsymbol{b}}_h}} \right)} \end{array}} \right]_{N \times h}}\\ \;\;\;\;\;\mathit{\boldsymbol{\beta = }}{\left[{\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{\beta }}_1}^{\rm{T}}}\\ {{\mathit{\boldsymbol{\beta }}_2}^{\rm{T}}}\\ \vdots \\ {{\mathit{\boldsymbol{\beta }}_h}^{\rm{T}}} \end{array}} \right]_{h \times n}}, \mathit{\boldsymbol{Y = }}{\left[{\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{y}}_1}^{\rm{T}}}\\ {{\mathit{\boldsymbol{y}}_2}^{\rm{T}}}\\ \vdots \\ {{\mathit{\boldsymbol{y}}_N}^{\rm{T}}} \end{array}} \right]_{\mathit{\boldsymbol{N}} \times n}} \end{array} $$ ELM网络训练过程为:①随机设定输入层权值wj和偏置bj,j=1, 2…h;②计算隐层输出矩阵H;③计算输出层权值β=H†Y,其中H†为矩阵H的Moore-Penrose广义逆。
-
为了获取高精度的时间信息,原始卫星钟差数据的有效位数比较多,如果将钟差量直接作为神经网络的输入和输出,神经网络的状态量动态范围大,会降低神经网络的学习精度、泛化能力以及训练速度。鉴于此,本文首先对相邻历元钟差作差获得钟差的一次差序列,然后基于一次差序列进行建模预报一次差的值,最后再将预报的一次差还原,得到钟差预报值。通常卫星钟差相邻历元的数值变化不大,通过一次差可以一定程度上消除原钟差序列趋势项的影响,从而得到一组有效数字位数减少的数据序列,更有利于神经网络建模。此外,一次差还可以消除钟差数据中的部分系统误差,降低误差对网络预报性能的影响。
-
对于长度为L的钟差一次差序列{ΔX(t), t=1, 2…L},假设t时刻的一次差值ΔX(t)可由t-1、t-2…t-m时刻的历史差值ΔX(t-1)、ΔX(t-2)…ΔX(t-m)来进行预测,则可建立映射f:Rm→R,预测模型可表示为:
$$ \begin{gathered} \Delta \mathit{\boldsymbol{X}}\left( t \right) = f[\Delta \mathit{\boldsymbol{X}}\left( {t-1} \right), \Delta \mathit{\boldsymbol{X}}\left( {t-2} \right) \cdots \hfill \\ \;\;\;\;\;\;\;\;\;\Delta \mathit{\boldsymbol{X}}\left( {t-m} \right)] \hfill \\ \end{gathered} $$ (3) 本文采用ELM网络完成对非线性映射f(·)的逼近。
由式(3)可以构建出ELM网络的输入和输出向量。在建模阶段,按照表 1构造一组训练样本,并据此对ELM网络进行训练,构建出一个多输入、单输出的ELM网络预报模型。在预报阶段,令{ΔX(L-m+1)…ΔX(L-1), ΔX(L)}作为输入向量,获得一次差序列的一步预测值$ \Delta \hat X\left( {L + 1} \right)$,然后令$ \Delta \mathit{\boldsymbol{X}}\left( {L + 1} \right) = \Delta \hat X\left( {L + 1} \right)$,得到新时间序列{ΔX(L-m+2)…ΔX(L), ΔX(L+1)}作为下一时刻的输入向量,以此类推,即可实现钟差的多步预报。
表 1 输入向量和输出向量的结构
Table 1. Structure of Input and Output Vector
样本数 输入向量 输出向量 第1个 ΔX(1), ΔX(2)…ΔX(m) ΔX(m+1) 第t-m个 ΔX(t-m)…ΔX(t-2), ΔX(t-1) ΔX(t) 第L-m个 ΔX(L-m)…ΔX(L-2), ΔX(L-1) ΔX(L) -
对ELM网络结构的设计即确定隐层节点个数,这个问题可以转换为聚类问题,即寻求一种合适的聚类方法来确定隐层节点的规模。
ART神经网络具有自组织聚类分析的功能,能对相同特征的事物进行自组织分类[9]。当有新的模式进入网络时,会与已有模式进行对比,如果新模式与已有的一类模式相似度高时,则可以归为既有的一类;如果新模式与已有模式不相似,则需要在网络中建立一个新的模式类。当对所有样本比较结束后即完成模式分类。所以可以利用ART网络的自组织分类功能来确定ELM网络隐层节点的规模。
设ELM网络的训练样本是由N个输入输出对{xi, yi}i=1N组成。初始时刻,网络隐层节点数为0。当第1个样本进入网络后,将输入向量作为第1个隐节点的中心向量。在i时刻,假设已存在h个隐节点,即当第i个样本进入网络时,需要对第i个输入向量与已存在的h个隐节点的中心向量进行相似度比较,相似度公式表示为[10]:
$$ s\left( {{\mathit{\boldsymbol{x}}_i}, {\mathit{\boldsymbol{c}}_j}} \right) = 1-\frac{{{\text{dist}}\left( {{\mathit{\boldsymbol{x}}_i}, {\mathit{\boldsymbol{c}}_j}} \right)}}{{\left\| {{\mathit{\boldsymbol{x}}_i}} \right\| + \left\| {{\mathit{\boldsymbol{c}}_j}} \right\|}} $$ (4) 式中,cj为第j个隐节点的中心向量,j=1, 2…h;dist(xi, cj)为向量xi与cj之间的欧氏距离;‖xi‖与‖cj‖分别为向量xi与cj的长度,‖·‖代表L2范数;相似度s(xi, cj)∈[0, 1]。
由式(4)可知,xi与cj越相似,s(xi, cj)越大,则第i个样本越有可能激活第j个隐节点。找出s(xi, cj)中的最大值,设
$$ {j^*} = \left\{ {j|{{\max }_{1 \leqslant j \leqslant h}}s\left( {{\mathit{\boldsymbol{x}}_i}, {\mathit{\boldsymbol{c}}_j}} \right)} \right\} $$ (5) 即第j*个隐节点与第i个输入向量的相似度最大。下面分两种情况进行讨论:
1) 隐节点调整。s(xi, cj*)≥V时,认为第j*个隐节点与第i个输入向量的相似度足够大,当前网络能够对新样本进行学习,只需对第j*个隐节点的中心向量进行调整:
$$ {\mathit{\boldsymbol{c}}_j}^* = \left( {{\mathit{\boldsymbol{c}}_{{j^*}}} + {\mathit{\boldsymbol{x}}_i}} \right)/2 $$ (6) 其中V为警戒参数,可以控制网络的分类力度,V值越大,分类精度越高。本文实验中V取为0.8。
2) 隐节点增加。若s(xi, cj*) < V,认为第i个输入向量不能激活现有的任何一个隐节点,所以需要增加一个新的隐节点来对第i个样本进行学习:
$$ h = h + 1 $$ (7) $$ {\mathit{\boldsymbol{c}}_h} = {\mathit{\boldsymbol{x}}_i} $$ (8) 综上,基于ART的ELM网络结构设计算法如下:
1) 将网络隐节点个数初始化为0。
2) 当第1个样本进入网络后,为网络分配1个隐节点,并令c1=x1。
3) 当第i个样本进入网络后,计算第i个样本的输入向量与现有所有隐节点中心向量的相似度,并找出与第i个输入向量相似度最大的隐节点j*。
4) 若满足隐节点增加准则,则为网络增加一个隐节点,并将第i个输入向量赋予新的隐节点作为其中心向量,如式(8)所示,转向步骤3);否则,转至步骤5)。
5) 按式(6)对第j*个隐节点的中心向量进行调整,转向步骤3)。
-
为了验证本文算法的有效性,采用国际GNSS服务(International GNSS Service, IGS)发布的5 min间隔的事后精密GPS卫星钟差数据进行实验分析。以2012-08-13-2012-08-15和2012-05-18-2012-08-15的数据为建模数据,分别预报接下来1 d和1~30 d的钟差,并以IGS相应的精密钟差值为基准,使用均方根误差(root mean square, RMS)、最大误差与最小误差之差的绝对值(Range)作为统计量来评价预报结果的精度和算法的稳定性。
-
为了检验基于ART网络思想的结构自适应ELM网络的合理性,首先分析隐层节点数的不同对ELM模型预报结果的影响情况,选取使用Cs钟的PRN10卫星的钟差数据,预报接下来1 d的钟差。本文使用Sigmoid函数作为ELM的激活函数,其表达式为g(x)=1/(1+e-x)。图 1给出了隐层节点数从10到60变化时钟差预报结果的RMS变化情况。
从图 1中实验结果可以发现,当隐层节点数为25时,预报RMS最小,为2.42 ns,在接下来的一定范围内改变隐层节点数时预报结果的RMS变化不明显,特别是预报效果都不理想。这说明此时的网络结构为最优网络结构,然而在实际应用中很难确定最优网络结构,特别是凭经验选取隐层节点数具有较大的人为主观性,难以保证所建网络的可靠性。本文利用ART的在线聚类特性调整隐层节点个数,计算得到隐层节点个数为28,其所对应的预报RMS为2.61 ns,虽然确定的网络结构不一定最优,但所获得的隐层节点数可以满足钟差的高精度预报,说明利用ART优化ELM网络结构是合理、可靠的,可以避免人为选取隐层节点数的盲目性。
-
为了全面分析ART-ELM网络模型的预报性能,对所有在轨GPS卫星的钟差进行1 d和1~30 d的预报实验,并将预报结果同QP模型和GM(1, 1)模型的预报结果进行比较,其中在1 d的预报实验中使用2012-08-13-2012-08-15共3 d的数据建立QP模型和ART-ELM模型,在1~30 d的预报实验中使用2012-05-18-2012-08-15共90 d的数据建立QP模型和ART-ELM模型,而在1 d和1~30 d的预报实验中均使用2012-08-15 1 d的数据建立GM(1, 1)模型。限于篇幅,本文仅给出使用Cs钟的PRN08、PRN10卫星和使用Rb钟的PRN12、PRN17卫星的钟差预报对比情况(图 2~3和表 1)。
图 3 4颗卫星30 d钟差预报误差对比图
Figure 3. Comparison of 30 Days Prediction Error of 4 Satellites' Clock Offset
表 1 4颗卫星预报误差统计/ns
Table 1. Statistics of Prediction Error of the Four Satellites' Clock Offset/ ns
方法 预报天数 PRN08 PRN10 PRN12 PRN17 RMS Range RMS Range RMS Range RMS Range QP 1 15.50 25.34 14.38 21.00 1.13 2.48 3.79 6.35 30 91.36 129.32 80.55 218.79 5.94 13.17 45.78 44.75 GM(1, 1) 1 10.25 17.43 7.78 15.08 0.45 1.89 2.62 4.73 30 162.02 308.09 204.49 416.61 97.04 213.38 42.19 154.39 ART-ELM 1 4.76 12.47 2.61 9.65 0.32 1.40 0.33 1.33 30 24.59 89.22 13.23 62.33 5.42 12.65 11.85 42.50 1) GPS星载Rb钟的预报精度和预报稳定性要明显好于星载Cs钟,这是由于携带Cs钟的Block ⅡA卫星为GPS早期发射的,设备老化以及Cs钟本身物理特性等因素的综合影响使Cs钟的可预测性相对较差。
2) 在卫星钟差短期预报中,对于星载Cs钟来说,ART-ELM模型的预报精度和稳定性明显优于QP模型和GM(1, 1)模型,而对于星载Rb钟,ART-ELM模型的预测效果也要好于另外两种模型,总体而言,ART-ELM模型的预报精度可比两种常用模型最大高出10倍。
3) 在卫星钟差长期预报中,无论对于何种类型的星载钟,随着预报时间的延长,QP模型和GM(1, 1)模型的预报误差都越来越大,且预报时长越长,这种误差累积效应越明显,这充分说明两种常用模型不适用于钟差的长期预报。
4) 相对于QP模型和GM(1, 1)模型来说,即使对于可预测性较差的星载Cs钟,ART-ELM模型的长期预测精度和稳定性也表现良好。
总之,使用ART-ELM模型能提高卫星钟差的预测精度。同时需要说明一点的是,由于本文所建神经网络模型比较简单,在实验过程中使用60 d数据建模预报30 d的钟差,整个过程耗时在1 min以内,保证了算法的实时性。
-
为了提高卫星钟差预报精度,本文提出了一种ELM神经网络钟差预报算法,并将ART网络思想用于ELM网络构建中,利用ART的在线聚类特性自适应调整隐层节点个数,构造数据驱动的自适应ELM网络。预报实验结果验证了该方法能够以较高的精度和相对稳定的性能来预报卫星钟差数据,其预报效果明显优于常用的QP模型和GM(1, 1)模型。同时,所建神经网络模型简单且具有较好的实时性,因此,可以考虑作为一种新型的卫星钟差预报方法使用。
Prediction of Navigation Satellite Clock Offset by Adaptive Extreme Learning Machine
-
摘要: 针对卫星钟差难以用精确模型来进行预报的问题,将极端学习机(extreme learning machine,ELM)神经网络用于导航卫星钟差预报。针对ELM网络隐层结构难以确定的问题,提出了基于自适应共振理论(adaptive resonance theory,ART)网络思想的ELM网络结构设计算法。该算法将ART网络的聚类特性用于ELM网络结构设计中,通过对输入向量与已存模式的相似度比较将输入向量进行分类,自适应地确定隐层节点规模。使用GPS卫星钟差数据进行30 d的预报实验,结果表明,此方法的钟差预报精度明显优于二次多项式模型和灰色系统模型。Abstract: It is difficult to model and predict satellite clock offset with conventional approaches. In this paper, an extreme learning machine (ELM) is used to predict satellite clock offset in order to improve prediction accuracy. For the problem that it is arduous to determine the hidden layer structure of ELM neural network, a new algorithm for ELM network structure design is proposed based on the good online classified characteristic of adaptive resonance theory (ART) network. The proposed algorithm employs the clustering characteristic of ART network to design the ELM network structure. The number of hidden layer nodes can be determined adaptively through the similarity comparison of input vector. The experiment results show that the ART-ELM prediction model outperforms the quadratic polynomial model and grey model remarkably.
-
表 1 输入向量和输出向量的结构
Table 1. Structure of Input and Output Vector
样本数 输入向量 输出向量 第1个 ΔX(1), ΔX(2)…ΔX(m) ΔX(m+1) 第t-m个 ΔX(t-m)…ΔX(t-2), ΔX(t-1) ΔX(t) 第L-m个 ΔX(L-m)…ΔX(L-2), ΔX(L-1) ΔX(L) 表 1 4颗卫星预报误差统计/ns
Table 1. Statistics of Prediction Error of the Four Satellites' Clock Offset/ ns
方法 预报天数 PRN08 PRN10 PRN12 PRN17 RMS Range RMS Range RMS Range RMS Range QP 1 15.50 25.34 14.38 21.00 1.13 2.48 3.79 6.35 30 91.36 129.32 80.55 218.79 5.94 13.17 45.78 44.75 GM(1, 1) 1 10.25 17.43 7.78 15.08 0.45 1.89 2.62 4.73 30 162.02 308.09 204.49 416.61 97.04 213.38 42.19 154.39 ART-ELM 1 4.76 12.47 2.61 9.65 0.32 1.40 0.33 1.33 30 24.59 89.22 13.23 62.33 5.42 12.65 11.85 42.50 -
[1] 路晓峰, 杨志强, 贾小林, 等.灰色系统理论的优化方法及其在卫星钟差预报中的应用[J].武汉大学学报·信息科学版, 2008, 33(5):492-495 http://ch.whu.edu.cn/CN/abstract/abstract1584.shtml Lu Xiaofeng, Yang Zhiqiang, Jia Xiaolin, et al. Parameter Optimization Method of Gray System Theory for the Satellite Clock Error Predicating[J]. Geomatics and Information Science of Wuhan University, 2008, 33(5):492-495 http://ch.whu.edu.cn/CN/abstract/abstract1584.shtml [2] Heo Y J, Cho J, Heo M B. Improving Prediction Accuracy of GPS Satellite Clocks with Periodic Variation Behaviour[J]. Measurement Science and Technology, 2010, 21(7):1-8 https://www.researchgate.net/publication/231042528_Improving_prediction_accuracy_of_GPS_satellite_clocks_with_periodic_variation_behaviour [3] 王宇谱, 吕志平, 陈正生, 等.卫星钟差预报的小波神经网络算法研究[J].测绘学报, 2013, 42(3):323-330 http://www.doc88.com/p-3718098111446.html Wang Yupu, Lv Zhiping, Chen Zhengsheng, et al. Research on the Algorithm of Wavelet Neural Network to Predict Satellite Clock Bias[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(3):323-330 http://www.doc88.com/p-3718098111446.html [4] 王宇谱, 吕志平, 崔阳, 等.利用遗传小波神经网络预报导航卫星钟差[J].武汉大学学报·信息科学版, 2014, 39(7):809-814 http://ch.whu.edu.cn/CN/abstract/abstract3025.shtml Wang Yupu, Lv Zhiping, Cui Yang, et al. Predicting Navigation Satellite Clock Bias Using a Genetic Wavelet Neural Network[J]. Geomatics and Information Science of Wuhan University, 2014, 39(7):809-814 http://ch.whu.edu.cn/CN/abstract/abstract3025.shtml [5] 王国成, 柳林涛, 徐爱功, 等.径向基函数神经网络在GPS卫星钟差预报中的应用[J].测绘学报, 2014, 43(8):803-807 http://www.oalib.com/paper/4158594 Wang Guocheng, Liu Lintao, Xu Aigong, et al. The Application of Radial Basis Function Neural Network in the GPS Satellite Clock Bias Prediction[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(8):803-807 http://www.oalib.com/paper/4158594 [6] 于合理, 郝金明, 刘伟平, 等.一种卫星钟差异常实时监测算法[J].武汉大学学报·信息科学版, 2016, 41(1):106-110 http://ch.whu.edu.cn/CN/abstract/abstract3441.shtml Yu Heli, Hao Jinming, Liu Weiping, et al. A Real-time Anomaly Monitoring Algorithm for Satellite Clock[J]. Geomatics and Information Science of Wuhan University, 2016, 41(1):106-110 http://ch.whu.edu.cn/CN/abstract/abstract3441.shtml [7] Huang G B, Zhu Q Y, Siew C K. Extreme Learning Machine:Theory and Applications[J]. Neurocomputing, 2006, 70(1-3):489-501 doi: 10.1016/j.neucom.2005.12.126 [8] Sun Z L, Choi T M, Au K F, et al. Sales Forecasting Using Extreme Learning Machine with Applications in Fashion Retailing[J]. Decision Support Systems, 2008, 46(1):411-419 doi: 10.1016/j.dss.2008.07.009 [9] Carpenter G A, Grossberg S. The ART of Adaptive Pattern Recognition by a Self-organizing Neural Network[J]. Computer, 1988, 21(3):77-88 doi: 10.1109/2.33 [10] Fu L, Yang M, Braylan R, et al. Real-time Adaptive Clustering of Flow Cytometric Data[J]. Pattern Recognition, 1993, 26(2):365-373 doi: 10.1016/0031-3203(93)90044-W -