留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于高斯过程回归的变形智能预测模型及应用

王建民 张锦

王建民, 张锦. 基于高斯过程回归的变形智能预测模型及应用[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075
引用本文: 王建民, 张锦. 基于高斯过程回归的变形智能预测模型及应用[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075
WANG Jianmin, ZHANG Jin. Deformation Intelligent Prediction Model Based on Gaussian Process Regressionand Application[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075
Citation: WANG Jianmin, ZHANG Jin. Deformation Intelligent Prediction Model Based on Gaussian Process Regressionand Application[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075

基于高斯过程回归的变形智能预测模型及应用

doi: 10.13203/j.whugis20160075
基金项目: 

山西省自然科学基金 201701D121014

国家自然科学基金 41371373

详细信息
    作者简介:

    王建民, 副教授, 主要从事测绘数据处理及变形监测理论与方法研究。8844.4321@163.com

  • 中图分类号: P258

Deformation Intelligent Prediction Model Based on Gaussian Process Regressionand Application

Funds: 

The Natural Science Foundation of Shanxi Province 201701D121014

the National Natural Science Foundation of China 41371373

More Information
    Author Bio:

    WANG Jianmin, associate professor, specializes in deformation monitoring. E-mail: 8844.4321@163.com

图(7) / 表(2)
计量
  • 文章访问数:  1745
  • HTML全文浏览量:  175
  • PDF下载量:  723
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-05-18
  • 刊出日期:  2018-02-05

基于高斯过程回归的变形智能预测模型及应用

doi: 10.13203/j.whugis20160075
    基金项目:

    山西省自然科学基金 201701D121014

    国家自然科学基金 41371373

    作者简介:

    王建民, 副教授, 主要从事测绘数据处理及变形监测理论与方法研究。8844.4321@163.com

  • 中图分类号: P258

摘要: 岩体或建构筑物的变形通常具有复杂性和非线性等特性,一般的回归模型难以精确地进行回归预测,应用高斯过程回归理论对变形监测数据呈现出的非线性特征进行时间序列分析。考虑到监测数据的不断更新和累积,以及超参数与样本集的适应性,首先研究了“递进-截尾式”超参数自动更新模式和训练样本集的选择方法;在此基础上构建了以时间作为输入项的高斯过程回归变形智能预测模型(GPR-TIPM);将该模型应用于矿山边坡监测点非线性时间序列分析中,通过分析变形趋势,最终采用Matérn 32和平方指数协方差函数相加的方式进行核函数组合。实验结果表明,采用组合核函数的预测性能较单一核函数有所改善,该方法提高了模型的泛化能力,GPR-TIPM模型在短期内的预测效果较理想。

English Abstract

王建民, 张锦. 基于高斯过程回归的变形智能预测模型及应用[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075
引用本文: 王建民, 张锦. 基于高斯过程回归的变形智能预测模型及应用[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075
WANG Jianmin, ZHANG Jin. Deformation Intelligent Prediction Model Based on Gaussian Process Regressionand Application[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075
Citation: WANG Jianmin, ZHANG Jin. Deformation Intelligent Prediction Model Based on Gaussian Process Regressionand Application[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 248-254. doi: 10.13203/j.whugis20160075
  • 变形分析经过多年的研究和发展,取得丰硕的成果。由于引起变形的原因十分复杂,一般来说与变形体自身的物理特性、力学性质、地质条件和外界环境等诸多因素有关,使得变形具有不确定性和错综复杂性,从而诞生了多种变形分析的理论和方法。

    到目前为此,回归统计分析法仍然是变形分析的主要方法,应用多元回归分析法建立变形与变形因子之间函数关系然后进行定量预报,常用于大坝变形预测[1-2]、边坡变形分析和预测[3-5]等。回归分析在确定影响变形的因子时有时只能推断,并且有的因子不可测,使得回归分析在有限的条件下受到限制[6]

    由于引起变形的原因复杂,许多工程实践中的时间序列数据经常表现出较明显的非线性特征。例如边坡的变形进入加速期,其变形值时间序列多数情况下会表现出较显著的非线性特点,另外确定影响变形的因素也是一个难点。

    随着机器学习等新兴学科的发展,人工智能和机器学习理论逐渐引起了测绘科学界的重视。目前,应用于监测数据分析的人工智能机器学习主要代表方法是BP神经网络[7-10]和支持向量机(support vector machine,SVM)[11-13]。这些方法具有分布存储、并行处理、自学习、自组织以及非线性映射等优点,由这些方法与其他技术的结合形成的混合方法和混合系统也有许多研究应用案例[14-15]。将智能机器学习方法引入到测绘科学领域进行学科交叉研究,能够较好地解决变形监测中变形机理模糊、处理非线性系统等复杂问题。

    近几年,高斯过程回归(Gaussian processes regression,GPR)方法在国际上成为智能机器学习领域的研究热点[16]。但GPR应用于变形数据分析和预测的研究相对较少。国内已有学者开始应用GPR对地下工程岩体非线性行为进行预测[17-18]、边坡可靠度分析[19]和边坡变形预测[20],这些研究成果主要是利用GPR已有的核函数开展研究,但关于GPR用于变形分析时核函数的选择、全局最优超参数快速求解、超参数动态更新及训练样本集优化等问题还有待进一步研究。

    本文主要利用GPR非线性、自适应等优点对变形监测时空序列数据进行分析,研究基于GPR变形智能预测模型。

    • 回归分析方法就是用来确定两种或两种以上变量,即因变量y和自变量x之间相互依赖的定量关系的一种统计分析方法,回归模型中的xy的关系由任意假设的函数f(x)表示,回归问题的一般模型表示为:

      $$ \boldsymbol{y} = f\left( x \right) + \boldsymbol{\varepsilon} ,\boldsymbol{\varepsilon} \sim N(0,\boldsymbol{\sigma} ^2_n{\boldsymbol{I}_n}) $$ (1)

      其中,y=[y1, y2, …, yn]T是受噪声污染的n×1维的观测矢量,ε是相互独立服从高斯分布的观测噪声向量,σn2为噪声方差,In是单位阵;x=[xi, 1, …, xi, d]T(i=1, 2, …, n),xRdn×1维的服从高斯分布的随机变量。

      GPR经过对观测数据的学习,能间接地精确地描绘出f(x),GPR是基于函数的,由均值函数m(x)和协方差函数k(x, x)唯一确定,因此,GPR通常定义为:

      $$ f\left( x \right) \sim GP\left( {m\left( x \right),k\left( {x,x} \right)} \right) $$ (2)

      其中,

      $$ \left\{ \begin{array}{l} \boldsymbol{m}\left( x \right) = \boldsymbol{E}\left[ {f\left( x \right)} \right]\\ \boldsymbol{k}\left( {\boldsymbol{x},\boldsymbol{x}} \right) = \boldsymbol{E}[\left( {f\left( x \right) - m\left( x \right)} \right){\left( {f\left( x \right) - m\left( x \right)} \right)^{\rm{T}}}] \end{array} \right. $$

      函数f(x)是由多维高斯分布组成的,根据多维高斯分布的性质,由式(1)和式(2)可得观测值y的先验分布为:

      $$ \boldsymbol{y} \sim \boldsymbol{N}(0,\boldsymbol{k}\left( {x,x} \right) + \boldsymbol{\sigma} ^2_0{\boldsymbol{I}_n}) $$ (3)

      通常作数据预处理时减去均值,使m(x)=0,由高斯分布的性质进一步得到观测值y与输出样本y*(预测值)的联合先验分布:

      $$ \left[ {\begin{array}{*{20}{c}} \boldsymbol{y}\\ {{\boldsymbol{y}_*}} \end{array}} \right] \sim N\left( {0,\left[ {\begin{array}{*{20}{c}} {\boldsymbol{k}\left( {x,x} \right) + \boldsymbol{\sigma} ^2_n{\boldsymbol{I}_n}}&{\boldsymbol{k}(x,{x_*})}\\ {\boldsymbol{k}({x_*},x)}&{\boldsymbol{k}({x_*},{x_*})} \end{array}} \right]} \right) $$ (4)

      式中,k(x, x)是输入样本x的协方差矩阵,且为n×n的对称正定矩阵,各个元素k(xi, xj)表示xixj的相关性;k(x, x*)=k(x*, x)T是输入样本x与待预测输入值x*之间的n×1的协方差矩阵;k(x*, x*)为待预测输入值x*自身的方差。

      xy组成观测数据集D={(xi, yi)|i=1, 2, …, n)},D称为训练样本集或学习样本集,在已获得的训练集D条件下,y*的后验分布为:

      $$ \boldsymbol{p}({y_*}|D,{x_*}) \sim \boldsymbol{N}(m({y_*}),\boldsymbol{k}({y_*},{y_*})) $$ (5)

      其中y*的均值和方差分别为:

      $$ \left\{ \begin{array}{l} \boldsymbol{m}({y_*}) = \boldsymbol{k}({x_*},x){\left[ {\boldsymbol{k}\left( {x,x} \right) + \boldsymbol{\sigma} ^2_n{\boldsymbol{I}_n}} \right]^{ - 1}}y\\ \boldsymbol{k}\left( {{y_*},{y_*}} \right) = \boldsymbol{k}\left( {{x_*},{x_*}} \right) - \boldsymbol{k}\left( {{x_*},x} \right){[\boldsymbol{k}\left( {x,x} \right) + \\ \boldsymbol{\sigma} ^2_n{\boldsymbol{I}_n}]^{ - 1}}\boldsymbol{k}{\left( {{x_*},x} \right)^{\rm{T}}} \end{array} \right. $$ (6)

      式中, m(y*)即为待预测值x*的对应的输出值y*的均值; k(y*, y*)是输出预测值的后验方差,可以用来度量预测结果的不确定性,即可信程度。这是GPR区别于BP和SVM方法的一个独特优点。

    • 由式(6)可知,GPR中的协方差函数(核函数)对GPR的预测性能起着决定性的影响,协方差函数是用来衡量训练样本与预测样本之间相似的程度,其中平方指数协方差函数(squared exponential covariance function,SE)因其无穷可微使得GPR非常平滑,是最为常用协方差函数,其形式为:

      $$ \boldsymbol{k}({x_i},{x_j}) = \boldsymbol{\sigma} ^2_f\exp\left( { - \frac{1}{{2{\boldsymbol{l}^2}}}{r^2}} \right) + \boldsymbol{\sigma} ^2_n{\delta _{ij}} $$ (7)

      式中,r2=$\sum\limits_{k = 1}^d {{{\left( {{x_{i,k}} - {x_{j,k}}} \right)}^2}} $; σf2为信号方差,用于控制局部相关性的程度; l是特征长度尺度参数,表示输出输入的相关性大小,其值越大相关性越小。σf2l使得协方差函数具有很好的适用性。σn2为噪声方差,δij为克洛内克尔函数,习惯上将参数集θ={l, σf2, σn2}称为超参数。

      通过建立训练样本条件概率的负对数作为似然函数求偏导,再采用牛顿法、共轭梯度法等优化方法进行最小化求得超参数的最优解, 有关其他协方差函数和超参数求解在文献[21]中有详细论述。

      应用训练样本集求解超参数这一过程称为训练,当训练完成后,即可求得相应的协方差阵,将待预测值x*代入式(6)得到预测值y*及其预测方差。

    • GPR用于变形分析和预测,不是简单的照搬和套用,需要在解决好以下两个基本问题的基础上,再一步研究基于GPR的时间驱动智能预测模型。

    • GPR用于长序列变形数据分析时,理论上选定核函数后,经初始学习获取最优超参数,在后续的预测环节只需要用待预测的输入量更新协方差矩阵即可,这在开始一段时间内是可行的。然而随着监测时间的推移,新的待预测量与超参数变得越来越不相适应,同时GPR的泛化性能也会降低,如果继续使用原有的超参数进行预测,预测误差会逐渐增大,在适当的时候需要借助训练样本集重新更新超参数。

      考虑到变形量在时间域上的相关性,用后继的观测数据加入到初始训练样本集重新求解超参数,同时更新协方差矩阵由此来预测下一个时刻的变形量。每次更新时,由更新前已存在的超参数作为本次更新的初值,这样做的目的是为减少迭代次数,加快求解速度。但这样会存在一个问题,训练样本集会越来越大,不利于超参数的快速求解,应该维持一个数量稳定的能够自动更新的训练样本集,更新模式如下:

      假设有d个样本对组成初始训练样本集D={(xi, yi), i=1, 2, …, d},待预测值xd+1作为GPR的输入量,yd+1为GPR的输出量,当实测完yd+1后,将(xd+1yd+1)作为新的样本对加入到原来的训练集中,截去距离新加入的观测值最远的历史观测值(x1y1),以保持样本个数的恒定,进一步预测下一个观测时刻变形量,以此类推。将这种更新模式称为“递进-截尾式”动态更新模式,图 1为“递进-截尾式”更新模式示意图。

      图  1  递进-截尾式示意图

      Figure 1.  The Schematic Diagram of Progressive-truncation

    • 应用GPR进行变形预测时,如何确定训练集的数量d是一个关键因素,如果样本数量少达不到训练的效果,预测精度低,但也并不意味着样本数量多预测精度就高,数量太多反而会影响后续超参数的求解效率,需要综合考虑确定样本数量。

      样本数量是否合理的评判依据可以从两方面考虑,一是定性分析法,即通过预测结果是否落入GPR置信区间以及置信区间的宽度定性的评判预测结果的好坏;二是定量分析法,定量的评判方法需要计算有关评价指标,方法如下。

      选定d个观测数据组成初始训练样本,同时设定k个已测的数据作为检验数据。将k个实测值和d个样本值作为待预测值输入到GPR预测模型中,得到k个实测值对应的预测值和d个训练样本对应的预测值。由k个预测值和实测值求取残差,用式(8)计算出预测中误差σk用于衡量预测精度;由d个样本值和预测值求取残差,用式(9)计算出训练中误差σd用于衡量训练精度。

      逐渐增加d的个数并计算每次d改变后的σkσd,当二者趋于稳定时,d不再增加,作为最终的学习样本数量值。

      $$ {\sigma _k} = \sqrt {\frac{1}{k}\sum\limits_{t = d + 1}^{k + d} {v^2_t} } $$ (8)
      $$ {\sigma _d} = \sqrt {\frac{1}{d}\sum\limits_{t = 1}^{ d} {v^2_t} } $$ (9)

      式中,vt=yty*t为对应的残差。

    • 无论是传统的几何测量还是先进的GNSS及测量机器人系统,这些监测设备仍需人为布置一定数量的监测点,才能发挥其优势,监测点的观测数据是一个时间序列。

      “递进-截尾式”动态更新模式是针对单个监测点,以一般变量xi作为输入量,预测出对应的变形量。如果以观测时间ti作为GPR的输入量,时间作为驱动因子一步步预测监测点未来的变形量,本文将其命名为GPR时间驱动智能预测模型(GPR time-driven intelligent prediction model,GPR-TIPM),图 2是GPR-TIPM的预测流程图。

      图  2  GPR-TIPM预测流程图

      Figure 2.  The Prediction Procedure Diagram of GPR-TIPM

      GPR-TIPM用于预测包含为两个过程,首先要确定训练样本数量d并固定样本数量,然后选择某一时刻作为预测的开始时间进行动态预测,假如从当前时间第10天开始预测未来5 d的变形量,则5 d的时间长度作为1个预测周期,当1个观测周期实测完成后,再预测下一个预测周期内的变形,以此类推,图 3是应用该模型的预测过程图。

      图  3  GPR-TIPM预测过程

      Figure 3.  The Prediction Process of GPR-TIPM

    • 实验数据来自中煤平朔井工二矿边坡(2#边坡)测量机器人监测系统,在监测区域内沿走向方向在各个“台阶”上布设了63个监测棱镜(监测点)构成5条监测线。图 4是边坡外貌和监测棱镜点布置图。

      图  4  边坡和监测棱镜点布置图

      Figure 4.  Monitoring Point Arrangement

      由于矿山边坡所处的环境复杂,监测点的沉降量并非一直表现为连续下沉,监测点有时会出现上升的现象,实验选取了编号为C1-06的监测点连续60 d的时序观测值作为实验数据。之所以选择C1-06点作为实验对象,是因为C1-06可能受局部环境的影响(如施工作业),使其产生了一个明显的加速下沉,变形较其它点更为复杂,用于实验分析说服力更强。

    • GPR的协方差函数对预测性能有很大影响,即使是相同的数据,不同的协方差函数预测结果不完全相同。就2#边坡的监测数据的初步分析结果为长期的下沉趋势伴随着“波动”特征,时间与变形之间是一复杂的非线性关系。由于GPR的基础理论决定了GPR用于预测只能选择一种核函数,一种核函数难以满足变形曲线多样化的变形特征。GPR可以将不同的协方差函数进行组合运算,本文利用组合式协方差函数模型来适应变形过程的多样化特征。

      SE无穷可微使得GPR非常平滑,通过设置SE较小的特征长度参数来适应观测数据的“波动”特征,但有时用过渡光滑的假设条件模拟许多物理过程是不现实的,可以考虑使用马特恩(Matérn 32)协方差函数。因此,实验最终选择Matérn 32+ SE作为后续监测点变形预测的核函数模型。

      表 1是Matérn 32协方差函数和组合式Matérn 32+SE协方差函计算的训练中误差和平均相对误差(MRE),同时计算了每种模型的计算耗时,显然Matérn 32+SE的效果更好,但计算效率下降。图 5是输出的变形曲线,SE输出的曲线比Matérn 32+SE光滑,但置信区间宽。

      表 1  不同核函数误差统计结果

      Table 1.  The Results of Different Kernel Function

      评价指标 协方差函数模型
      SE Matérn 32 Matérn 32+SE
      σd/mm 0.50 0.34 0.3
      MRE/% 9.0 5.7 5.0
      耗时/s 0.62 0.52 1.9

      图  5  不同核函数输出的变形曲线

      Figure 5.  The Deformation Curve of the Different Kernel Function

      具体选择哪种协方差函数,需要分析观测数据自身的特点来做出选择,如果观测数据呈现出明显的线性特征,线性协方差函数无疑是理想的选择;如果观测数据表现出很强的周期性特点,显然要选用周期性核函数。

    • 选择d为7的初始样本数量进行学习,检验数据集为第13~17天,即k=5,根据图 2中的GPR-TIPM预测流程进行计算,随着d的增加,置信区间宽度有所减小,另外当d的值增加到12时,σkσd的值基本趋于稳定,最终的学习样本数量取12。图 6是样本数d=7和d=12预测输出结果。

      图  6  不同样本数量的预测曲线

      Figure 6.  The Prediction Curves of Different Sample Size

    • 实验初始样本选用1~12 d的实测值进行训练,以Matérn 32+SE作为核函数,选用3 d为1个预测周期, 连续预测第13~60天的累积沉降量,图 7是GPR-TIPM输出的未来3 d的时间-沉降曲线。

      图  7  GPR-TIPM时间-沉降曲线

      Figure 7.  The Time-Displacement Curve Based on GPR-TIPM

      从图可以看出,距离学习样本集最近的未来第1天的预测值与实测值的偏差最小,第3天最大。未来第1天的预测时间是从第13~58天,有91%的预测值位于置信区间内;未来第2天的预测时间是从第14~59天,有85%的预测值落入置信区间内;未来第3天的预测时间是从第15~60天,有78%的预测值落入置信区间内。

      为了客观定量地评价GPR-TIPM的预测性能,实验计算了预测中误差σk和平均相对误差MRE来衡量预测精度,计算结果见表 2

      表 2  预测精度对比

      Table 2.  The Comparison of Prediction Accuracy

      指标 第1天 第2天 第3天
      MRE/% 13 16 20
      σk/mm 0.9 1.1 1.4

      实验结果表明距离学习样本越远,其预测精度越低,如果没有新的实测值更新学习样本,预测误差会越来越大。与其相对的一面,距离学习样本越近,其预测误差总体上越小,但有个别预测周期的第1天的预测预测误差会大一些。预测误差较大的是发生“抖动”较大的位置,如第38天的相对误差为48%。理论上,GPR-TIPM模型可以预测的更远,但预测结果的可靠性程度会降低。

    • 本文首先研究了GPR用于变形预测时“递进-截尾式”超参数动态更新模式,进一步给出了训练样本集的选择方法,在此基础上提出GPR-TIPM非线性智能预测模型。GPR是在函数空间内进行贝叶斯推理的,使得GPR-TIPM能够输出光滑预测中心线和置信区间。GPR-TIPM对建模的样本数据要求不苛刻,能够适应于非平稳数据。理论上GPR-TIPM能够进行长远预测,由于输入量与超参数不适应,使得其预测精度会降低。

      应用GPR-TIPM对2#边坡的短期内的变形进行预测,并用实测值分析其预测精度,结果表明GPR-TIPM用于变形预测是可行的。GPR-TIPM预测模型仅以时间作为驱动因子,是一维预测模型,GPR-TIPM没有顾及监测数据的自相关性,这是其不足的一面。

参考文献 (21)

目录

    /

    返回文章
    返回