留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

知识引导的滑坡监测数据粗差定位与剔除方法

朱庆 苗双喜 丁雨淋 齐华 何小波 曹振宇

朱庆, 苗双喜, 丁雨淋, 齐华, 何小波, 曹振宇. 知识引导的滑坡监测数据粗差定位与剔除方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125
引用本文: 朱庆, 苗双喜, 丁雨淋, 齐华, 何小波, 曹振宇. 知识引导的滑坡监测数据粗差定位与剔除方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125
ZHU Qing, MIAO Shuangxi, DING Yulin, QI Hua, HE Xiaobo, CAO Zhenyu. Knowledge-guided Gross Errors Detection and Elimination Approach of Landslide Monitoring Data[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125
Citation: ZHU Qing, MIAO Shuangxi, DING Yulin, QI Hua, HE Xiaobo, CAO Zhenyu. Knowledge-guided Gross Errors Detection and Elimination Approach of Landslide Monitoring Data[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125

知识引导的滑坡监测数据粗差定位与剔除方法

doi: 10.13203/j.whugis20150125
基金项目: 

国家自然科学基金 No. 41471320

国家863计划 No. 2013AA122301

高分专项(民用部分)重大专项 No. 03-Y30B06-9001-13/15

测绘地理信息公益性行业科研专项 No. 201412010

四川省科技支撑计划 No.2014SZ0106

详细信息
    作者简介:

    朱庆,博士,教授,长江学者特聘教授,从事虚拟地理环境、三维GIS研究。zhuq66@263.net

    通讯作者: 苗双喜,博士生。 E-mail:miaoshuangxi1984@163.com
  • 中图分类号: P208

Knowledge-guided Gross Errors Detection and Elimination Approach of Landslide Monitoring Data

Funds: 

The National Natural Science Foundation of China No. 41471320

the National High Technology Research and Development Program of China (863 Program) No. 2013AA122301

the National High Resolution Earth Observation System(the Civil Part) Technology Projects of China No. 03-Y30B06-9001-13/15

Public Science Research Program of Surveying, Mapping and Geoinformation No. 201412010

the Technology Plan Projects of Sichuan No.2014SZ0106

More Information
    Author Bio:

    ZHU Qing, PhD, professor, Chair Professor of Chang Jiang Scholar, specializes in virtual geographic enviroments and 3D GIS, E-mail:zhuq66@263.net

    Corresponding author: MIAO Shuangxi, PhD candidate. E-mail:miaoshuangxi1984@163.com
  • 摘要: 为了避免灾情误判和误报,准确探测和剔除滑坡形变监测数据中的粗差已经成为提高监测数据质量亟待解决的问题。已有方法主要针对单一传感器数据独立处理,且过度依赖数据变化本身的突变-平滑关系,难以有效区分粗差和外界因素突变引起的奇异值。介绍了一种知识引导的滑坡监测数据粗差剔除方法,通过粗糙集属性约简筛选具有相关关系的多源滑坡观测数据,并结合多元统计理论挖掘粗差影响因素间的时空约束关系,利用不同类型滑坡监测数据变化间的相关性规律,将多因素影响下的滑坡形变抽象为多模式的组合,根据不同模式自适应选择多因子模型以此引导卡尔曼滤波模型更新,从而实现滑坡形变监测粗差的定位与剔除。实验证明,该方法不仅能够有效甄别因环境变化引起的突变,并且能显著提高滑坡形变监测数据粗差自适应剔除的准确性、可靠性与智能化水平。
  • 图  1  本文方法流程图

    Figure  1.  Flowchart of the Proposed Method

    图  2  滑坡监测数据统计

    Figure  2.  Statistical Monitoring Data

    图  3  知识引导的滑坡形变数据粗差剔除结果

    Figure  3.  Result of Knowledge-guided Gross Errors Detection and Elimination

    图  4  形变量滤波前、一般滤波、滑坡知识引导的滤波结果对比图

    Figure  4.  Comparison of Before Filtering, General Filtering and the Proposed Method

    图  5  区域粗差验证

    Figure  5.  Verification of Regional Gross Errors

    表  1  降雨量与滑坡形变特征描述

    Table  1.   Description of Rainfall and Landslide Deformation

    下载: 导出CSV

    表  2  滑坡规则引导下的多因子形变特征描述

    Table  2.   Description of Deformation due to Multi-factor

    时间降雨作用的形变特征 基模式语义编码 Base_Z 基模式判别准则Description_Z 时间特征T(月)
    降雨缓增,形变平稳 Rain(+), St(0) -10<Kt<45, -10<R<45, 0<M<15 1~4
    降雨陡增,形变递增 Rain(++), {St(+), St(++)} Kt>45, -45<R<45, 0<M<30 4~8
    降雨陡降,形变递减 Rain(--), {St(-), St(--)} Kt>-45, -45<R<45, 15<M<30 6~8
    降雨陡升,形变平稳 Rain(++), St(0) Kt<100, -45<R<45, 0<M<15 7~9
    降雨减少,形变平稳 Rain(-), St(0) -45<Kt<10, -45<R<45, 0<M<15 9~11
    降雨减少,形变平稳 Rain(--), St(0) Kt<-45, -45<R<45, 0<M<15 9~12
    下载: 导出CSV

    表  3  原始数据的属性表

    Table  3.   Attribute Table of Raw Data

    监测
    时间
    形变
    数据
    /mm
    降雨
    数据
    /mm
    土壤
    含水率
    坡度
    数据
    /(°)
    岩石
    特性
    滑坡坝
    水位
    /m
    2007-01 3.3 12.6 0.10 30 碎石 155
    2007-02 6.5 22.2 0.20 30 碎石 154.8
    2007-03 7.3 97.7 0.23 30 碎石 151.5
    2007-07 330.3 144.4 0.30 30 碎石 144.85
    2007-08 165.8 75.1 0.30 30 碎石 146.0
    2012-12 16.9 12.5 0.16 30 碎石 146.7
    下载: 导出CSV

    表  4  数据预处理后的属性表

    Table  4.   Attribute Table after Data Preprocessing

    U d a b c e f
    X1 1 1 1 2 2 2
    X2 1 1 1 2 2 2
    X3 1 2 2 2 2 2
    X7 3 3 3 2 2 1
    X8 2 2 3 2 2 1
    X72 1 1 1 2 2 1
    下载: 导出CSV

    表  5  结果分析表

    Table  5.   Analysis of Results

    方法 SSv SNSv FSR
    经典卡尔曼滤波 6/13 50/59 0.6545
    知识规则引导滤波 12/13 51/59 0.8937
    下载: 导出CSV
  • [1] 杨元喜. 抗差估计理论及应用[M]. 北京:八一出版社1993

    Yang Yuanxi. The Theory Robust Estimation[M]. Beijing:Bayi Press, 1993
    [2] 王建民, 张锦, 苏巧梅. 观测数据中的粗差定位与定值算法[J]. 武汉大学学报·信息科学版, 2013, 38(10):1 225-1 228 http://ch.whu.edu.cn/CN/abstract/abstract2777.shtml

    Wang Jianmin, Zhang Jin, Su Qiaomei. Algorithm for Location and Evaluation of Gross Errors in Surveying Data[J]. Geomatics and Information Science of Wuhan University, 2013, 38(10):1 225-1 228 http://ch.whu.edu.cn/CN/abstract/abstract2777.shtml
    [3] 归庆明, 李新娜. 多个粗差定位的抗掩盖型Bayes方法[J]. 武汉大学学报·信息科学版, 2010, 35(1):1-5 http://ch.whu.edu.cn/CN/abstract/abstract821.shtml

    Gui Qingming, Li Xinna. Bayesian Unmasking Method for Positioning Multiple Blunder[J]. Geomatics and Information Science of Wuhan University, 2010, 35(1):1-5 http://ch.whu.edu.cn/CN/abstract/abstract821.shtml
    [4] Jiang Nan, Chen Zhiqiang. Model-driven Data Cleaning for Signal Processing System in Sensor Networks[C]. Signal Processing Systems (ICSPS), 2nd International Conference on IEEE, Dalian, China, 2010
    [5] 李德仁, 袁修孝. 误差处理与可靠性理论[M]. 武汉:武汉大学出版社, 2002:285-292

    Li Deren, Yuan Xiuxiao. Error Handling and Reliability Theory[M]. Wuhan:Wuhan University Press, 2002:285-292
    [6] Zhang Z, Chen J. Simultaneous Data Reconciliation and Gross Error Detection for Dynamic Systems Using Particle Filter and Measurement Test[J]. Computers & Chemical Engineering, 2014,69:66-74 https://www.researchgate.net/publication/263736966_Simultaneous_Data_Reconciliation_and_Gross_Error_Detection_for_Dynamic_Systems_Using_Particle_Filter_and_Measurement_Test
    [7] Wan S, Lei T C, Chou T Y. A Novel Data Mining Technique of Analysis and Classification for Landslide Problems[J]. Natural Hazards, 2010,52(1):211-230 doi:  10.1007/s11069-009-9366-3
    [8] 张文修, 仇国芳. 基于粗糙集的不确定决策[M]. 北京:清华大学出版社, 2005

    Zhang Wenxiu, Qiu Guofang. Uncertain Decision Making Based on Rough Set[M]. Beijing:Tsinghua University Press, 2005
    [9] 秦克云, 高岩. 决策表的正域约简及核的计算[J]. 西南交通大学学报, 2007(1):125-128 http://www.cnki.com.cn/Article/CJFDTOTAL-XNJT200701024.htm

    Qin Keyun, Gao Yan. Positive Region Deduction of Decision Table and Computation of Core[J]. Journal of Southwest Jiaotong University, 2007(1):125-128 http://www.cnki.com.cn/Article/CJFDTOTAL-XNJT200701024.htm
    [10] Kong L, Mai J, Mei S, et al. An Improved Attribute Importance Degree Algorithm Based on Rough Set[C]. IEEE International Conference on Progress in Informatics and Computing, Shanghai, China, 2010
    [11] Yang Y, Zhang S. Adaptive Fitting of Systematic Errors in Navigation[J]. Journal of Geodesy, 2005,79(1-3):43-49 doi:  10.1007/s00190-005-0441-6
    [12] 陆付民, 王尚庆, 李劲. 顾及地下水位因子的卡尔曼滤波模型在滑坡变形预测中的应用[J]. 武汉大学学报·信息科学版, 2010, 35(10):1 184-1 187 http://ch.whu.edu.cn/CN/abstract/abstract1084.shtml

    Lu Fumin, Wang Shangqing, Li Jin. Application of Kalman Filter Model Considering Groundwater Level Factors to Landslide Deformation Forecast[J]. Geomatics and Information Science of Wuhan University, 2010, 35(10):1 184-1 187 http://ch.whu.edu.cn/CN/abstract/abstract1084.shtml
    [13] Kalman R E. A New Approach to Linear Filtering and Prediction Problems[J]. Journal of Basic Engineering, 1960,82(1):35-45 doi:  10.1115/1.3662552
    [14] 荀娇. 基于粗糙集的关联规则挖掘算法研究[D]. 济南:山东师范大学, 2013,40-45

    Xun Jiao. Association Rule Mining Algorithm Based on Rough Set[D]. Jinan:Shandong normal university, 2013,40-45
    [15] Chang Kangtsung, Chiang Shouhao. An Integrated Model for Predicting Rainfall-induced Landslides[J]. Geomorphology, 2009,105(3):366-373 https://www.researchgate.net/publication/222340566_An_integrated_model_for_predicting_rainfall_induced_Landslides
  • [1] 肖元弼, 彭认灿, 暴景阳, 董箭, 吕程.  利用卡尔曼滤波改正多波束数据声速整体误差 . 武汉大学学报 ● 信息科学版, 2020, 45(9): 1461-1468. doi: 10.13203/j.whugis20180261
    [2] 郭士荦, 吴苗, 许江宁, 李京书.  自适应渐消卡尔曼滤波及其在SINS初始对准中的应用 . 武汉大学学报 ● 信息科学版, 2018, 43(11): 1667-1672, 1680. doi: 10.13203/j.whugis20160548
    [3] 李永明, 归庆明, 顾勇为, 韩松辉.  有偏卡尔曼滤波及其算法 . 武汉大学学报 ● 信息科学版, 2016, 41(7): 946-951. doi: 10.13203/j.whugis20140072
    [4] 张炳先, 王密, 潘俊.  基于卡尔曼滤波的光学遥感影像高精度复原处理 . 武汉大学学报 ● 信息科学版, 2015, 40(7): 964-970. doi: 10.13203/j.whugis20130123
    [5] 左廷英, 宋迎春.  带有未知物理信息的边坡监测滤波算法 . 武汉大学学报 ● 信息科学版, 2012, 37(1): 86-90.
    [6] 乐洋, 何秀凤.  具有区间隶属函数的模糊卡尔曼滤波在组合导航系统中的应用 . 武汉大学学报 ● 信息科学版, 2011, 36(4): 450-452.
    [7] 刘繁明, 钱东, 郭静.  卡尔曼滤波地形反演算法的系统方程建模 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1179-1183.
    [8] 刘国林, 郝华东, 陶秋香.  卡尔曼滤波相位解缠及其与其他方法的对比分析 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1174-1178.
    [9] 陆付民, 王尚庆, 李劲, 严学清.  顾及地下水位因子的卡尔曼滤波模型在滑坡变形预测中的应用 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1184-1187.
    [10] 高书亮, 李锐, 黄智刚.  利用卡尔曼滤波估计导航信号电离层差分改正 . 武汉大学学报 ● 信息科学版, 2010, 35(9): 1021-1023.
    [11] 孙红星, 付建红.  使用复合滤波器实现双差GPS/INS动态组合高精度定位定姿 . 武汉大学学报 ● 信息科学版, 2009, 34(12): 1390-1393.
    [12] 孙红星, 付建红, 袁修孝, 唐卫明.  基于多历元递推最小二乘卡尔曼滤波方法的模糊度解算 . 武汉大学学报 ● 信息科学版, 2008, 33(7): 735-739.
    [13] 吴江飞, 黄珹.  非线性自适应抗差滤波定轨算法 . 武汉大学学报 ● 信息科学版, 2008, 33(2): 187-190.
    [14] 赵长胜, 陶本藻.  有色噪声作用下的抗差卡尔曼滤波 . 武汉大学学报 ● 信息科学版, 2007, 32(10): 880-882.
    [15] 郭杭.  迭代扩展卡尔曼滤波用于实时GPS数据处理 . 武汉大学学报 ● 信息科学版, 1999, 24(2): 112-114,123.
    [16] 樊建新, 董绪荣, 罗定开, 刘广军.  动态测量问题数据处理的一个快速滤波算法 . 武汉大学学报 ● 信息科学版, 1998, 23(2): 111-114.
    [17] 柳响林, 刘经南, 杜道生.  卡尔曼滤波可靠性分析及其在动态GPS定位中的应用 . 武汉大学学报 ● 信息科学版, 1997, 22(3): 234-236,244.
    [18] 邵建平, 沈鹤鸣, 宋光普.  抗SA影响的卡尔曼滤波技术 . 武汉大学学报 ● 信息科学版, 1994, 19(3): 274-279.
    [19] 徐晖.  平面监测网的动态滤波 . 武汉大学学报 ● 信息科学版, 1990, 15(1): 1-11.
    [20] 冯延明.  监测水准网的滤波方法 . 武汉大学学报 ● 信息科学版, 1987, 12(1): 14-25.
  • 加载中
图(5) / 表(5)
计量
  • 文章访问数:  1047
  • HTML全文浏览量:  62
  • PDF下载量:  418
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-07-10
  • 刊出日期:  2017-04-05

知识引导的滑坡监测数据粗差定位与剔除方法

doi: 10.13203/j.whugis20150125
    基金项目:

    国家自然科学基金 No. 41471320

    国家863计划 No. 2013AA122301

    高分专项(民用部分)重大专项 No. 03-Y30B06-9001-13/15

    测绘地理信息公益性行业科研专项 No. 201412010

    四川省科技支撑计划 No.2014SZ0106

    作者简介:

    朱庆,博士,教授,长江学者特聘教授,从事虚拟地理环境、三维GIS研究。zhuq66@263.net

    通讯作者: 苗双喜,博士生。 E-mail:miaoshuangxi1984@163.com
  • 中图分类号: P208

摘要: 为了避免灾情误判和误报,准确探测和剔除滑坡形变监测数据中的粗差已经成为提高监测数据质量亟待解决的问题。已有方法主要针对单一传感器数据独立处理,且过度依赖数据变化本身的突变-平滑关系,难以有效区分粗差和外界因素突变引起的奇异值。介绍了一种知识引导的滑坡监测数据粗差剔除方法,通过粗糙集属性约简筛选具有相关关系的多源滑坡观测数据,并结合多元统计理论挖掘粗差影响因素间的时空约束关系,利用不同类型滑坡监测数据变化间的相关性规律,将多因素影响下的滑坡形变抽象为多模式的组合,根据不同模式自适应选择多因子模型以此引导卡尔曼滤波模型更新,从而实现滑坡形变监测粗差的定位与剔除。实验证明,该方法不仅能够有效甄别因环境变化引起的突变,并且能显著提高滑坡形变监测数据粗差自适应剔除的准确性、可靠性与智能化水平。

English Abstract

朱庆, 苗双喜, 丁雨淋, 齐华, 何小波, 曹振宇. 知识引导的滑坡监测数据粗差定位与剔除方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125
引用本文: 朱庆, 苗双喜, 丁雨淋, 齐华, 何小波, 曹振宇. 知识引导的滑坡监测数据粗差定位与剔除方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125
ZHU Qing, MIAO Shuangxi, DING Yulin, QI Hua, HE Xiaobo, CAO Zhenyu. Knowledge-guided Gross Errors Detection and Elimination Approach of Landslide Monitoring Data[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125
Citation: ZHU Qing, MIAO Shuangxi, DING Yulin, QI Hua, HE Xiaobo, CAO Zhenyu. Knowledge-guided Gross Errors Detection and Elimination Approach of Landslide Monitoring Data[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 496-502. doi: 10.13203/j.whugis20150125
  • 依靠滑坡形变监测数据进行灾情预判,是滑坡灾害短期预报的有效手段。受环境、仪器故障等影响,各类滑坡监测数据噪声问题突出,如何动态定位并有效剔除滑坡形变监测数据中的粗差已经成为提高滑坡灾害短期预报可靠性的瓶颈问题之一。目前消减滑坡监测数据粗差的方法主要有两类:①基于假设检验的粗差探测、辨识和修正, 如数据窥探方法等。该类方法假设观测值中含粗差,按均值漂移模型逐个计算粗差估值及统计量,但受粗差不确定性影响以及最小二乘法的均摊效应限制[1, 2],数据整体质量下降且局部特征值受损严重。②抗差推估, 即通过严密控制观测值与估计值之间的偏差来控制监测数据质量[3]。但抗差权函数是通过有限的残差拟合得到的,难以获取精确估计值。且该方法普遍存在算法结构复杂、时效性较差等缺点,不适合剔除由于系统和环境时变引起的滑坡形变监测数据的粗差。传统的粗差探测方法,如小波变换、多维粗差剔除等方法,均是针对单一数据类型。由于过度依赖单一特征曲线(如降雨曲线)的突变平滑关系[4],简单拟合模式难以准确发现粗差,难以甄别奇异值是真实环境突变还是粗差引起。

    作为滑坡在致灾因子(气象、地形、地貌、岩石特性)与成灾环境综合作用下渐进性破坏过程的外在表征,滑坡形变特征监测数据与滑坡过程影响因子常呈现出明显的相关性,这些相关性对于约束和引导滑坡形变监测数据中粗差的定位与剔除具有重要意义。然而,已有的针对单一传感器数据分析的粗差探测方法未能充分利用滑坡影响因子间的相关性,并不能有效探测多因素综合影响下的粗差[5-7]。为此,本文提出一种顾及滑坡多种影响因子的粗差定位与剔除方法,充分利用多传感器监测数据,通过粗糙集属性约简精选滑坡形变影响因子,排除冗余影响因子,并结合多元统计理论挖掘影响因子间的相关关系知识规则。利用该知识规则将多因素影响下的滑坡形变抽象为多模式的组合,根据不同模式自适应选择多因子模型,以此引导卡尔曼滤波模型更新,从而实现粗差的定位与剔除。

    • 形变监测数据粗差定位与剔除方法如图 1所示。核心步骤如下:①利用粗糙集属性约简方法获取影响滑坡形变的主要因素;②结合多元数理统计理论定性、定量地揭示承载信息的多源异构数据多值属性间的关联规则;③利用知识规则进行滑坡形变预判、模式匹配和粗差的定位;④通过动态更新卡尔曼滤波完成滑坡形变监测数据粗差的剔除。

      图  1  本文方法流程图

      Figure 1.  Flowchart of the Proposed Method

    • 滑坡监测数据中影响滑坡形变的因子并不是同等重要的,属性约简能在保持知识库的分类或决策能力不变的前提下删除冗余因子[8]。根据滑坡监测数据建立滑坡监测信息系统的决策表,通过属性约简,获取与滑坡形变相关的核心影响因子。在论域U中,由所有非空有限属性集合A、值域V和信息函数f构成信息系统,如果属性集合A是所有条件属性C和决策属性D的并,则构成决策表S=(U, V, f, C∪D)。本文将滑坡形变数据作为决策属性,将影响滑坡形变的降雨数据、土壤含水率数据、地形、地貌及滑坡坝水位数据作为条件属性,通过数据预处理获取结构化、离散化的监测数据。利用决策表约简和约简后属性的重要度计算方法,最终获得影响滑坡形变的核心因子及多因子的属性重要度。主要内容包括决策表的约简和属性重要度的计算。

      1) 决策表约简

      差别矩阵是计算知识约简的基本方法,因其简单、直观,可获得决策表的所有约简及信息系统的最小属性约简等优点而广泛应用。基于差别矩阵的方法利用区分函数及逻辑运算得出属性约简,该算法首先根据决策表构造出区分矩阵;其次利用区分矩阵中的非空元素构造区分函数(析取式);最后求出析取子式的合取子式,求解区分函数。本文中通过决策表直接求得区分矩阵,通过计算所有析取范式的合取子式,完整得到所有形变数据的区分能力,最终获取影响滑坡形变的核心要素。该算法本质上是将对属性组合情况的搜索演变成逻辑公式的化简。

      2) 属性重要度计算

      在经典集合论中,往往根据经验给某些特征属性赋予一个主观的权值,权值的大小代表相应属性在决策系统中的重要性。这种方法过于主观,影响知识系统的区分能力。本文根据属性重要度计算方法从约简结果中去掉某一属性,计算删除属性后的决策表的变化,从而间接计算出该属性的重要程度[9, 10]。客观地获取属性的重要度是定量化计算监测数据间相关关系的重要前提,在决策表中属性r相对于属性集Reds的重要性Ip(r)定义如下:

      (1)

      式中, Count表示正域的势;pos表示正域;{r}表示属性的集合。

    • 基于对滑坡形变特征时空变化规律和滑坡形变监测数据变化特征的分析,总结出滑坡形变监测特征影响因子时空变化规律的描述规则,为粗差探测提供一种重要的先验知识。

    • 图 2为白水河滑坡监测数据部分数据。图 2(a)为形变特征的周期性变化图,图 2(b)为降雨量和长江水位随时间变化与滑坡形变的相关性特征。统计分析所有监测数据得到降雨-水位变化引起的滑坡形变的概要规则如下.

      图  2  滑坡监测数据统计

      Figure 2.  Statistical Monitoring Data

      (1) 年周期性。一个干湿循环内的滑坡形变量与降雨量呈现非线性特征关系,周期为1 a。

      (2) 形变量有上限。土壤饱和后形变速率不会继续增加,形变峰值出现在7~8月。

      (3) 滞后性。由于降雨的入渗过程,导致滑坡形变滞后于降雨,一般滞后期为30 d以内。

    • 为了深入挖掘滑坡演进过程中多源监测数据的相关规则,通过分析粗糙集获取的核心影响因子对滑坡形变曲线的周期波动性规律,挖掘多因子间的关联关系。在白水河滑坡实验中,通过属性约简可知,降雨、滑坡坝水位是影响形变的核心因素。由于滑坡坝水位的属性重要度极低,在顾及计算效率的复杂过程分析中忽略滑坡坝水位对滑坡形变的影响。由此,可将滑坡形变特征按气象-形变影响的相关性抽象为几个特征的描述,不同时间的监测曲线是描述特征的时序组合。

      表 1按降雨-滑坡相关性变化将滑坡监测数据抽象为6种特征,并对其产生现象和图形特征进行描述。同一滑坡形变数据的变化特征可以通过特征参数来表示,特征参数包括数据关联系数R、延迟系数M和曲线渐变速度值Kt,滑坡规则引导下的多因子形变特征描述见表 2.其中,R定义如下:

      (2)

      表 1  降雨量与滑坡形变特征描述

      Table 1.  Description of Rainfall and Landslide Deformation

      表 2  滑坡规则引导下的多因子形变特征描述

      Table 2.  Description of Deformation due to Multi-factor

      时间降雨作用的形变特征 基模式语义编码 Base_Z 基模式判别准则Description_Z 时间特征T(月)
      降雨缓增,形变平稳 Rain(+), St(0) -10<Kt<45, -10<R<45, 0<M<15 1~4
      降雨陡增,形变递增 Rain(++), {St(+), St(++)} Kt>45, -45<R<45, 0<M<30 4~8
      降雨陡降,形变递减 Rain(--), {St(-), St(--)} Kt>-45, -45<R<45, 15<M<30 6~8
      降雨陡升,形变平稳 Rain(++), St(0) Kt<100, -45<R<45, 0<M<15 7~9
      降雨减少,形变平稳 Rain(-), St(0) -45<Kt<10, -45<R<45, 0<M<15 9~11
      降雨减少,形变平稳 Rain(--), St(0) Kt<-45, -45<R<45, 0<M<15 9~12

      式中,wt+1-wttt+1时刻降的雨量;st+1-sttt+1时刻的形变量;max(Δw)、max(Δs)为一个时间周期内的降雨和形变量因子单位时间的最大变幅;R是降雨量曲线与形变形变量的局部相关性系数,R越趋近于1表明降雨量与滑坡形变量相关性越强。

      由于在滑坡形变每个阶段的相关系数呈现不连续特征,例如当土壤含水率达到饱和后,降雨持续,但形变量反而降低,会出现负相关特征。因此本文定义延迟系数M,用于表示降雨变化特征与形变数据变化特征的时间延迟:

      (3)

      式中,M是时间的函数;形变wN(T)sN(T)分别代表图 3中特征N的降雨发生时间和形变发生时间。

      图  3  知识引导的滑坡形变数据粗差剔除结果

      Figure 3.  Result of Knowledge-guided Gross Errors Detection and Elimination

      根据降雨量-滑坡形变特征,将监测数据形变特征转化为反映滑坡变化规律的基模式语义编码,根据降雨量与形变的特征描述,利用特征参数(R, M, Kt)建立用于匹配滑坡形变模式的基模式判别规则。表 2中每个模式中降雨影响滑坡形变的规律可用时间-关系模型描述为s=f(R, M, Kt, smax, smin)。其中,s是滑坡月形变量,smaxsmin是当前模式下的形变量最大值最小值。计算相同模式下不同形变周期的R、M、kt的值,经过统计发现,RM在每个基模式下具有自回归特性。结合基模式判别准则, 能够自适应匹配滑坡形变数据的所处阶段,并根据特征参数的阈值准确定位形变监测数据中的粗差。

    • 本文应用滑坡知识规则引导迭代滤波器的设计,在基模式判别准则约束下,利用状态转移矩阵动态修正状态方程和观测方程,以缩小由于模型固化、环境突变引起的估计不一致。

      由于滑坡形变过程不同阶段的粗差特征差异较大,本文根据滑坡形变阶段构建了不同的卡尔曼滤波方程。当监测数据满足基模式判别准则①, ④, ⑤, ⑥情况时,滑坡形变过程缓慢。根据表 2中基模式判别准则建立相应模式下具有约束能力的多因子特征模型[11, 12]

      (4)

      式中,sk为形变量;tk为时间;wk为相应的月降雨量;Δk为相应的观测噪声\.令Lk=sk,则:

      (5)

      当监测数据满足基模式判别准则②、③情况时,滑坡形变过程加速。在滑坡知识规则的引导下,将时间关系模型转化为动态修正a1, a2, a3, a4, a5, a6, a7取值的约束矩阵A,在约束矩阵作用下优化卡尔曼滤波的状态方程和观测方程:

      (6)

      卡尔曼滤波的过程包括状态的初始化、动态更新状态方程和观测方程等,准确的初始估计是确保初始滤波收敛至稳态的前提条件。根据滑坡形变监测历史曲线获取初始统计特性,若卡尔曼滤波的初始估计值满足,则滤波过程中XkPk, k的估计将是无偏的[13]

    • 滑坡监测数据间存在的关联关系作为形变数据粗差定位与剔除的重要先验知识。利用粗糙集属性约简的方法获取与滑坡形变具有相关性的主要影响因子,通过统计分析得到滑坡形变数据随时间变化的概要描述规则,根据描述规则将滑坡形变监测数据按照描述规则进行周期性合理分割。综合分析监测数据变化特点与滑坡阶段性演进规律,将多因子作用下的复杂形变过程抽象为6种变化模式并获取基模式判别规则,一方面可以根据基模式判别准则进行形变数据的特征匹配,并根据相应模式下特征参数的自回归特性定位形变监测数据中的粗差;另一方面可以根据不同基模式判别准则获取相应形变模式下的多因子模型, 以此来引导卡尔曼滤波的状态方程和观测方程的更新,最终完成知识引导的滑坡形变数据粗差的定位与剔除。

    • 本文选取白水河滑坡地表位移形变监测点ZG118(该点位于滑坡的中下部,形变相对较大)2007\~2012年间72个月的监测数据进行粗差定位与剔除实验,以不同时间序列的观测数据为研究对象,分别用d、a、b、c、e、f来表示属性表中的形变属性、降雨属性、土壤含水率、坡度属性、岩石特性以及滑坡坝水位。原始数据进行数据预处理[14]后形成的属性表见表 3表 4

      表 3  原始数据的属性表

      Table 3.  Attribute Table of Raw Data

      监测
      时间
      形变
      数据
      /mm
      降雨
      数据
      /mm
      土壤
      含水率
      坡度
      数据
      /(°)
      岩石
      特性
      滑坡坝
      水位
      /m
      2007-01 3.3 12.6 0.10 30 碎石 155
      2007-02 6.5 22.2 0.20 30 碎石 154.8
      2007-03 7.3 97.7 0.23 30 碎石 151.5
      2007-07 330.3 144.4 0.30 30 碎石 144.85
      2007-08 165.8 75.1 0.30 30 碎石 146.0
      2012-12 16.9 12.5 0.16 30 碎石 146.7

      表 4  数据预处理后的属性表

      Table 4.  Attribute Table after Data Preprocessing

      U d a b c e f
      X1 1 1 1 2 2 2
      X2 1 1 1 2 2 2
      X3 1 2 2 2 2 2
      X7 3 3 3 2 2 1
      X8 2 2 3 2 2 1
      X72 1 1 1 2 2 1

      通过属性表处理得到相应区分矩阵,由函数的极小析取范式的所有合取子式得到该决策表的

      正域约简为{a, f},利用式(1)依次求出a、f的属性重要度为5/7和1/32。该约简结果表明滑坡监测点月形变量与月降雨量、滑坡坝水位具有强相关性,与受坡度,岩石属性等短期时间内基本稳定的控制因素弱相关,约简结果与滑坡渐进性变化的常识相符[15]。因为属性f(长江水位)重要度较低,顾及计算效率时在式(4)中将其删除,保留时间和降雨参数,根据滑坡形变时间维度的滑坡形变基模式判别准则,在多模式规则的约束下动态更新卡尔曼滤波中状态方程和观测方程, 以完成对2007~2012年的形变监测数据进行卡尔曼滤波。

    • 本文方法处理所得结果如图 3图 4红色实线所示。图 3所示为月降雨量-形变量滤波前-知识引导的滤波的相关性特征,图 4所示为形变数据滤波前后利用不同方法进行粗差的探测与纠正的结果对比。从实验结果可知,白水河滑坡形变与降雨数据变化具有紧密的关联关系。经典卡尔曼滤波方法能够实现滑坡形变数据的平滑,但其忽略了多源滑坡监测数据之间的相关关系,难以甄辨因环境突变引起奇异值(F区域、H区域)。

      图  4  形变量滤波前、一般滤波、滑坡知识引导的滤波结果对比图

      Figure 4.  Comparison of Before Filtering, General Filtering and the Proposed Method

      知识引导的形变数据粗差定位与剔除方法根据先验知识按照滑坡形变数据变化规律将形变过程抽象为多模式的组合,既可以通过不同模式下的特征参数(R, M)定位粗差,又能通过相应模式下多因子模型引导卡尔曼滤波完成粗差的自适应剔除。结合图 3图 4中在E、G区域进行模式匹配时,相应模式下的特征参数(RM)超出判定阈值并标记为粗差,通过知识引导的滤波完成了粗差的剔除,纠正了2008年6~8月形变严重的滞后。实验中利用聚类分析的方法计算G118点距离相同监测区域不同形变监测点(XD02、ZG93、G118三点)聚类中心的距离,由图 5红圈内的距离异常直接验证了本文方法的有效性。同理,2012年春季H区域(1~3月)在经典卡尔曼滤波的方法中过低地估计了降雨对滑坡的影响。2009年、2010年、2011年滑坡形变监测数据只出现点粗差未呈现严重离群的区域粗差,所以剔除结果相对稳定。

      图  5  区域粗差验证

      Figure 5.  Verification of Regional Gross Errors

      本文方法不仅可以对一般粗差进行定位,而且能够准确甄别降雨突变等环境变化引起的奇异值,改进了一般粗差剔除方法因过度依赖曲线平滑特征的不足,C区较D区、E区较F区、G区较H区都更精确地纠正滑坡形变量。

      为了对本文算法有效性进行评估,选取了奇异值判定成功率(SSv)、非奇异数据的滤波成功率(SNSv)、和滤波成功系数(filtering success rate, FSR)对其精度进行评价,定义FSR=0.5×SSv+0.5×SNSv表 5给出了结果分析,实验证明本文方法优于经典卡尔曼滤波的粗差定位与剔除结果。

      表 5  结果分析表

      Table 5.  Analysis of Results

      方法 SSv SNSv FSR
      经典卡尔曼滤波 6/13 50/59 0.6545
      知识规则引导滤波 12/13 51/59 0.8937
    • 本文介绍的知识引导的滑坡监测数据滤波方法,充分考虑了多传感器监测数据间显式和隐式的时空关联关系,得到滑坡形变特征与时间、降雨因素等之间的相关知识,并以此约束卡尔曼滤波。该方法简化了滑坡特征因子分析的复杂计算,能够准确、高效地进行形变监测数据中粗差的定位与剔除,为滑坡应急预警提供可靠的数据支持。

参考文献 (15)

目录

    /

    返回文章
    返回