留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

浅谈测量平差到空间数据分析的可靠性理论延伸

舒红 史文中

舒红, 史文中. 浅谈测量平差到空间数据分析的可靠性理论延伸[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339
引用本文: 舒红, 史文中. 浅谈测量平差到空间数据分析的可靠性理论延伸[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339
SHU Hong, SHI Wenzhong. Extension of Reliability Theory of Surveying Adjustment into Spatial Data Analytics[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339
Citation: SHU Hong, SHI Wenzhong. Extension of Reliability Theory of Surveying Adjustment into Spatial Data Analytics[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339

浅谈测量平差到空间数据分析的可靠性理论延伸

doi: 10.13203/j.whugis20180339
基金项目: 

国家自然科学基金重点项目 41331175

国家科技部"十三五"国家重点研发计划 2017YFB0503604

国家科技部"十三五"国家重点研发计划 2016YFB0502204

详细信息
    作者简介:

    舒红, 博士, 教授, 从事地理时空计算(多元时空统计、遥感陆面数据同化、组合导航定位和时空常识推理)研究。shu_hong@whu.edu.cn

  • 中图分类号: P208

Extension of Reliability Theory of Surveying Adjustment into Spatial Data Analytics

Funds: 

Key Project of the National Natural Science Foundation of China 41331175

the National Key Research and Development Program of China 2017YFB0503604

the National Key Research and Development Program of China 2016YFB0502204

More Information
    Author Bio:

    SHU Hong, PhD, professor, specializes in multivariate spatiotemporal statistics, remote sensing data assimilation, integrated navigation positioning, and space-time commonsense reasoning. E-mail: shu_hong@whu.edu.cn

  • 摘要: 可靠性作为分析结果评价的质量指标,同时也是分析模型构建的优化准则。在传统测绘领域,李德仁于20世纪80年代中期提出了两个多维备选假设的模型误差可区分理论和验后方差选权迭代的粗差剔除方法,发展了测量平差可靠性理论及摄影测量应用。在电磁物理和普适计算支持下,传统测绘技术已经进化为现代地球空间信息科技。随之,可靠性理论内容从测量平差的粗差处理、空间数据分析的异常处理延伸到空间信息服务的可信计算,可靠性分析方法也从统计推断、优化计算延伸到逻辑推理。类比语言学,测量平差的粗差处理为语法分析,空间分析的异常处理为语义分析,空间信息服务的可信计算则为语用分析。简要地给出了空间数据分析的可靠性指标计算方法,分析了优化目标(成本或代价)函数构造的一般准则(物理系统的能量最小化、数据系统的信息量最大化和用户系统的决策风险最小化),指出可靠性理论方法呈现整体模拟趋势(正常和异常的相对整体性,外在数据和内在状态的相对整体性,静态结构和动态行为的相对整体性,人机地系统的相对整体性)。
  • [1] Baarda W A.Testing Procedure for Use in Geodetic Networks[J]. Netherlands Geodetic Commission Publication on Geodesy:New Series, 1968, 2(5):45-53 http://adsabs.harvard.edu/abs/1968tpug.book.....B
    [2] 李德仁.误差处理和可靠性理论[M].北京:测绘出版社, 1988

    Li Deren.Error Processing and Reliability Theory[M]. Beijing:Surveying and Mapping Press, 1988
    [3] 李德仁, 袁修孝.误差处理与可靠性理论[M].武汉:武汉大学出版社, 2002

    Li Deren, Yuan Xiuxiao. Processing and Reliability Theory[M]. Wuhan:Wuhan University Press, 2002
    [4] 周江文.经典误差理论与抗差估计[J].测绘学报, 1989, 18(2):115-120 doi:  10.3321/j.issn:1001-1595.1989.02.005

    Zhou Jiangwen.Classical Theory of Errors and Roubst Estimation[J].Acta Geodaetica et Cartographica Sinica, 1989, 18(2):115-120 doi:  10.3321/j.issn:1001-1595.1989.02.005
    [5] 史文中, 陈江平, 詹庆明, 等.可靠性空间分析初探[J].武汉大学学报·信息科学版, 2012, 37(8):883-889 http://ch.whu.edu.cn/CN/abstract/abstract295.shtml

    Shi Wenzhong, Chen Jiangping, Zhan Qingming, et al. Reliable Spatial Analysis[J]. Geomatics and Information Science of Wuhan University, 2012, 37(8):883-889 http://ch.whu.edu.cn/CN/abstract/abstract295.shtml
    [6] 茆诗松, 汤银才, 王玲玲.可靠性统计[M].北京:高等教育出版社, 2008

    Mao Shisong, Tang Yincai, Wang Lingling.Reliabi-lity Statistics[M].Beijing:Higher Education Press, 2008
    [7] Turing A M. On Computable Numbers, with an Application to the Entscheidungs Problem[J]. Proceedings of the London Mathematical Society, 1936, 42:230-265 http://plms.oxfordjournals.org/content/s2-42/1/230.full
    [8] Turing A M. Computing Machinery and Intelligence[J].Mind, 1950, 59:433-460 http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ0232006427/
    [9] Shu Hong, Spaccapietra S, Parent C, et al. Uncertainty of Geographic Information and Its Support in MADS[C]. The 2nd International Symposium on Spatial Data Quality, Seattle, Washington, USA, 2003
    [10] 舒红.地理空间的存在[J].武汉大学学报·信息科学版, 2004, 29(10):868-871 http://ch.whu.edu.cn/CN/abstract/abstract4461.shtml

    Shu Hong. The Being of Geographical Space[J]. Geomatics and Information Science of Wuhan University, 2004, 29(10):868-871 http://ch.whu.edu.cn/CN/abstract/abstract4461.shtml
    [11] 舒红.地理空间认知[EB/OL].中国科技论文在线, 2006

    Shu Hong. Geospatial Cognition[EB/OL]. Science Paper Online, 2006
    [12] Devillers R, Jeansoulin R. Fundamentals of Spatial Data Quality[M]. Berlin:Springer, 2006
    [13] Shu Hong. Big Data Analytics:Six Techniques[J]. Geospatial Information Science, 2016, 9(2):119-128 http://d.old.wanfangdata.com.cn/Periodical/jsjyjyfz201301014
    [14] 李志林.空间数据的关注问题:从质量到可用性[J].地理信息世界, 2006, 6(3):14-17, 27 doi:  10.3969/j.issn.1672-1586.2006.03.002

    Li Zhiling. Concerns with Spatial Data:From Qua-lity to Usability[J]. Geomatics World, 2006, 6(3):14-17, 27 doi:  10.3969/j.issn.1672-1586.2006.03.002
    [15] 朱三元, 周庆隆, 蒋瑞青.软件质量度量[J].计算机应用与软件, 1987(1):1-13 http://d.old.wanfangdata.com.cn/Periodical/jsjyyyj200410006

    Zhu Sanyuan, Zhou Qinglong, Jiang Ruiqing.Software Quality Metrics[J]. Computer Applications and Software, 1987(1):1-13 http://d.old.wanfangdata.com.cn/Periodical/jsjyyyj200410006
    [16] 王志鹏, 于秀明.信息技术服务质量模型研究[J].信息技术与标准化, 2012(6):27-31 doi:  10.3969/j.issn.1671-539X.2012.06.007

    Wang Zhipeng, Yu Xiuming.Study on Information Technology Service Quality Model[J]. Information Technology & Standardization, 2012(6):27-31 doi:  10.3969/j.issn.1671-539X.2012.06.007
    [17] 刘克, 单志广, 王戟, 等. "可信软件基础研究"重大研究计划综述[J].中国科学基金, 2008, 22(3):145-151 doi:  10.3969/j.issn.1000-8217.2008.03.005

    Liu Ke, Shan Zhiguang, Wang Ji, et al. Overview on Major Research Plan of Trustworthy Software[J]. Science Foundation in China, 2008, 22(3):145-151 doi:  10.3969/j.issn.1000-8217.2008.03.005
    [18] Simon H A. A Behavioral Model of Rational Choice[C]//Models of Man, Social and Rational: Mathematical Essays on Rational Human Behavior in a Social Setting. New York: Wiley, 1957 https://academic.oup.com/qje/article-abstract/69/1/99/1919737?redirectedFrom=fulltext
    [19] Minsky M. The Society of Mind[M]. New York:Simon and Schuster, 1986
  • [1] 刘纪平, 董春, 亢晓琛, 邱士可, 赵荣, 栗斌, 孙立坚.  大数据时代的地理国情统计分析 . 武汉大学学报 ● 信息科学版, 2019, 44(1): 68-76, 83. doi: 10.13203/j.whugis20180420
    [2] 赵祥鸿, 暴景阳, 欧阳永忠, 黄贤源, 黄辰虎, 陆秀平.  利用BP神经网络剔除多波束测深数据粗差 . 武汉大学学报 ● 信息科学版, 2019, 44(4): 518-524. doi: 10.13203/j.whugis20160336
    [3] 张过, 管志超.  卫星成像质量可靠性研究初探 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1954-1961. doi: 10.13203/j.whugis20180202
    [4] 李绍俊, 杨海军, 黄耀欢, 周芹.  基于NoSQL数据库的空间大数据分布式存储策略 . 武汉大学学报 ● 信息科学版, 2017, 42(2): 163-169. doi: 10.13203/j.whugis20140774
    [5] 潘雄, 吕玉婷, 汪耀, 罗静, 徐景田.  基于半参数平差模型的粗差定位与定值研究 . 武汉大学学报 ● 信息科学版, 2016, 41(11): 1421-1426. doi: 10.13203/j.whugis20140493
    [6] 薛树强, 杨元喜.  抗差高斯-雅克比组合平差法 . 武汉大学学报 ● 信息科学版, 2015, 40(7): 932-937. doi: 10.13203/j.whugis20130247
    [7] 张晓祥.  大数据时代的空间分析 . 武汉大学学报 ● 信息科学版, 2014, 39(6): 655-659. doi: 10.13203/j.whugis20140143
    [8] 许长辉, 高井祥, 周锋, 王坚.  精密单点定位的可靠性研究 . 武汉大学学报 ● 信息科学版, 2012, 37(6): 709-713.
    [9] 史文中, 陈江平, 詹庆明, 舒红.  可靠性空间分析初探 . 武汉大学学报 ● 信息科学版, 2012, 37(8): 883-887.
    [10] 宁伟, 陶华学, 卿熙宏.  广义非线性最小二乘测量参数平差的快速差分迭代解算 . 武汉大学学报 ● 信息科学版, 2005, 30(7): 617-620.
    [11] 卢秀山, 宁津生, 冯尊德, 郭英.  观测有效性的度量方法 . 武汉大学学报 ● 信息科学版, 2003, 28(2): 144-148.
    [12] 谢智颖, 李清泉, 彭军还.  面向对象的测量平差软件设计与网络化应用 . 武汉大学学报 ● 信息科学版, 2003, 28(5): 604-607.
    [13] 孙海燕.  测量平差函数模型的若干讨论 . 武汉大学学报 ● 信息科学版, 2003, 28(S1): 62-64.
    [14] 韩保民, 欧吉坤, 柴艳菊.  用拟准检定法探测和修复GPS数据中的粗差和周跳 . 武汉大学学报 ● 信息科学版, 2002, 27(3): 246-250.
    [15] 陶本藻, 姚宜斌.  可靠性分析与数据探测 . 武汉大学学报 ● 信息科学版, 2002, 27(6): 607-610.
    [16] 张正禄, 罗年学, 黄全义, 梅文胜.  一种基于可靠性的工程控制网优化设计新方法 . 武汉大学学报 ● 信息科学版, 2001, 26(4): 354-360.
    [17] 李明峰, 於宗俦, 于正林.  动态平差模型下形变与粗差的可区分性研究 . 武汉大学学报 ● 信息科学版, 1995, 20(1): 51-56.
    [18] 赵少荣.  变形监测网的可区分性分析 . 武汉大学学报 ● 信息科学版, 1991, 16(2): 18-27.
    [19] 单杰, 李德仁.  摄影测量与大地测量观测值联合平差的质量分析 . 武汉大学学报 ● 信息科学版, 1990, 15(4): 6-15.
    [20] 张方仁, 王勇.  主成份检验和粗差定位 . 武汉大学学报 ● 信息科学版, 1986, 11(4): 44-56.
  • 加载中
计量
  • 文章访问数:  971
  • HTML全文浏览量:  160
  • PDF下载量:  211
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-09-18
  • 刊出日期:  2018-12-05

浅谈测量平差到空间数据分析的可靠性理论延伸

doi: 10.13203/j.whugis20180339
    基金项目:

    国家自然科学基金重点项目 41331175

    国家科技部"十三五"国家重点研发计划 2017YFB0503604

    国家科技部"十三五"国家重点研发计划 2016YFB0502204

    作者简介:

    舒红, 博士, 教授, 从事地理时空计算(多元时空统计、遥感陆面数据同化、组合导航定位和时空常识推理)研究。shu_hong@whu.edu.cn

  • 中图分类号: P208

摘要: 可靠性作为分析结果评价的质量指标,同时也是分析模型构建的优化准则。在传统测绘领域,李德仁于20世纪80年代中期提出了两个多维备选假设的模型误差可区分理论和验后方差选权迭代的粗差剔除方法,发展了测量平差可靠性理论及摄影测量应用。在电磁物理和普适计算支持下,传统测绘技术已经进化为现代地球空间信息科技。随之,可靠性理论内容从测量平差的粗差处理、空间数据分析的异常处理延伸到空间信息服务的可信计算,可靠性分析方法也从统计推断、优化计算延伸到逻辑推理。类比语言学,测量平差的粗差处理为语法分析,空间分析的异常处理为语义分析,空间信息服务的可信计算则为语用分析。简要地给出了空间数据分析的可靠性指标计算方法,分析了优化目标(成本或代价)函数构造的一般准则(物理系统的能量最小化、数据系统的信息量最大化和用户系统的决策风险最小化),指出可靠性理论方法呈现整体模拟趋势(正常和异常的相对整体性,外在数据和内在状态的相对整体性,静态结构和动态行为的相对整体性,人机地系统的相对整体性)。

English Abstract

舒红, 史文中. 浅谈测量平差到空间数据分析的可靠性理论延伸[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339
引用本文: 舒红, 史文中. 浅谈测量平差到空间数据分析的可靠性理论延伸[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339
SHU Hong, SHI Wenzhong. Extension of Reliability Theory of Surveying Adjustment into Spatial Data Analytics[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339
Citation: SHU Hong, SHI Wenzhong. Extension of Reliability Theory of Surveying Adjustment into Spatial Data Analytics[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1979-1985, 1993. doi: 10.13203/j.whugis20180339
    • 统计是一门数据收集、整理、分析的科学,起源于17世纪欧洲(英国和德国)的社会统计,最初服务于国家的人口、经济和政治状况描述。直到19世纪,英国人进行社会统计的数学改造,基于大数定律和中心极限定理来建立数理统计,应用于生物和农业数据分析。19世纪60年代,George Box、John Tukey和Peter Huber等统计学家建立稳健统计、松弛理想假设条件来发展实用型统计模型,如允许观测数据包含粗大误差或异常值,允许观测数据不满足正态分布。

      19世纪六七十年代,放宽高斯马尔科夫模型条件要求,荷兰大地测量学家Baarda提出考虑粗差的测量平差,简称测量可靠性统计理论[1]。在粗差统计模型构建方面,将含粗差的观测量作为方差特别大的随机变量实现,或者将含粗差的观测量作为期望有漂移的随机变量实现。特别地,提出粗差最小值(下限)观测量可发现性(大地控制网的内部可靠性)和不可发现粗差观测量的平差最大影响估计(大地控制网的外部可靠性)的测量平差系统可靠性理论。1981年,德国摄影测量学家Wolfgang Förstner提出两个一维备选假设和一个多维备选假设,进行多个粗差(粗差向量)的统计检验。1988年,李德仁提出两个多维备选假设,进行多个模型误差(系统误差或粗差)的统计检验[2-3]。然而,当多个粗差观测量存在统计相关时,需要进行耗时的一个、两个至多个粗差观测量的随机变量任意组合的统计推断,需要采用海量状态空间中多个粗差搜索分析的随机优化算法(如随机抽样一致性(random sanple consensus, RANSAC)算法)或前后向逐步回归变量显著性检验,这对计算的复杂性、整体和局部优化解的一致性是一个技术挑战。

      在实际应用中,通过考察含粗差观测量平差(参数估值)中改正数(残差)的统计特性来分析粗差的存在,使用残差平方和相关的统计量(如t统计量或F统计量)来检验变量显著性。在测量平差中,平差值为不同观测量的加权平均,权重为观测量中误差平方的反比(或者无偏差观测量残差方差的倒数)。在相同观测条件下的观测量为等精度或等权重观测。不同观测条件(观测天气、观测仪器和观测人)下观测量具有不同精度或不同权重。一般地,粗差指绝对值大于3倍中误差的观测误差,是内外业因疏忽大意而造成的差错。李德仁提出验后方差的选权迭代剔除粗差方法,利用含粗差观测量平差后的残差方差对不同观测量重新赋权,多次迭代后导致含粗差观测量的权重趋于零。扩展一般残差方差反比的权重定义,周江文[4]根据实际需要给出了残差表达的等价权式,发展了抗差最小二乘参数估计。

      简言之,测量平差的可靠性理论主要为含粗差的观测量统计理论,即粗差观测量所来自的概率分布函数(模型)的参数统计推断。实际中,测量平差系统的可靠性理论有:①最小粗差发现能力(内部可靠性)和未发现粗差对平差结果的最大影响估计(外部可靠性);②粗差的发现、定位和定值的统计推断(假设检验和参数估计)、粗差剔除和抗差估计(稳健统计)。

    • 在遥感影像分类和空间关联规则挖掘中,史文中等研究了空间数据分析的可靠性,提出空间数据分析的可靠性指标体系[5]。其中,可靠性作为顶级指标,精确度、鲁棒性、一致性、完整性和适用性作为下级指标。

      精确性是精密性和准确性的合成。测量的精密性采用标准差来度量,误差的精密性采用标准误差来度量。由于待测量的真值未知,通常采用测量平差值或参数估值来近似代表待观测量的真值。测量的精确性采用均方根误差(中误差RMSE(root mean square error))来度量。在不存在系统误差和粗差时,测量的精确性即精密性(简称精度)表达为标准差或中误差,即:

      $$ m = \pm \sqrt {\frac{{\left[ {\mathit{\boldsymbol{VV}}} \right]}}{{n - 1}}} $$ (1)

      式中,[VV]为残差平方和;n为观测数据个数;m为中误差RMSE。

      在遥感影像分类中,进行分类结果的实地验证,获得分类误差矩阵。基于分类误差矩阵,发展了分类精度度量指标:错分比例(像元被分到一个错误类别的比例)、漏分比例(像元没被分到相应类别的比例)和Kappa系数(错分和漏分的综合比例,既考虑了对角线上被正确分类的像元,又考虑了不在对角线上的各种漏分和错分的像元),即:

      $$ {\rm{Kappa}} = \frac{{N\sum\limits_{i = 1}^n {{x_{ii}}} - \sum\limits_{i = 1}^n {({x_{i + }}{x_{ + i}})} }}{{{N^2} - \sum\limits_{i = 1}^n {({x_{i + }}{x_{ + i}})} }} $$ (2)

      式中,n是误差矩阵中总列数(即总的类别数);xii是误差矩阵中第i行第i列上的样本(像元)数量,即正确分类的样本数目;xi+x+i分别是第i行和第i列的总样本数量;N是总的用于精度评估的样本数量。通常,当Kappa系数值大于0.80时,意味着分类数据和验证数据一致性较高,即分类精度较高;Kappa系数值小于0.40时,意味着分类精度较差。

      鲁棒性来源于系统论和控制论,表示系统抵抗外来干扰且维持自身性能稳定性的能力。测量平差系统可靠性的粗差可以理解为工程可靠性的故障所为,两者均采用概率统计方法来分析。稳健统计特别用于偏离标准正态分布中心的观测值(异常值)分析。异常值远离均值或中位数,符合某种极值分布(如Weibull分布)。如§1所述,测量可靠性理论有发现粗差的内部可靠性和抵抗粗差的外部可靠性。根据随机误差(偶然误差)的正态分布规律,误差落在μ±3σ以外的概率约为0.3%,超出μ±3σ范围的误差(或残差)作为粗大误差。假设残差期望为零,则粗差所致的残差判别式为:|vi|≥3σ

      一般地,假设含有粗差Δg的观测值符合期望漂移的概率分布函数,即li~N(E(li)+Δgσ2)。或者,假设粗差导致残差方差变大。对于单个粗差探测,有vi~N(0,σ02Qvivi)。可以提出下列假设:H0:E(vi)=0;H1E(vi)≠0,使用检验统计量$ {w_i}{\rm{ = }}\frac{{{v_i}}}{{{\sigma _{{v_i}}}}}$~N(0,1)进行残差期望检验。在一定显著水平下,若接受零假设,则表明观测值不含粗差;否则,没有足够证据表明观测值不含粗差。

      相似地,对于多个粗差(粗差向量)探测,P为观测量的权重,即V=AX+b-L, Δb=-QΔbΔbHTPV, QΔbΔb=(HTPQVVPH)-1 =PΔb-1,可以提出下列假设:H0E(Δb)=0; H1E(Δb)≠0,使用检验统计量$ T = \frac{{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_b^{\rm{T}}{\mathit{\boldsymbol{P}}_{{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_b}}}{\mathit{\boldsymbol{ \boldsymbol{\varDelta} }}_b}}}{{\sigma _0^2}}$~χ2,进行残差期望向量检验。在一定显著水平下,若接受零假设,则表明观测值不含任何粗差;否则,没有足够证据表明观测值不含粗差,观测值可能包含一个或多个粗差。

      进一步,若观测值含有m个粗差,这就需要设立多个位置组合粗差的备选假设,即任意一个位置粗差的备选假设,任意两个位置粗差的备选假设,任意多个位置粗差的备选假设,直到任意m个位置粗差的备选假设。特别地,若观测值中的m个粗差存在相关性,则粗差定位定值的计算非常复杂,不仅存在组合假设数量大,而且不同相关粗差的平差影响的分离判断复杂。经过最小二乘或极大似然统计估值,任何一个平差结果都反映了多个粗差的综合影响。上述备选假设H1只是表明可能整体上观测值存在粗差,具体粗差定位需要局部上确定存在粗差。一般地,使用局部优化来逼近整体优化。通过粗差的平差结果(验后残差、新息或参数估值)影响评估来判断观测值是否含有粗差,具体检测方法有:①观测值分组或开窗,将观测值划分为确定无粗差的观测值组和可能含粗差的观测值组进行平差结果影响评估(如拟准检定和RANSAC);②逐步回归,从无粗差观测值组逐步填加观测值进行平差结果影响评估(前向评估),或者从所有观测值逐步去掉观测值进行平差结果影响评估(后向评估),或者前后向组合评估。

      抵抗粗差影响的测量平差称为抗差估计(或稳健统计)。假设含粗差Δg的观测值符合异常大方差的概率分布函数,即li~N(E(li),σi2), σi2σ2。典型地,抗差估计有等价权最小二乘估计(含验后残差及其方差的选权迭代)。线性观测方程为:V=$ \mathit{\boldsymbol{A\hat X}}$-L,不等精度(权重pi)的独立观测量平差的极值条件为:$ \sum\limits_{i = 1}^n {{p_i}\rho \left( {{v_i}} \right)} = \sum\limits_{i = 1}^n {{p_i}\rho \left( {{a_i}X - {L_i}} \right)} $=min。根据M估计,相关观测量平差的极值条件为:

      $$ \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^n {{p_{ij}}\rho ({v_i}{\rm{, }}{v_j}) = {\rm{min}}} } $$ (3)

      进一步,记φ(vi)=$ \frac{{\partial \rho }}{{\partial {v_i}}}$, 极值条件化为下列法方程(抗差解方程):

      $$ \sum\limits_{i = 1}^n {{\mathit{\boldsymbol{a}}^{\rm{T}}}{p_i}\varphi ({v_i}) = 0} $$ (4)

      进行等价转换:

      $$ \sum\limits_{i = 1}^n {{\mathit{\boldsymbol{a}}^{\rm{T}}}{p_i}\frac{{\varphi ({v_i})}}{{{v_i}}}{v_i} = 0} $$ (5)

      令等价权函数pi为:pi=pi$ \frac{{\varphi \left( {{v_i}} \right)}}{{{v_i}}}$,因此,等价权表示的法方程为:

      $$ \sum\limits_{i = 1}^n {{\mathit{\boldsymbol{a}}^{\rm{T}}}{{\bar p}_i}{v_i} = 0, {\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{PV}} = 0} $$ (6)

      最终,抗差估计解(抗差最小二乘估计解)为:

      $$ \mathit{\boldsymbol{\hat X}} = {({\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{\bar PA}})^{ - 1}}{\mathit{\boldsymbol{A}}^{\rm{T}}}\mathit{\boldsymbol{\bar PL}} $$ (7)

      相应地,迭代解为:

      $$ \left\{ \begin{array}{l} {{\mathit{\boldsymbol{\hat X}}}^{\mathit{k}{\rm{ + 1}}}} = {({\mathit{\boldsymbol{A}}^{\rm{T}}}{{\mathit{\boldsymbol{\bar P}}}^\mathit{k}}\mathit{\boldsymbol{A}})^{ - 1}}{\mathit{\boldsymbol{A}}^{\rm{T}}}{{\mathit{\boldsymbol{\bar P}}}^\mathit{k}}\mathit{\boldsymbol{L}}\\ \bar p_i^{k + 1} = {p_i}\frac{{\varphi (v_i^k)}}{{v_i^k}}{\rm{, }}{\mathit{\boldsymbol{V}}^k} = \mathit{\boldsymbol{A}}{{\mathit{\boldsymbol{\hat X}}}^k}{\rm{ - }}\mathit{\boldsymbol{L}} \end{array} \right. $$ (8)

      典型地,等价权函数有Huber函数、Hampel函数、Tukey函数、IGG权函数、丹麦法函数和验后方差估计权函数等。

      从系统工程角度,测量平差系统或空间数据分析系统的工程可靠可以理解为故障统计或寿命分析。系统可靠性由子系统(单元)可靠性进行结构合成,单元可靠度通过结构模型累积传递为系统可靠度。工程可靠性指产品在规定条件和规定时间内完成规定功能的能力[6],基本可靠性指标有:①可靠度R(t),即不发生故障的概率;②不可靠度F(t),即发生故障的概率;③故障概率密度函数f(t),如故障的指数经验函数(随着工作时间延长,发生故障的概率急剧下降)。它们的计算公式如下:

      $$ \left\{ \begin{array}{l} R\left( t \right) = P\left( {T > t} \right) \approx \frac{{{N_0} - {N_f}}}{{{N_0}}}\\ F\left( t \right) = 1 - R\left( t \right) = P\left( {T \le t} \right) \approx \frac{{{N_f}}}{{{N_0}}}\\ f\left( t \right) = \lambda {{\rm{e}}^{{\rm{ - }}\lambda t}} \end{array} \right. $$ (9)

      式中,t为规定的工作时间;T为产品故障前的时间;不可靠度F为产品在规定条件、规定时间内发生故障的概率,反之为可靠度。这里,受试验的样品数是N0个,到t0时刻失效的Nf个。

      从逻辑角度,一致性为相同性,完全一致即完全相同或等价(A=B),现实一致性理解为很大程度相同(相似,AB)。考虑研究对象的内涵和外延,一致性划分为意义相似和形式相似。相似是一种度量,不同度量对应不同相似或不同一致性(如大小范围一致,形状一致,拓扑一致,辐射量一致等)。在数学分析上,一致连续性意味方程解的稳定性。某一函数f在区间I上有定义,如果对于任意的ε>0,总有δ>0,使得在区间I上的任意两点x′和x″,当满足|x′-x″|<δ时,|f(x′)-f(x″)|<ε恒成立,则该函数f在区间I上一致连续(两个观测量的相对相似性)。特别地,误差可以理解为现实和观测的不一致性度量结果。

      关于完整性,这里不进行它与完备性和完全性的区分。从集合论角度,当一个对象不需要添加任何其他元素,则这个对象为完备的、完全的或完整的。集合可以是各种类型对象的集合,包括多个数值、多个尺度、多个频谱的集合,任何集合都存在理论的完整性。完整性预示一个封闭系统或一个自我完备理论。在数学分析上,空间完备性说明任何空间中柯西点列一致收敛极限均包含于这个空间中。

      显然,完备性与度量的定义有关,空间的完备性是相对于空间的度量而言,例如,实数集(实数空间)相对实数运算或度量具有完备性。特别地,某个集合X上的σ代数,又叫σ域,是X的所有子集的集合(幂集)的一个子集。这个子集满足对于可数个集合的并集运算和补集运算的封闭性,因此对于交集运算也是封闭的。注意,这里σ和前述标准差σ的记号(含义)区别。σ代数可以严格地定义所谓的可测集。概率空间定义为(全集,σ域,概率测度),即(ΩFP)。概率测度是对σ代数(或σ域)进行度量的。若σ代数集合N是零测集,N的任意一个子集都要求在σ代数中,这样的概率空间就称作完备概率空间。定义这样的概率空间的一个好处在于,如果给定其上的一个可测函数(随机变量),只要任意改变某个零测集上的函数值,该函数仍然是关于σ代数可测的。完备的概率空间可以从任意一个非完备的概率空间出发,把所有零测集的所有子集添加进σ代数,并且补充定义概率测度,从而得到一个完备的概率空间,这类似于实数的完备化过程。

      概率空间(ΩFP)是一个总测度为1的测度空间,P(Ω)=1。第一项Ω是一个非空集合,Ω的集合元素称作样本空间, Ω的集合元素称作样本输出,可写作ω。第二项F是样本空间Ω的幂集的一个非空子集,F的集合元素称为事件,事件是样本空间Ω的子集。集合F必须是一个σ代数,(ΩF)称为可测空间。事件就是样本输出的集合,在此集合上可定义其概率。第三项P称为概率或概率测度。这是一个从集合F到实数域R的函数,PFR。每个事件都被此函数赋予一个0和1之间的概率值。P必须是一个测度,且P(Ω)=1。

      数理逻辑上,一个公理系统无法同时具备完备性和一致性(或相容性),意味一个封闭系统是无法同时证明自身的完备性和相容性的,如理发师悖论或集合悖论。完备性理论是人工智能或问题可计算性的理论基础。

      适用性或适应性是针对两个研究对象(表示为AB)而言的,如一个对象适应用户需要,适应数据结构,适应未知环境等。在应用中,适用性常指系统与环境的相适合。适用性意味彼此开放,如A适应BB适应A。一般意义上,适应性意味AB的和谐相处,意味AB构成的系统处于动态平衡,具有广义的一致性。数据作为客观实体(或系统)的表象,承载着数据(或系统)生产或使用者的价值。揭示数据表象潜在的客观实体(或系统)规律或挖掘数据潜在的应用价值是一个数学反问题,可以通过正则化方法来实现反问题求解。无论遥感影像分析还是空间关联规则挖掘,都可以抽象为优化计算。这样,一般适应性可以通过目标函数或约束条件来建模:

      $$ \left\{ \begin{array}{l} {\rm{min}}F\left( X \right)\\ {\rm{s}}{\rm{.}}\;{\rm{t}}{\rm{.}}\;C\left( X \right) \ge 0 \end{array} \right. $$ (10)

      式中,X为所有的解;F(X)为代价函数或目标函数;minF(X)为目标函数求极小值;C(X)≥0为解X所满足的不等式和等式(大于等于零)约束条件。通常,目标函数和约束条件不容易区分,彼此可以互相转换(如把约束条件通过拉格郎日乘子合并到目标函数里)。优化计算方面,存在局部优化解和全局优化解。

      遥感影像是地理空间场的实现。地理空间场到地理空间场的变换可以抽象为算子,地理空间场到实数的变换可以抽象为函数。在空间数据分析领域,适应性可以借助空间分析的优化计算来实现,使用泛函极值计算来表达,例如:

      $$ {\rm{min}}J\left( {Y\left( X \right)} \right) = \int_a^b {F\left[ {X{\rm{, }}Y\left( X \right){\rm{, }}Y'\left( X \right)} \right]{\rm{d}}X} $$ (11)

      式中,minJ(Y)为代价函数的极小值或泛函的极小值;Y(X)为待求的解(函数);$ \int_a^b F $[XY(X),Y′(X)]dX为微分积分表达式;F[XY(X),Y′(X)]为自变量X、函数Y(X)和函数Y(X)导数的表达式。

      数学上,代价函数可以为模型误差、观测误差、残差平方和与各种物理强制约束条件项(如光滑条件、稀疏条件等)。目标函数最小化可以是物理系统的能量最小化、数据系统的信息量最大化和用户系统的决策风险最小化。

    • 数据的静态结构信息、分析的动态行为特征和工程的技术过程规则可看作数据空间、算子空间和社会空间的同构映射。在测量平差的数据、算子和社会空间中,存在含粗差的观测数据分布(结构)特征分析、含粗差的观测数据统计推断(粗差探测和抗差估计)和系统工程的测绘数据生产。在空间分析的数据、算子和社会空间中,存在含异常值的空间数据分布(结构)特征分析、含异常值的空间数据优化计算(如分类、聚类、关联规则挖掘和异常检测)和系统工程的应用数据处理(如采集、存储、传输、分析和可视化)。在同构映射视角下,测量平差的可靠性理论、空间分析的可靠性理论和人机地系统(工程)的可靠性理论可以看成形式等价。测量平差的粗差、空间分析的异常和系统工程的故障在形式上等价,但是语义不同。

      Turing(计算机科学和人工智能之父)提出了可计算的数和智能测试[7-8], 表明现实世界中很多问题是不可计算的,是计算机无法求解的,需要人机合作解决和近似求解。同时,地理学的核心在于区域差异和人地关系理论。随着数学方法和计算机技术应用到地理学,描述地理发展到计量地理,进一步发展到地理信息科学和现代地球空间信息科学。综合人类社会的地理空间行为认知、地理环境的自然规律和改造客观世界的科学技术,人机地构成一个交互系统HCE(the human-computing machine-earth system)[9-11]。相近地,普适计算和网络计算催生了人机物三元世界论(信息-物理-社会融合系统CPS(the cyber-physical-social system))。

      在人机地系统中,测量平差粗差理论和空间数据质量模型[12]元素理论的内涵和外延都获得了大量延伸。当前,可靠性理论关注用户中心,呈现整体模拟趋势(如正常和异常的相对整体性,外在数据和内在状态的相对整体性,静态结构和动态行为的相对整体性,人机地系统的相对整体性),分析方法也从统计推断、优化计算延伸到逻辑推理。人机地系统存在多层面(多尺度、多要素)非线性结构、时空动态性、环境随机性、语义模糊性和认知不确定性,可靠性分析实现为优化计算甚至规则推理,通常使用物理系统的能量最小化、数据系统的信息量最大化和用户系统的决策风险最小化来构造优化目标(成本或代价)函数[13]

      适应经济建设与和谐社会发展需要,互联网大数据分析的可靠性理论中人为主观模拟内容增加了许多。由于人有复杂需求层次和非理性思维行为,用户需求建模成为软件工程的难点,价值挖掘成为大数据技术的难点。从测量数据粗差、软件质量可靠性、地图可用性到服务可信计算,可靠性所赋予的主观特征越来越显著,可靠性的外延越来越大,从原初可靠性经过可用性延伸到可信性,即可靠性⊆可用性⊆可信性。

    • 存在两种可用性。一种可用性AV(availability)是在某个考察时间,系统能够正常运行的概率或时间占有率期望值。考察时间为指定瞬间,则称瞬时可用性;考察时间为指定时段,则称时段可用性;考察时间为连续使用期间的任一时刻,则称固有可用性。工程中,可用性衡量设备在投入使用后实际使用的效能,是设备或系统的可靠性、可维护性和维护支持性的综合,它不仅反映了系统本身的可用程度,还反映了在外部对抗条件下系统的生存能力和效能。可用性表示为系统在给定时间内可运行的概率,用来度量可延迟或短暂停止提供服务而不会导致系统发生严重后果的品质。可用性高不仅意味着设备和系统故障频率低,还意味着故障后的不可用时间很短,能给用户提供更多正常使用的时间。

      另一种可用性US(usability)源自人机工效学,着眼于人机交互HCI(human-computer interaction)和谐问题研究,是一种以用户为中心的设计概念(无障碍设计,设计出能够符合用户的习惯和需求的产品)。图书情报学的可用性借鉴了人机工效学的可用性定义,更加强调系统对用户信息任务的支持程度以及用户信息需求满足程度。可用性是产品与用户之间的一种关系,关注产品对用户来说有效、高效、易学、好记、少错和令人满意的程度,是从用户角度所看到的产品质量。

      参考敏捷软件(用户需求适应性和迭代快速响应的轻量级软件)的空间数据可用性工作组内容,李志林[14]认为, GIS空间数据质量仅仅是可用性的一个方面,列举了可享用性、可得性、受益情况、完整性、熟悉性、业界最佳作业方法和可靠性等多达50多个可用性指标。其中,不仅有数据技术指标,还有数据成本、数据受益、数据便利、数据功效的经济指标和数据声誉、数据权威、数据合法性、数据公正的社会指标。

      软件是数据结构和分析算法的代码和文档的综合。一般地,数据及分析的质量映射为软件的质量。存在3种经典软件质量模型:McCall模型、Boehm模型和ISO9126模型[15]。其中,McCall模型要素有正确性、可靠性(准确性、复杂度、一致性、容错性、模块性)、效率(计算效率、存储效率、通讯效率)、完整性、可维护性、可测试性、可移植性、可专用性、可互操作性、可用性(易培训性)、灵活性;Boehm模型要素有可移植性、易用性、可靠性(模块独立性、精确性、完整性、完全性、连续性)、效率、人体工效性、可维护性、可测试性、易懂性、易改性;ISO9126模型要素有功能性、可靠性(成熟性、易恢复性、容错性)、易用性(易理解性、易学性、易操作性)、效率、维护性、可移植性。可以看出,可靠性和可用性是所有软件质量模型的重要要素。简单地说,软件可靠性强调任务或功能的正确实现,强调错误或故障的应对能力(避错、容错、排错和预错的能力)。

      数据和软件是有形的产品,产品服务是具有抽象性、差异性和不可分离性活动。服务的特质及组成服务的元素无形无质。差异性指服务的构成成分及质量水平经常变化,服务可能因人员的不同、时间的变化而出现差异。不可分离性指在服务人员提供服务给用户时,也正是用户消费服务的时刻,服务的生产和消费在时间上不可分离。服务本身的这些特性增加了服务质量评估的难度。服务质量直接体现为用户的期望服务与感知服务之间的差距(主观用户满意程度),间接关系着所采用的空间数据及分析的质量(客观数据分析质量)。马斯洛的人类需求层次体系(生存需求、安全需求、尊重需求和自我实现需求)有助于服务质量模型构造。同样,可靠性和可用性都是服务质量模型的重要元素[16]

    • 存在于社会学、心理学、营销学、经济学、管理学等领域,信任是一个内涵丰富和结构复杂的抽象性概念,受到信任方、被信任方和信任的制度文化背景等因素影响和制约,不同应用领域、不同任务需求、不同人员、不同时间段对可信性的定义和标准都可能不一样。信任具有非对称性、时衰动态性、区域性、有限传递性、上下文相关性和一定非理性(如喜好、情感、善意、道德、诚实、正直)。

      当前,软件的规模越来越大,软件的开发、集成和演化越来越复杂。软件可信性度量与评测工作严重缺乏,使得软件产品在推出时就含有很多已知或未知的缺陷,对软件系统的安全可靠运行构成了严重威胁。同时,软件的开发和运行已经从传统的封闭静态环境拓展为开放、动态和多变的互联网环境,网络上对信息的滥用和恶意篡改,使得可信问题变得日益突出。在此技术及应用背景下,出现了可信计算的概念[17]。然而,可信计算还处于发展的初期阶段,还没有形成普遍适用的基础理论方法体系,缺乏切实可行的规范和标准。TCG(trusted computing group)的可信定义是:一个实体在实现预定目标时,行为和结果具有可预测性、可控制性,最终符合预期,则该实体是可信的。ISO/IEC 15408的可信定义是:一个可信的组件、操作或者过程的行为在任意操作条件下是可预测的,并能很好地抵抗应用软件、病毒以及一定物理干扰造成的破坏。简单地说,可信软件指系统运行的行为及结果总是符合人们的预期,在受到干扰时仍能提供连续的服务。

      从用户(主体)和软件(客体)两个不同的角度对可信软件进行评定。从用户角度出发的软件可信侧重用户主观感受,强调用户对软件行为的信任、是否符合用户的期望。从软件角度出发的软件可信侧重软件的客观能力,强调软件本身应该具备哪些能力才能获得用户的信任。前者表达的是主观可信,后者表达的是客观可信。用户对软件质量的主观认同涉及到用户个性化体验。概要地讲,可信性是软件行为符合人们期望的能力,是软件系统的可用性、可靠性、安全性、正确性、完整性等的综合。

    • 传统可靠性理论局限于测量平差系统的粗差处理,基于稳健统计来构造。进入地球空间信息技术和互联网大数据时代,可靠性理论延伸到空间数据分析的异常处理和服务可信计算,可靠性分析方法从统计推断、优化计算延伸到逻辑推理。类比语言学,测量平差的粗差处理为数据语法分析,空间分析的异常处理为数据的语义分析,用户服务的可信计算为数据的语用分析。

      本文简要地给出了空间数据分析的可靠性指标计算方法,分析了优化目标(成本或代价)函数构造的一般准则(物理系统的能量最小化、数据系统的信息量最大化和用户系统的决策风险最小化),指出可靠性理论方法呈现整体模拟趋势。

      从测量平差系统、空间数据处理系统到人机地交互系统,可靠性理论的复杂性增加了。当前,适应经济建设与和谐社会发展的需要,互联网大数据可靠性理论中主观成分增加了,人类思维行为非理性及空间认知复杂性极大增加了模拟分析难度。在空间认知中,人类问题求解过程隐喻地面找路行为,完整的空间认知模型构造是一个长期的科学难题。服务计算中,产品(数据或技术)的可信性涉及到更广泛的人类理性和非理性。现实生活中,Simon认为管理者或决策者的人具有完全理性与非理性之间的有限理性[18]。非理性很难形式化,更难定量化,存在诸多隐层变量和多种因果关系。通常,人类社会行为依赖道德和法制来规范。因此,Minsky提出智能体及交互来模拟心智社会,通过逻辑规则推理来模拟分析多智能体行为[19]。现实世界中很多问题是不可计算的,是计算机无法求解的,需要人机合作解决和近似求解。

参考文献 (19)

目录

    /

    返回文章
    返回