-
随着观测手段的不断进步，观测数据中出现粗差和系统误差的概率增大，使得参数估计的精度受到严重的影响。在观测数据包含系统误差时，半参数模型能较好地将系统误差分离出来，得到较高精度的参数估计结果[1-5]，当观测数据包含粗差时，由于最小二乘平差具有配赋作用，无法简单地从平差结果中确定粗差的数量、位置和大小，因此，观测粗差的探测、识别与处理一直是测绘数据处理的重点和难点。近年来，国内外学者对粗差的处理进行了大量研究，形成了将粗差归入函数模型的均值漂移模型和将粗差归入随机模型的抗差估计方法两种主要的粗差处理形式，获得了大量的研究成果[6-11]。常用的方法有拟准检定法、抗差估计方法、数据探测法、部分最小二乘原理等, 这些研究成果有许多是在观测数据不含系统误差的情况下得到的。但在数据处理过程中，观测数据中的系统误差和粗差经常是同时存在、共同影响的，能否将系统误差和粗差同时考虑，在分离系统误差的同时也剔除粗差，得到较高精度的参数估计值，是一个值得研究的内容。
由于半参数均值漂移模型与删失模型是等价的[12-13]，因此，本文提出了基于半参数均值漂移模型的误差检测方法，利用泰勒公式详细推导了剔除某一观测值之前后参数分量和非参数分量的估计公式。然后引入混合Cook距离，得到了一些估计量的诊断统计量的计算公式，给出了参数Q和C的一些常用形式，通过选取不同的参数，实现多个粗差的定位，克服了Cook距离阈值无法确定的影响，得到了高精度的参数估计值，利用算例验证了相应的结论。本文的符号若无特别说明，将与文献[1]一致。
-
设有n维观测向量L和非参数分量S组成的半参数模型[1]如下：
(1) 式中, L=[L1, L2, …, Ln]T为观测值向量; B=(b1, b2, …, bn)T为观测值与未知参数之间的系数; X=(X1, X2, …, Xt)T为t×1阶的未知参数向量; S=[s1, s2, …, sn]T为n×1阶的非参数分量，si表示第i个未知的系统误差; Δ为观测值的真误差，在补偿最小二乘准则下，此时，模型(1)中的参数分量和非参数分量的估计值为
若第i组观测数据中包含粗差γ，按照补偿最小二乘原理, 不妨设
(2) 为了与包含粗差的估计值区别开来，记参数分量、非参数分量、粗差和残差的估计值分别为
(3) 由于
(4) 由式(2)计算得到:
(5a) (5b) 结合φ(
(6) 式中, di为第i行元素为1，其余元素为0的n维列向量，将式(5b)、式(6)代入式(4)，得到参数分量和非参数分量的估计公式：
(7a) (7b) 式中, M=(P+αR)-1P，由式(7a)、式(7b)得到残差估计值为:
(8) 将式(8)代入式(7a)式(7b)，从而得到删除第i个观测数据前后参数分量与非参数分量估计值的关系如下：
(9) 式中，hii为帽子矩阵H(α)的对角线元素，可以看出，若观测数据与模型拟合较好，则去掉一个点后，参数估计值不会有较大的变化，若差异明显，则判断第i个观测数据可能含有粗差，根据其位置，将式(9)代入式(3)，即可得到相应粗差。
-
为了度量删除第i个观测数据前后参数分量、非参数分量估计值之间差值的大小，实现粗差的精确定位，通常定义如下影响函数：
(10) 该影响函数通过计算估计值的差值，确定第i个数据点对估计值的影响程度的大小，可以实现粗差的定位。如果差值越大，说明该点对估计结果影响越大，该点就可能含有粗差。为此，Cook等[14]提出了如下距离函数：
(11) 其中，Q是给定的正定或半正定权矩阵；C>0为给定的尺度因子，这个距离函数即为混合Cook距离。将式(9)代入式(11)，得：
(12) 由式(12)可知，距离D依赖于Q与C的选择，可以通过选择合适的Q与C，使得距离D具有统计意义并与点的位置无关，实现粗差的定位。
-
由式(12)可知，Di(Q, C)的大小由三部分组成，第一部分ri2表示在第i个数据点处拟合的好坏；第二部分与单位权中误差和C的选择有关，但是与点的位置无关；第三部分与Q的选择有关。一般情况下，可以选择合适的C，使
-
通过选择合理的C值后，距离值Di(Q, C)就只与ri*2和Ψi(Q)有关。因此，在合理选择相应参数后，距离值较大的点就是包含粗差的观测值。Q常用的形式如下：
1) Q=Z。
2) Q=FTF，其中F=(B I)为模型中参数分量与非参数分量的共有系数阵。
3) Q=I，其中I表示(n+t)×(n+t)维的单位阵。
4) Q=[diag(Z-1)]-1。
通过选择不同的C和Q，由式(12)即可得到混合距离值Di(Q, C)。类似的，由式(10)、式(11)也可得到参数分量和非参数分量的距离值，根据求得的距离值判断第i个观测值对参数和非参数估计值的影响，进一步验证粗差定位判断的正确性。
-
用一组模拟算例和一组实际算例来验证本文提出的方法的有效性。
算例1
观测值L=BX+S+Δ，其中B=(bij)80×2，bi, 1=sin(ti)，bi, 2=(sin(3ti))2，si=5(i/35)2，i=1, 2, …，n，ti=2(i-1)π/(n-1)，n=80，X=[9, 9]T，Δ~N(0, 1)。为了验证粗差定位和定值的效果，现分别在第20、30、40、50、60个观测数据点处加入适当的粗差，分别为8、10、9、9、6。
利用经典平差方法，得到参数平差值为
利用补偿最小二乘法，正则化矩阵利用自然样条法，平滑参数利用GCV法得α=5.66，计算得
为了进一步确定哪些观测数据包含粗差，应用Cook距离进行粗差定位。选择Q=Z，C=
表 1 Cook距离
Table 1. Cook Distance
点号 Di Di(X) 20 0.682 1 0.272 3 21 0.006 2 0.002 7 22 0.074 0 0.029 9 23 0.004 3 0.001 3 24 0.000 3 0.000 1 25 0.006 5 0.001 6 26 0.001 2 0.000 4 27 0.004 9 0.002 2 28 0.033 1 0.015 2 29 0.011 7 0.004 6 30 0.770 2 0.194 9 31 0.001 6 0.000 2 32 0.046 6 0.009 6 33 0.054 4 0.017 9 34 0.049 2 0.019 3 35 0.182 4 0.067 8 36 0.000 1 0.000 0 37 0.005 7 0.000 5 38 0.023 3 0.000 8 39 0.000 2 0.000 1 40 0.690 9 0.242 2 41 0.016 20 0.006 5 42 0.017 67 0.006 2 43 0.004 86 0.000 9 44 0.003 99 0.000 2 45 0.024 93 0.002 3 46 0.011 09 0.003 1 47 0.016 98 0.006 6 48 0.002 48 0.001 0 49 0.000 0 0.000 0 50 0.615 68 0.140 2 51 0.023 3 0.003 7 52 0.005 9 0.001 5 53 0.044 8 0.017 7 54 0.045 7 0.021 3 55 0.008 2 0.003 7 56 0.004 8 0.001 8 57 0.019 2 0.004 9 58 0.001 3 0.000 3 59 0.008 8 0.002 9 60 0.446 1 0.189 5 61 0.037 7 0.017 1 从表 1可以明显看出，在第20、30、40、50、60号点处，无论是针对参数部分、非参数部分的混合Cook距离还是针对参数部分的Cook距离，都明显大于其他点。
Q与C的其他情况下得到的结果如表 2、3所示。为节省篇幅，只给出少数数据点在Q与C相应组合下的距离值，其中，表 2为混合Cook距离，表 3为参数部分Cook距离。
表 2 混合Cook距离
Table 2. Mixed Cook Distance
点号 Q=Z, C= 
Q=FTF, C= 
Q=I, C= Q=[diag(Z-1)]-1, C= 2 0.149 7 0.128 2 0.307 8 2.369 9 9 0.110 8 0.093 6 0.095 1 0.835 9 20 12.268 3 0.636 4 2.547 9 24.299 2 30 1.938 9 0.708 4 2.698 2 28.328 2 33 0.058 7 0.049 2 0.022 3 0.177 5 40 7.391 4 0.601 3 15.532 2 180.588 7 44 0.004 0 0.003 2 0.004 1 0.051 8 50 3.814 3 0.553 8 1.631 2 14.156 7 56 0.004 8 0.004 5 0.007 2 0.073 9 60 1.094 2 0.419 4 0.339 5 2.710 8 65 0.008 9 0.007 8 0.007 1 0.062 3 77 0.009 7 0.009 1 0.016 2 0.115 8 表 3 参数部分Cook距离
Table 3. Cook Distance of Parameters
点号 Q=Z, C= Q=FTF, C= Q=I, C= Q=[diag(Z-1)]-1, C= 2 0.038 7 2.164 3×10-17 0.004 2 4.824 5×10-4 9 0.029 5 9.050 0×10-18 0.003 1 3.130 0×10-4 20 4.897 5 1.431 2×10-16 0.558 4 0.060 2 30 0.490 5 1.159 1×10-16 0.060 5 0.006 9 33 0.019 4 8.691 2×10-18 0.002 2 2.308 0×10-6 40 2.590 8 8.417 4×10-20 0.274 4 0.027 6 44 0.001 9.537 4×10-20 1.747 9×10-5 1.991 0×10-6 50 0.868 8 7.999 4×10-17 0.105 3 0.001 9 56 0.001 8 1.012 1×10-18 1.981 2×10-4 2.2028×10-6 60 0.464 9 9.344 3×10-17 0.055 4 0.006 0 65 0.001 5 9.551 5×10-19 1.681 2×10-4 1.948 6×10-6 通过表 2、表 3的计算结果可以看出，粗差对参数部分和全部数据的影响程度是不一样的，包含粗差的数据点的混合Cook距离与参数部分Cook距离明显大于其他点。当Q=I, C=
利用粗差定位结果及粗差估值对相应观测值进行改正，对改正后的观测数据进行重新平差，类似地，利用GCV法确定平滑因子α=2，平差后的参数估值为
算例2
图 1为某工程四等GPS网的一部分，其中包括7个进行了三等水准联测的点，此7个GPS点的平面位置及正常高、大地高和高程异常观测数据见文献[5]，根据已知数据求高程拟合函数中未知数。
图 1 四等GPS网网型简图
Figure 1. Fourth GPS Network Grid Diagram
当观测值不含粗差时，采用广义交叉核实法选择平滑因子α，得到α=0.2，求得高程拟合函数中未知数估值、系统误差估值分别为：
若在第一个观测值(高程异常)中加入大小为7的粗差，利用GCV法，得到平滑因子α=0.000 2，此时未知参数估值与系统误差估值为：
可见，包含粗差时，无论是参数估值还是系统误差估值都与不含粗差时相差较大。由式(10)、式(11)，得到混合距离及参数分量的Cook距离如图 2与图 3所示。
图 2 混合距离
Figure 2. Mixed-distance
图 3 参数分量Cook距离
Figure 3. Cook Distance of Parameter
从图 2可以看出，1、2号点的距离值明显大于其他点，初步认为1号点含粗差，2号点可能含有粗差，从图 3可以看出，只有第1个点对参数分量影响最大，因此，判断只有1号点包含粗差，根据式(3)可以求得粗差估计值为6.983，与粗差真实值7接近。利用粗差估计值进行粗差改正后，重新进行平差，得到的参数估计值结果为
-
1) 本文利用泰勒公式和混合Cook距离，建立了基于半参数的粗差分离模型，本文提出的理论能对多个粗差进行准确定位并求得粗差估计值，且粗差估计值与真实值相差很小。用求得的粗差估计值去修正相应的观测值，最终得到不含粗差的观测值，未弃用含有粗差的观测值，从而使得已获取的信息可以得到充分利用。
2) 在实际过程中，系统误差和粗差是相互影响、相互依存的，有些对参数有影响，有些对非参数分量有影响，有些对两者都有影响，根据各估计值的Cook距离值的明显分群现象，通过计算各数据点对模型参数或非参数分量估计值的影响大小，作为粗差探测的条件。扩充了半参数平差模型的估计理论，为进一步提高参数估计量的精度，具有较大的理论意义和一定的实用价值；
3) 从模拟算例可以看出，不同的Cook距离函数，对粗差的定位效果是不一样的，有些能够定位全部粗差，有些只能定位部分粗差，通过选取不同形式的Q和C综合考虑，能够克服Cook距离阈值的影响，实现粗差的全部定位。该方法的适应性及Q和C的合理选择需要进一步研究，还需进一步进行粗差对参数分量的影响性分析，进一步完善该理论。
Research of the Location and Valuation of Gross Error Based on Semi-parametric Adjustment Model
-
摘要: 对于包含系统误差和粗差的观测数据，本文将混合Cook距离引入到半参数模型中，实现了粗差的定值定位。首先，构造补偿最小二乘函数，利用泰勒展式，根据均值漂移模型与删失模型的等价性，导出了观测数据中剔除第i个观测数据前后参数分量和非参数分量相应估计值之间的关系式，为粗差的定位分析奠定了基础。其次，将混合Cook距离作为诊断统计量，进行粗差定位分析，得到了参数分量和非参数分量的诊断统计量的简洁计算公式，为了提高粗差定位的准确性，给出了混合Cook距离参数 Q 和C的一些常用形式，通过合理选择相应参数，计算参数分量和非参数分量的距离函数，实现粗差的定位，并将系统误差和粗差从观测数据中区别开来。最后通过模拟算例和实测数据验证了本文方法的正确性。Abstract: For observational data with systematic and gross errors, this paper presents a method to locate and value gross errors by introducing the mixed Cook distance into the semiparametric model. Firstly, by structuring a penalized least squares function and using Taylor expansion, and according to the equivalence of the mean shift model and data deleted model, the penalized least squares estimation expression of the parametric and non-parametric components are obtained for the data with a deleted ith observation, which is useful for locating the gross errors. Secondly, with the help of mixed Cook distance as a kind of diagnostic statistic, the corresponding formula for the parametric and non-parametric components are deducted, in order to improve the accuracy when locating gross errors. Common forms of parameters Q and C are given, which can influence the mixed Cook distance directly, as different choices for the parameters yield different results. By selecting the appropriate parameters and calculating the Cook distances of the parametric and non-parametric components, the positions of gross errors are determined, thus the systematic error and gross error can be separated from the observed data. Using simulated computations and a real example, it is shown that the method can effectively determine the position and fixed values of gross error, and illustrating the effectiveness of the proposed approach.
-
Key words:
- semi-parametric model /
- estimator /
- observed data /
- mixed Cook distance /
- gross errors
-
表 1 Cook距离
Table 1. Cook Distance
点号 Di Di(X) 20 0.682 1 0.272 3 21 0.006 2 0.002 7 22 0.074 0 0.029 9 23 0.004 3 0.001 3 24 0.000 3 0.000 1 25 0.006 5 0.001 6 26 0.001 2 0.000 4 27 0.004 9 0.002 2 28 0.033 1 0.015 2 29 0.011 7 0.004 6 30 0.770 2 0.194 9 31 0.001 6 0.000 2 32 0.046 6 0.009 6 33 0.054 4 0.017 9 34 0.049 2 0.019 3 35 0.182 4 0.067 8 36 0.000 1 0.000 0 37 0.005 7 0.000 5 38 0.023 3 0.000 8 39 0.000 2 0.000 1 40 0.690 9 0.242 2 41 0.016 20 0.006 5 42 0.017 67 0.006 2 43 0.004 86 0.000 9 44 0.003 99 0.000 2 45 0.024 93 0.002 3 46 0.011 09 0.003 1 47 0.016 98 0.006 6 48 0.002 48 0.001 0 49 0.000 0 0.000 0 50 0.615 68 0.140 2 51 0.023 3 0.003 7 52 0.005 9 0.001 5 53 0.044 8 0.017 7 54 0.045 7 0.021 3 55 0.008 2 0.003 7 56 0.004 8 0.001 8 57 0.019 2 0.004 9 58 0.001 3 0.000 3 59 0.008 8 0.002 9 60 0.446 1 0.189 5 61 0.037 7 0.017 1 
下载: 导出CSV
表 2 混合Cook距离
Table 2. Mixed Cook Distance
点号 Q=Z, C= Q=FTF, C= Q=I, C= Q=[diag(Z-1)]-1, C= 2 0.149 7 0.128 2 0.307 8 2.369 9 9 0.110 8 0.093 6 0.095 1 0.835 9 20 12.268 3 0.636 4 2.547 9 24.299 2 30 1.938 9 0.708 4 2.698 2 28.328 2 33 0.058 7 0.049 2 0.022 3 0.177 5 40 7.391 4 0.601 3 15.532 2 180.588 7 44 0.004 0 0.003 2 0.004 1 0.051 8 50 3.814 3 0.553 8 1.631 2 14.156 7 56 0.004 8 0.004 5 0.007 2 0.073 9 60 1.094 2 0.419 4 0.339 5 2.710 8 65 0.008 9 0.007 8 0.007 1 0.062 3 77 0.009 7 0.009 1 0.016 2 0.115 8
下载: 导出CSV
表 3 参数部分Cook距离
Table 3. Cook Distance of Parameters
点号 Q=Z, C= Q=FTF, C= Q=I, C= Q=[diag(Z-1)]-1, C= 2 0.038 7 2.164 3×10-17 0.004 2 4.824 5×10-4 9 0.029 5 9.050 0×10-18 0.003 1 3.130 0×10-4 20 4.897 5 1.431 2×10-16 0.558 4 0.060 2 30 0.490 5 1.159 1×10-16 0.060 5 0.006 9 33 0.019 4 8.691 2×10-18 0.002 2 2.308 0×10-6 40 2.590 8 8.417 4×10-20 0.274 4 0.027 6 44 0.001 9.537 4×10-20 1.747 9×10-5 1.991 0×10-6 50 0.868 8 7.999 4×10-17 0.105 3 0.001 9 56 0.001 8 1.012 1×10-18 1.981 2×10-4 2.2028×10-6 60 0.464 9 9.344 3×10-17 0.055 4 0.006 0 65 0.001 5 9.551 5×10-19 1.681 2×10-4 1.948 6×10-6
下载: 导出CSV
-
[1] 孙海燕, 潘雄.正规化矩阵正定时半参数估计量的统计性质[J].测绘学报, 2004, 33(3):228-232 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB200403008.htm Sun Haiyan, Pan Xiong. The Statistical Property of Semiparametric Estimators with Positively Definite Regular Matrix[J]. Acta Geodaetica et Cartographica Sinica, 2004, 33(3):228-232 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB200403008.htm [2] Häggström J. Bandwidth Selection for Backfitting Estimation of Semiparametric Additive Models:A Simulation Study[J]. Computational Statistics and Data Analysis, 2013, 62:136-148 doi: 10.1016/j.csda.2013.01.010 [3] 潘雄, 孙海燕.半参数p-范极大似然回归[J].测绘学报, 2005, 34(1):30-34 http://www.wenkuxiazai.com/doc/86f294d033d4b14e85246879.html Pan Xiong, Sun Haiyan. Semiparametric p-norm Maximum Likeli Hood Regression[J]. Acta Geodaetica et Cartographica Sinica, 2005, 34(1):30-34. http://www.wenkuxiazai.com/doc/86f294d033d4b14e85246879.html [4] Ruppert D, Wand M P, Caroll R J. Semiparametric Regression[M]. Cambridge:Cambridge University Press, 2003. [5] 潘雄.半参数模型的估计理论及应用[D].武汉:武汉大学, 2005 Pan Xiong. Theory and Application Research in Semiparametric Model[D]. Wuhan:Wuhan University, 2005 [6] Gui Qingming, Li Xiaolo, Gong Y. A Bayesian Unmasking Method for Locating Multiple Gross Errors Based on Posterior Probabilities of Classification Variables[J].Journal of Geodesy, 2011, 85(4):191-203 doi: 10.1007/s00190-010-0429-8 [7] 欧吉坤.粗差的拟准检定方法(QUAD法)[J].测绘学报, 1999, 28(1):15-20 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB901.003.htm Ou Jikun. Quasi-accurate Detection of Gross Errors (QUAD)[J].Acta Geodaetica et Cartographica Sinica, 1999, 28(1):15-20 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB901.003.htm [8] 於宗俦, 李明峰.对LEGE法性质的进一步讨论及其改进搜索方法[J].武汉测绘科技大学学报, 1998, 23(3):238-243 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH803.012.htm Yu Zongchou, Li Mingfeng. A Further Discussion on the Nature of the LEGE Method and Its Improved Seaching Method[J]. Journal of Wuhan Technical University of Surveying and Mapping, 1998, 23(3):238-243 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH803.012.htm [9] 张正禄, 张松林, 罗年学, 等.多维粗差定位与定值的算法研究[J].武汉大学学报·信息科学版, 2003, 28(4):400-404 http://ch.whu.edu.cn/CN/abstract/abstract4772.shtml Zhang Zhenglu, Zhang Songlin, Luo Nianxue, et al. Algorithm of Simultaneous Location and Evaluation of Multi-Dimensional Gross Errors and Its Implementation[J]. Geomatics and Information Science of Wuhan University, 2003, 28(4):400-404 http://ch.whu.edu.cn/CN/abstract/abstract4772.shtml [10] 宋力杰, 杨元喜.均值漂移粗差探测法与LEGE的比较[J].测绘学报, 1999, 28(4):295-300 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB199904004.htm Song Lijie, Yang Yuanxi. Comparison Between Data Snooping and LEGE[J]. Acta Geodaetica et Cartographica Sinica, 1999, 28(4):295-300 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB199904004.htm [11] 王海涛, 欧吉坤, 袁运斌, 等.估计观测值粗差三种方法的等价性讨论[J].武汉大学学报·信息科学版, 2013, 38(2):162-166 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201302009.htm Wang Haitao, Ou Jikun, Yuan Yunbin, et al. On Equivalence of Three Estimators for Outliers in Linear Model[J]. Geomatics and Information Science of Wuhan University, 2013, 38(2):162-166 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201302009.htm [12] 朱仲义, 韦博成.半参数非线性模型的统计诊断与影响分析[J].应用数学学报, 2001, 24(4):568-581 http://www.cnki.com.cn/Article/CJFDTOTAL-YYSU200104012.htm Zhu Zhongyi, Wei Bocheng. Diagnostic and Influence Analysis for Semiparametric Nonlinear Model[J]. Acta Mathematicae Applicatae Sinica, 2001, 24(4):568-581 http://www.cnki.com.cn/Article/CJFDTOTAL-YYSU200104012.htm [13] 曾林蕊.半参数广义线性模型若干问题的研究[D].上海:华东师范大学, 2004 http://cdmd.cnki.com.cn/article/cdmd-10269-2004087225.htm Zeng Linrui. Some Studies on the Semiparametric Generalized Linear Model[D]. Shanghai:East China Normal University, 2004 http://cdmd.cnki.com.cn/article/cdmd-10269-2004087225.htm [14] Cook R D.Weisberg S. Residual and Influence in Regression[M]. New York:Chapman and Hall, 1982 -
点击查看大图
图(3) / 表(3)
计量
- 文章访问数: 1081
- HTML全文浏览量: 40
- PDF下载量: 446
- 被引次数: 0
