面向机器阅读的地图名称注记类别识别方法

任福; 侯宛玥

doi:10.13203/j.whugis20180503

面向机器阅读的地图名称注记类别识别方法

任福^{1, 2,},
侯宛玥^1, ,

1.
武汉大学资源与环境科学学院, 湖北武汉, 430079
2.
武汉大学地理信息系统教育部重点实验室, 湖北武汉, 430079

基金项目:

国家自然科学基金 41571438

国家重点研发计划 2016YFC0803106

详细信息

作者简介:
任福, 博士, 教授, 主要从事新媒体地图学和智能制图研究。renfu@whu.edu.cn

通讯作者:
侯宛玥, 硕士生。houwanyue@whu.edu.cn

中图分类号: P209
计量
- 文章访问数: 1305
- HTML全文浏览量: 201
- PDF下载量: 112
出版历程
- 收稿日期: 2019-07-28
- 发布日期: 2020-02-04

Identification Method of Map Name Annotation Category for Machine Reading

REN Fu^{1, 2,},
HOU Wanyue^1, ,

1.
School of Resource and Environmental Sciences, Wuhan University, Wuhan 430079, China
2.
Key Laboratory of Geographic Information System, Ministry of Education, Wuhan University, Wuhan 430079, China

Funds:

The National Natural Science Foundation of China 41571438

the National Key Research and Development Program of China 2016YFC0803106

More Information

Author Bio:
REN Fu, PhD, professor, specializes in new media cartography and intelligent mapping. renfu@whu.edu.cn

Corresponding author:
HOU Wanyue, postgraduate. houwanyue@whu.edu.cn

摘要

摘要: 地图在人们的生产生活中发挥着重要作用，地图注记中蕴含大量信息，识别地图名称注记类别对未来计算机阅读地图以及进一步绘制地图具有重大意义。近年来，热门的深度学习技术尤其是卷积神经网络对解决图像分类问题具有良好效果，使用训练集对卷积神经网络进行训练，神经网络模型可以提取出数据集图片中的特征，并不断调整模型参数直到训练完成。以谷歌的开源框架TensorFlow作为实验的深度学习平台，对多部地图集的多份注记数据集进行智能分类研究，从地图集中人工获取注记图片作为样本数据集，构建卷积神经网络模型并尝试混合训练和分开训练两种方式。实验表明，混合训练方式获得的模型表现更加出色。
- 地图名称注记 /
- 图像分类 /
- 卷积神经网络 /
- 机器阅读
Abstract: Maps play an important role in people's production and life. There is a lot of information in annotations. Identifying map name annotation categories is of great significance for computer reading maps and further drawing maps in the future. Recently, popular deep learning technologies, especially convolutional neural networks, have a good effect on solving image classification problems. Training sets are used to train deep neural networks, and deep neural networks can extract the features of the data set pictures themselves and continue to adjust model parameters until the training is completed. This paper uses Google's open source framework TensorFlow as the experimental deep learning platform to conduct intelligent classification research on multiple annotation datasets of multiple Atlases. Manually obtain annotation images from the Atlas as sample datasets to construct a convolutional neural network model and try to use two methods of mixed training and separate training to train the models. Experiments show that the model obtained by the mixed training method performs better.
- map name annotation /
- image classification /
- convolutional neural network /
- machine reading

HTML全文

在直线、平面拟合、空间直角坐标变换、自回归模型求解中,系数矩阵和右端观测量由随机和非随机元素组成,且同一随机元素会在不同的位置出现^[1-4]。常用的变量含误差（errors-in-variables,EIV）模型及相应的整体最小二乘（total least squares,TLS）方法假设系数阵中所有元素含误差。因此,顾及增广误差矩阵元素的随机特性及其相互关系的结构EIV（structured EIV,SEIV）模型和结构加权整体最小二乘（structured weighted TLS,SWTLS）方法应运而生^[5-10]。文献[5]采用极大似然估计方法从含有误差的时间序列数据中确定动态线性系统的参数,被认为是SWTLS问题研究的开端。文献[6]定义了结构整体最小二乘（structured TLS,STLS）这一术语,并将其转换为非线性广义奇异值分解问题求解。文献[7]将结构增广误差矩阵用其中的独立随机元素表示,并命名为约束TLS方法。对于某些列为固定元素而另外一些列为随机元素的混合LS-TLS问题,文献[8]引入正交三角分解计算模型参数。对于误差为非等权相关的情形,文献[9]发展了WLS-WTLS的迭代算法。文献[10]将SEIV模型用部分EIV（partial EIV,PEIV）模型表达,在加权最小二乘准则下推导了参数估计的Gauss-Newton型迭代算法,并进一步给出了参数的一阶近似方差、非线性信赖域区间及偏差。文献[11]给出了PEIV模型的两种迭代算法,其计算效率与系数矩阵中随机元素的数量有关。文献[12]提出了顾及系数阵元素和右端向量相关的广义PEIV模型。文献[13]将系数误差矩阵表示成已知矩阵和独立误差向量的乘积,推导了附有线性和二次约束的STLS问题的迭代算法。文献[14]和文献[15]采用变量投影法将增广系数矩阵表示成仿射结构矩阵与独立随机变量的乘积,然后将STLS问题转换为非线性等式约束优化问题求解。文献[16]研究了含多个右端观测向量的STLS问题。文献[17]提出了结构整体最小范数（structured total least norm,STLN）方法,这一方法可以最小化误差向量的范数,是STLS问题的重要拓展^[17-18]。文献[19-20]研究了STLN问题的快速算法。文献[21]将STLN拓展到系数阵和观测向量具有共同元素的情形。针对自回归（auto-regression, AR）模型这一特定STLS问题,文献[3-4]提出了两种新解法。

在STLS算法推导中,不同文献使用了不同的平差准则,其差异在于是否考虑独立误差的重复次数。如二维坐标转换中,源系统的纵横坐标值在系数矩阵中出现了2次,而目标系统的纵横坐标值在右端向量中只出现了1次。文献[1,7,10,13-15]给出的平差准则未考虑重复次数,而文献[3-4,17,21]均考虑了重复次数。不同的平差准则必定会得到不同的平差结果,其参数估值在统计意义上孰优孰劣,目前尚未给出明确结果。本文从函数模型和数值模拟两方面入手,证明了不考虑独立误差元素重复次数的平差准则能够得到统计意义下更优的解。

1 STLS平差模型及平差准则

EIV模型的函数表达式为^[1]：

y + e_{y} = (A + E_{A}) x

(1a)

式中, $y$ 和 $e_{y}$ 分别表示 $n$ 维观测向量及其误差； $A$ 和 $E_{A}$ 分别表示 $n \times m$ 维系数矩阵及其误差矩阵； $x$ 为 $m$ 维参数向量。误差向量的随机模型为：

e = [\begin{matrix} e_{A} \\ e_{y} \end{matrix}] ~ ([\begin{matrix} 0 \\ 0 \end{matrix}], σ_{0}^{2} Q_{e}) = ([\begin{matrix} 0 \\ 0 \end{matrix}], σ_{0}^{2} [\begin{matrix} Q_{A A} & Q_{A y} \\ Q_{y A} & Q_{y y} \end{matrix}])

(1b)

式中, $e_{A} = v e c (E_{A})$ , $v e c (∙)$ 表示矩阵向量化算子,即将 $n \times m$ 维矩阵的每一列从左至右叠加成一个 $n m$ 维列向量； $σ_{0}^{2}$ 是单位权方差； $Q_{A A}$ 和 $Q_{y y}$ 分别是 $e_{A}$ 和 $e_{y}$ 的对称正定协因数矩阵； $Q_{y A} = Q_{A y}^{T}$ 表示两者的协因数矩阵。当向量e的协因数矩阵 $Q_{e}$ 可逆时,采用WTLS准则求参数的最优估值：

Φ (e) = e^{T} P_{e} e

(2)

式中, $P_{e} = Q_{e}^{- 1}$ 为 $e$ 的权矩阵。当系数矩阵具有某种结构时, $Q_{e}$ 为秩亏矩阵无凯利逆。许多学者将EIV函数模型进行改化,一般是从结构误差矩阵或增广误差矩阵中提取独立误差向量,进一步构造目标函数求解。常用的几种EIV模型修正方法如下：

1） PEIV模型及其平差准则。PEIV模型选取系数阵中独立随机量的真值 $\bar{a}$ 作为待求量,其函数模型为^[10]：

y = (x^{T} \otimes I_{n}) (h + M \bar{a}) + e_{y}

(3a)

a = \bar{a} + e_{a}

(3b)

式中, $a$ 是系数矩阵中随机元素所构成的 $t$ 维列向量； $\bar{a}$ 和 $e_{a}$ 分别是相应的真值和误差向量； $I_{n}$ 表示 $n$ 维单位矩阵； $h$ 是已知的 $n m$ 维常数向量,其元素包含系数阵中的非随机元素； $M$ 是 $n m \times t$ 维常数矩阵,其形式由系数矩阵中非随机元素的个数及元素间的相关性确定。若 $a$ 和 $y$ 相互独立^[10],即 $c o v (e_{a}, e_{y}) = 0$ ,且两者的方差矩阵为 $D (e_{a}) = σ_{0}^{2} ω^{- 1}$ , $D (e_{y}) = σ_{0}^{2} W^{- 1}$ ,其中 $ω$ 和 $W$ 分别为 $e_{a}$ 和 $e_{y}$ 的权矩阵。相应的平差准则为：

Φ (\bar{a}, x) = e_{a}^{T} ω e_{a} + e_{y}^{T} W e_{y}

(4)

可见PEIV的平差准则中没有考虑独立随机误差的重复次数。如果将 $e_{a}$ 和 $e_{y}$ 组合成独立随机误差向量 $γ = {[\begin{matrix} e_{a}^{T} & e_{y}^{T} \end{matrix}]}^{T}$ ,权矩阵 $P_{γ} = d i a g (ω, W) = (d i a g (ω^{- 1}, W^{- 1} {))}^{- 1}$ ,则平差准则式（4）可以写为：

Φ (\bar{a}, x) = γ^{T} P_{γ} γ

(5)

因此PEIV模型的SWTLS解是令独立随机误差的加权平方和最小的参数估值。文献[12]中的GPEIV模型、文献[13]中约束结构SWTLS方法和文献[14-15]中的变量投影法,其本质上都是采用式（5）所示的平差准则。

2） STLN模型及其平差准则。STLN方法是定义一个与参数 $x$ 相关的矩阵 $X$ ,提取系数矩阵中的独立随机误差 $e_{a}$ ,使下式成立^[17]：

X e_{a} = E_{A} x

(6)

联立式（1a）和式（6）,将观测值残差 $r$ 表达成系数阵独立误差 $e_{a}$ 和参数 $x$ 的函数：

r (e_{a}, x) = - e_{y} = y - A x - X e_{a}

(7)

将式（7）在 $e_{a}$ 和 $x$ 的近似值处线性化,舍去二次项后得到线性模型,然后采用下列平差准则^[17]：

Φ (e_{a}, x) = 0.5 e_{y}^{T} e_{y} + 0.5 e_{a}^{T} D_{a}^{2}

(8)

式中, $D_{a} = d i a g (d_{1}, d_{2}, \dots, d_{t})$ , $d_{i}$ （ $i = 1,2, \dots, t$ ）表示 $e_{a}$ 中的第 $i$ 个元素在误差矩阵 $E_{A}$ 中重复出现的次数。尽管STLN 方法没有考虑误差的权值,但可以很方便地将观测误差的权纳入平差准则。仍令 $γ = {[\begin{matrix} e_{a}^{T} & e_{y}^{T} \end{matrix}]}^{T}$ ,定义 $D_{s} = d i a g (D_{a}, I_{n})$ ,由于式（8）中常数项对求极值无影响,则平差准则式（8）等价于：

Φ (x) = γ^{T} D_{s}^{2} γ

(9)

可见,STLN方法考虑了独立误差 $e_{a}$ 的重复次数,且以重复次数的平方将独立误差纳入平差模型。

3）虚拟误差模型及其平差准则。文献[3]以AR模型参数估计为背景,将式（1a）所示的EIV模型在观测值的近似值处线性化。设系数阵真值 $\tilde{A}$ 的近似值为 $A_{0}$ ,改正数为 $∆ A$ ,参数 $x$ 的近似值为 $x_{0}$ ,改正数为 $∆ x$ ,则线性化方程为：

v = A_{0} x_{0} + A_{0} ∆ x + ∆ A x_{0} - y

(10)

式中, $v$ 表示 $y$ 对应的改正数。然后通过矩阵等价变换得到 $∆ A x_{0} = [\begin{matrix} A_{10} & A_{20} \end{matrix}] [\begin{matrix} x_{B} \\ v \end{matrix}]$ , $A_{10}$ 和 $A_{20}$ 表示由 $x_{0}$ 按照一定规则构造的近似矩阵； $x_{B}$ 表示设计矩阵中独立观测值对应的改正数向量。将式（10）化为：

v = {(I_{n} - A_{20})}^{- 1} A_{0} ∆ x + {(I_{n} - A_{20})}^{- 1} A_{10} x_{B} - {(I_{n} - A_{20})}^{- 1} (y - A_{0} x_{0})

(11)

组成虚拟观测值误差方程为：

v_{B} = x_{B}

(12)

联立式（11）和式（12）得到：

v_{g} = B_{g} x_{g} - l_{g}

(13)

式中, $v_{g}$ 为所有随机观测值改正数向量； $B_{g}$ 为等效设计矩阵； $x_{g}$ 为所有待估参数和虚拟参数的改正数； $l_{g}$ 表示 $y - A_{0} x_{0}$ 的线性变换^[3]。采用如下平差准则：

Φ (x) = v_{g}^{T} P_{g} v_{g}

(14)

式中, $v_{g}$ 实际上是 $(E_{A} | e_{y})$ 中的独立误差向量 $γ$ ；P_g=D_gP由两部分组成,其中 $D_{g} = d i a g (d_{1}, d_{2}, \dots, d_{t + n})$ , $d_{i}$ （ $i = 1,2, \dots, t + n$ ,且t+n为独立误差的个数）表示 $v_{g}$ 中的第 $i$ 个元素在 $(E_{A} | e_{y})$ 中的重复次数, $P$ 为观测值向量的权矩阵。可见,虚拟误差模型解AR模型这一典型SWTLS问题考虑了重复次数。与STLN方法的差异在于,它采用的是重复次数本身,而不是STLN中重复次数的平方。

上述3种典型的STLS方法采用了不同的平差准则,不同的平差准则一定会得到不同的平差结果。为了比较不同准则下的平差结果,下面将上述3种典型的平差准则下的解纳入到一个统一的平差模型中。

2 STLS模型的通用表达式及算法推导

EIV模型（式（1a））又可以表示为^[1]：

y - A x - B e = 0

(15)

式中, $B = [\begin{matrix} x^{T} \otimes I_{n} & - I_{n} \end{matrix}]$ 为 $n \times (n m + n)$ 矩阵,其中 $\otimes$ 为Kronecker积符号,定义为 $G \otimes H = [g_{i j} ∙ H]$ ,其中 $G = [g_{i j}]$ ,且 $H$ 为任意矩阵。设 $γ$ 为 $(E_{A} | e_{y})$ 中的 $t$ 个独立随机误差向量,则 $e_{A}$ 和 $e_{y}$ 可以分别表示为：

e_{A} = H_{1} γ

(16a)

e_{y} = H_{2} γ

(16b)

式中, $H_{1}$ 和 $H_{2}$ 分别为 $n m \times t$ 和 $n \times t$ 矩阵,其元素均为常数。联立式（16a）和式（16b）：

e = [\begin{matrix} e_{A} \\ e_{y} \end{matrix}] = [\begin{matrix} H_{1} \\ H_{2} \end{matrix}] γ = H γ

(17)

将式（17）代入式（15）,并令 $G = B H$ ,则EIV模型可以写为：

y - A x - G γ = 0

(18)

独立随机误差的随机模型为：

E (γ) = 0

D (γ) = σ_{0}^{2} Q_{γ} = σ_{0}^{2} P_{γ}^{- 1}

(19)

式中, $Q_{γ}$ 表示 $γ$ 的协因数矩阵； $P_{γ}$ 表示其权矩阵。令 $γ = {[γ_{1} γ_{2} \dots γ_{t}]}^{T}$ ,且 $γ_{i}$ 出现的次数为 $d_{i}$ （ $i = 1,2, \dots, t$ ）。定义 $D = d i a g (k_{1}, k_{2}, \dots, k_{t})$ ,组成综合权矩阵：

P_{s γ} = D P_{γ}

(20)

相应的平差准则为：

ψ (γ) = γ^{T} P_{s γ} γ = m i n

(21)

易知,当 $k_{i} = 1$ 时,式（21）等价于以PEIV模型为代表的准则式（5）；当 $k_{i} = d_{i}^{2}$ 时,式（21）等价于以STLN模型为代表的准则式（9）；当 $k_{i} = d_{i}$ 时,式（21）等价于以虚拟误差模型为代表的准则式（14）。以结构化函数模型（18）为基础,基于平差准则式（21）,构造如下Lagrange目标函数：

φ (x, γ, λ) = γ^{T} P_{s γ} γ - 2 λ^{T} (y - A x - G γ)

(22)

式中, $λ$ 为 $n$ 维Lagrange乘子向量。令目标函数式（22）对各待定量 $x 、 γ 、 λ$ 的偏导数为0,可得：

{\frac{1}{2} \frac{\partial φ (x, γ, λ)}{\partial x}|}_{\hat{x}, \hat{γ}, \hat{λ}} = {(A + {\hat{E}}_{A})}^{T} \hat{λ} = 0

(23a)

{\frac{1}{2} \frac{\partial φ (x, γ, λ)}{\partial γ}|}_{\hat{x}, \hat{γ}, \hat{λ}} = P_{s γ} \hat{γ} + G^{T} \hat{λ} = 0

(23b)

{\frac{1}{2} \frac{\partial φ (x, γ, λ)}{\partial λ}|}_{\hat{x}, \hat{γ}, \hat{λ}} = y - A \hat{x} - G \hat{γ} = 0

(23c)

由式（23b）得到独立误差向量 $γ$ 的估值为：

\hat{γ} = - P_{s γ}^{- 1} G^{T} \hat{λ} = - Q_{s γ} G^{T} \hat{λ}

(24)

式中, $Q_{s γ} = P_{s γ}^{- 1}$ ,表示综合权矩阵的逆； $\hat{x} 、 \hat{γ} 、 \hat{λ}$ 分别为 $x 、 γ 、 λ$ 的估值。将式（24）代入式（23c）并移项可得：

\hat{λ} = - {(G Q_{s γ} G^{T})}^{- 1} (y - A \hat{x})

(25)

将式（25）代入式（23a）可以得到法方程：

\begin{matrix} (A + {\hat{E}}_{A})^{T} (G Q_{s γ} G^{T})^{- 1} A \hat{x} = \\ (A + {\hat{E}}_{A})^{T} (G Q_{s γ} G^{T})^{- 1} y \end{matrix}

(26)

则参数的估值为：

\hat{x} = [(A + {\hat{E}}_{A})^{T} (G Q_{s γ} G^{T})^{- 1} {A]}^{- 1} (A + {\hat{E}}_{A})^{T} (G Q_{s γ} G^{T})^{- 1} y

(27)

由于式（26）法方程矩阵不对称,若在式（26）两端加上 ${(A + {\hat{E}}_{A})}^{T} {(G Q_{s γ} G^{T})}^{- 1} {\hat{E}}_{A} \hat{x}$ ,那么 $\hat{x}$ 可由下式估计：

\hat{x} = [(A + {\hat{E}}_{A})^{T} (G Q_{s γ} G^{T})^{- 1} (A + {\hat{E}}_{A} {)]}^{- 1} (A + {\hat{E}}_{A})^{T} (G Q_{s γ} G^{T})^{- 1} (y + {\hat{E}}_{A} \hat{x})

(28)

根据上述推导过程,可以得出通用模型计算SWTLS问题的迭代步骤为：

1）给定 $A$ 、 $y$ 、 $Q_{γ}$ ,根据 $γ$ 的重复次数和不同平差准则的计入方式确定对角阵 $D$ ,根据 $(E_{A} | e_{y})$ 的结构确定 $H_{1}$ 和 $H_{2}$ 。采用式（20）计算综合权阵 $P_{s γ}$ 和对应的协因数矩阵 $Q_{s γ} = P_{s γ}^{- 1}$ 。计算 $Q_{y y} = H_{2} Q_{γ} H_{2}^{T}$ 和参数的初值 ${\hat{x}}^{(0)} = {\hat{x}}_{L S} = {(A^{T} Q_{y y}^{- 1} A)}^{- 1} A^{T} Q_{y y}^{- 1} y$ ；

2）根据初值 ${\hat{x}}^{(0)}$ 计算矩阵 $B$ 和 $G$ 。采用式（25）和式（24）分别计算 $\hat{λ}$ 和 $\hat{γ}$ ,然后由式（16a）计算 ${\hat{e}}_{A}$ 的值,从而有 ${\hat{E}}_{A} = i v e c ({\hat{e}}_{A})$ , $i v e c (∙)$ 是 $v e c (∙)$ 的逆运算,表示将 $n m 维$ 向量恢复成 $n \times m$ 维矩阵；

3）将 $G$ 、 $Q_{s γ}$ 、 ${\hat{E}}_{A}$ 、 ${\hat{x}}^{(0)}$ 分别代入式（27）或式（28）,计算参数估值 $\hat{x}$ ；

4）如果最后两次的估值 $\hat{x}$ 足够接近于给定的阈值,终止迭代。否则,转向步骤2）。

3 STLS模型平差准则的优化选取

尽管由式（18）和式（19）组成的SWTLS一般模型能通过选取不同的 $D$ 矩阵获得不同准则下的迭代最优解,但无法获得参数的方差或均方误差（mean square error,MSE）等精度评定指标,只能在模拟实验中检验参数精度。由文献[22-23]可知,WTLS并不是一种新的平差方法,仅仅是LS框架下的另外一种平差模型,且经典平差理论中的Gauss-Helmert（GH）模型（附有参数的条件平差模型）是EIV模型的一个特例。因此WTLS问题的解可由非线性GH模型导出。若给定 $x$ 的近似值 $x_{0}$ 和 $γ$ 的近似值 $γ_{0}$ ,式（18）可线性化为：

f (x, γ) = y - A x - G γ = y - A x_{0} - G_{0} γ_{0} + {\frac{\partial f (x, γ)}{\partial x}|}_{x_{0}, γ_{0}} ∆ x + {\frac{\partial f (x, γ)}{\partial γ}|}_{x_{0}, γ_{0}} ∆ γ

(29)

式中, $Δ x = x - x_{0}$ ； $Δ γ = γ - γ_{0}$ ； $G_{0}$ 和 $E_{A}^{0}$ 为近似值 $x_{0}$ 和 $γ_{0}$ 处的 $G$ 和 $E_{A}$ 的值。且有：

{\frac{\partial f (x, γ)}{\partial x}|}_{x_{0}, γ_{0}} = - (A + E_{A}^{0}) = - (A + i v e c (H_{1} γ_{0}))

(30)

{\frac{\partial f (x, γ)}{\partial γ}|}_{x_{0}, γ_{0}} = - G_{0} = - [x_{0}^{T} \otimes I_{n} - I_{n}] H

(31)

将式（30）和式（31）代入式（29）并作适当变换可以得到：

(A + E_{A}^{0}) x + G_{0} γ - (y + E_{A}^{0} x_{0}) = 0

(32)

可见SEIV模型的线性化形式（式（32））是一个标准GH模型,该模型不再体现 $γ$ 的重复次数,实际上重复次数已经由投影矩阵 $H$ 表达了。重复次数体现了EIV模型的结构性,而投影矩阵 $H$ 正是描述上述结构性的量。根据经典LS理论,其平差准则应为：

Φ (γ, x) = γ^{T} P_{γ} γ

(33)

因此,从SWTLS问题的线性化形式证明了其平差准则应满足式（33）。由线性化模型式（32）得到的最小二乘解是在给定 $x_{0}$ 和 $γ_{0}$ 情形下的一个近似解,为了得到更严密的解,将式（32）进一步表达为：

l = (A + E_{A}^{0}) ∆ x + G_{0} ∆ γ + G_{0} γ_{0}

(34)

式中, $l = y - A x_{0}$ 。为了与§2中符号一致,记 $P_{s γ} = I_{t} P_{γ} = P_{γ}$ （ $I_{t}$ 为t维单位矩阵）。根据式（34）及平差准则式（33）,构造如下Lagrange乘子函数：

m i n : φ (∆ x, ∆ γ, λ) = {(γ_{0} + ∆ γ)}^{T} P_{s γ} (γ_{0} + ∆ γ) + 2 λ^{T} (l - (A + E_{A}^{0}) ∆ x - G_{0} ∆ γ - G_{0} γ_{0})

(35)

分别求 $φ (∆ x, ∆ γ)$ 对 $∆ x$ 、 $∆ γ$ 和 $λ$ 的偏导数,并令其值为0,可得：

\frac{1}{2} \frac{\partial φ (∆ x, ∆ γ)}{\partial ∆ x} = - {(A + E_{A}^{0})}^{T} λ = 0

(36)

\frac{1}{2} \frac{\partial φ (∆ x, ∆ γ)}{\partial ∆ γ} = P_{s γ} (γ_{0} + ∆ γ) - G_{0}^{T} λ = 0

(37)

\begin{matrix} \frac{1}{2} \frac{\partial φ (∆ x, ∆ γ)}{\partial λ} = l - (A + E_{A}^{0}) ∆ x - \\ G_{0} ∆ γ - G_{0} γ_{0} = 0 \end{matrix}

(38)

由式（37）可得：

∆ γ = Q_{s γ} G_{0}^{T} λ - γ_{0}

(39)

将式（39）代入式（38）得：

l - (A + E_{A}^{0}) ∆ x - G_{0} Q_{s γ} G_{0}^{T} λ = 0

(40)

由式（40）可得Lagrange乘子向量为：

λ = {(G_{0} Q_{s γ} G_{0}^{T})}^{- 1} (l - (A + E_{A}^{0}) ∆ x)

(41)

式（40）两边同乘以 ${(A + E_{A}^{0})}^{T}$ 并顾及式（36）,则有：

∆ x = [(A + E_{A}^{0})^{T} (G_{0} Q_{s γ} G_{0}^{T})^{- 1} (A + E_{A}^{0} {)]}^{- 1} (A + E_{A}^{0})^{T} (G_{0} Q_{s γ} G_{0}^{T})^{- 1} (y - A x_{0})

(42)

x = x_{0} + Δ x = [(A + E_{A}^{0})^{T} (G_{0} Q_{s γ} G_{0}^{T})^{- 1} (A + E_{A}^{0} {)]}^{- 1} (A + E_{A}^{0})^{T} (G_{0} Q_{s γ} G_{0}^{T})^{- 1} (y + E_{A}^{0} x_{0})

(43)

由GH模型推导得到的参数估计（式（43））与§2中通用模型得到的解（式（28））具有完全相同的形式。GH模型的算法流程如下：

1）给定 $A$ 、 $y$ 、 $Q_{γ}$ ,根据 $(E_{A} | e_{y})$ 的结构确定 $H_{1}$ 、 $H_{2}$ 。计算 $Q_{y y} = H_{2} Q_{γ} H_{2}^{T}$ 和参数的初值 ${\hat{x}}^{(0)} = {\hat{x}}_{L S} = {(A^{T} Q_{y y}^{- 1} A)}^{- 1} A^{T} Q_{y y}^{- 1} y$ ,使用上标（i） $(i = 0,1, 2, \dots, N, N 为迭代次数)$ 对不同迭代次数下的各参数进行区分,则 $γ$ 和 $E_{A}$ 的初值分别为 $γ^{(0)} = 0$ 和 $E_{A}^{(0)} = i v e c (H_{1} γ^{(0)}) = 0$ ；

2）将 ${\hat{x}}^{(i)}$ 代入式（31）计算 $B^{(i)}$ 和 $G^{(i)}$ ,由式（41）计算 $λ^{(i)}$ ,由式（39）计算 $∆ γ^{(i)}$ 并更新 $γ^{(i)} = γ^{(i - 1)} + ∆ γ^{(i)}$ ,由式（30）计算 $E_{A}^{(i)}$ ；

3）由式（42）计算 $Δ x^{(i - 1)}$ ；

4）如果 $Δ x$ 小于给定的阈值,则终止迭代；否则,更新 $x^{(i)} = Δ x^{(i - 1)} + x^{(i - 1)}$ ,转向步骤2）。

注意,若不限定式（35）中 $P_{s γ} = P_{γ}$ ,那么采用线性化的GH模型,在准则式（21）下,即可选取不同类型 $D$ 矩阵的条件下,可以得到和§2中通用模型完全一致的解。采用GH模型进行算法推导有3个方面的意义：（1）证明了SEIV模型的平差准则中不应该再考虑重复矩阵。（2）证明了由通用模型（式（18））和线性化GH模型作为条件,在相同的平差准则下得到的参数估值是一致的。（3）将SEIV模型线性化后,便于采用协方差传播定律计算参数估值的近似精度。

4 STLS模型参数估值的近似方差

根据§2、§3的算法得到SWTLS解以后,可计算独立误差向量的估值 $\hat{γ}$ ,单位权方差计算式为：

{\hat{σ}}_{0}^{2} = \frac{{\hat{γ}}^{T} P_{s γ} \hat{γ}}{n - m}

(44)

SWTLS解的近似协因数矩阵可以根据线性化GH模型的解（式（42））求解。虚拟观测值 $l$ 可以写成：

l = y - A x_{0} = [\begin{matrix} - x_{0}^{T} \otimes I_{n} & I_{n} \end{matrix}] [\begin{matrix} v e c (A) \\ y \end{matrix}] = - B_{0} H η = - G_{0} η

(45)

式中, $η$ 为 $(A | y)$ 中的 $t$ 个独立随机观测向量。根据协因数传播律,向量 $l$ 的协因数矩阵为：

Q_{l l} = G_{0} Q_{s γ} G_{0}^{T}

(46)

实际计算中近似值 $x_{0}$ 可以用SWTLS估值 $\hat{x}$ 代替,相应的残差矩阵近似值 $E_{A}^{0}$ 用对应的估值 ${\tilde{E}}_{A}$ 代替。如果忽略式（42）中 $\tilde{A} = A + E_{A}^{0}$ 这一项中 $A$ 的随机性,那么可由协因数传播律得到SWTLS解的近似协因数矩阵为：

Q_{\hat{x} \hat{x}} = Q_{Δ x Δ x} = {({\tilde{A}}^{T} Q_{l l}^{- 1} \tilde{A})}^{- 1} {\tilde{A}}^{T} Q_{l l}^{- 1} Q_{l l} Q_{l l}^{- 1} \tilde{A} {({\tilde{A}}^{T} Q_{l l}^{- 1} \tilde{A})}^{- 1} = {({\tilde{A}}^{T} Q_{l l}^{- 1} \tilde{A})}^{- 1}

(47)

从而得到SWTLS解的近似方差为：

D_{\hat{x} \hat{x}} = {\hat{σ}}_{0}^{2} {({\tilde{A}}^{T} Q_{l l}^{- 1} \tilde{A})}^{- 1}

(48)

5 数值实验

首先采用二维仿射变换实例验证算法的正确性和可行性。设第 $i$ 个公共点 $P_{i}$ 在源坐标系和目标坐标系中的坐标分别为 $(x_{i}, y_{i})$ 和 $(X_{i}, Y_{i})$ ,仿射变换模型为 $X_{i} = a_{0} + a_{1} x_{i} + a_{2} y_{i}$ , $Y_{i} = b_{0} + b_{1} x_{i} + b_{2} y_{i}$ ,其中 $a_{0}$ 和 $b_{0}$ 为两个坐标系的平移量, $a_{1}$ 、 $a_{2}$ 、 $b_{1}$ 、 $b_{2}$ 分别表示两个坐标系之间的旋转和尺度变换参数。假设有3个或以上的公共点,仿射变换模型可以用EIV模型（式（1））表示,且有：

A = [\begin{matrix} 1 & x_{1} & y_{1} & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & x_{1} & y_{1} \\ 1 & x_{2} & y_{2} & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & x_{2} & y_{2} \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n} & y_{n} & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & x_{n} & y_{n} \end{matrix}]

x = [\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ b_{0} \\ b_{1} \\ b_{2} \end{matrix}]

(49)

给定12个公共点在源坐标系中的坐标分别为（-1,1）、（1.2,-3.0）、（-2.6,3.0）、（3.0,1.5）、（-4.8,-1.0）、（5.2,0.2）、（6.0,5.5）、（-7.2,2.2）、（7.8,-2.0）、（8.5,2.2）、（-9.5,-5.0）、（10.0,-0.8）,参数的真值为 $\tilde{x}$ =[10 4 -2 -10 1 3]^T,根据仿射变换模型计算出12个点在目标系中的真实坐标分别为（4,-8）、（20.8,-17.8）、（-6.4,-3.6）、（19.0,-2.5）、（-7.2,-17.8）、（30.4,-4.2）、（23.0,12.5）、（-23.2,-10.6）、（45.2,-8.2）、（39.6,5.1）、（-18.0,-34.5）、（51.6,-2.4）。对所有坐标值添加方差为 $D_{48} = σ_{0}^{2} I_{48} = I_{48}$ （ $I_{48}$ 为 $48 \times 48$ 的单位矩阵）的随机误差。首先,不考虑系数矩阵中源坐标重复2次而目标坐标重复1次的差异,取重复矩阵 $D = D_{1} = I_{48}$ 时,分别采用本文方法、PEIV模型^[10]和变量投影法^[14]进行求解,得到的参数估计结果如表1所示。

表 1 不同平差方法的SWTLS解（

D = D_{1}

）

Table 1. SWTLS Solutions with Different Adjustment Methods （

D = D_{1}

）

平差方法	${\hat{a}}_{0}$	${\hat{a}}_{1}$	${\hat{a}}_{2}$	${\hat{b}}_{0}$	${\hat{b}}_{1}$	${\hat{b}}_{2}$
PEIV模型^[10]	10.412 055	4.065 602	-2.136 739	-9.641 747	1.116 170	2.912 190
变量投影法^[14]	10.412 055	4.065 602	-2.136 739	-9.641 747	1.116 170	2.912 190
本文方法	10.412 055	4.065 602	-2.136 739	-9.641 747	1.116 170	2.912 190

下载: 导出CSV

| 显示表格

当取 $D = D_{2} = d i a g (4, \dots, 4,1, \dots, 1)$ （4和1的个数都为24）时,采用本文方法和STLN方法^[17]进行求解,得到的参数估计结果如表2所示。

表 2 不同平差方法的SWTLS解（

D = D_{2}

）

Table 2. SWTLS Solutions with Different Adjustment Methods （

D = D_{2}

）

平差方法	${\hat{a}}_{0}$	${\hat{a}}_{1}$	${\hat{a}}_{2}$	${\hat{b}}_{0}$	${\hat{b}}_{1}$	${\hat{b}}_{2}$
STLN方法^[17]	10.418 681	4.056 913	-2.101 082	-9.639 440	1.118 336	2.855 364
本文方法	10.418 681	4.056 913	-2.101 082	-9.639 440	1.118 336	2.855 364

下载: 导出CSV

| 显示表格

从表1可以看出,由于PEIV模型^[10]、变量投影法^[14]均未考虑源系统中坐标的重复次数,两者的平差准则等价于本文提出的通用模型中重复矩阵取单位矩阵时的准则（式（21））,尽管三者对结构误差的处理采用了不同的函数模型,但在相同的准则下都得到了完全一致的平差结果,说明本文提出的通用平差算法是可行有效的。由表2可以看出,STLN方法^[17]顾及了系数阵中随机观测值的重复次数,并且是将观测重复数的平方纳入平差模型,和本文通用模型在同样的平差准则下也得到了一致的平差结果,进一步证明了本文算法的可行性和有效性。

为了验证不同平差准则下SWTLS解的统计性质,模拟系数阵元素和右端项含有公共元素的SEIV模型,系数阵和右端项的真值及误差的结构分别为：

(\tilde{A} | \tilde{y}) = [\begin{matrix} \begin{array}{l} 3.62 \\ - 1.03 \\ 0.75 \\ 4.05 \\ 0.75 \\ - 4.59 \\ - 4.16 \\ 1.25 \\ 2.75 \\ 2.50 \\ - 38.88 \\ 1.55 \\ - 18.89 \\ - 4.50 \\ 5.45 \\ 5.28 \\ 8.25 \\ - 10.85 \\ 4.55 \\ - 16.70 \\ 1.55 \\ 3.20 \\ 3.17 \\ 7.95 \\ 6.00 \end{array} & \begin{array}{l} 1.25 \\ 2.50 \\ 0.20 \\ - 1.72 \\ - 3.21 \\ 0.85 \\ 0.21 \\ 0.55 \\ 0.48 \\ - 3.00 \\ 8.42 \\ 0.85 \\ 17.50 \\ 1.55 \\ - 6.18 \\ 2.19 \\ - 8.01 \\ 4.55 \\ - 2.21 \\ 0.12 \\ 0 \\ 1.32 \\ 0.28 \\ 4.85 \\ - 8.72 \end{array} & \begin{array}{l} 6.75 \\ - 5.36 \\ 2.50 \\ 2.90 \\ 6.75 \\ 1.42 \\ 1.98 \\ 5.50 \\ - 1.80 \\ 15.00 \\ 3.07 \\ 7.20 \\ - 7.93 \\ 2.50 \\ 15.00 \\ 4.06 \\ 17.50 \\ 0.45 \\ 6.25 \\ 24.35 \\ 3.20 \\ 2.49 \\ 0.65 \\ - 10.65 \\ 32.60 \end{array} \end{matrix} |\begin{array}{l} 23.37 \\ 0.75 \\ 6.75 \\ 1.25 \\ - 1.80 \\ 2.50 \\ 0.85 \\ 15.00 \\ 1.55 \\ 17.50 \\ 9.36 \\ 20.20 \\ 52.75 \\ 8.25 \\ 4.55 \\ 24.35 \\ 3.20 \\ 12.80 \\ 6.00 \\ 32.60 \\ 7.95 \\ 14.78 \\ 5.87 \\ 10.90 \\ 27.60 \end{array}]

(50)

(E_{A} | e_{y}) = [\begin{matrix} \begin{matrix} 0 & γ_{4} & γ_{3} \\ 0 & γ_{6} & 0 \\ γ_{2} & 0 & γ_{6} \\ 0 & 0 & 0 \\ γ_{2} & 0 & γ_{3} \\ 0 & γ_{7} & 0 \\ 0 & 0 & 0 \\ γ_{4} & 0 & 0 \\ 0 & 0 & γ_{5} \\ γ_{6} & 0 & γ_{8} \\ 0 & 0 & 0 \\ γ_{9} & γ_{7} & 0 \\ 0 & γ_{10} & 0 \\ 0 & γ_{9} & γ_{6} \\ 0 & 0 & γ_{8} \\ 0 & 0 & 0 \\ γ_{14} & 0 & γ_{10} \\ 0 & γ_{15} & 0 \\ γ_{15} & 0 & 0 \\ 0 & 0 & γ_{16} \\ γ_{9} & 0 & γ_{17} \\ γ_{17} & 0 & 0 \\ 0 & 0 & 0 \\ γ_{21} & 0 & 0 \\ γ_{19} & 0 & γ_{20} \end{matrix} & |\begin{matrix} γ_{1} \\ γ_{2} \\ γ_{3} \\ γ_{4} \\ γ_{5} \\ γ_{6} \\ γ_{7} \\ γ_{8} \\ γ_{9} \\ γ_{10} \\ γ_{11} \\ γ_{12} \\ γ_{13} \\ γ_{14} \\ γ_{15} \\ γ_{16} \\ γ_{17} \\ γ_{18} \\ γ_{19} \\ γ_{20} \\ γ_{21} \\ γ_{22} \\ γ_{23} \\ γ_{24} \\ γ_{25} \end{matrix} \end{matrix}]

(51)

待估参数的真值为 $\tilde{x} = {[\begin{matrix} 1 & 5 & 2 \end{matrix}]}^{T}$ ,独立误差向量 $γ = [γ_{1} γ_{2} \dots γ_{25}]^{T}$ 是零均值独立同分布的随机变量,其方差为 $D_{γ} = σ_{0}^{2} I_{25}$ ,其中 $I_{25}$ 表示25×25阶单位矩阵, $γ_{i}$ （ $i = 1,2, \dots, 25$ ）的重复次数 $d_{i} 可以$ 由 $(E_{A} | e_{y})$ 的结构获得。分别采用3种平差准则计算参数的估值,准则式（21）中对应的 $D$ 矩阵分别取 $D_{1} = I_{25}$ , $D_{2} = d i a g (d_{1}, d_{2}, \dots, d_{25}) = d i a g (1,3, 1,3, \dots, 1,3, 1)$ ,D₃=diag（ $d_{1}^{2}$ , $d_{2}^{2}$ , $\dots$ , $d_{25}^{2}$ ）=diag（1,9,1,9, $\dots$ ,1,9,1）。根据式（44）和式（48）计算单位权方差和参数估值的方差。由于参数真值已知,可以计算均方误差 $M S E (\hat{x}) = {(\hat{x} - \tilde{x})}^{T} (\hat{x} - \tilde{x})$ ,以此来检核3种平差准则下估值的精度,并与近似方差对照。分别取误差水平 $σ_{0}^{2} = 0.25$ 和 $σ_{0}^{2} = 1$ 进行计算。为了体现结果的统计性,将不同误差水平的实验各进行10 000次,将每次运算的结果取平均值,结果分别见表3和表4。

表 3 不同平差准则下的SWTLS结果（

σ_{0}^{2} = 0.25

）

Table 3. SWTLS Results Under Different Adjustment Principles （

σ_{0}^{2} = 0.25

）

统计项	统计量	$D = D_{1}$	$D = D_{2}$	$D = D_{3}$
估计参数值	${\hat{x}}_{1}$	0.999 998	1.000 281	0.999 975
	${\hat{x}}_{2}$	5.002 389	5.007 359	5.009 953
	${\hat{x}}_{3}$	1.999 596	1.999 320	1.998 190
单位权方差	${\hat{σ}}_{0}^{2}$	0.239 737	0.537 349	1.463 591
参数方差估值	${\hat{σ}}_{x_{1}}^{2}$	9.43×10^-6	1.72×10^-5	5.76×10^-5
	${\hat{σ}}_{x_{2}}^{2}$	5.23×10^-4	9.14×10^-4	3.19×10^-3
	${\hat{σ}}_{x_{3}}^{2}$	8.28×10^-6	1.60×10^-5	5.05×10^-5
	${\hat{σ}}_{Σ}^{2}$	5.40×10^-4	9.47×10^-4	3.30×10^-3
MSE	${\hat{m}}_{x_{1}}^{2}$	9.76×10^-6	1.10×10^-5	1.63×10^-5
	${\hat{m}}_{x_{2}}^{2}$	5.44×10^-4	6.21×10^-4	9.40×10^-4
	${\hat{m}}_{x_{3}}^{2}$	8.50×10^-6	9.39×10^-6	1.42×10^-5
	${\hat{m}}_{Σ}^{2}$	5.63×10^-4	6.41×10^-4	9.71×10^-4

下载: 导出CSV

| 显示表格

表 4 不同平差准则下的SWTLS结果（

σ_{0}^{2} = 1

）

Table 4. SWTLS Results Under Different Adjustment Principles （

σ_{0}^{2} = 1

）

统计项	统计量	$D = D_{1}$	$D = D_{2}$	$D = D_{3}$
估计参数值	${\hat{x}}_{1}$	1.000 220	1.003 770	1.007 659
	${\hat{x}}_{2}$	4.997 838	5.022 963	5.049 989
	${\hat{x}}_{3}$	2.000 725	2.004 000	2.007 714
单位权方差	${\hat{σ}}_{0}^{2}$	0.960 341	2.146 473	5.839 121
参数方差估值	${\hat{σ}}_{x_{1}}^{2}$	3.78×10^-5	6.87×10^-5	2.30×10^-4
	${\hat{σ}}_{x_{2}}^{2}$	2.09×10^-3	3.65×10^-3	1.27×10^-2
	${\hat{σ}}_{x_{3}}^{2}$	3.32×10^-5	6.41×10^-5	2.02×10^-4
	${\hat{σ}}_{Σ}^{2}$	2.17×10^-3	3.78×10^-3	1.32×10^-2
MSE	${\hat{m}}_{x_{1}}^{2}$	4.02×10^-5	4.50×10^-5	6.67×10^-5
	${\hat{m}}_{x_{2}}^{2}$	2.21×10^-3	2.53×10^-3	3.85×10^-3
	${\hat{m}}_{x_{3}}^{2}$	3.53×10^-5	3.88×10^-5	5.82×10^-5
	${\hat{m}}_{Σ}^{2}$	2.29×10^-3	2.62×10^-3	3.97×10^-3

下载: 导出CSV

| 显示表格

从表3可以看出,不考虑重复次数的平差准则（采用 $D_{1}$ ）获得的参数估值更接近于真值。参数各分量的MSE最小,从数值上验证了不考虑系数阵误差重复系数的平差准则是最优的。单位权方差的估值略小于真值,是由于式（43）没有考虑非线性模型线性化引入的偏差项。同理,各参数分量的方差均小于对应的MSE,原因是SEIV模型的非线性特性会引入估计偏差,方差加上偏差的平方和等于MSE。但是,对比方差和MSE的差异可知,参数3个分量的方差估值和MSE之间的差异（ $|({\hat{σ}}_{x_{i}}^{2} - {\hat{m}}_{x_{i}}^{2}) / {\hat{m}}_{x_{i}}^{2}|$ ）分别为3.38%、3.86%和2.59%,说明当误差较小时,参数方差估值和MSE的差异很小,可以作为精度评定的指标。因此,本文不再采用非线性最小二乘偏差修正或Monte Carlo模拟的思想求解偏差值^[10,24]。

从上述理论分析可知,将SEIV模型线性化后,其平差准则不应顾及误差重复次数。式（44）和式（48）只适用于 $D$ 为单位阵的情形。从后面两列可以看出,当平差准则中计入误差重复的次数时,单位权方差估值与真值以及参数分量的方差估值与MSE均有较大的差异。当 $D = D_{3}$ 时,单位权方差估值约为真值的6倍,方差估值约为对应MSE的3.5倍,这是由于单位权方差公式中重复计算残差平方和所致,由此进一步证明不能采用这两种平差准则用线性近似方法求单位权中误差及方差。

由表4可知,增大观测误差的方差,能够得到与表3一致的结论,进一步验证了最优平差准则应该选择重复矩阵 $D$ 为单位阵。由式（48）给出的方差估值与MSE在3个分量上的偏差分别为5.97%、5.43%、5.95%,进一步证明了本文的近似精度评定方法在误差较小的情况下是可行有效的。

6 结语

结构EIV模型系数矩阵中的随机元素重复出现的次数是否应计入平差准则以及如何计入平差准则,目前尚未形成定论。本文从模型分析和数值验证两方面入手,证明重复次数不应计入平差准则。主要贡献如下：

1）总结了已有的3种处理SEIV模型的平差准则,指出不同的平差准则会得到不同的平差结果。提出了一种通用的SWTLS平差模型,通过选取不同的综合权矩阵 $P_{s γ}$ 得到的目标函数等价于上述3种不同准则下的目标函数。采用Lagrange乘子法推导了通用模型的解并给出了计算步骤。

2）迭代方法无法给出参数的统计性质,本文将通用模型线性化得到GH模型,从理论上分析了误差重复次数不应计入平差准则的原因。推导了GH模型的算法,证明其与通用模型得到的结果是一致的。根据误差传播律得到了参数的近似方差估值。

3）通过实例验证了本文提出的算法与已有方法结果一致,证明了本文方法可行有效。通过模拟计算证明了不考虑误差重复次数的平差准则得到的解在MSE意义下最优,且参数的近似方差是MSE的良好近似,可以作为精度评定的指标。

图 1 稀疏连接原理图

Figure 1. Schematic Diagram for Sparse Connection

下载: 全尺寸图片幻灯片

图 2 权值共享原理图

Figure 2. Schematic Diagram for Shared Weights

下载: 全尺寸图片幻灯片

图 3 5部地图集中注记示例

Figure 3. Examples of Annotation Dataset in Five Atlas

下载: 全尺寸图片幻灯片

图 4 卷积神经网络模型结构示意图

Figure 4. Schematic Diagram of Convolutional Neural Network Model

下载: 全尺寸图片幻灯片

图 5 混合训练准确率和学习率变化曲线

Figure 5. Accuracy Rate Curve and Learning Rate Curve of Mixed Training

下载: 全尺寸图片幻灯片

图 6 混合训练交叉熵和损失函数值变化趋势

Figure 6. Cross Entropy Curve and Loss Function Curve of Mixed Training

下载: 全尺寸图片幻灯片

图 7 第1层卷积层偏置项和权重的分布图

Figure 7. Distribution Maps of the Bias Term and Weight in the First Convolutional Layer

下载: 全尺寸图片幻灯片

图 8 第1层卷积层偏置项和权重的均值和方差变化曲线

Figure 8. Change Curves of the Mean Value and Variance of the Bias Term and Weight in the First Convolutional Layer

下载: 全尺寸图片幻灯片

图 9 第3层卷积层偏置项和权重的分布图

Figure 9. Distribution Maps of the Bias Term and Weight in the Third Convolutional Layer

下载: 全尺寸图片幻灯片

图 10 第3层卷积层偏置项和权重的均值和方差变化曲线

Figure 10. Change Curves of the Mean Value and Variance of the Bias Term and Weight in the Third Convolutional Layer

下载: 全尺寸图片幻灯片

图 11 分开训练准确率和学习率变化曲线

Figure 11. Accuracy Rate Curve and Learning Rate Curve of Separate Training

下载: 全尺寸图片幻灯片

图 12 分开训练交叉熵和损失函数值变化趋势

Figure 12. Cross Entropy Curve and Loss Function Curve of Separate Training

下载: 全尺寸图片幻灯片

表 1 注记图像样本分类及数量

Table 1 Classifications and Amounts of Annotation Image Samples

注记类别	图像数量	训练集数量	测试集数量	验证集数量
山峰注记	503	396	63	44
地名注记	570	450	70	50
区域注记	570	450	70	50
水系注记	570	450	70	50

下载: 导出CSV

参考文献(24)

[1]	何宗宜, 宋鹰, 李连营.地图学[M].武汉:武汉大学出版社, 2016 He Zongyi, Song Ying, Li Lianying. Cartography[M]. Wuhan:Wuhan University Press, 2016
[2]	Gevers T, Smeulders A. Color-Based Object Recognition[J]. Pattern Recognition, 1999, 32(3):453-464 doi: 10.1016/S0031-3203(98)00036-3
[3]	Haralick R M, Shanmugam K, Dinstein I. Textural Features for Image Classification[J]. Studies in Media and Communication, 1973, SMC-3(6):610-621 http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_16d3aac51c12c1b20a2512bd82d7cd5e
[4]	Rautkorpi R, Iivarinen J. A Novel Shape Feature for Image Classification and Retrieval[C]. International Conference on Image Analysis and Recognition, Porto, Portugal, 2004
[5]	Luo Y, Yan H, Cheng X. The Summary on Description of Spatial Relation in Image[C]. 2010 International Conference on Computational Intelligence and Software Engineering, Wuhan, China, 2010
[6]	Chamasemani F F, Singh Y P. Multi-class Support Vector Machine (SVM) Classifiers-An Application in Hypothyroid Detection and Classification[C]. The 6th International Conference on Bio-Inspired Computing: Theories and Applications, Penang, Malaysia, 2011
[7]	曹洪弟, 洪友堂, 张伟, 等.基于ENVI的遥感图像决策树分类[J].北京测绘, 2017, 31(2):67-71 http://d.old.wanfangdata.com.cn/Periodical/bjch201702016 Cao Hongdi, Hong Youtang, Zhang Wei, et al. Decision Tree Classification of Remote Sensing Images Based on ENVI[J]. Beijing Surveying and Mapping, 2017, 31(2):67-71 http://d.old.wanfangdata.com.cn/Periodical/bjch201702016
[8]	Sun B, Du J, Gao T. Study on the Improvement of k-Nearest-Neighbor Algorithm[C]. 2009 International Conference on Artificial Intelligence and Computational Intelligence, Shanghai, China, 2009
[9]	王双成, 杜瑞杰, 刘颖.连续属性完全贝叶斯分类器的学习与优化[J].计算机学报, 2012, 35(10):2129-2138 http://d.old.wanfangdata.com.cn/Periodical/jsjxb201210013 Wang Shuangcheng, Du Ruijie, Liu Ying. The Learning and Optimization of Full Bayes Classifiers with Continuous Attributes[J]. Chinese Journal of Computers, 2012, 35(10):2129-2138 http://d.old.wanfangdata.com.cn/Periodical/jsjxb201210013
[10]	Ravindran N, Sheryl O A, Samraj A, et al. Stable and Crit Gesticulation Recognition in Children and Pregnant Women by Naïve Bayes Classification[J]. ICTACT Journal on Communication Technology, 2014, 5(4):259-264
[11]	段萌.基于卷积神经网络的图像识别方法研究[D].郑州: 郑州大学, 2017 Duan Meng. The Research on the Mothed of Image Recognition Based on Convolutional Neural Networks[D]. Zhengzhou: Zhengzhou University, 2017
[12]	刘少创, 林宗坚.基于神经网络的地图数字注记识别[J].武汉大学学报·信息科学版, 1994, 19(3):194-198 http://ch.whu.edu.cn/CN/abstract/abstract3968.shtml Liu Shaochuang, Lin Zongjian. Digits of Map Lettering Recognition Using Back-Propagation Learning[J]. Geomatics and Information Science of Wuhan University, 1994, 19(3):194-198 http://ch.whu.edu.cn/CN/abstract/abstract3968.shtml
[13]	杨云, 张子敬.地图数字注记识别的神经网络方法[J].测绘科学技术学报, 1997, 14(1):47-51 Yang Yun, Zhang Zijing. Recognition of Numeric Text in Topographic Maps by Neural Network Method[J]. Journal of Geomatics Science and Technology, 1997, 14(1):47-51
[14]	谢士杰.模糊联想记忆神经网络及其在地图数字注记识别中的应用[J].测绘科学, 1995, 20(2):20-23 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chkx199502008 Xie Shijie. Fuzzy Associative Memory Neural Network and Its Application in Map Numeral Annotation Recognition[J]. Science of Surveying and Mapping, 1995, 20(2):20-23 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chkx199502008
[15]	王金鹏, 孙怡, 陈强.基于正交傅里叶-梅林矩特征的HONN结构方法识别地图数字注记[J].中国图象图形学报, 2003, 8(z1):693-696 doi: 10.3969/j.issn.1006-8961.2003.z1.158 Wang Jinpeng, Sun Yi, Chen Qiang. Recognition of Digital Annotation with Invariant HONN Based on Orthogonal Fourier-Mellin Moments[J]. Journal of Image and Graphics, 2003, 8(z1):693-696 doi: 10.3969/j.issn.1006-8961.2003.z1.158
[16]	黎达, 李胜辉, 林大贵, 等.面向小间距地图注记的智能识别研究[J].测绘与空间地理信息, 2016, 39(2):108-111 doi: 10.3969/j.issn.1672-5867.2016.02.033 Li Da, Li Shenghui, Lin Dagui, et al. Research on Intelligent Recognition for Map Annotations with Short Gap[J]. Geomatics & Spatial Information Technology, 2016, 39(2):108-111 doi: 10.3969/j.issn.1672-5867.2016.02.033
[17]	沈意浪, 艾廷华, 赵荣.一种彩色栅格地图注记识别方法[J].武汉大学学报·信息科学版, 2018, 43(1):145-151 http://ch.whu.edu.cn/CN/abstract/abstract5960.shtml Shen Yilang, Ai Tinghua, Zhao Rong. A Method for Color Raster Map Annotation Recognition[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1):145-151 http://ch.whu.edu.cn/CN/abstract/abstract5960.shtml
[18]	Wojna Z, Gorban A N, Lee D S, et al. Attention-Based Extraction of Structured Information from Street View Imagery[C]. The 14th IAPR International Conference on Document Analysis and Recognition, Kyoto, Japan, 2017
[19]	Fukushima K, Miyake S, Ito T. Neocognitron:A Neural Network Model for a Mechanism of Visual Pattern Recognition[J]. IEEE Transactions on Systems, Man and Cybernetics, 1983, SMC-13(5):826-834 doi: 10.1109/TSMC.1983.6313076
[20]	Sun Y, Wang X, Tang X. Deep Learning Face Representation from Predicting 10000 Classes[C]. IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014
[21]	温佩芝, 姚航, 沈嘉炜.基于卷积神经网络的石刻书法字识别方法[J].计算机工程与设计, 2018, 39(3):867-872 http://d.old.wanfangdata.com.cn/Periodical/jsjgcysj201803047 Wen Peizhi, Yao Hang, Shen Jiawei. Recognition Method of Stone Inscription Font Based on Convolution Neural Network[J]. Computer Engineering and Design, 2018, 39(3):867-872 http://d.old.wanfangdata.com.cn/Periodical/jsjgcysj201803047
[22]	葛芸, 江顺亮, 叶发茂, 等.基于ImageNet预训练卷积神经网络的遥感图像检索[J].武汉大学学报·信息科学版, 2018, 43(1):67-73 http://ch.whu.edu.cn/CN/abstract/abstract5948.shtml Ge Yun, Jiang Shunliang, Ye Famao, et al. Remote Sensing Image Retrieval Using Pre-trained Convolutional Neural Networks Based on ImageNet[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1):67-73 http://ch.whu.edu.cn/CN/abstract/abstract5948.shtml
[23]	Karpathy A. CS231n Convolutional Neural Networks for Visual Recognition[EB/OL]. http://cs231n.github.io/neural-networks-2/, 2018
[24]	Deng L, Yu D. Deep Learning:Methods and Applications[J]. Foundations & Trends in Signal Processing, 2014, 7(3):197-387 http://d.old.wanfangdata.com.cn/Periodical/bjgydxxb201501009

施引文献

资源附件(0)

图(12) / 表(1)

计量

文章访问数: 1305
HTML全文浏览量: 201
PDF下载量: 112
被引次数: 0

1 STLS平差模型及平差准则
2 STLS模型的通用表达式及算法推导
3 STLS模型平差准则的优化选取
4 STLS模型参数估值的近似方差
5 数值实验
6 结语

面向机器阅读的地图名称注记类别识别方法

作者简介: 任福, 博士, 教授, 主要从事新媒体地图学和智能制图研究。renfu@whu.edu.cn

通讯作者: 侯宛玥, 硕士生。houwanyue@whu.edu.cn

计量

出版历程

Identification Method of Map Name Annotation Category for Machine Reading

Author Bio: REN Fu, PhD, professor, specializes in new media cartography and intelligent mapping. renfu@whu.edu.cn

Corresponding author: HOU Wanyue, postgraduate. houwanyue@whu.edu.cn

1 STLS平差模型及平差准则

2 STLS模型的通用表达式及算法推导

3 STLS模型平差准则的优化选取

4 STLS模型参数估值的近似方差

5 数值实验

6 结语

计量

出版历程

目录

1 STLS平差模型及平差准则

2 STLS模型的通用表达式及算法推导

3 STLS模型平差准则的优化选取

4 STLS模型参数估值的近似方差

5 数值实验

6 结语

作者简介:
任福, 博士, 教授, 主要从事新媒体地图学和智能制图研究。renfu@whu.edu.cn

通讯作者:
侯宛玥, 硕士生。houwanyue@whu.edu.cn

Author Bio:
REN Fu, PhD, professor, specializes in new media cartography and intelligent mapping. renfu@whu.edu.cn

Corresponding author:
HOU Wanyue, postgraduate. houwanyue@whu.edu.cn