-
智能手机作为一种非量测设备，成像质量不断提高，现正在成为摄影测量获取影像数据的一种重要手段。然而与传统量测相机相比，智能手机相机的主距及像主点等成像参数难以精确获取且镜头光学畸变差较大，这些因素会直接影响摄影中心、物方点和像点之间的共线关系[1]。因此，选取合适的方法对智能手机的相机参数进行检校显得十分重要。
目前相机检校方法主要包括两大类：基于计算机视觉的方法和数字摄影测量方法。计算机视觉方法主要包括张正友的方法及其改进方法[2]，其核心思想是通过规则排列的特征目标进行检校；数字摄影测量方法主要包括直接线性变换[3]、空间后方交会[4]和自检校光束法平差[5-6]。直接线性变换是一种直接建立像点坐标与物点坐标间线性关系的算法，处理时不需要内外方位元素初始值，检校速度快，但是需要提供高精度的控制信息; 空间后方交会检校基于共线条件方程式，以像点坐标为观测值，在解求像片内方位元素和某些附加参数的同时解求像片外方位元素，有单片后方交会与多片后方交会之分，一般先采用直接线性变换(direct linear transformation, DLT)方法获取初始值，同样依赖于控制信息; 自检校光束法平差选用若干附加参数组成系统误差模型，将这些附加参数作为未知数或带权观测值，与区域网的其他未知参数一起解求，从而在平差过程中自行检定和消除系统误差的影响，理论最为严密、精度最高，但是在实际应用中通常将控制点坐标处理成带权观测值。
文献[7]最早将智能手机应用到数字近景摄影测量中，利用三维木桩检校板对Nokia3650和Nokia7650两款手机进行检校，并与数码相机进行实验对比。受限于当时智能手机相机较低的分辨率，相对精度只达到了1/400。文献[8]首次利用室内三维检校场对Sony Ericsson K750i和Nokia N93两款手机进行了严格的相机检校和稳定性验证，相对精度达到了1/8 000~1/3 400。文献[9-10]选取了16款智能手机和50款数码相机进行检校实验，从分辨率、焦距、镜头类型、像片大小等多个方面进行比较分析。但是其采用的检校模板为平面黑白圆点，缺少高差，不符合摄影测量真正的应用场合。文献[11]首次将智能手机搭载于无人机摄影测量系统中，在采集数据前利用布满高识别度标志点、5.0 m×3.8 m的检校场进行检校。文献[12]采用DLT的方法，对Samsung Note Ⅲ、Samsung S5和Sony Xperia Z2等新一代触屏手机进行了检校。该方法仍然依赖于三维检校支架的控制点信息。文献[13]从外置鱼眼镜头的角度，对智能手机的检校做了有益的探讨。
以上文献对于智能手机的检校多采用光束法平差或DLT方法，依赖于特定的检校场合与检校模板。本文在分析和研究智能手机成像特征的基础上，提出了一种无需控制信息的相机自检校方法，详细阐述了自由网模型的建立过程，采用附加参数光束法自由网平差模型，通过真实数据验证了该方法的可行性。
HTML
-
根据高斯成像规律有：
式中，焦距F表示镜头的透镜中心到焦平面的距离；物距u表示物体到镜头的透镜中心的距离；像距v表示镜头的透镜中心到像平面的距离，摄影测量中像距v在数值上与主距f相等。成像规律如图 1所示。
Figure 1. Imaging Laws
在智能手机中焦距一般是一个固定的值，约4 mm。如果焦距不固定，就意味着镜头中镜组的前后移动会占用更多空间，这对于讲究纤薄轻巧的智能手机来说是无法承受的。在智能手机成像过程中，拍摄距离也就是物距u变化时，由于焦距F固定，像距v也就是主距f会相应地发生变化。由式(1)推导可得：
其中，f/u等于摄影比例尺1/m，则有：
当拍摄距离超过4 m的时候，摄影比例尺约为1/1 000，主距f与焦距F非常接近。对于拍摄的多张影像来说，只要拍摄距离大体相等，那么其成像清晰度也是接近的。相对于其中一张基准影像来说，即使其他影像出现轻微的物距波动，对于主距的影响也是微乎其微的。因此，在保证每次拍摄物距大体相等的情况下，使用智能手机在完成某个测量任务的同时对其相机进行检校，既可以把物距因素对主距的影响降到最低，又能保证检校参数的实时性与可靠性，进而满足后续摄影测量工作的精度要求。智能手机自检校方法的技术流程如图 2所示。
Figure 2. Technique Process
-
按图 3所示的3×3模式，使用智能手机采集影像数据。在该模式中，选取image0影像作为基准影像，其他影像与基准影像都有足够高的重叠度，这样其他影像与基准影像就可以分别构成单元模型。单元模型之间保证足够高的重叠度(大于60%)，便于后续的模型连接。自由网模型的建立主要包括两部分：一是单元模型的相对定向，二是相对定向完成后单元模型的连接。
Figure 3. Image Acquisition Mode
-
相对定向的目的是恢复摄影时相邻两影像摄影光束的相互关系，从而使同名光线对对相交[4]，建立单元立体模型。单元模型的相对定向以选定的基准影像(即图 3中的image0影像)的像空间坐标系为基准，相对定向元素包括BX、BY、BZ、φ、ω、κ。
摄影光线与基线的共面条件方程式为：
将式(4)按照多元函数泰勒级数展开成一次项线性式为：
式中，F0是F的近似初始值。根据(5)式列出误差方程式得：
其中，VF是F的改正数。利用6对以上同名像点，列出误差方程式，其矩阵形式为：
根据最小二乘原理，相应的法方程为：
可求出未知数的解为：
这样就确定了立体像对的相对位置关系，得到image1~image8相对于基准影像image0的方位元素。
-
单元模型相对定向后，模型比例尺不一致，须利用模型连接对单元模型比例尺进行归一化，将各单元模型拼接成自由网。首先选择若干个在所有单元模型中均有成像的公共点，对各单元模型分别进行前方交会，计算公共点的坐标; 然后选取基准模型(即图 3中的模型image0-image3)，根据公共点的距离信息，确定其他单元模型(即图 3中的模型image0-image1、image0-image2、image0-image4、image0-image5、image0-image6、image0-image7、image0-image8)相对于基准模型的比例系数，进而实现坐标基准的统一。
如图 4所示，点M在image0、image3和ima-ge6三张影像中都有成像，单元模型image0-image6与基准模型image0-image3在比例尺一致的情况下，射线S0M、S3M、S6M必然交会到地面上同一点M。
Figure 4. Datum Model
首先通过前方交会计算各单元模型公共点的坐标。利用立体像对左右两影像的内、外方位元素和同名点的影像坐标量测值，来确定公共点的物方点坐标。这里采用前方交会的严格解法由共线方程整理得到：
其中，l1、l2、l3、l4、l5、l6为合并同类项后相应的系数。一对同名点可以列出4个上述的线性方程式，以最小二乘法求得X、Y、Z。这样就确立了公共点在各单元模型局部坐标系下的物方坐标。
接下来根据公共连接点的距离信息来计算模型比例系数。假设有s个单元模型，其中第1个模型为基准模型。选取t个在所有单元模型都有成像的公共连接点，以其中一个为基准点，在各个单元模型内部计算其他公共连接点到基准点的距离之和，这样就得到了s个距离信息。令第i(i=1，2…s)个模型中的距离信息为di，则各单元模型的比例系数计算式为：
单元模型中非基准影像摄站点坐标为：
摄站点坐标统一以后，在自由网模型内部再次进行整体的前方交会，以确定模型连接后物方点的坐标。这样就得到了一个统一的坐标基准下物方点、摄站点的位置信息，以此作为光束法的初始值。
2.1. 单元模型的相对定向
2.2. 模型连接
-
传统的光束法平差通常至少需要2个平高控制点及1个高程控制点确定平差的基准，即确定平差基准至少需要7个参数。本文自由网平差的基本思想是:以选择的基准影像的像空间坐标系为参考，相当于参考影像的3个摄站坐标和3个外方位角元素是已知的，再给定参考影像的一个基线分量BX，此时这7个参数可唯一确定该平差的基准。自由网平差解算的未知数实际是影像image1~image8分别相对于影像image0的方位元素，若考虑附加参数模型后，进一步可解算内方位元素、相机畸变等参数。
-
由于加工工艺和制作水平的影响，相机镜头在实际成像过程中并不能保持理想的线性关系，总是存在着一定的非线性畸变，使得像点偏离理想位置。相机检校的目的是获取相机的检校参数，对畸变影像进行纠正，建立起像点与物方点之间正确的对应关系。常见的相机畸变模型有Schut一般多项式、Ebner正交多项式、Brown21参数模型和8参数模型[14]。本文采用其中的8参数模型。它是一种刻画光学系统非线性畸变且适应性比较好的模型，主要包括两部分：内方位元素(像主点相对于影像中心的位置x0、y0及主距f)和镜头光学畸变差(径向畸变、切向畸变)。据此，附加参数模型[15]构建如下：
式中，Δx和Δy为像点坐标系统误差改正数；x=x-x0, y=y-y0；r为像点坐标到像主点的距离；K1、K2、K3为径向畸变系数；P1、P2为切向畸变系数。
-
自检校光束法自由网平差选用若干附加参数组成系统误差模型，将这些附加参数作为未知数，与自由网的其他未知参数一起解求，从而在平差过程中自行检定和消除系统误差的影响。基本共线方程式为：
式中，x、y为像点的像平面坐标；x0、y0、f为影像的内方位元素；Δx、Δy采用式(13)附加参数模型求得；XA、YA、ZA为物方点的物方空间坐标；XS、YS、ZS为摄站点的物方空间坐标；ai、bi、ci(i=1，2，3)为影像的3个外方位角元素组成的9个方向余弦。将像点坐标视为观测值，物方点坐标、像片外方位元素和检校参数视为未知数，附加参数光束法自由网平差的误差方程式为：
在光束法自由网平差过程中，通常将像片外方位元素作虚拟观测处理。若第i个物方点在第j张像片上成像，则基本误差方程式用矩阵形式可表示为：
式中，Xi为物方点坐标的改正数向量；Aij为相应的系数矩阵；Yj为像片外方位元素的改正数向量；Bij为相应的系数矩阵；Z为附加参数向量；Cij为相应的系数矩阵；Vij为改正数向量；Lij为观测值向量；Pij为权矩阵; ${{\mathit{\boldsymbol{\hat V}}}_j}$为外方位元素虚拟观测值改正数；${{\mathit{\boldsymbol{\hat L}}}_j}$为外方位元素虚拟观测值向量；${{\mathit{\boldsymbol{\hat P}}}_j}$为外方位元素虚拟观测值的权矩阵。
设对n个物方点拍摄m张像片，每个物方点在所有像片上均成像，则由式(17)和式(18)联立构成平差模型，相应的法方程系数矩阵的阶为3n+6m+8，如式(19)所示：
式中，
根据式(17)、式(18)和式(19)进行光束法自由网平差解算。迭代过程中，当相对方位元素未知数改正数小于规定的阈值时，迭代过程终止。
3.1. 附加参数模型
3.2. 自检校光束法自由网平差模型
-
首先使用智能手机iPhone6s在室内三维检校场采集影像数据，然后依据本文提出的方法进行相机检校实验，并利用三维检校场大量控制点加以验证。
相机传感器参数见表 1。
相机参数类型 参数大小 传感器尺寸/mm 5.009×3.756 分辨率/像素 4 032×3 024 像素大小/μm 1.2 焦距/mm 4.150 Table 1. Camera Sensor Parameters
-
在室内三维检校场从左、中、右3个方向的摄站采集数据，拍摄物距约为4 m，摄站间距约为3 m，拍摄位置如图 5所示。在每个摄站使用相机从水平方向开始拍摄上、中、下3张影像，共得到9张影像(即图 3中的image0~image8)。在各摄站上、中、下3张影像中，以中间水平位置的影像为例，如图 6所示。选取若干均匀分布的公共标志点，要求在各影像中均有成像。标志点的像点坐标采用半自动的方法提取，相应的物方坐标由电子经纬仪精密测得。将标志点的像点坐标作为观测值，选择基准影像构建自由网模型，然后利用上述的平差模型进行检校计算。为了进一步比较分析，对于相同的影像数据，采用传统的有控制信息的方法进行检校。本文方法和传统方法检校结果见表 2。从表 2可知，本文无需控制信息的检校结果与传统方法的检校结果是一致的。
Figure 5. Camera Station
Figure 6. Images for Calibration
检校参数 本文方法(无需控制信息) 传统方法(利用控制信息) 结果 中误差 结果 中误差 x0/mm -1.547×10-2 2.369×10-3 -1.425×10-2 2.696×10-3 y0/mm -2.786×10-4 2.011×10-3 -2.966×10-4 2.196×10-3 f/mm 4.282 1.881×10-3 4.281 2.041×10-3 K1 -4.347×10-3 6.222×10-5 -4.306×10-3 6.388×10-5 K2 3.343×10-4 1.584×10-5 3.226×10-4 1.649×10-5 K3 2.867×10-6 1.281×10-6 3.504×10-6 1.349×10-6 P1 -4.156×10-5 4.466×10-5 -1.001×10-4 5.122×10-5 P2 1.014×10-4 1.484×10-5 9.075×10-5 1.736×10-5 Table 2. Calibration Results
根据附加参数模型和检校结果，绘制影像在x方向和y方向的畸变分布情况，如图 7所示，其中x、y轴为影像像素的位置，z轴为畸变值大小。为了便于对比分析，令畸变值取绝对值，绘制x方向和y方向的影像畸变分布如图 8所示。由图 7和图 8分析可知，影像畸变是中心对称的，其值在中心处最小，随着向径的增大而增大。因为采用的相机传感器为长方形，所以相机4角处向径最大，畸变达到了最大值。图 7和图 8中，影像畸变综合了径向畸变和切向畸变。为了反映这两种畸变在影像畸变中的作用，分别绘制径向畸变、切向畸变大小随向径的变化曲线图，如图 9所示。从图 9中看出，随着向径的增大，在x方向和y方向，径向畸变的作用越来越大，切向畸变的值远小于径向畸变。
Figure 7. Image Distortion
Figure 8. Image Distortion(Using Absolute Value)
Figure 9. Distortion Curves
自由网平差结束后，利用Matlab软件绘制影像的像点坐标残差(单位：mm)分布图，如图 10所示，图 10中9张影像的位置与图 3中示例一致，横坐标和纵坐标分别对应影像平面的x轴和y轴，残差大小已放大200倍。经统计，本次检校实验的像点平均残差为0.25个像素。从图 10中可以看出，各影像的像点坐标残差的分布是随机的，表明经过平差以后，系统误差已消除。
Figure 10. Image Coordinates Residual Plots(Residual Magnifies 200 Times)
-
为了验证本文检校方法的可行性与精度，利用室内检校场标志点的坐标真值进行验证实验。在室内检校场均匀选取4个标志点作为控制点，其余133个标志点作为检查点。分别利用检校前的相机参数和检校后的相机参数，通过计算检查点的计算坐标与原始坐标的差值，来评价相机检校的质量。
具体方法采用两步完成。首先利用控制点分别进行空间后方交会，解算9张影像的外方位元素；然后利用9张影像进行多片前方交会，计算检查点的物方坐标。利用表 2中检校结果，分别计算检校前后检查点坐标残差中误差，如表 3所示；检校前后检查点坐标残差分布如图 11所示。
Figure 11. Coordinate Residual Plots of Check Points
x方向中误差 y方向中误差 z方向中误差 检校前 47.463 35.024 18.898 检校后(本文方法) 1.740 1.313 1.333 检校后(传统方法) 1.790 1.437 1.479 Table 3. Root Mean Square Errors of Coordinate Residuals for Check Points/mm
由表 3和图 11可知，本文无需控制信息的检校方法与传统利用控制信息的检校方法的定位精度是一致的。检校前，检查点的坐标残差在x方向和y方向表现出了较大的系统性，表明相机在检校之前定位精度较低；利用两种检校方法进行检校之后，检查点的坐标残差均在±2 mm以内，消除了系统误差，定位精度明显提高。实验表明, 本文无控制信息的检校方法是有效的。
4.1. 相机检校实验
4.2. 精度验证实验
-
本文在分析智能手机成像特征的基础上，提出了一种无需控制信息的智能手机自检校方法。首先按3×3模式采集影像数据，选择基准影像，构建特定的自由网模型，然后进行光束法自由网平差，计算相机检校参数。在此基础上，利用本文提出的无控制信息的检校方法和传统的有控制信息的检校方法进行实验分析验证。实验结果表明，本文提出的无需控制信息的相机检校方法是有效的，能够显著地提高定位精度，从而验证了本文检校方法的正确性。
DownLoad:
