-
立体影像对的相对定向既是检查影像量测质量的重要手段，又是目标三维重建的必要前提，是摄影测量和计算机视觉中最基本的问题之一[1, 2]。长期以来，由于传统航空摄影测量要求像片间的旋偏角为小角度(一般小于6°)，立体像对的相对定向总是建立在相对定向元素初始值为0，改正数为微小值的模型之上[1]。
随着数字摄影测量技术的发展，影像获取方式日益多样化，低空遥感平台如无人机[3]、轻型飞机[4]、飞艇[5]等已被广泛使用。由于低空摄影平台质量小、航高低、受气流影响大，航线保持和姿态控制较为困难，所获取的影像姿态角大，立体影像间存在很大的旋偏角，无法获取较为准确的相对方位元素初值，导致传统相对定位方法常常失败[6]，主要原因即无法提供比较准确的相对定向元素初始值[7]。计算机视觉中常常采用构建影像基础矩阵[8]或本质矩阵[9]的方法来恢复影像间的相对位置关系。Higgins最先采用8点法直接求解基础矩阵[10]，在此基础上，Pan完善了基础矩阵的表达式并成功用于立体影像对的相对定向[11]。Golub等提出用奇异值分解方法对直接求解的基础矩阵进行约束的方法，以获取更加准确的基础矩阵[12]。张永军等在顾及基础矩阵元素非独立的条件下实现了无须初始值的相对方位元素求解[13]。Stewenius以基础矩阵中的元素为基础导出5点法相对定向的约束函数，从而得到一种相对定向的直接解法，但实现十分复杂[14]。Wang等利用矩阵分解的方法从基础矩阵中直接导出立体像对两像片间的平移和旋转量，但它并不能得到精确的相对方位元素值[15]。
鉴于此，本文从基础矩阵出发，推导基础矩阵元素与相对方位元素的关系式，以求得较为准确的相对定向元素，并作为基于上下视差严密相对定向求解的初始值，进而通过迭代求解来获得精确的相对方位元素值；最后选取常规航摄影像和倾斜摄影影像进行实验，以证实本文方法的有效性和适用性。
-
对于从不同位置拍摄的同一场景的立体影像对，同名像点应满足共面条件[1, 2, 8]：
(1) 式中，[BX BY BZ]T为摄影基线向量，用B表示；(X1 Y1 Z1)、(X2 Y2 Z2)分别为同名像点的像空间辅助坐标，分别用m1和m2表示，且有m1=K1p1，m2=RK2p2。其中，K1=μ1•
这里的μ1、h1、w1和μ2、h2、w2分别代表立体像对左右像片的像元大小及像幅的宽度和高度；R为右影像相对于左影像的正交变换矩阵；p1=[x1y11]T，p2=[x2y21]T分别为同名像点在立体像对左右影像上的齐次坐标；(x1, y1)和(x2, y2)分别为同名像点在左、右影像上的像素坐标；f1、f2分别为两影像的主距。式(1)可以改写为：
(2) 式中，F为两幅影像间的基础矩阵[16]；B[×]为向量B的叉乘矩阵表示，即：
(3) 于是有：
(4) -
首先采用传统的8点法[8-10]对基础矩阵元素进行直接求解，从而得到基础矩阵中的各个元素，然后按照式(4)计算出e1~e9的值。
由式(4)可以得到9个方程，但由于有12个未知数，因此必须建立3个约束方程。由旋转矩阵R的正交特性，有：
(5) 
(6) 由式(4)并顾及旋转矩阵R的正交特性[17]，有：
(7) 据此求出BY和BZ后，便可求解旋转矩阵R的9个元素：
(8) 就连续法相对定向元素by、bz、φ、ω、κ(其中by=BY/BX，bz=BZ/BX)而言，采用φ-ω-κ转角系统，可以得到相对定向角元素的初始值：
(9) 根据式(7)~(9)，可由基础矩阵元素导出相对定向元素。
-
1) 8点法基础矩阵解的不稳定性
8点法基础矩阵[8-10]求解时，至少要使用8对同名像点来求解基础矩阵中的9个元素。当同名像点数量多于8对时，可以进行最小二乘法平差。
由于基础矩阵描述了两张影像间的核线关系，其自由度为7[8]。事实上，由式(4)可以看出，在已知影像内方位元素的情况下，只需使用5个参数就能表达基础矩阵。此时基础矩阵的表达存在过度参数化问题，容易导致解的不稳定性。当同名像点数量大于8对时，一对同名像点可以按照式(2)列出一个方程，因此多对点可以组成一个线性方程组：
(10) 式中，A为由同名像点坐标组成的系数矩阵；f为由基础矩阵元素组成的列向量。
求解式(10)一般使用奇异值分解(singular value decomposition, SVD)方法。若只有8对同名像点，此时A的最小奇异值为0；当多于8对同名像点时，若其不存在量测误差，此时A的最小奇异值也为0；然而，像点的量测误差是不可避免的，由于存在误差扰动，此时A的最小奇异值只能接近于0。实验发现，由于存在过度参数化问题，A实际上有3个奇异值接近于0，这3个最小奇异值很容易受误差扰动的影响，致使求解的最小奇异值有时并非真正的最小奇异值，从而导致错误的解。针对这种情况，一种较为合理的解决办法是在给定最小奇异值上界值的同时，给定最小奇异值与次小奇异值之比的阈值，从而可在一定程度上克服过度参数化问题。
此外，当定向点对应的地面点位于一平面时，8点法基础矩阵求解会出现多解的情况，导致解的不稳定。当定向点共面时，p1和p2之间有严格的单应关系[8]：
(11) 式中，H为平面单应矩阵，是3×3阶的可逆矩阵。将式(11)代入式(2)可得：
(12) 当HTF为反对称矩阵时，式(12)总成立。即当F=(HT)－1S，且S为任意反对称矩阵时，式(12)恒成立，此时基础矩阵的解有无穷多组。因此，当所有定向点位于一个近似平面上时，求解的基础矩阵变得不稳定，较小的量测误差会引起较大的数值计算误差。
2)基础矩阵表达方式引起的误差
就一对同名像点而言，上下视差q表示为[17]：
(13) 由式(7)和式(9)可知，BX~BZ和X2~Z2均为e1~e2的函数，实际计算值与其选择表达的参数有关。譬如，对于BX，其另一种表达方式可以选择为BY2=(－e42－e52－e62+e72+e82+e92+e12+e22+e32)/2。因此，当存在误差扰动时，选择不同的表达方式势必得到不同的相对方位元素值，从而导致上下视差的值不相同。
-
式(1)为严密相对定向模型，通常以5个独立的相对方位元素作为未知数，对其求取非线性方程的最小二乘解时，所得到的结果是初始值邻域内的局部最优解。因此，只要初始值满足一定的精度要求，总能得到一组局部最优的相对方位元素解，且不受地形起伏的影响。而由§1.3的分析可知，由基础矩阵元素导出的相对方位元素其实并不精确，且在某些情况下容易出现解的二义性。欲得到精确的相对定向结果，可以利用基础矩阵导出的相对方位元素作为初始值，通过基于上下视差的严密相对定向模型的迭代解法[17]获得精确的相对定向元素值，具体计算过程如图 1所示。
图 1 本文相对定向流程图
Figure 1. Flowchart of Relative Orientation Proposed in This Paper
-
为了验证方法的有效性和适应性，分别选用模拟影像和真实倾斜航摄影像对本文算法和传统相对定向方法进行了对比实验。
模拟影像是在某地区真实DEM和DOM基础上进行模拟航空摄影所获得的一组航摄影像。一共模拟了4个立体像对，主距均为100 mm，像素大小为10 μm, 影像量测均为全自动量测，其他基本参数列于表 1。对模拟影像采用自主开发的影像量测系统WuCAPS[18]进行自动影像量测，像点坐标量测精度约为±0.5像素。由于模拟影像的外方位元素是精确已知的，非常便于比较使用不同相对定向方法所求得的相对定向元素的准确性，并可验证本文方法的有效性。
表 1 模拟航摄影像基本参数
Table 1. Basic Parameters of Simulative Aerial Images
立体影像对 像对特点 覆盖地形 1 小倾角 平地 2 小倾角 山地 3 大倾角 平地 4 大倾角 山地 真实影像选用一组利用SWDC-5倾斜相机在某摄站拍摄的5张影像，如图 2所示，两两影像间构成立体像对，一共有10个立体像对，涵盖了不同的旋转角度。SWDC-5相机为5镜头倾斜摄影相机，5个镜头的主距分别为82.008 mm、82.147 mm、82.386 mm、82.324 mm、50.698 mm，CCD像元大小为6.0 μm，像幅尺寸为8 176像素×6 132像素，地面采样间隔约5 cm。采用影像匹配方法对该组影像进行了自动量测。
图 2 低空倾斜航摄影像拍摄示意图
Figure 2. Shooting Sketch of Low Altitude Oblique Images
针对实验影像，分别采用如下3种方案进行相对定向。方案a为相对定向元素初始值为0的传统相对定向方法；方案b为8点法直接解求相对定向元素；方案c为8点法直接解作为初始值的严格相对定向方法(本文方法)。
利用各定向点上下视差残差的中误差来比较各种算法的有效性及其适用性。
-
采用上述三种方案对模拟航摄影像进行相对定向的结果列于表 2。
表 2 模拟航摄影像的相对定向结果
Table 2. Results of Relative Orientation with the Simulative Aerial Images
立体像对 像点数 实验方案 相对定向元素 精度/μm By/mm Bz/mm φ/(°) ω/(°) κ/(°) 1 146 真值 0.050 0.080 2.000 -3.000 2.000 - 方案a 0.050 0.079 1.933 -3.021 1.995 2.4 方案b 0.056 0.088 1.943 -3.217 1.999 14.5 方案c 0.050 0.079 1.932 -3.020 1.995 2.4 2 138 真值 -0.030 0.040 -3.000 -1.000 3.000 - 方案a -0.030 0.039 -3.047 -1.008 2.997 2.0 方案b -0.030 0.041 -3.050 -1.008 2.989 3.3 方案c -0.030 0.039 -3.049 -1.009 2.998 1.9 3 87 真值 -0.600 -0.300 -40.000 50.000 40.000 - 方案a - - - - - - 方案b -0.593 -0.306 -40.215 49.883 40.214 27.5 方案c -0.599 -0.300 -40.043 -49.994 40.004 2.2 4 95 真值 -0.500 -0.100 40.000 -50.000 40.000 - 方案a - - - - - - 方案b -0.500 -0.100 40.016 -50.015 40.013 6.4 方案c -0.500 -0.100 39.985 -49.995 40.001 2.4 注：“—”表示无结果或迭代不收敛。 分析表 2的模拟实验结果可以看出：
1)由于立体像对1和2都是常规航摄影像对，采用方案a和方案c所求得的相对定向元素非常接近其真值，线元素相差不超过2.5%，角元素相差不超过4′，且相对定向精度均优于1/4像素；但采用方案b时，由于只使用秩约束，没有顾及到基础矩阵各元素之间的相关性，相对定向精度比较低，相对定向元素的计算值与其真值存在较大的差异，此时线元素相差为12%，角元素相差达到了13′。
2)对于立体像对3和4，由于影像倾角较大，当相对方位元素初值为0时，传统的相对定向方案a失败，但使用方案b和方案c都得到了接近真值的相对定向元素解，且本文方法无论是在精度还是在与其真值的接近程度上，都优于方案b。
3)比较立体像对1与2，3与4的相对定向精度发现，无论是山区还是平地影像，以基础矩阵导出的相对方位元素作为初始值进行迭代求解后，都能达到几乎相同的精度，这说明方案c不受地形约束。此外，使用方案b解得的山区影像的相对定向精度明显高于平坦地区影像的相对定向精度。由式(12)知，当地面点大致位于一个平面上时，会出现基础矩阵解的不稳定现象，此时较小的误差扰动将造成较大的计算误差，致使山区影像的相对定向精度明显高于平地影像。因此，采用8点法直接求解时，立体像对的同名像点尽量不要选在一个平面上。
通过这一模拟实验不难看出，在精度要求不高的情况下，使用方案b能够得到较为精确的相对定向元素值，但欲获得更高精度的相对方位元素，则需要使用方案c，即先通过基础矩阵导出相对方位元素的初始值，然后通过严密相对定向模型进行迭代求解。
-
针对倾斜摄影的低空侧视影像(图 2)，采用传统相对定向方案a迭代计算不收敛，采用方案c进行相对定向的结果列于表 3。
表 3 低空倾斜摄影影像的相对定向结果
Table 3. Results of Relative Orientation with Low Altitude Oblique Images
立体像对 像点数 相对定向元素 精度/μm By/mm Bz/mm φ/(°) ω/(°) κ/(°) 影像2/影像1 85 -0.929 2 0.946 1 46.323 -27.689 38.683 2.0 影像3/影像1 103 0.498 9 -0.757 5 -10.255 -3.879 6.158 2.0 影像4/影像1 204 -0.280 3 -2.141 0 48.371 -16.951 211.311 1.7 影像5/影像1 76 -1.178 6 -0.647 8 22.378 -11.736 -51.771 1.6 影像3/影像2 39 -1.391 1 0.041 5 59.903 28.198 -165.909 2.2 影像4/影像2 50 -0.079 6 -0.881 3 270.715 -1.236 -1.373 2.4 影像5/影像2 44 -0.084 5 -0.891 5 -43.315 -0.425 -0.065 2.4 影像4/影像3 34 0.603 9 -0.552 2 -54.382 -28.721 -37.921 1.8 影像5/影像3 59 -1.166 3 1.109 6 3.274 -12.772 43.085 2.3 影像5/影像4 64 -0.095 5 1.108 2 46.171 0.939 -0.106 2.1 从表 3中10个立体像对的相对定向结果可以看出，本文方法完全能够适用于倾斜摄影的大倾角航摄影像对的相对定向。由于影像倾角大，影像间的旋偏角也大，传统相对定向方法并不适用，而采用本文方法进行相对定向达到了约±1/3像素的精度，满足了大倾角低空摄影测量恢复相邻影像间相对位置关系的应用需求，这对目标的三维重建是有益的。
-
针对严密相对定向模型解算需要较好初始值的问题，本文提出了通过构建影像间基础矩阵来求解相对定向元素初始值的方法，并利用8点法求解基础矩阵所获得的初始值迭代计算了相对定向元素的精确值。经对模拟和真实倾斜航摄影像的相对定向实验证实，该方法完全适用于低空遥感平台所拍摄的大倾角航摄影像以及倾斜摄影影像的相对定向。
由于求解基础矩阵元素过程中，待求解参数间存在相关性，参数的求解精度受像点量测误差的影响较大，虽然基础矩阵秩亏约束具有一定的抗误差干扰性，但效果改善并不显著，而采用本文方法求解需要较高的影像量测精度。由于实验影像所限，本文相对定向方法的稳健性和普适性还需要更大规模的实验研究。
-
摘要: 提出一种利用基础矩阵进行倾斜航摄影像相对定向的方法。首先，构建立体影像间的基础矩阵并线性求解各元素；然后，由基础矩阵直接导出相对方位元素；最后，视导出的相对方位元素为初始值进行严密相对定向迭代求解，从而得到精确的相对方位元素值。实验表明，该方法对常规航空摄影影像和倾斜摄影影像均适用，能够满足立体模型重构的应用需求。Abstract: To resolve the oblique image relative orientation problem, in this paper a novel method for relative orientation is proposed based on a fundamental matrix. Firstly, the fundamental matrix is constructed by direct linear transformation, then the elements of relative orientation are deduced with an optimal matrix. Accuracy factors are analyzed for this model, and finally, to get a more accurate solution deploying a rigorous model for relative orientation to the y-parallax, an iterative method is employed that takes elements derived from the essential matrix as the approximate values of the relative orientation elements. Experimental results show that our proposed method is feasible for both traditional aerial images and oblique images, and meets the requirements for stereo-model reconstruction in photogrammetric operations.
-
Key words:
- oblique image /
- relative orientation /
- y-parallax /
- fundamental matrix
-
表 1 模拟航摄影像基本参数
Table 1. Basic Parameters of Simulative Aerial Images
立体影像对 像对特点 覆盖地形 1 小倾角 平地 2 小倾角 山地 3 大倾角 平地 4 大倾角 山地 
下载: 导出CSV
表 2 模拟航摄影像的相对定向结果
Table 2. Results of Relative Orientation with the Simulative Aerial Images
立体像对 像点数 实验方案 相对定向元素 精度/μm By/mm Bz/mm φ/(°) ω/(°) κ/(°) 1 146 真值 0.050 0.080 2.000 -3.000 2.000 - 方案a 0.050 0.079 1.933 -3.021 1.995 2.4 方案b 0.056 0.088 1.943 -3.217 1.999 14.5 方案c 0.050 0.079 1.932 -3.020 1.995 2.4 2 138 真值 -0.030 0.040 -3.000 -1.000 3.000 - 方案a -0.030 0.039 -3.047 -1.008 2.997 2.0 方案b -0.030 0.041 -3.050 -1.008 2.989 3.3 方案c -0.030 0.039 -3.049 -1.009 2.998 1.9 3 87 真值 -0.600 -0.300 -40.000 50.000 40.000 - 方案a - - - - - - 方案b -0.593 -0.306 -40.215 49.883 40.214 27.5 方案c -0.599 -0.300 -40.043 -49.994 40.004 2.2 4 95 真值 -0.500 -0.100 40.000 -50.000 40.000 - 方案a - - - - - - 方案b -0.500 -0.100 40.016 -50.015 40.013 6.4 方案c -0.500 -0.100 39.985 -49.995 40.001 2.4 注：“—”表示无结果或迭代不收敛。
下载: 导出CSV
表 3 低空倾斜摄影影像的相对定向结果
Table 3. Results of Relative Orientation with Low Altitude Oblique Images
立体像对 像点数 相对定向元素 精度/μm By/mm Bz/mm φ/(°) ω/(°) κ/(°) 影像2/影像1 85 -0.929 2 0.946 1 46.323 -27.689 38.683 2.0 影像3/影像1 103 0.498 9 -0.757 5 -10.255 -3.879 6.158 2.0 影像4/影像1 204 -0.280 3 -2.141 0 48.371 -16.951 211.311 1.7 影像5/影像1 76 -1.178 6 -0.647 8 22.378 -11.736 -51.771 1.6 影像3/影像2 39 -1.391 1 0.041 5 59.903 28.198 -165.909 2.2 影像4/影像2 50 -0.079 6 -0.881 3 270.715 -1.236 -1.373 2.4 影像5/影像2 44 -0.084 5 -0.891 5 -43.315 -0.425 -0.065 2.4 影像4/影像3 34 0.603 9 -0.552 2 -54.382 -28.721 -37.921 1.8 影像5/影像3 59 -1.166 3 1.109 6 3.274 -12.772 43.085 2.3 影像5/影像4 64 -0.095 5 1.108 2 46.171 0.939 -0.106 2.1
下载: 导出CSV
-
[1] Mikhail E M, Bethel J S, Mcglone J C. Introduction to Modern Photogrammetry [M]. UK:John Wiley & Sons, 2001 [2] Horn B K P. Relative Orientation [J]. International Journal of Computer Vision, 1990, 4(1):59-78 doi: 10.1007/BF00137443 [3] 何海清.低空摄影测量航带重构及数据处理方法研究[J].测绘学报, 2014, 43(4): 440-440 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201404023.htm He Haiqing. The Study of Strips Reconstruction Oriented Data Processing Methodology in Low-altitude Photogrammetry [J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(4):440-440 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201404023.htm [4] 袁修孝, 高宇, 邹小容. GPS辅助空中三角测量在低空航测大比例尺地形测图中的应用[J].武汉大学学报·信息科学版, 2012, 37(11):1 289-1 293 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201211008.htm Yuan Xiuxiao, Gao Yu, Zou Xiaorong. Application of GPS-supported Aerotriangulation in Large Scale Topographic Mapping Based on Low-altitude Photogrammetry [J]. Geomatics and Information Science of Wuhan University, 2012, 37(11):1 289-1 293 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201211008.htm [5] 张永军.无人驾驶飞艇低空遥感影像的几何处理[J].武汉大学学报·信息科学版, 2009, 34(3):284-288 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH200903008.htm Zhang Yongjun. Geometric Processing of Low Altitude Remote Sensing Images Captured by Unmanned Airship [J]. Geomatics and Information Science of Wuhan University, 2009, 34(3):284-288 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH200903008.htm [6] 张永军, 胡丙华, 张剑清.基于多种同名特征的相对定向方法研究[J].测绘学报, 2011, 40(2):194-199 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201102012.htm Zhang Yongjun, Hu Binghua, Zhang Jianqing. Relative Orientation Based on Multiple Conjugate Features [J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(2):194-199 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201102012.htm [7] 陈义, 陆珏, 郑波.近景摄影测量中大角度问题的探讨[J].测绘学报, 2008, 37(4):458-468 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB200804012.htm Chen Yi, Lu Jue, Zheng Bo. Research on Close-range Photogrammetry with Big Rotation Angle [J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(4):458-468 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXB200804012.htm [8] Hartley R, Zisserman A. Multiple View Geometry in Computer Vision [M]. Combridge:Cambridge University Press, 2003 [9] Armangue X, Salvi J. Overall View Regarding Fundamental Matrix Estimation [J]. Image and Vision Computing, 2003, 21(2):205-220 doi: 10.1016/S0262-8856(02)00154-3 [10] Higgins H. A Computer Algorithm for Reconstructing a Scene from Two Projections [J]. Nature, 1981, 293(10):133-135 http://cn.bing.com/academic/profile?id=2018539407&encoded=0&v=paper_preview&mkt=zh-cn [11] Pan H P. A Direct Closed-form Solution to General Relative Orientation of Two Stereo Views [J]. Digital Signal Processing, 1999, 9(3):195-221 doi: 10.1006/dspr.1999.0344 [12] Golub G H, van Loan C F. Matrix Computations [M]. Baltimore:The Johns Hopkins University Press, 1989 [13] Zhang Y J, Huang X, Hu X Y, et al. Direct Relative Orientation with Four Independent Constraints [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66(6):809-817 doi: 10.1016/j.isprsjprs.2011.09.006 [14] Stewenius H, Engels C, Nister D. Recent Developments on Direct Relative Orientation [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2006, 60(4):284-294 doi: 10.1016/j.isprsjprs.2006.03.005 [15] Wang J, Lin Z, Ren C. Relative Orientation in Low Altitude Photogrammetry Survey [J]. ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012, 1:463-467 http://cn.bing.com/academic/profile?id=2077820153&encoded=0&v=paper_preview&mkt=zh-cn [16] Nister D. An Efficient Solution to the Five-point Relative Pose Problem [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6):756-770 doi: 10.1109/TPAMI.2004.17 [17] 张剑清, 潘励, 王树根.摄影测量学[M].武汉:武汉大学出版社, 2012 Zhang Jianqing, Pan Li, Wang Shugen. Photogrammetry [M]. Wuhan: Wuhan University Press, 2012 [18] Yuan Xiuxiao. A Novel Method of Systematic Error Compensation for a Position and Orientation System [J]. Progress in Natural Science, 2008, 18(8):953-963 doi: 10.1016/j.pnsc.2008.02.005 -
点击查看大图
图(2) / 表(3)
计量
- 文章访问数: 1524
- HTML全文浏览量: 43
- PDF下载量: 620
- 被引次数: 0
