留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

顾及局部相对几何变形改正的影像匹配和空三逐步精化方法

詹总谦 李一挥 王陈东 郑莉

詹总谦, 李一挥, 王陈东, 郑莉. 顾及局部相对几何变形改正的影像匹配和空三逐步精化方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
引用本文: 詹总谦, 李一挥, 王陈东, 郑莉. 顾及局部相对几何变形改正的影像匹配和空三逐步精化方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
ZHAN Zongqian, LI Yihui, WANG Chendong, ZHENG Li. A Stepwise Refinement Method for Image Matching and Aerotriangulation Using Correction of Local Relative Geometric Distortion[J]. Geomatics and Information Science of Wuhan University, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
Citation: ZHAN Zongqian, LI Yihui, WANG Chendong, ZHENG Li. A Stepwise Refinement Method for Image Matching and Aerotriangulation Using Correction of Local Relative Geometric Distortion[J]. Geomatics and Information Science of Wuhan University, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342

顾及局部相对几何变形改正的影像匹配和空三逐步精化方法

doi: 10.13203/j.whugis20170342
基金项目: 

国家重点研发计划 2016YFB0501403

国家自然科学基金 61871295

详细信息
    作者简介:

    詹总谦, 博士, 副教授, 研究方向为数字摄影测量与计算机视觉。zqzhan@sgg.whu.edu.cn

    通讯作者: 郑莉, 博士, 副教授。lzheng@sgg.whu.edu.cn
  • 中图分类号: P231;TP751

A Stepwise Refinement Method for Image Matching and Aerotriangulation Using Correction of Local Relative Geometric Distortion

Funds: 

The National Key Research and Development Program of China 2016YFB0501403

the National Natural Science Foundation of China 61871295

More Information
    Author Bio:

    ZHAN Zongqian, PhD, associate professor, specializes in digital photogrammetry and computer vision. E-mail: zqzhan@sgg.whu.edu.cn

    Corresponding author: ZHENG Li, PhD, associate professor. E-mail: lzheng@sgg.whu.edu.cn
  • 摘要: 针对海拔落差较大地区无人机影像匹配和空三加密精度较低的问题,在具备初始空三姿态参数和概略地面模型的基础上,提出了一种顾及局部相对几何变形改正的影像匹配和空三逐步精化方法。该方法综合考虑了立体像对相对倾斜和地形起伏引起的影像相对变形,在传统空三基础上引入顾及局部相对几何变形改正的单点精确匹配算法,使得影像匹配和定向相辅相成,从而提高了影像匹配和空三加密的精度和可靠性。实验分析证明,该算法能较好地改正影像相对几何变形,强化空三网型结构和进一步提高空三精度,适用于地形高差变化较大的低空无人机影像空中三角测量。在效率方面,由于借助概略地面模型进行预测,局部相对几何变形改正的影像范围相对有限,因此算法基本满足实际生产需求。若考虑到每个连接点使用的单点精确匹配具备很好的独立性,并行化算法将可以进一步提高效率。
  • 图  1  影像局部相对几何变形

    Figure  1.  Local Relative Geometric Distortion of Image

    图  2  逐步精化影像匹配和空三精度流程图

    Figure  2.  Flow Chart of the Stepwise Refinement Method for Image Matching and Aerotriangulation

    图  3  顾及局部相对几何变形改正的单点精确匹配算法示意图

    Figure  3.  Sketch Map for the Algorithm of Single Point Accurate Matching Using Correction of Local Relative Geometric Distortion(CLRGD)

    图  4  关系矩阵

    Figure  4.  Relationship Matrix

    图  5  ASIFT主页服务器处理结果

    Figure  5.  Result of ASIFT by the Web Server

    图  6  变形改正后的效果

    Figure  6.  Result of Distortion Correction

    图  7  本文方法处理前后连接点分布情况

    Figure  7.  Distribution Comparison of Tie Points Before and After Using the Proposed Method

    图  8  本文方法得到的同名像点点位

    Figure  8.  Corresponding Points Obtained by the Proposed Method

    图  9  本文方法处理前后预测点位对比

    Figure  9.  Comparison of Predicted Points Before and After Using the Proposed Method

    图  10  连接点对应像点观测数分布对比

    Figure  10.  Comparison of the Observation Number of Tie Points

    图  11  连接点最大交会角分布对比

    Figure  11.  Comparison of the Maximum Intersection Angle of Tie Points

  • [1] 张剑清, 潘励, 王树根.摄影测量学[M]. 2版.武汉:武汉大学出版社, 2009

    Zhang Jianqing, Pan Li, Wang Shugen. Photogrammetry[M]. 2nd ed. Wuhan: Wuhan University Press, 2009
    [2] Agarwal S, Snavely N, Simon I, et al. Building Rome in a Day[C]. IEEE International Conference on Computer Vision, Kyoto, Japan, 2009
    [3] Hartmann W, Havlena M, Schindler K. Recent Developments in Large-Scale Tie-Point Matching[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 115(5):47-62 http://www.sciencedirect.com/science/article/pii/S0924271615002063
    [4] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1-2):43-72 doi:  10.1007/s11263-005-3848-x
    [5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110 doi:  10.1023/B:VISI.0000029664.99615.94
    [6] Mikolajczyk K, Schmid C. Scale & Affine Invariant Interest Point Detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63-86 doi:  10.1023/B:VISI.0000027790.02288.f2
    [7] Morel J M, Yu G. ASIFT:A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469 http://d.old.wanfangdata.com.cn/Periodical/jsjgc201302050
    [8] Yu G, Morel J M. ASIFT: An Algorithm for Fully Affine Invariant Comparison[EB/OL]. http://demo.ipol.im/demo/my_affine_sift/, 2017
    [9] Bay H, Ess A, Tuytelaars T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359 doi:  10.1016/j.cviu.2007.09.014
    [10] 肖雄武, 李德仁, 郭丙轩, 等.一种具有视点不变性的倾斜影像快速匹配方法[J].武汉大学学报·信息科学版, 2016, 41(9): 1 151-1 159 http://ch.whu.edu.cn/CN/abstract/abstract5522.shtml

    Xiao Xiongwu, Li Deren, Guo Bingxuan, et al. A Robust and Rapid Viewpoint-Invariant Matching Method for Oblique Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1 151-1 159 http://ch.whu.edu.cn/CN/abstract/abstract5522.shtml
    [11] 李德仁, 肖雄武, 郭丙轩, 等.倾斜影像自动空三及其在城市真三维模型重建中的应用[J].武汉大学学报·信息科学版, 2016, 41(6): 711-721 http://ch.whu.edu.cn/CN/abstract/abstract5454.shtml

    Li Deren, Xiao Xiongwu, Guo Bingxuan, et al. Oblique Image Based Automatic Aerotriangulation and Its Application in 3D City Model Reconstruction[J]. Geomatics and Information Science of Wuhan University, 2016, 41(6): 711-721 http://ch.whu.edu.cn/CN/abstract/abstract5454.shtml
    [12] 姚国标, 邓喀中, 艾海滨, 等.倾斜立体影像自动准稠密匹配与三维重建算法[J].武汉大学学报·信息科学版, 2014, 39(7): 843-849 http://ch.whu.edu.cn/CN/abstract/abstract3031.shtml

    Yao Guobiao, Deng Kazhong, Ai Haibin, et al. An Algorithm of Automatic Quasi-dense Matching and Three-Dimensional Reconstruction for Oblique Ste-reo Images[J]. Geomatics and Information Science of Wuhan University, 2014, 39(7): 843-849 http://ch.whu.edu.cn/CN/abstract/abstract3031.shtml
    [13] 张力, 艾海滨, 许彪, 等.基于多视影像匹配模型的倾斜航空影像自动连接点提取及区域网平差方法[J].测绘学报, 2017, 46(5): 554-564 http://d.old.wanfangdata.com.cn/Periodical/chxb201705004

    Zhang Li, Ai Haibin, Xu Biao, et al. Automatic Tie-Point Extraction Based on Multiple-Image Matching and Bundle Adjustment of Large Block of Oblique Aerial Images[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(5): 554-564 http://d.old.wanfangdata.com.cn/Periodical/chxb201705004
    [14] Wu B, Zhang Y, Zhu Q. A Triangulation-Based Hierarchical Image Matching Method for Wide-Baseline Images[J]. Photogrammetric Engineering & Remote Sensing, 2015, 77(7): 695-708 http://agris.fao.org/agris-search/search.do?recordID=US201600239668
    [15] Zhan Z Q, Wang X, Wei M L. Fast Method of Constructing Image Correlations to Build a Free Network Based on Image Multi-vocabulary Trees[J]. Journal of Electronic Imaging, 2015, 24(3):1-12
    [16] Wang X, Zhan Z Q, Heipke C. An Efficient Method to Detect Mutual Overlap of a Large Set of Unordered Images for Structure-From-Motion[C]. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, Hannover, German, 2017
    [17] 李德仁, 袁修孝.误差处理与可靠性理论[M].武汉:武汉大学出版社, 2002

    Li Deren, Yuan Xiuxiao. Error Processing and Reliability Theory[M]. Wuhan: Wuhan University Press, 2002
    [18] Shewchuk J R. Triangle: A Two-Dimensional Qua-lity Mesh Generator and Delaunay Triangulator[EB/OL]. https: //www.cs.cmu.edu/~quake/triangle.html, 2017
    [19] 李德仁, 郑肇葆.解析摄影测量学[M].北京:测绘出版社, 1992

    Li Deren, Zheng Zhaobao. Analytical Photogrammetry[M]. Beijing:Surveying and Mapping Press, 1992
  • [1] 姜三, 陈武, 李清泉, 江万寿.  无人机影像增量式运动恢复结构研究进展 . 武汉大学学报 ● 信息科学版, 2022, (): -. doi: 10.13203/j.whugis20220130
    [2] 李欣, 杨宇辉, 杨博, 尹峰.  利用方向相位特征进行多源遥感影像匹配 . 武汉大学学报 ● 信息科学版, 2020, 45(4): 488-494. doi: 10.13203/j.whugis20180445
    [3] 张瑞倩, 邵振峰, Aleksei Portnov, 汪家明.  多尺度空洞卷积的无人机影像目标检测方法 . 武汉大学学报 ● 信息科学版, 2020, 45(6): 895-903. doi: 10.13203/j.whugis20200253
    [4] 李鹏飞, 孙开敏, 李德仁, 王玮.  无人机影像应急并行处理负载均衡方法 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 268-274. doi: 10.13203/j.whugis20130095
    [5] 李鹏飞, 孙开敏, 李德仁, 王玮.  无人机影像应急并行处理负载均衡方法 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 268-274. doi: 10.13203/j.whugis20170022
    [6] 叶沅鑫, 慎利, 陈敏, 王继成.  局部相位特征描述的多源遥感影像自动匹配 . 武汉大学学报 ● 信息科学版, 2017, 42(9): 1278-1284. doi: 10.13203/j.whugis20150576
    [7] 徐亚明, 石娟, 安动动, 马旭东.  利用影像分割和匹配特征进行无人机影像变化检测 . 武汉大学学报 ● 信息科学版, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
    [8] 杨楠, 邵振峰, 郭丙轩, 彭哲, 黄蕾.  基于非固定初始面元的无人机影像点云优化算法 . 武汉大学学报 ● 信息科学版, 2016, 41(8): 1013-1020. doi: 10.13203/j.whugis20140750
    [9] 张春森, 吕佩育, 郭丙轩.  基于控制点约束影像的密集匹配及其在考古发掘中的应用 . 武汉大学学报 ● 信息科学版, 2015, 40(12): 1575-1581. doi: 10.13203/j.whugis20130510
    [10] 张永军, 熊金鑫, 余磊, 凌霄.  严密定位模型辅助的国产卫星影像匹配 . 武汉大学学报 ● 信息科学版, 2014, 39(8): 897-900. doi: 10.13203/j.whugis201200178
    [11] 张谦, 贾永红, 胡忠文.  多源遥感影像配准中的SIFT特征匹配改进 . 武汉大学学报 ● 信息科学版, 2013, 38(4): 455-459.
    [12] 闫利, 陈林.  一种改进的SURF及其在遥感影像匹配中的应用 . 武汉大学学报 ● 信息科学版, 2013, 38(7): 770-773.
    [13] 叶沅鑫, 单杰, 熊金鑫, 董来根.  一种结合SIFT和边缘信息的多源遥感影像匹配方法 . 武汉大学学报 ● 信息科学版, 2013, 38(10): 1148-1151.
    [14] 林宗坚, 任超锋, 姚娜, 解斐斐.  一种航空影像阴影补偿方法 . 武汉大学学报 ● 信息科学版, 2013, 38(4): 431-435.
    [15] 宋妍, 田玉刚, 贾小霞.  基于Zernike矩的多时相遥感影像匹配方法研究 . 武汉大学学报 ● 信息科学版, 2009, 34(10): 1226-1230.
    [16] 张剑清, 张勇, 郑顺义, 张宏伟.  高分辨率遥感影像的精纠正 . 武汉大学学报 ● 信息科学版, 2004, 29(11): 994-998.
    [17] 江万寿, 郑顺义, 张祖勋, 张剑清.  航空影像特征匹配研究 . 武汉大学学报 ● 信息科学版, 2003, 28(5): 510-513.
    [18] 张祖勋, 张剑清, 张力.  一种利用影像匹配的城区三维景观图生成途径 . 武汉大学学报 ● 信息科学版, 1999, 24(4): 283-289.
    [19] 曾湧, 廖明生, 张剑清, 沈未名.  保持匹配一致性的遥感影像压缩编码 . 武汉大学学报 ● 信息科学版, 1997, 22(3): 245-247,251.
    [20] 李德仁, 王树根.  数字影像匹配质量的一种自动诊断方法 . 武汉大学学报 ● 信息科学版, 1995, 20(1): 1-6.
  • 加载中
图(11)
计量
  • 文章访问数:  867
  • HTML全文浏览量:  56
  • PDF下载量:  302
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-10-25
  • 刊出日期:  2018-11-05

顾及局部相对几何变形改正的影像匹配和空三逐步精化方法

doi: 10.13203/j.whugis20170342
    基金项目:

    国家重点研发计划 2016YFB0501403

    国家自然科学基金 61871295

    作者简介:

    詹总谦, 博士, 副教授, 研究方向为数字摄影测量与计算机视觉。zqzhan@sgg.whu.edu.cn

    通讯作者: 郑莉, 博士, 副教授。lzheng@sgg.whu.edu.cn
  • 中图分类号: P231;TP751

摘要: 针对海拔落差较大地区无人机影像匹配和空三加密精度较低的问题,在具备初始空三姿态参数和概略地面模型的基础上,提出了一种顾及局部相对几何变形改正的影像匹配和空三逐步精化方法。该方法综合考虑了立体像对相对倾斜和地形起伏引起的影像相对变形,在传统空三基础上引入顾及局部相对几何变形改正的单点精确匹配算法,使得影像匹配和定向相辅相成,从而提高了影像匹配和空三加密的精度和可靠性。实验分析证明,该算法能较好地改正影像相对几何变形,强化空三网型结构和进一步提高空三精度,适用于地形高差变化较大的低空无人机影像空中三角测量。在效率方面,由于借助概略地面模型进行预测,局部相对几何变形改正的影像范围相对有限,因此算法基本满足实际生产需求。若考虑到每个连接点使用的单点精确匹配具备很好的独立性,并行化算法将可以进一步提高效率。

English Abstract

詹总谦, 李一挥, 王陈东, 郑莉. 顾及局部相对几何变形改正的影像匹配和空三逐步精化方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
引用本文: 詹总谦, 李一挥, 王陈东, 郑莉. 顾及局部相对几何变形改正的影像匹配和空三逐步精化方法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
ZHAN Zongqian, LI Yihui, WANG Chendong, ZHENG Li. A Stepwise Refinement Method for Image Matching and Aerotriangulation Using Correction of Local Relative Geometric Distortion[J]. Geomatics and Information Science of Wuhan University, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
Citation: ZHAN Zongqian, LI Yihui, WANG Chendong, ZHENG Li. A Stepwise Refinement Method for Image Matching and Aerotriangulation Using Correction of Local Relative Geometric Distortion[J]. Geomatics and Information Science of Wuhan University, 2018, 43(11): 1620-1627. doi: 10.13203/j.whugis20170342
  • 利用影像匹配进行全自动空三加密或通过运动恢复结构(structure from motion,SFM)是摄影测量或计算机视觉中最重要的技术之一[1-3]。其中,地形海拔落差较大(或目标景深变化大)、大角度影像倾斜和宽基线是造成该技术难度加大的关键因素。国内外学者对此进行了深入研究,主要方法可归纳为:①直接对原始影像提取尺度或仿射不变特征点,比如尺度不变特征变换(scale invariant feature transform,SIFT)、仿射尺度不变特征变换(affine scale invariant feature transform,ASIFT)、加速稳健特征(speeded-up robust feature,SURF)等,并利用特征描述子的相似性进行同名点对应,属于特征匹配[4-9]。②在获取影像初始定向参数或POS(position orientation system)的基础上,首先利用变换关系(仿射变换、透射变换或者直接线性变换等)进行影像整体纠正,然后进行灰度相关匹配或者特征匹配得到同名像点,最后将所得同名像点坐标反算回原始影像得到最终同名像点[10-11]。③充分利用POS和多相机关系等初始数据,通过有效组合多算法,如改进的ASIFT/SIFT、基于窗口的多角度多视影像匹配(window-based multiple-viewing image mat-ching, WMVM)、粗差剔除算法等,使用由粗到细的匹配策略完成全自动空三加密[12-13]。其中,ASIFT是一个在半球空间上模拟图像的一序列仿射变形,具有较强的抗变形能力,适用于各类复杂影像,但由于计算复杂度较大,匹配速度极慢[7-8];而肖雄武等[10]、李德仁等[11]提出的最佳仿射不变特征(nicest affine invariant feature,NAIF)和透视不变特征(perspective invariant feature,PIF)简化了变换和纠正过程,对城区倾斜影像具有较好的匹配效果和速度,实用性更强。然而这种简化对于海拔落差较大地区的低空摄影来说,按照某一基准面(如平均高程面)进行一次性影像整体变换的方式并不太适用。

    根据摄影测量知识,影像匹配的质量会严重影响到影像定向的精度和可靠性,而好的定向质量反过来也可以提高影像匹配的精度和可靠性,这种相互影响在影像变形较大时表现得尤为明显。针对上述海拔落差较大的低空摄影,在兼顾同名像点匹配精度、可靠性、速度、分布和连接点观测数等要求的情况下,本文提出了一种顾及局部相对几何变形改正的影像匹配和空三逐步精化方法。该方法在完成初始空三并获取概略地面模型的基础上,将基于局部相对几何变形改正的单点精确匹配算法融入到传统空三加密中,使得匹配和定向相辅相成,在迭代计算中逐渐减少由于像片相对倾斜和地形高差引起的影像相对变形,从而提高了影像匹配的精度和可靠性,最终实现了高精度区域网空中三角测量。

    与本文所提方法对比,Wu等提出了一种针对宽基线立体像对的基于三角网约束的层次结构影像匹配方法[14],该方法利用局部三角面元的仿射自适应互相关算法(triangulation-based affine-adaptive cross correlation, TAACC)解决了影像变形问题,与本文拟采用的相对几何变形改正具有异曲同工之处。但是,该方法需要利用SIFT匹配方法获取立体像对的初始同名像点后,才能建立基准影像和待匹配影像之间的变换关系,这在航带间影像变形严重的情况下是不可行的。而本文方法首先通过相对变形较小的航带内影像获取模型点,然后利用初始姿态参数反投到其他影像(主要是航带间影像),从而获取非实际意义中的同名点关系,进而建立基准影像和待匹配影像之间的变换关系。此外,TAACC主要用于分析地面近景中单个立体像对的匹配问题,与本文讨论的空三转点问题存在较大差异。

    • 由摄影测量知识可知,决定影像匹配难易程度的主要因素包括:①立体像对的姿态(φ, ω, κ)差异性;②立体像对基线(B)与覆盖范围内局部相对航高(H)之比,表示为B/H;③立体像对覆盖范围内局部相对高差(h)与相对航高(H)之比,表示为h/H。一般情况下,这3个因素的数值越大,则相对变形越大,并且表现为混合效果。其中,前两者主要与立体像对的相对外方位元素相关,而后者主要与地形起伏有关。因此,要提高影像匹配的精度和可靠性,可以从两个方面考虑:①获取立体像对的相对外方位元素,从而定量分析和校正前两个因素引起的相对几何变形;②获取立体像对覆盖范围内局部地形表面,从而校正第3个因素引起的相对几何变形。

      对于海拔落差较大、飞行姿态不稳定的低空摄影而言,当基线较长时,影像的相对几何变形尤为严重。如图 1所示,图 1(a)是上下相邻航带中的4幅影像,航向重叠度为90%,旁向重叠度为50%;图 1(b)图 1(a)的局部区域形变对比图,从图 1(b)可以看出,航带间立体像对的相对变形更大(如AC);而图 1(c)AC中局部同名区域的放大对比图,目测同名点都极为困难。

      图  1  影像局部相对几何变形

      Figure 1.  Local Relative Geometric Distortion of Image

    • 本文方法在传统空三或SFM的基础上,引入顾及局部相对几何变形改正的单点精确匹配算法,并采用逐步精化的迭代方式实现高精度空中三角测量,算法流程如图 2所示,步骤如下:

      图  2  逐步精化影像匹配和空三精度流程图

      Figure 2.  Flow Chart of the Stepwise Refinement Method for Image Matching and Aerotriangulation

      1) 输入原始影像及其他辅助数据,如相机参数和GPS数据等。

      2) 根据影像集是否为有序(存在GPS信息或航带关系)或无序(任意拍摄),可利用常规的摄影测量解析方法或者计算机视觉中的图像关系快速确定方法[15-16]与SFM技术获取影像初始姿态参数[2]

      3) 利用带粗差剔除和可靠性分析功能的光束法平差,获取较准确的影像姿态参数及加密点坐标[17]

      4) 若平差精度满足要求,则终止处理并输出结果,否则继续执行步骤5)~8)。

      5) 利用不规则三角网(triangulated irregular network, TIN)技术和加密点构建概略地面模型[18]

      6) 根据TIN节点疏密程度、连接强度情况和定向要求,利用TIN数据模型内插均匀分布的模型点。为了有利于单点精确匹配,模型点应尽量选择在特征明显的位置,具体参考§2.2单点精确匹配算法的步骤4)。

      7) 遍历每个模型点(加密点和内插点),首先根据TIN获取以该点为中心的局部地形表面,然后进行顾及局部相对几何变形改正的单点精确匹配(详见§2.2)。

      8) 当所有模型点完成精确匹配后,转入步骤3)重新进行光束法平差,从而获取更准确的影像姿态参数和加密点坐标。

      由上述流程可知,顾及影像局部相对几何变形改正的精确匹配是建立在定向平差的基础上,而匹配的结果反过来又影响到定向的精度,两者相辅相成,最终的高精度空三成果是通过多次迭代逐步精化得到的。

    • 精确匹配之前,需要先估计每幅影像的大致覆盖范围:①根据每幅影像包含的模型点坐标,估计该影像对应的平均高程面;②将每幅影像的4个角点投影到高程面上,获取影像对应的覆盖范围(四边形)。

      图 3所示,假设当前模型点为P0,则顾及局部相对几何变形改正的单点精确匹配算法描述如下:

      图  3  顾及局部相对几何变形改正的单点精确匹配算法示意图

      Figure 3.  Sketch Map for the Algorithm of Single Point Accurate Matching Using Correction of Local Relative Geometric Distortion(CLRGD)

      1) 利用P0的模型坐标和影像覆盖范围快速确定P0可能成像的所有影像Ii(i=1, 2…m)。

      2) 以P0为中心,根据TIN检索邻近若干模型点Pj(j=1, 2…nn≥4)。为了确保有效的相对几何变形改正,要求Pj覆盖的范围大于匹配的搜索范围。一般情况下,该范围的大小与姿态参数精度和地形变形大小有关,最终影响到匹配的效率和可靠性。

      3) 利用共线条件方程式,将P0Pj反投到影像Ii,像点记为pi0pij。特别注意的是, 若该影像存在P0对应的未被平差剔除的像点观测,则不反投而直接取该像点观测。该点一般为特征点,有利于影像匹配。

      4) 以pi0最接近影像中心为判别准则,确定其中一幅影像作为目标影像It,对应像点记为pt0,其余的P0像点记为pi0It之外的影像称为待匹配影像Ii(i=1, 2…m, it),Pj对应的反投像点记为pij。若pt0为本次反投像点,则可利用特征点提取算子,在pt0附近确定最佳目标点,替换pt0

      5) 以pi0为重心,对pij进行重心化,并根据多项式变换式(1),建立ItIi之间以pi0为中心的局部区域的正反变换关系:

      $$ \mathit{\boldsymbol{{X}'}}=\mathit{\boldsymbol{X}}+\mathit{\boldsymbol{At}} $$ (1)

      式中,X为变换前坐标;X′为变换后坐标; A为变换矩阵;t为变换参数。文献[19]介绍了多种公式,本文采用投影变换公式,其线性化表达式为:

      $$ \mathit{\boldsymbol{A}}=\left[ \begin{matrix} 1&0&x&0&y&0&xy&{{x}^{2}} \\ 0&1&0&x&0&y&{{y}^{2}}&xy \\ \end{matrix} \right] $$ (2)

      6) 遍历像片Ii,进行步骤7)和步骤8)。

      7) 利用局部变换关系,将It的局部区域影像纠正到Ii,并以pt0为中心进行重采样获取纠正后的目标窗口(即经过相对几何变形改正)。

      8) 以目标窗口为匹配模板,选取以pi0为中心的适当搜索范围,采用影像相关和单点最小二乘匹配方法获取精确的匹配点。其中,最小二乘法可以考虑辐射畸变改正[1]

      9) 遍历完所有的Ii后,即可得到该模型点对应的更加精确的多视同名像点,进而作为原始观测值用于下次平差解算。

    • 实验选取汶川映秀镇岷江流域无人机影像(包含图 1的影像),航线沿山谷方向敷设,像幅大小为2 912×4 368,地面空间分辨率为15 cm,对应谷底的相对航高约为1 300 m,最大地形高差将近1 000 m,影像航向和旁向重叠度分别约为90%和50%。该次飞行主要用于汶川地震灾害应急,没有布设控制点,仅存在低精度POS信息。为了便于统计和对比,本文实验仅选取其中两条航带的32幅影像进行分析,实际算法不受影像数量限制。

    • 利用GPUSIFT和K-D随机森林算法可以快速判断无序影像集中图像之间的相似程度[16],进而判断图像之间是否存在关联。若用黑灰色代表关联(颜色越深, 关联越紧密),白色代表无关联,则无序影像集的内部关系可以表示成为一个矩阵,称为关系矩阵。如图 4所示,本文实验的影像关系矩阵大小为32×32。从图 4中可以看出,第1条航带内部相对变形较小(对应山谷底部,B/H较小),第2条航带内部相对变形较大(对应山谷侧面高山,B/H较大),而航带间关系对应的灰色小方块较少(右上角16×16矩阵),说明航带间影像相对变形极大(B/Hh/H较大)。

      图  4  关系矩阵

      Figure 4.  Relationship Matrix

      使用ASIFT主页上提供的网络服务器[8]处理图 1中的局部同名区域AC,输出的统计信息如图 5所示。实验共获取了681个ASIFT同名像点,0个SIFT同名像点。结果表明, ASIFT具有更强的抗变形能力,但速度极慢,实际应用难以使用。

      图  5  ASIFT主页服务器处理结果

      Figure 5.  Result of ASIFT by the Web Server

      图 6是对应图 1AC两个同名区域经过相对几何变形改正后的效果,从图 6中可以看出,改正后的影像C(图 6右上角)与A(图 6右下角)在几何上比较相似。实际处理中,局部区域尺寸更小,纠正速度和效果更好。

      图  6  变形改正后的效果

      Figure 6.  Result of Distortion Correction

    • 图 7是利用本文方法处理其中8幅影像(上下航带各4幅)前后的像点分布情况。图 7(a)是处理前常规初始空三加密得到的航带内同名像点(红色点)。由于航向立体像对的相对变形较小,匹配的像点数量较多,分布较好。而航带间立体像对的相对变形较大,在没有使用ASIFT的情况下, 航带间的连接点数为0。图 7(b)是处理后单独显示的航带间连接点,图 7(c)是8幅图像的公共同名像点,像点数量较多,分布均匀。

      图  7  本文方法处理前后连接点分布情况

      Figure 7.  Distribution Comparison of Tie Points Before and After Using the Proposed Method

      根据平差报告可知,除个别像点的观测值改正数略大于1个像素外,其余像点的改正数均小于0.5个像素。图 8是其中两种具有代表性特征的同名像点点位示意图。

      图  8  本文方法得到的同名像点点位

      Figure 8.  Corresponding Points Obtained by the Proposed Method

      采用同名像点预测的方式, 检核本文方法对提高空三精度的作用:①手工量测两个同名像点,前方交会得到模型点坐标;②将该模型点反投到其余像片,得到预测像点点位;③通过立体或目视判读预测点位与实际点位的误差。图 9是本文方法处理前后得到的某个特征点的预测效果对比图,其中前两幅影像的像点为人工量测。从图 9中可以看出,处理后的航带内预测点位精度略有提高,但相差不大且都比较准确(见图 9(a)图 9(b)的上面6幅影像);而航带间的预测点位精度相差较大,其中处理前的预测点位误差超过10个像素,而处理后的预测点位误差仅为1个像素左右。

      图  9  本文方法处理前后预测点位对比

      Figure 9.  Comparison of Predicted Points Before and After Using the Proposed Method

      为了进一步说明空三精度,通过手工方式量测物点在上下航带两个模型的同名像点,分别交会该点的模型坐标,并比较坐标差。结果表明,处理前两个模型存在明显的错位,模型点的坐标差平面和高程分别超过2.0 m和10.0 m,而处理后的模型坐标差平面和高程分别约为0.3 m和0.5 m。以上分析结果表明,本文方法的抗变形能力较强,对困难地区的空三精度具有较大提升作用。

      图 10是精确匹配前后连接点对应的像点观测数分布对比图,横轴代表像点观测个数,纵轴代表连接点个数。从图 10中可以看出,精确匹配后的连接点观测数大大增加,尤其是8个以上像点观测的连接点数量有较大幅度的提高,这对提高区域网的连接强度和空三可靠性具有重要作用。

      图  10  连接点对应像点观测数分布对比

      Figure 10.  Comparison of the Observation Number of Tie Points

      图 11是精确匹配前后连接点的最大交会角分布示意图,横轴代表交会角,纵轴代表连接点个数。从图 11中可以看出,连接点最大交会角有明显提高,同样有利于提高区域网的连接强度和空三可靠性。

      图  11  连接点最大交会角分布对比

      Figure 11.  Comparison of the Maximum Intersection Angle of Tie Points

    • 根据上述算法原理可知,实际处理时间主要与连接点个数和像片重叠度有关。本次实验采用苹果笔记本,处理器型号为i7-4870 HQ,内存为16 GB。算法实现未考虑并行,处理内容主要包括读取图像、影像纠正、匹配和平差等(不包括初始空三),一次迭代的耗时约为67 s。由于重叠度较大,每个连接点可能落在10幅以上的影像,因此每个连接点大约需要进行10次相对变形改正和匹配。32幅影像总共包含9 600多个连接点,每个连接点的耗时约为7 ms,每幅影像大约耗时2 s左右。由于每个连接点相互独立,若采用并行处理算法,则效率还可以得到大幅度提高,完全满足实际应用需求。

    • 本文针对海拔落差较大地区的无人机影像匹配困难和空三加密精度较低的问题,提出了一种顾及局部相对几何变形改正的影像匹配和空三逐步精化方法。该方法在具备空三初始姿态参数和概略地面模型的基础上,综合考虑了立体像对相对倾斜和地形起伏引起的影像相对变形,将影像定向和顾及变形改正的影像匹配结合起来,形成了迭代方式的空三处理流程,从而通过影像定向优化和同名像点精确匹配相辅相成,实现全自动高精度空中三角测量。目前,该算法已应用于项目组自主研发的无人机数据处理软件,并应用于生产单位的实际项目,对绝大多数困难地区无人机影像具有较好的适应性,取得了较好的应用效果。但是,对于高层建筑物密集的城区而言,如果由稀疏加密点表达的概略地面模型难以大致描述建筑物突变地表,则本文算法的稳定性还有待进一步提高,有时可能因为误匹配而导致空三逐步精化过程发散。因此,下一步工作将主要针对城区倾斜影像的建筑物结构特征,优化描述局部相对几何变形的变换关系,从而提高算法稳定性。与此同时,将深入分析影像初始参数的精度对本文算法的影响程度,并通过实际控制点验证算法对空三精度的改善效果。

参考文献 (19)

目录

    /

    返回文章
    返回