留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种具有视点不变性的倾斜影像快速匹配方法

肖雄武 李德仁 郭丙轩 江万寿 臧玉府 刘健辰

肖雄武, 李德仁, 郭丙轩, 江万寿, 臧玉府, 刘健辰. 一种具有视点不变性的倾斜影像快速匹配方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405
引用本文: 肖雄武, 李德仁, 郭丙轩, 江万寿, 臧玉府, 刘健辰. 一种具有视点不变性的倾斜影像快速匹配方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405
XIAO Xiongwu, LI Deren, GUO Bingxuan, JIANG Wanshou, ZANG Yufu, LIU Jianchen. A Robust and Rapid Viewpoint-Invariant Matching Method for Oblique Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405
Citation: XIAO Xiongwu, LI Deren, GUO Bingxuan, JIANG Wanshou, ZANG Yufu, LIU Jianchen. A Robust and Rapid Viewpoint-Invariant Matching Method for Oblique Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405

一种具有视点不变性的倾斜影像快速匹配方法

doi: 10.13203/j.whugis20140405
基金项目: 

国家973计划 2012CB719905

国家自然科学基金 41127901

测绘遥感信息工程国家重点实验室开放基金 13 Key Project

二滩水电开发有限责任公司 LHKA-201010

详细信息
    作者简介:

    肖雄武, 博士生。现从事倾斜影像匹配、空三和三维重建方面的研究。xwxiao@whu.edu.cn

    通讯作者: 郭丙轩, 博士, 教授, 博士生导师。E-mail:mobilemap@163.com
  • 中图分类号: P237.3;TP751

A Robust and Rapid Viewpoint-Invariant Matching Method for Oblique Images

Funds: 

The National 973 Program of China 2012CB719905

the National Natural Science Foundation of China 41127901

the Open Research Funds from State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing 13 Key Project

the Research Funds from Ertan Hydropower Development Company LHKA-201010

More Information
    Author Bio:

    XIAO Xiongwu, PhD candidate, specializes in oblique images matching, aerotriangulation and 3D reconstruction. E-mail: xwxiao@whu.edu.cn

    Corresponding author: GUO Bingxuan, PhD, professor. E-mail: mobilemap@163.com
  • 摘要: 提出了一种具有视点不变性的倾斜影像快速匹配方法。首先对影像进行预处理,即通过透视投影变换得到纠正影像(近似正射影像),消除影像几何变形、尺度和旋转问题;再对纠正影像提取Harris角点并建立尺度不变特征变换(scale invariant feature transform,SIFT)描述子。匹配时,在保证匹配准确率的同时,为了使得匹配点对分布均匀且提高匹配效率,利用粗略 F H 矩阵引导在局部范围内进行显著性匹配,并利用归一化互相关(normalized cross-correlation,NCC)测度约束剔除误匹配点。对三组典型的倾斜影像数据进行实验,结果表明,本文方法得到的匹配点对分布均匀且较为密集,匹配准确率和效率也较高。
  • 图  1  SWDC-5倾斜相机平台

    Figure  1.  Camera Platform of SWDC-5

    图  2  影像纠正前、后的效果对比

    Figure  2.  Comparison of Original Image and Rectified Image

    图  3  H矩阵搜索容差大小的取值

    Figure  3.  Search Tolerance Value of Homography Matrix

    图  4  同名点的潜在区域(绿线为同名核线,黑点为理论同名点)

    Figure  4.  Potential Area of a Corresponding Point(Area Included by the Closed Red Line)

    图  5  实验数据

    Figure  5.  Experimental Data

    图  6  三种算法分别对三组数据的匹配效果

    Figure  6.  Matching Results of Three Algorithms

    表  1  SWDC-5倾斜相机参数

    Table  1.   Camera Parameters of SWDC-5

    A B C D E
    f/mm 8.219 4×101 8.239 5×101 8.225 2×101 8.200 5×101 5.068 8×101
    x0/mm -5.855 2×10-2 1.129 0×10-1 -1.159 8×10-1 5.219 4×10-2 -5.651 1×10-2
    y0/mm -6.688 1×10-2 2.684 3×10-1 1.424 2×10-1 3.107 6×10-1 -5.068 4×10-2
    k1 7.740 4×10-6 7.526 6×10-6 8.078 6×10-6 7.818 0×10-6 2.965 5×10-5
    k2 1.677 9×10-10 2.696 3×10-10 4.373 2×10-11 3.875 6×10-10 -1.314 6×10-8
    k3 -1.021 7×10-12 -1.202 6×10-12 -1.012 7×10-12 -1.136 5×10-12 -9.583 7×10-13
    p1 -2.404 7×10-6 -3.763 7×10-6 -2.071 4×10-6 -2.833 7×10-6 2.102 7×10-7
    p2 2.243 6×10-7 -9.544 1×10-7 -5.961 0×10-6 1.828 4×10-6 -1.504 9×10-6
    b1 7.541 3×10-6 -4.095 0×10-5 7.428 4×10-6 -1.227 4×10-5 -1.097 0×10-4
    b2 -2.866 6×10-5 2.906 5×10-5 -2.999 6×10-5 -2.471 6×10-5 3.646 0×10-5
    下载: 导出CSV

    表  2  相机间的相对姿态参数

    Table  2.   Relative Attitude Parameters Between the Bottom-View Cantera and the four Side-View Cameras

    E-A E-B E-C E-D
    φ/(°) -44.826 448 0.239 809 44.913 332 -0.587 146
    ω/(°) -0.527 889 -44.549 746 0.499 547 45.457 923
    κ/(°) 90.178 820 -179.644 876 -89.844 387 0.666 240
    X/m 0.109 0.019 -0.111 -0.002
    Y/m 0.003 0.130 -0.014 -0.138
    Z/m 0.040 0.056 0.037 0.046
    下载: 导出CSV

    表  3  4张倾斜影像数据的粗略外方位元素

    Table  3.   Rough Exterior Orientation Elements of the Oblique Images

    影像 Xs Ys Zs φ ω κ
    下视影像 597 369.163 2 420 725.608 865.232 -4.303 -1.335 75.458
    后视影像 596 599.108 2 420 719.659 859.389 41.302 -2.427 -92.335
    左视影像 597 494.168 2 420 153.160 867.106 -14.575 41.692 27.019
    右视影像 597 501.826 2 419 966.884 856.312 -14.857 43.868 15.482
    下载: 导出CSV

    表  4  3种算法分别对3组数据的匹配总数和匹配准确率

    Table  4.   Experimental Results of Three Algorithms

    数据 ASIFT NAIF PIF
    误匹配数/总匹配数 正确率/% 误匹配数/总匹配数 正确率/% 误匹配数/总匹配数 正确率/%
    第一组 4/163 97.546 6/324 98.148 7/336 97.917
    第二组 5/233 97.854 5/284 98.239 9/578 98.443
    第三组 42/393 1 98.932 15/159 0 99.057 56/602 5 99.071
    下载: 导出CSV

    表  5  3种算法的效率对比/s

    Table  5.   Time Cost of Three Algorithms/s

    数据 算法耗时
    ASIFT NAIF PIF
    第1组 717.3 5.6 4.3
    第2组 649.1 4.0 3.4
    第3组 622.7 4.5 3.8
    下载: 导出CSV
  • [1] Chum M O, Urban M, Pajdla T. Robust Wide-Baseline Stereo from Maximally Stable Extremal Regions[J]. Image and Vision Computing, 2004, 22:761-767 doi:  10.1016/j.imavis.2004.02.006
    [2] Mikolajczyk K, Schmid C. An Affine Invariant Interest Point Detector[C]. The Seventh European Conference on Computer Vision, Copenhagen, 2002 http://www.oalib.com/references/16888460
    [3] Mikolajczyk K, Schmid C. Scale and Affine Invariant Interest Point Detectors[J]. International Journal of Computer Vision, 2004, 60: 63-86 doi:  10.1023/B:VISI.0000027790.02288.f2
    [4] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65: 43-72 doi:  10.1007/s11263-005-3848-x
    [5] Morel J M, Yu G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2):438-469 doi:  10.1137/080732730
    [6] 姚国标, 邓喀中, 艾海滨, 等.倾斜立体影像自动准稠密匹配与三维重建算法[J].武汉大学学报·信息科学版, 2014, 39(7): 843-849 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201407017.htm

    Yao Guobiao, Deng Kazhong, Ai Haibin, et al. An Algorithm of Automatic Quasi-Dense Matching and Three-Dimensional Reconstruction for Oblique Stereo Images[J]. Geomatics and Information Science of Wuhan University, 2014, 39(7): 843-849 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201407017.htm
    [7] David G L. Distinctive Image Features from Scale-Invariant Key Points[J]. International Journal of Computer Vision, 2004, 60: 91-110 doi:  10.1023/B:VISI.0000029664.99615.94
    [8] Yang H, Zhang S, Wang Y. Robust and Precise Registration of Oblique Images Based on Scale-Invariant Feature Transformation Algorithm[J].IEEE Geoscience and Remote Sensing Letters, 2012, 9(4):783-787 doi:  10.1109/LGRS.2011.2181485
    [9] Wang C, Zhang Y, Wu Y, et al. Highly Accurate Geometric Correction for Serious Oblique Aero Remote Sensing Image Based on the Piecewise Polynomial Model[J]. Journal of Computational Information Systems, 2011, 7(2): 342-349 http://cn.bing.com/academic/profile?id=2344722909&encoded=0&v=paper_preview&mkt=zh-cn
    [10] Yu Y, Huang K, Chen W, et al. A Novel Algorithm for View and Illumination Invariant Image Matching[J]. IEEE Transaction on Image Processing, 2012, 21(1): 229-240 doi:  10.1109/TIP.2011.2160271
    [11] Yu G, Morel J M. ASIFT: An Algorithm for Fully Affine Invariant Comparison[J]. Image Processing On Line, 2011, DOI: 10.5201/ipol.2011.my-asift
    [12] Ohta M, Iwamoto K, Sato Y, et al. Perspective Robust Object Identification Using Depth and Color Image Sensor for Real-World Annotation[C/OL]. The 5th International Conference on 3D Systems and Applications, http://www.3dsa.kr/3DSA2013/contents/program.html, 2013
    [13] Xiao X, Guo B, Shi Y, et al. Robust and Rapid Matching of Oblique UAV Images of Urban Area[C]. SPIE MIPPR: Pattern Recognition and Computer Vision, Wuhan, 2013 http://lib.xust.edu.cn/info/5621/2513.htm
    [14] Schmid C, Mohr R, Bauckhage C. Evaluation of Interest Point Detectors[J]. International Journal of Computer Vision, 2000, 37(2):151-172 doi:  10.1023/A:1008199403446
    [15] Harris C J, Stephen M. A Combined Corner and Edge Detector [C]. The 14th Alvey Vision Conference, Manchester, United Kingdom, 1988
    [16] Mikolajczyk K, Schmid C. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1 615-1 630 doi:  10.1109/TPAMI.2005.188
    [17] Klippenstein J, Zhang H. Quantitative Evaluation of Feature Extractors for Visual SLAM[C]. The 4th Canadian Conference on Computer and Robot Vision, Quebec, 2007
    [18] Richard H, Andrew Z. Multiple View Geometry in Computer Vision[M]. United Kingdom: Cambridge University Press, 2003
    [19] Leěkovsky P, Alekseychuk A, Stanski A, et al. Point-Based Registration of High-Resolution Histological Slices for Navigation Purposes in Virtual Microscopy[J]. Annals of the BMVA, 2012, 10: 1-18 https://www.researchgate.net/profile/Peter_Hufnagl/publication/273120596_Point-based_registration_of_high-resolution_histological_slices_for_navigation_purposes_in_virtual_microscopy/links/54f72d930cf28d6dec9e1215.pdf?inViewer=true&pdfJsDownload=true&disableCoverPage=true&origin=publication_detail
    [20] 闫利, 陈林.一种改进的SURF及其在遥感影像匹配中的应用[J].武汉大学学报·信息科学版, 2013, 38(7): 770-773+804 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201307005.htm

    Yan Li, Chen Lin. A Modified SURF Descriptor and Its Application in Remote Sensing Images Matching[J].Geomatics and Information Science of Wuhan University, 2013, 38(7): 770-773+804 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201307005.htm
    [21] 李德仁, 袁修孝.误差处理与可靠性理论[M].武汉:武汉大学出版社, 2012

    Li Deren, Yuan Xiuxiao. Error Processing and Reliability Theory[M]. Wuhan: Wuhan University Press, 2012()
    [22] 肖雄武, 郭丙轩, 潘飞, 等.利用泰勒展开的点特征子像素定位方法[J].武汉大学学报·信息科学版, 2014, 39(10): 1 231-1 235 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201410018.htm

    Xiao Xiongwu, Guo Bingxuan, Pan Fei, et al. Sub-pixel Location of Feature Point Based on Taylor Expansion and Its Application[J].Geomatics and Information Science of Wuhan University, 2014, 39(10): 1 231-1 235 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201410018.htm
  • [1] 姚永祥, 段平, 李佳, 王云川.  联合对数极坐标描述与位置尺度特征的无人机影像匹配算法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1271-1278. doi: 10.13203/j.whugis20200362
    [2] 李欣, 杨宇辉, 杨博, 尹峰.  利用方向相位特征进行多源遥感影像匹配 . 武汉大学学报 ● 信息科学版, 2020, 45(4): 488-494. doi: 10.13203/j.whugis20180445
    [3] 吴炜, 沈占锋, 王显威, 吴田军, 王卫红.  一种仿射不变量支持的准稠密控制点匹配算法 . 武汉大学学报 ● 信息科学版, 2018, 43(6): 930-936. doi: 10.13203/j.whugis20160146
    [4] 徐亚明, 石娟, 安动动, 马旭东.  利用影像分割和匹配特征进行无人机影像变化检测 . 武汉大学学报 ● 信息科学版, 2016, 41(10): 1286-1291. doi: 10.13203/j.whugis20140873
    [5] 李德仁, 肖雄武, 郭丙轩, 江万寿, 时月茹.  倾斜影像自动空三及其在城市真三维模型重建中的应用 . 武汉大学学报 ● 信息科学版, 2016, 41(6): 711-721. doi: 10.13203/j.whugis20160099
    [6] 姚国标, 邓喀中, 艾海滨, 杜全叶.  倾斜立体影像自动准稠密匹配与三维重建算法 . 武汉大学学报 ● 信息科学版, 2014, 39(7): 843-849.
    [7] 吴军, 何广静, 姚泽鑫, 彭智勇, 李俊, 唐敏.  相对仿射变换自适应模拟下的ASIFT宽基线立体匹配研究! . 武汉大学学报 ● 信息科学版, 2014, 39(2): 214-219. doi: 10.13203/j.whugis20120557
    [8] 何培培, 万幼川, 高贤君, 秦家鑫.  基于彩色信息尺度不变特征的街景影像匹配 . 武汉大学学报 ● 信息科学版, 2014, 39(7): 867-872.
    [9] 梁艳, 盛业华, 张卡, 杨林.  利用局部仿射不变及核线约束的近景影像直线特征匹配 . 武汉大学学报 ● 信息科学版, 2014, 39(2): 229-233. doi: 10.13203/j.whugis20120611
    [10] 杨晟, 李学军, 朱诗兵, 刘涛.  近似核线影像的轻量级多阶多尺度特征准稠密匹配 . 武汉大学学报 ● 信息科学版, 2013, 38(11): 1298-1302.
    [11] 张云生, 朱庆, 吴波, 邹峥嵘.  一种基于三角网约束的立体影像线特征多级匹配方法 . 武汉大学学报 ● 信息科学版, 2013, 38(5): 522-527.
    [12] 张春森, 范金健.  利用物体结构信息进行影像线特征关系匹配 . 武汉大学学报 ● 信息科学版, 2012, 37(9): 1059-1063.
    [13] 吴军, 何广静, 杨海生.  一种引入傅立叶-梅林-仿射两级变换的影像区域匹配框架 . 武汉大学学报 ● 信息科学版, 2012, 37(5): 537-541.
    [14] 程亮, 龚健雅, 韩鹏, 宋小刚.  遥感影像仿射不变特征匹配的自动优化 . 武汉大学学报 ● 信息科学版, 2009, 34(4): 418-422.
    [15] 余瑞星, 朱冰, 张科, 吕梅柏.  基于小波的ICM不变特征在图像匹配识别中的应用 . 武汉大学学报 ● 信息科学版, 2008, 33(12): 1225-1228.
    [16] 张鹏林, 关泽群, 王新洲.  时间序列影像特征点提取与匹配算法研究 . 武汉大学学报 ● 信息科学版, 2004, 29(4): 329-332.
    [17] 江万寿, 郑顺义, 张祖勋, 张剑清.  航空影像特征匹配研究 . 武汉大学学报 ● 信息科学版, 2003, 28(5): 510-513.
    [18] 张力, 沈未名, 张祖勋, 张剑清.  基于约束满足神经网络的整体影像匹配 . 武汉大学学报 ● 信息科学版, 1999, 24(3): 216-219.
    [19] 王才诗, 李德仁, 舒宁.  NOAA/AVHRR影像特征匹配 . 武汉大学学报 ● 信息科学版, 1994, 19(1): 37-44.
    [20] 刘肃艳, 王竞雪, 沈昭宇, 王强.  结合线对几何特征及单线描述符约束的直线匹配算法 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20210147
  • 加载中
图(6) / 表(5)
计量
  • 文章访问数:  1592
  • HTML全文浏览量:  51
  • PDF下载量:  787
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-11-26
  • 刊出日期:  2016-09-05

一种具有视点不变性的倾斜影像快速匹配方法

doi: 10.13203/j.whugis20140405
    基金项目:

    国家973计划 2012CB719905

    国家自然科学基金 41127901

    测绘遥感信息工程国家重点实验室开放基金 13 Key Project

    二滩水电开发有限责任公司 LHKA-201010

    作者简介:

    肖雄武, 博士生。现从事倾斜影像匹配、空三和三维重建方面的研究。xwxiao@whu.edu.cn

    通讯作者: 郭丙轩, 博士, 教授, 博士生导师。E-mail:mobilemap@163.com
  • 中图分类号: P237.3;TP751

摘要: 提出了一种具有视点不变性的倾斜影像快速匹配方法。首先对影像进行预处理,即通过透视投影变换得到纠正影像(近似正射影像),消除影像几何变形、尺度和旋转问题;再对纠正影像提取Harris角点并建立尺度不变特征变换(scale invariant feature transform,SIFT)描述子。匹配时,在保证匹配准确率的同时,为了使得匹配点对分布均匀且提高匹配效率,利用粗略 F H 矩阵引导在局部范围内进行显著性匹配,并利用归一化互相关(normalized cross-correlation,NCC)测度约束剔除误匹配点。对三组典型的倾斜影像数据进行实验,结果表明,本文方法得到的匹配点对分布均匀且较为密集,匹配准确率和效率也较高。

English Abstract

肖雄武, 李德仁, 郭丙轩, 江万寿, 臧玉府, 刘健辰. 一种具有视点不变性的倾斜影像快速匹配方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405
引用本文: 肖雄武, 李德仁, 郭丙轩, 江万寿, 臧玉府, 刘健辰. 一种具有视点不变性的倾斜影像快速匹配方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405
XIAO Xiongwu, LI Deren, GUO Bingxuan, JIANG Wanshou, ZANG Yufu, LIU Jianchen. A Robust and Rapid Viewpoint-Invariant Matching Method for Oblique Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405
Citation: XIAO Xiongwu, LI Deren, GUO Bingxuan, JIANG Wanshou, ZANG Yufu, LIU Jianchen. A Robust and Rapid Viewpoint-Invariant Matching Method for Oblique Images[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1151-1159. doi: 10.13203/j.whugis20140405
  • 由于三维重建需要获取地物的侧面纹理信息,倾斜摄影技术应运而生。但是,倾斜影像的局部几何变形大、存在色差、海量数据(相机数量和影像重叠度均增加)等问题,给影像匹配工作带来了很大困难。

    目前,国内外针对大偏角倾斜影像匹配的三类主要方法为:(1)对原始影像提取具有仿射不变性的区域,建立描述子进行匹配。最大化稳定极值区域算法(maximally stable extremal regions, MSER)[1]、Harris仿射不变性区域特征(Harris-Affine)和Hessian仿射不变性区域特征(Hessian-Affine)[2-3]在这类算法中表现最好[4],但都不具备完全仿射不变性[5],对大倾角倾斜影像的匹配效果不好。文献[6]利用MSER和Harris-Affine算法获取初始匹配,在此基础上进行最小二乘匹配(least squares matching, LSM),并自适应迭代求取LSM最大收敛区域,再利用一定的方法进行匹配扩散(匹配传播)。此方法具有较强的仿射不变性,能够解决从不同视角获取的较简单立面纹理的匹配问题。(2)先对原始影像进行粗匹配得到匹配点对(一般利用尺度不变特征提取算法(scale invariant feature transform, SIFT)[7]或MSER算法,并采用比较严格的匹配策略),利用最小二乘法或几何一致性约束算法(random sample consensus, RANSAC)计算出两幅影像之间的一个关系矩阵H。以影像B为参考影像,利用H矩阵对影像A进行直接线性变换得到校正影像A′。对校正影像A′和影像B进行SIFT匹配,得到匹配点对,再将校正影像A′上匹配出的特征点反算到原始影像A上。该思路被广泛采用[8-10],但是由于粗匹配点对可能会存在分布不均匀、不够密集、正确匹配率不高等问题,计算的H矩阵不一定准确;另外就是匹配策略不够理想的问题,所以难以保证匹配效果。(3)模拟法。仿射尺度不变特征变换算法(affine scale invariant feature transform, ASIFT)[5]模拟了两个相机轴定向参数,然后应用SIFT模拟了尺度、规范化了位移和旋转,具备完全的仿射不变性,与SIFT、MSER、Harris-Affine和Hessian-Affine相比,在对图像错切、旋转、尺度缩放、光照变化上具有更强的鲁棒性[5, 11]。尽管ASIFT对倾斜影像的匹配效果较好,但其计算复杂度高,效率比较低下,难以满足实际的应用需求[12]。最佳仿射不变特征提取算法(nicest affine invariant feature, NAIF)[13]用局部仿射变化简化成像过程,利用倾斜影像粗略姿态参数中的角元素估算出初始仿射矩阵,通过对原始影像进行一次逆仿射变换,可一次性恢复到近似的正射影像(即纠正影像,其相对于物方平面存在旋转和尺度问题)。对纠正影像进行SIFT匹配,得到匹配点对,将匹配点对反算到原始影像上。该方法在一般情况下比ASIFT算法匹配效果稍好且匹配效率提高了100多倍,但是匹配出的点对存在分布不够均匀的问题,可能原因为:①用局部仿射变换来简化透视变换不是特别严密。②高斯差分(difference of Gaussian, DoG)检测子重现率不够高。③匹配策略不理想,导致匹配出的点对分布不够均匀。

    针对NAIF算法存在的问题,本文考虑利用透视变换来取代局部仿射变换,利用重现率高[14]的Harris角点提取算子[15](要求尺度近乎一致)取代DoG检测子。因此,本文提出了一种基于透视变换的倾斜影像匹配方法(perspective invariant feature, PIF), 基本思路为:用倾斜影像的粗略姿态参数计算出影像的P矩阵(透视矩阵)。取一个零高程面,计算出HP矩阵(物方平面到像方的关系)。对物方平面进行缩放(统一纠正影像的分辨率),得到近似的正射影像(即纠正影像,其相对于物方平面不存在尺度和旋转问题)。对纠正影像提取Harris角点,并用SIFT描述子描述这些关键点(SIFT描述子是公认最稳健的描述子之一[16]),将特征点反算到原始影像上。至于匹配策略,提出用FH矩阵引导在局部范围内进行显著性匹配,即比值提纯法(nearest neighbor distance ratio, NNDR)[7],再利用归一化互相关(normalized cross-correlation, NCC)测度约束[17]剔除误匹配,得到匹配点对。对3组典型的倾斜影像数据进行匹配实验,实验结果表明,本文算法得到的匹配点对无论是在分布情况和数量、准确率上,还是在匹配效率上均要优于ASIFT算法和NAIF算法。

    • 采用中国测绘科学研究院刘先林院士团队研制的SWDC-5倾斜相机平台获取倾斜影像数据。相机平台如图 1所示,平台参数见表 12

      表 1  SWDC-5倾斜相机参数

      Table 1.  Camera Parameters of SWDC-5

      A B C D E
      f/mm 8.219 4×101 8.239 5×101 8.225 2×101 8.200 5×101 5.068 8×101
      x0/mm -5.855 2×10-2 1.129 0×10-1 -1.159 8×10-1 5.219 4×10-2 -5.651 1×10-2
      y0/mm -6.688 1×10-2 2.684 3×10-1 1.424 2×10-1 3.107 6×10-1 -5.068 4×10-2
      k1 7.740 4×10-6 7.526 6×10-6 8.078 6×10-6 7.818 0×10-6 2.965 5×10-5
      k2 1.677 9×10-10 2.696 3×10-10 4.373 2×10-11 3.875 6×10-10 -1.314 6×10-8
      k3 -1.021 7×10-12 -1.202 6×10-12 -1.012 7×10-12 -1.136 5×10-12 -9.583 7×10-13
      p1 -2.404 7×10-6 -3.763 7×10-6 -2.071 4×10-6 -2.833 7×10-6 2.102 7×10-7
      p2 2.243 6×10-7 -9.544 1×10-7 -5.961 0×10-6 1.828 4×10-6 -1.504 9×10-6
      b1 7.541 3×10-6 -4.095 0×10-5 7.428 4×10-6 -1.227 4×10-5 -1.097 0×10-4
      b2 -2.866 6×10-5 2.906 5×10-5 -2.999 6×10-5 -2.471 6×10-5 3.646 0×10-5

      表 2  相机间的相对姿态参数

      Table 2.  Relative Attitude Parameters Between the Bottom-View Cantera and the four Side-View Cameras

      E-A E-B E-C E-D
      φ/(°) -44.826 448 0.239 809 44.913 332 -0.587 146
      ω/(°) -0.527 889 -44.549 746 0.499 547 45.457 923
      κ/(°) 90.178 820 -179.644 876 -89.844 387 0.666 240
      X/m 0.109 0.019 -0.111 -0.002
      Y/m 0.003 0.130 -0.014 -0.138
      Z/m 0.040 0.056 0.037 0.046

      图  1  SWDC-5倾斜相机平台

      Figure 1.  Camera Platform of SWDC-5

      该平台可通过全球定位系统(global pos-itioning system, GPS)和惯性测量单元(inertial measurement unit, IMU)自动获得E相机摄取影像(即下视影像)的粗略外方位元素。

    • 利用下视影像的粗略外方位元素、下视相机与各侧视相机之间的相对姿态,计算同一摄站各张侧视影像的粗略外方位元素。

      1)计算侧视影像的旋转矩阵Ri

      (1)

      其中,

      a1=cosφcosκ-sinφsinωsinκ

      a2=-cosφsinκ-sinφsinωcosκ

      a3=-sinφcosω

      b1=cosωsinκ

      b2=cosωcosκ

      b3=-sinω

      c1=sinφcosκ+cosφsinωsinκ

      c2=-sinφsinκ+cosφsinωcosκ

      c3=cosφcosω

      由式(1),利用下视影像的粗略角元素(φEωEκE)计算下视影像的旋转矩阵RE

      由式(1),利用下视相机与各侧视相机之间的相对姿态(φE-i, ωE-i, κE-i)计算同一摄站下视影像与侧视影像的相对旋转矩阵RE-i

      由下视影像的旋转矩阵RE、同一摄站下视影像与侧视影像的相对旋转矩阵RE-i计算该摄站各张侧视影像的旋转矩阵Ri

      (2)

      可通过分解Ri求得侧视影像外方位元素中的角元素,但是由于在后面的计算过程中可以直接使用Ri,故不需要通过分解Ri求得角元素。

      2)由计算侧视影像外方位元素中的线元素:

      (3)

      其中,RiRE分别表示侧视影像的旋转矩阵和下视影像的旋转矩阵; RE-i是由相对姿态中的角元素计算的旋转矩阵; tE-i是相对姿态中的线元素; titE分别表示侧视影像外方位元素的线元素和下视影像外方位元素的线元素。

    • 对每张原始影像计算一个HPST矩阵(即原始影像与纠正影像的一个变换关系)。

      1)利用原始影像(实为已去除畸变的影像)的内外方位元素、影像宽高(像素)、像元大小计算每张影像的投影矩阵P矩阵(像方到物方关系):

      (4)

      其中,

      式中,(Xs, Ys, Zs)是指影像外方位元素中的线元素;Rcv是计算机视觉中的旋转矩阵。

      2)计算每张影像的HP矩阵(像方到物方平面):

      (5)

      其中,

      ,有:

      (6)

      式中,p1p2p3p4代表P矩阵的4个列向量;R1R2R3代表Rcv矩阵的3个列向量。

      3)计算一个固定的缩放矩阵S,从而计算每张影像的HPS矩阵(像方到像方关系)。

      统一所有纠正影像的分辨率(使物方平面到像方的缩放比例固定,S矩阵只需要计算一次),使尺度一致,便于使用Harris算子提取角点特征。对于下视影像,影像基本没有变形,因此,可令在原始影像(下视)上两点的距离等于其纠正影像上对应两点的距离,这样,下视纠正影像的分辨率与原始影像(下视)分辨率相同。另外,使侧视纠正影像的分辨率与下视纠正影像的分辨率相同(相当于对真实三维场景的正射投影面缩放相同的倍数),从而统一分辨率。步骤如下。

      (1)根据某一张下视像片的HP矩阵、该下视像片的4个角的坐标(0, 0),(W, 0),(0, H),(W, H)计算物方平面对应的坐标(Xi, Yi, 0)(或直接写为(Xi, Yi))。

      (7)

      (2)对该下视影像中两个角(0, 0)、(W, 0)对应的物方平面坐标(X0, Y0)、(X1, Y1)求距离d

      (8)

      (3)计算物方平面与原始影像的比例r(保证下视的纠正影像与原始影像的分辨率相同):

      (9)

      (4)计算统一分辨率(即固定物方平面到纠正影像像方的缩放矩阵S):

      (10)

      统一分辨率后,计算每张影像的像方(原始影像)到像方(纠正影像)矩阵HPS

      (11)

      4)计算平移矩阵T,从而计算出每张影像的HPST矩阵。

      为了不浪费存储空间,需要计算纠正影像的适当大小和平移矩阵T,将纠正影像移动到恰当位置。

      (1)计算每张纠正影像的大小(宽、高)。利用HPS矩阵及原始影像的4个角的坐标(0, 0)、(W, 0)、(0, H)、(W, H),求纠正影像的4个角的坐标(xi, yi) (i=0, 1, 2, 3),再计算纠正影像的宽、高大小。

      (12)

      (13)

      纠正影像的宽为:

      (14)

      纠正影像的高为:

      (15)

      式中, mi为比例系数。

      (2)计算像片的平移矩阵T

      (16)

      (3)计算每张影像的HPST矩阵:

      (17)
    • 利用原始影像I和其对应的HPST矩阵,计算每张影像的纠正影像I′:

      (18)

      对两张有较大重叠度的侧视影像(一张为右视影像,一张为左视影像)分别进行纠正,其纠正前、后的结果见图 2

      图  2  影像纠正前、后的效果对比

      Figure 2.  Comparison of Original Image and Rectified Image

      图 2中可以看出,侧视影像近乎纠正成了近似正射影像,且所有纠正影像之间几乎不存在尺度和旋转问题,便于后面进行特征提取和匹配。

    • 1)在两张纠正影像上,分别提取Harris特征点并建立SIFT描述子。

      2)将纠正影像上的特征点反算到原始影像上(仅反算点位,描述子直接用)。

      (19)

      式中,ni为比例系数;xi, yi表示纠正影像上的点;xi, yi为原始影像上的对应点。

      尽管在原始影像(实为已去除畸变的影像)边缘可能会匹配出一些同名点(表面上是正确匹配点),但为了防止由于镜头畸变模型不是特别严密而导致已去除镜头畸变的影像其图像边缘本身是不够准确的(这样会导致误匹配),直接剔除落在原始影像边界50像素以内的特征点。

    • 1)计算基本矩阵F。已知左、右影像各自的P矩阵(分别记为p1p2),计算F矩阵。

      有:

      (20)

      2)计算单应矩阵H。已知左、右影像各自的HP矩阵(分别记为H1H2),计算H矩阵:

      (21)

      3)匹配策略。本文提出使用F矩阵、H矩阵引导的在局部范围内的显著性检验(NNDR)[7],这样可以提高正确匹配点对的数量,减少搜索范围, 提高匹配效率,减少误匹配率。再利用归一化互相关(NCC)测度约束[17]剔除误匹配。

      F矩阵、H矩阵引导在局部范围内进行匹配时,FH矩阵的容差大小选取时, 若容差太大,则搜索范围大,影响效率, 且存在相似特征区域的可能性增大,产生误匹配。若容差太小,由于倾斜影像匹配不满足严格的FH矩阵约束[18],且FH矩阵不是非常精确,正确匹配点可能根本就不在搜索区域里面,导致误匹配。因此,H矩阵的容差大小与倾斜相机的倾角、测区高差、影像地面分辨率有关(见图 3)。对于倾角约为45°的城区倾斜影像,可将H矩阵的容差rh约等于影像中多数建筑物的高度所占像素数目。而F矩阵的容差rf一般不超过5~20。本文中,根据影像数据的实际情况,将FH矩阵的容差分别选取为10像素和200像素。

      图  3  H矩阵搜索容差大小的取值

      Figure 3.  Search Tolerance Value of Homography Matrix

      利用F矩阵和H矩阵计算左片中任一待匹配点p在右片中的同名点p′的潜在区域,即在同名核线附近10个像素内(由F矩阵容差εf=其中xi为左片中的待匹配点,Ii=F×xia′和b′为Ii的前两个元素,计算出点xi的取值范围),且在理论同名点附近200个像素内(由H矩阵容差εh=‖xiH×xi‖ < 200,计算出xi的取值范围)的区域,如图 4中封闭红线包含的区域。若右片中该区域仅存在1个特征点且满足NCC测度[17]:

      图  4  同名点的潜在区域(绿线为同名核线,黑点为理论同名点)

      Figure 4.  Potential Area of a Corresponding Point(Area Included by the Closed Red Line)

      式中, aibi分别为匹配点对两个描述向量的元素,ab分别为两个描述向量各元素的平均值;γ(a, b)>0.75)则直接作为同名点。若该区域存在两个及以上特征点,选取与待匹配点最邻近(nearest neighbor, NN),即描述子差异最小[16]且满足显著性检验(次邻近距离与最邻近距离的比值小于0.85)[7]、NCC测度的特征点,作为同名点。

    • 系统环境为Windows 7, 8 GB RAM, i7 CPU。

      实验数据为广东阳江地区的一组倾斜影像数据(见图 5),像元大小为6 μm,侧视影像(2 046×1 529像素)的倾角约为45°,下视影像(2 051×1 519像素)的倾角约为5°。这一组影像的粗略外方位元素见表 3

      表 3  4张倾斜影像数据的粗略外方位元素

      Table 3.  Rough Exterior Orientation Elements of the Oblique Images

      影像 Xs Ys Zs φ ω κ
      下视影像 597 369.163 2 420 725.608 865.232 -4.303 -1.335 75.458
      后视影像 596 599.108 2 420 719.659 859.389 41.302 -2.427 -92.335
      左视影像 597 494.168 2 420 153.160 867.106 -14.575 41.692 27.019
      右视影像 597 501.826 2 419 966.884 856.312 -14.857 43.868 15.482

      图  5  实验数据

      Figure 5.  Experimental Data

    • 分别用ASIFT、NAIF、PIF算法对下视相机与侧视相机获取的影像(将下视影像与后视影像记为第1组)、两个相邻相机获取的侧视影像(将后视影像与右视影像记为第2组)、两个相离相机获取的侧视影像(将左视影像与右视影像记为第3组)这3组有代表性的数据进行匹配,对比和分析实验结果。

      由于ASIFT算法在图像重复纹理区域会产生一些误匹配,故本文先利用ASIFT算法获得粗匹配点对,再利用RANSAC算法提纯匹配点对。NAIF算法对做仿射纠正后的影像进行SIFT匹配时,采用常规、有效的匹配策略[19-20]:比值提纯法(阈值0.85)和左右一致性检验(在近乎不减少正确匹配点对的同时,有效剔除一些误匹配[13]),先由左片中特征点搜索右片中满足条件的同名点,得到匹配点集S1;再由右片中特征点搜索左片中满足条件的同名点,得到匹配点集S2;最终的匹配点集是S1S2的交集,得到粗匹配点对, 再利用RANSAC算法提纯。

      对实验结果的评价标准为:(1)正确匹配点对的分布情况和数量。对于多平面场景的影像匹配,匹配点对并不简单地满足单应矩阵约束。所以,可将匹配点对输出为.pts文件(ENVI的一种可读格式),在ENVI软件中人工逐对检查匹配点对是否正确。(2)匹配点对的正确率,即正确匹配点对数量与匹配点对总量的比值。

      3种匹配算法分别对这3组数据的匹配效果见图 6(图 6中的红色+标记表示匹配点);对三组数据的匹配结果统计见表 4。由图 6表 4可知, 对于第一组数据,在匹配点对分布及数量上,本文算法要明显优于ASIFT和NAIF算法;在匹配正确率上,3种算法的正确率都比较高,本文算法的正确率略优于ASIFT算法,略低于NAIF算法。对于第二组数据,在匹配点对分布及数量上,本文算法要明显优于ASIFT和NAIF算法;在匹配正确率上,三种算法的正确率都比较高,本文算法的正确率要略优于ASIFT和NAIF算法。对第三组数据,三种算法的匹配效果都比较好;在匹配点对分布及数量、准确率上,本文算法均要优于ASIFT算法和NAIF算法。

      表 4  3种算法分别对3组数据的匹配总数和匹配准确率

      Table 4.  Experimental Results of Three Algorithms

      数据 ASIFT NAIF PIF
      误匹配数/总匹配数 正确率/% 误匹配数/总匹配数 正确率/% 误匹配数/总匹配数 正确率/%
      第一组 4/163 97.546 6/324 98.148 7/336 97.917
      第二组 5/233 97.854 5/284 98.239 9/578 98.443
      第三组 42/393 1 98.932 15/159 0 99.057 56/602 5 99.071

      图  6  三种算法分别对三组数据的匹配效果

      Figure 6.  Matching Results of Three Algorithms

      实验结果表明,本文算法比ASIFT算法和NAIF算法具有更强的抗视点变化能力, 其主要原因是:(1)通过透视变换得到纠正影像比通过局部仿射变换得到纠正影像在理论上更为严密。(2)本文所提出的匹配策略要优于ASIFT算法和NAIF算法所采用的常规、有效匹配策略。

    • ASIFT采用模拟法得到一系列纠正影像,对所有纠正影像进行SIFT匹配,计算复杂度高[12];NAIF和PIF仅通过一次几何变换得到一张纠正影像,分别运用优化了的匹配策略进行匹配,计算复杂度大大降低。3种匹配算法的匹配耗时见表 5

      表 5  3种算法的效率对比/s

      Table 5.  Time Cost of Three Algorithms/s

      数据 算法耗时
      ASIFT NAIF PIF
      第1组 717.3 5.6 4.3
      第2组 649.1 4.0 3.4
      第3组 622.7 4.5 3.8

      表 5可知,对于三组数据,PIF算法匹配耗时分别为ASIFT算法的0.60%、0.52%、0.61%,分别为NAIF算法的0.77、0.85、0.84倍。实验结果表明,PIF算法的匹配效率要远远高于ASIFT算法(PIF仅需要进行一次模拟,得到一张纠正影像),且比NAIF算法的匹配效率略高。NAIF匹配时,采用左右一致性检验来剔除部分粗匹配,这样就可以保证粗匹配点对中的误匹配率不超过50%以满足RANSAC算法的使用条件,但需要耗费较长的时间。

    • 本文提出了一种基于透视变换的倾斜影像匹配方法,该方法先恢复倾斜影像出现的透视变形问题,再对纠正影像提取Harris角点并建立SIFT描述子,然后将特征点反算到原始影像上,最后利用优化了的匹配策略进行匹配。实验结果表明,对于大倾角倾斜影像,本文方法匹配耗时较短,得到的同名点对分布均匀且较为密集,正确率高。该成果已推广应用于天工软件的倾斜影像匹配模块中,空三单位权中误差[21]一般可达到0.3~0.55像素,基本能够满足空三需求。

      下一步的工作是:(1)融合多种互补不变特征,有效保证匹配点对的多量性和空间分布均匀性[6, 8]。(2)提高匹配精度, 如提高Harris特征点的定位精度[22],并运用多视匹配技术剔除存在的少量误匹配点对。(3)制定一个更为科学的倾斜影像匹配效果评价标准。

参考文献 (22)

目录

    /

    返回文章
    返回