留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

密集光流法正射影像镶嵌线智能提取

张春森 张月莹 郭丙轩 任力

张春森, 张月莹, 郭丙轩, 任力. 密集光流法正射影像镶嵌线智能提取[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573
引用本文: 张春森, 张月莹, 郭丙轩, 任力. 密集光流法正射影像镶嵌线智能提取[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573
ZHANG Chunsen, ZHANG Yueying, GUO Bingxuan, REN Li. Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573
Citation: ZHANG Chunsen, ZHANG Yueying, GUO Bingxuan, REN Li. Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573

密集光流法正射影像镶嵌线智能提取

doi: 10.13203/j.whugis20200573
基金项目: 

国家自然科学基金 92038301

陕西省自然科学基金 2018JM5103

自然资源部城市国土资源监测与仿真重点实验室开放基金 KF-2018-03-052

详细信息
    作者简介:

    张春森,博士,教授,主要从事摄影测量计算机视觉与遥感应用研究。zhchunsen@aliyun.com

    通讯作者: 郭丙轩,博士,教授。mobilemap@163.com
  • 中图分类号: P232

Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos

Funds: 

The National Natural Science Foundation of China 92038301

the Natural Science Foundation of Shaanxi Province 2018JM5103

the Open Fund of Key Laboratory of Urban Land Resources Monitoring and Simulation, Ministry of Natural Resources KF-2018-03-052

More Information
    Author Bio:

    ZHANG Chunsen, PhD, professor, specializes in photogrammetry computer vision and remote sensing application. E-mail: zhchunsen@aliyun.com

    Corresponding author: GUO Bingxuan, PhD, professor. E-mail: mobilemap@163.com
  • 摘要: 针对正射影像拼接时影像间存在复杂的几何错位问题,提出一种基于密集光流法正射影像镶嵌线智能搜索方法。利用影像密集光流、梯度信息和灰度信息构造代价影像并视其为带权无向图,以图割模型为基础,采用最大流最小割原理自诊断搜索镶嵌线。实验结果表明,采用所提方法得到的稀疏建筑区镶嵌线代价像素数大于100的仅占路径长度的0.7%,且相较于现有商业软件OrthoVista效率提升17%。对人工建筑物与正射影像间投影差较大的区域可实现自动规避,大大降低了几何错位的概率,可明显改善影像拼接的几何错位现象,实现正射影像镶嵌线搜索的智能化。
  • 图  1  本文方法流程图

    Figure  1.  Flowchart of the Proposed Method

    图  2  光流法金字塔模型

    Figure  2.  Pyramid Model of Optical Flow

    图  3  无金字塔和建立金字塔模型条件下的光流场

    Figure  3.  Optical Flow Fields Without and with Pyramid Model

    图  4  本文方法镶嵌线搜索结果

    Figure  4.  Seamline Search Results of the Proposed Method inThis Paper

    图  5  OrthoVista拼接结果

    Figure  5.  Seamline Search Results of OrthoVista

    图  6  镶嵌线结果比较

    Figure  6.  Comparision of Seamline Search Results

    图  7  本文方法拼接结果的局部示意图

    Figure  7.  Partial Schematic Diagram of the Proposed Method in This Paper

    表  1  不同方法镶嵌线质量与效率统计

    Table  1.   Quality and Efficiency Statitics of Different Methods

    地形区域 方法 路径长度/像素 搜索用时/ms 差异像素数(占比) 平均灰度值
    灰度>50 灰度>100 灰度>150
    密集建筑区 本文方法 7 470 22 700 184(2.4%) 83(1.1%) 47(0.6%) 33.26
    OrthoVista 6 036 27 325 458(7.6%) 229(3.7%) 156(2.5%) 28.34
    稀疏建筑区 本文方法 5 024 11 470 77(1.5%) 37(0.7%) 20(0.3%) 24.04
    OrthoVista 4 833 13 585 265(5.5%) 122(2.5%) 84(1.7%) 30.15
    地势起伏地区 本文方法 8 026 12 258 85(1.1%) 33(0.4%) 17(0.2%) 33.67
    OrthoVista 4 903 13 619 83(2.0%) 60(1.2%) 14(0.3%) 37.50
    地势平坦地区 本文方法 7 189 10 377 39(0.5%) 24(0.3%) 19(0.3%) 21.58
    OrthoVista 6 154 10 940 62(1.0%) 31(0.5%) 25(0.4%) 47.31
    下载: 导出CSV
  • [1] 靳建立. 基于DSM的遥感影像拼接关键技术研究[D]. 郑州: 信息工程大学, 2009

    Jin Jianli. A Study on DSM-Based Mosaicking Techniques for Remote Sensing Imagery[D]. Zhengzhou: Information Engineering University, 2009
    [2] 蔡平, 万一, 张永军, 等. 点云信息辅助的航空正射影像自动镶嵌方法[J]. 测绘地理信息, 2021, 46(S1): 200-204 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG2021S1047.htm

    Cai Ping, Wan Yi, Zhang Yongjun, et al. Automated Seamline Detection for Aerial Orthophoto Mosaicking Assisted by Point Cloud Information[J]. Journal of Geomatics, 2021, 46(S1): 200-204 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG2021S1047.htm
    [3] 荣利会, 戴晨光, 聂海滨, 等. OESM辅助的高分辨率航空正射影像拼接线自动检测算法[J]. 测绘科学技术学报, 2017, 34(2): 162-167 https://www.cnki.com.cn/Article/CJFDTOTAL-JFJC201702010.htm

    Rong Lihui, Dai Chenguang, Nie Haibin, et al. Automatic Seamline Detection Algorithm for High Resolution Aerial Orthoimages with the Auxiliary Orthoimage Elevation Synchronization Model[J]. Journal of Geomatics Science and Technology, 2017, 34(2): 162-167 https://www.cnki.com.cn/Article/CJFDTOTAL-JFJC201702010.htm
    [4] 李朋龙, 邓非, 李海亮, 等. 基于有效区域约束的GPU-CPU协同影像快拼方法[J]. 武汉大学学报·信息科学版, 2018, 43(2): 304-310 doi:  10.13203/j.whugis20150284

    Li Penglong, Deng Fei, Li Hailiang, et al. A Method of GPU-CPU Co-Processing Rapid Images Mosaicking Based on Valid Areas[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 304-310 doi:  10.13203/j.whugis20150284
    [5] 李婉, 赵双明, 张卫龙, 等. 一种无人机影像滤波分频拼接算法[J]. 武汉大学学报·信息科学版, 2018, 43(6): 943-950 doi:  10.13203/j.whugis20160108

    Li Wan, Zhao Shuangming, Zhang Weilong, et al. A Mosaic Method for UAV Images Based on Filtering[J]. Geomatics and Information Science of Wuhan University, 2018, 43(6): 943-950 doi:  10.13203/j.whugis20160108
    [6] 杨超. 基于图像分割的高分影像镶嵌线快速生成算法研究[D]. 杭州: 杭州师范大学, 2018

    Yang Chao. Research on Fast Detection of Seam-Line for GF Image via Image Segmentation[D]. Hangzhou: Hangzhou Normal University, 2018
    [7] 丁锴为, 邹峥嵘, 张云生, 等. 基于图割算法的正射影像镶嵌线自动选择[J]. 测绘与空间地理信息, 2016, 39(9): 54-56 https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH201609016.htm

    Ding Kaiwei, Zou Zhengrong, Zhang Yunsheng, et al. Automatically Seam-Line Selection for Mosaicking Ortho-Photo via Graph Cut Algorithm[J]. Geomatics & Spatial Information Technology, 2016, 39(9): 54-56 https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH201609016.htm
    [8] 张莎莎. 基于语义分割的数字正射影像镶嵌及其质量评价方法研究[D]. 武汉: 武汉大学, 2018

    Zhang Shasha. Research on Orthophoto Mosaicking and Quality Evaluation Methods Based on Semantic Segmentation[D]. Wuhan: Wuhan University, 2018
    [9] 段梦梦. 基于视差图的数字正射影像镶嵌线自动搜索及其质量评价方法研究[D]. 武汉: 武汉大学, 2015

    Duan Mengmeng. Research on Seam Line Detection and Quality Evaluation Methods for Orthophoto Mosaicking Based on Disparity Map[D]. Wuhan: Wuhan University, 2015
    [10] 宫思伟, 陈时雨, 蔡杨. 最小化最大边权的正射影像镶嵌线自动搜索[J]. 测绘地理信息, 2020, 45(4): 104-109 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202004022.htm

    Gong Siwei, Chen Shiyu, Cai Yang. Seamline Detection for Orthoimage Mosaicking Based on Minimizing the Maximum Edge Weight Algorithm[J]. Journal of Geomatics, 2020, 45(4): 104-109 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202004022.htm
    [11] Farnebäck G. Two-Frame Motion Estimation Based on Polynomial Expansion[M]//Image Analysis. Berlin, Heidelberg: Springer, 2003
  • [1] 郑茂腾, 熊小东, 朱俊锋, 鲁一慧, 刘薇, 邱焕斌.  一种基于带权A*搜索算法的正射影像镶嵌线网络优化方法 . 武汉大学学报 ● 信息科学版, 2019, 44(11): 1650-1658. doi: 10.13203/j.whugis20180080
    [2] 朱渭宁, 孙璐.  空间染色镶嵌模型理论与应用 . 武汉大学学报 ● 信息科学版, 2018, 43(4): 522-528. doi: 10.13203/j.whugis20150670
    [3] 邓非, 李朋龙, 阚酉浔, 康俊华, 万方.  数字建筑模型整体投影真正射影像制作中的遮蔽检测方法 . 武汉大学学报 ● 信息科学版, 2017, 42(1): 97-102. doi: 10.13203/j.whugis20140660
    [4] 李磊, 董卓莉.  利用改进图割的彩色图像分割算法 . 武汉大学学报 ● 信息科学版, 2014, 39(12): 1504-1508.
    [5] 胡学敏, 郑宏, 郭琳.  利用鱼眼相机对密集人群进行智能监控 . 武汉大学学报 ● 信息科学版, 2014, 39(10): 1236-1240.
    [6] 朱庆, 于杰, 杜志强, 张叶廷.  面向对象的真正射影像纠正方法 . 武汉大学学报 ● 信息科学版, 2013, 38(7): 757-760.
    [7] 程亮, 李满春, 龚健雅, 单杰.  LiDAR数据与正射影像结合的三维屋顶模型重建方法 . 武汉大学学报 ● 信息科学版, 2013, 38(2): 208-211,216.
    [8] 张剑清, 许彪, 孙明伟, 张勇.  利用三角网遮蔽检测进行真正射影像制作 . 武汉大学学报 ● 信息科学版, 2012, 37(3): 326-329.
    [9] 孙杰, 马洪超, 钟良.  利用LiDAR点云的真正射影像遮蔽检测 . 武汉大学学报 ● 信息科学版, 2011, 36(8): 948-951.
    [10] 孙杰, 马洪超, 汤璇.  机载LiDAR正射影像镶嵌线智能优化研究 . 武汉大学学报 ● 信息科学版, 2011, 36(3): 325-328.
    [11] 王潇, 江万寿, 谢俊峰.  一种新的真正射影像生成算法 . 武汉大学学报 ● 信息科学版, 2009, 34(10): 1250-1254.
    [12] 潘俊, 王密, 李德仁.  基于顾及重叠的面Voronoi图的接缝线网络生成方法 . 武汉大学学报 ● 信息科学版, 2009, 34(5): 518-521.
    [13] 张剑清, 孙明伟, 张祖勋.  基于蚁群算法的正射影像镶嵌线自动选择 . 武汉大学学报 ● 信息科学版, 2009, 34(6): 675-678.
    [14] 李德仁, 王密, 潘俊, 胡芬.  无缝立体正射影像数据库的概念、原理及其实现 . 武汉大学学报 ● 信息科学版, 2007, 32(11): 950-954.
    [15] 苏国中, 张剑清, 陈炳贵.  GIS知识引导的正射影像变化检测及更新 . 武汉大学学报 ● 信息科学版, 2005, 30(8): 664-667.
    [16] 李德仁, 龚健雅, 朱欣焰, 梁宜希.  我国地球空间数据框架的设计思想与技术路线 . 武汉大学学报 ● 信息科学版, 1998, 23(4): 297-303.
    [17] 梅雪良, 张祖勋, 张剑清.  最大集团图搜索法用于关系结构约束的全局等高线断线连接 . 武汉大学学报 ● 信息科学版, 1995, 20(2): 101-105.
    [18] 邱卫宁.  根据等高线建立数字高程模型 . 武汉大学学报 ● 信息科学版, 1994, 19(3): 199-203.
    [19] 张祖勋, 顾天襄, 胡志贵.  用SODAMS系统产生的DEM控制OR-1生产正射影象图 . 武汉大学学报 ● 信息科学版, 1986, 11(3): 20-29.
    [20] 肖应华, 甘信铮, 陈秀引, 王明远.  利用数字纠正制作正射影象地形图的试验 . 武汉大学学报 ● 信息科学版, 1983, 8(2): 57-70.
  • 加载中
图(7) / 表(1)
计量
  • 文章访问数:  240
  • HTML全文浏览量:  44
  • PDF下载量:  27
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-07-28
  • 刊出日期:  2022-02-05

密集光流法正射影像镶嵌线智能提取

doi: 10.13203/j.whugis20200573
    基金项目:

    国家自然科学基金 92038301

    陕西省自然科学基金 2018JM5103

    自然资源部城市国土资源监测与仿真重点实验室开放基金 KF-2018-03-052

    作者简介:

    张春森,博士,教授,主要从事摄影测量计算机视觉与遥感应用研究。zhchunsen@aliyun.com

    通讯作者: 郭丙轩,博士,教授。mobilemap@163.com
  • 中图分类号: P232

摘要: 针对正射影像拼接时影像间存在复杂的几何错位问题,提出一种基于密集光流法正射影像镶嵌线智能搜索方法。利用影像密集光流、梯度信息和灰度信息构造代价影像并视其为带权无向图,以图割模型为基础,采用最大流最小割原理自诊断搜索镶嵌线。实验结果表明,采用所提方法得到的稀疏建筑区镶嵌线代价像素数大于100的仅占路径长度的0.7%,且相较于现有商业软件OrthoVista效率提升17%。对人工建筑物与正射影像间投影差较大的区域可实现自动规避,大大降低了几何错位的概率,可明显改善影像拼接的几何错位现象,实现正射影像镶嵌线搜索的智能化。

English Abstract

张春森, 张月莹, 郭丙轩, 任力. 密集光流法正射影像镶嵌线智能提取[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573
引用本文: 张春森, 张月莹, 郭丙轩, 任力. 密集光流法正射影像镶嵌线智能提取[J]. 武汉大学学报 ● 信息科学版, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573
ZHANG Chunsen, ZHANG Yueying, GUO Bingxuan, REN Li. Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573
Citation: ZHANG Chunsen, ZHANG Yueying, GUO Bingxuan, REN Li. Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 261-268. doi: 10.13203/j.whugis20200573
  • 数字正射影像(digital orthophoto map,DOM)是利用数字高程模型(digital elevation model,DEM)对单张影像进行数字微分纠正,然后将多张影像镶嵌得到。由于DEM中不包含明显地物(城市区域建筑物等)高程信息,在明显地物区域,影像间存在较大几何错位,该现象的存在降低了DOM的平面精度,影响了人的视觉感受。现有方法多依赖于人工特征和辅助数据,尚未有可自动搜索得到高质量镶嵌线的方法,在实际生产中依旧需要大量人工编辑。因此,镶嵌线自动搜索仍然是DOM实际生产中尚未解决的瓶颈问题。

    文献[1-4]提出了基于数字表面模型(digital surface model,DSM)、正射影像高程同步模型、重叠区域Voronoi图等具有先验信息的辅助数据对镶嵌线进行搜索,基于辅助数据的方法能较好地避开房屋等独立地物,速度快且效率高,但辅助数据的精确度直接影响镶嵌线的效果。文献[5]提出通过高斯滤波将影像分为低频影像与高频影像,利用加权平滑算法与动态规划算法分别拼接低频与高频影像,将两者线性组合得到最终拼接影像,该方法解决了无人机影像拼接中产生的“鬼影”问题,尽可能地避免了拼接线两侧产生几何错位。文献[6-8]提出了基于影像分割的镶嵌线搜索方法,其中文献[6]方法首先生成相邻影像的初始镶嵌线,然后通过分水岭分割方法提取形态学边界点和边界线,最后利用Dijkstra算法获得最佳镶嵌线,但该方法易出现过分割的现象,导致生成的镶嵌线过于弯曲。文献[7]利用图割算法将DOM的拼接转化为图割模型优化问题,搜索到的DOM重叠区域的最小割即为最优拼接线。文献[8]将语义信息引入DOM的图像分割中,进而搜索最优镶嵌线。文献[9]通过视差图进行镶嵌线搜索,首先利用DOM生成的视差图提取影像中的人工建筑物,然后采用贪婪搜索算法生成镶嵌线,该方法对规避人工建筑等区域具有很好的效果。文献[10]提出了一种最小化最大边权的镶嵌线自动搜索方法,首先利用视差图和差值影像叠加生成差异影像并视其为带权无向图,然后采用最小化最大边权算法搜索最佳镶嵌线作为拼接线,该方法适用于影像差异较小的区域,当建筑物较高、完全遮挡道路时,拼接线不能避免穿过建筑物。

    通过对现有方法的分析发现,已有方法虽能够在一定程度上正确处理DOM的拼接问题,但很难表达出影像间明显地物的几何差异,对建筑物边缘描述不连续,易使镶嵌线穿越建筑物,产生几何错位现象。文献[5, 7]虽然效果很好,但自动化程度不高。为此,本文提出一种基于密集光流法的数字正射影像镶嵌线智能搜索算法,基于DOM间的光流值表示同一目标点在不同影像重叠区域的位置差异,采用光流场欧氏距离的大小表示DOM间重叠区域差异的大小,将光流值引入代价函数,依据图割能量函数寻找最小割,实现DOM镶嵌线的智能搜索。光流值的引入可以使计算机自动识别并规避人工建筑物,不需要如商业软件OrthoVista中后续的人工调整镶嵌线的步骤,体现了本文方法的智能化。

    • 本文方法流程如图 1所示,主要步骤包括:对原始单张正射影像进行预处理,处理后影像生成金字塔模型并进行密集光流场计算。结合密集光流场、灰度信息、梯度信息构造代价函数,建立图割能量模型。由于在利用影像构建图割模型过程中,每个像素对应图割模型中的节点,图像中像素的4个邻域对应图割模型中的边,每个边的权值即为该像素与其邻域像素能量函数值的代价和,因此在权重图中利用图割能量模型求得最小割,即为最优镶嵌线。

      图  1  本文方法流程图

      Figure 1.  Flowchart of the Proposed Method

    • 光流表示一帧图像中代表同一对象的像素点移动到下一帧的移动量,使用二维向量表示,反映了同一目标点在相邻影像间的对应关系。密集光流法通过计算图像中每个像素的光流值,得到密集光流场,光流场图上的像素点表示其对应的相邻影像同名点的位置差异,能很好地表达左右影像投影差。本文利用DOM间的密集光流场欧氏距离的大小探测DOM间同一目标在重叠区域影像中位置差异的大小,以此作为镶嵌线查找中需避开区域的代价之一。

    • 传统的稀疏光流算法只对影像序列中少数具有明显特征的点进行光流场计算,本文采用文献[11]提出的密集光流法逐像素计算光流值,该方法可以使用任何程度的多项式展开,即用多项式近似每个像素的邻域。本文采用二次多项式逼近,在局部坐标空间中,将邻域信号f(x)近似表示为:

      f(x)~xTAx+bx+c]]>

      式中,x为像素点在影像中的二维坐标,x=(x,y)TA为对称矩阵,通过邻域信息的最小二乘加权拟合得到;b为2×1的矩阵向量;c为标量。使用归一化卷积来估计该二次多项式的系数。

      假设连续两帧影像I1I2间的整体位移量为d,根据式(1)可以构造出对影像I1I2的局部邻域多项式估计,计算式为:

      f1(x)=xTA1x+b1Tx+c1]]>

      根据整体位移量d构造影像I2的邻域信号f2,计算式为:

      f2=f1(x-d)=xTA1x+(b1-2A1d)+dTA1d-b1Td+c1 ]]>

      假设两个信号的二次多项式系数相等,可得关系式:

      A2=A1]]>
      b2=b1-2Α1d]]>
      c2=dTA1x-b1Td+c1]]>

      A1为非奇异矩阵的情况下,即A0时,可以通过式(5)推导出位移d,计算式为:

      d=-12A-1(b2-b1)]]>

      如式(2)所示,对两帧影像I1I2进行多项式展开,其系数分别为A1(x)b1(x)c1(x)A2(x)b2(x)c2(x),在理想情况下,A1(x)=A2(x),但在实际情况中,不能用一个局部多项式逼近整幅影像,也不能仅通过当前帧的整体平移得到下一帧,因此对式(7)中的各元素进行近似与简化表达,计算式为:

      A(x)=A1(x)+A2(x)2]]>
      Δb(x)=-12(b2(x)-b1(x))]]>

      基于上述条件,可以得到主要约束条件,对光流进行求解,计算式为:

      A(x)d(x)=Δb(x)]]>

      根据式(10)在每个像素邻域上构建下式,使得位移d(x)在像素邻域内最小化:

      ΔxIw(Δx)A(x+Δx)d(x)-Δb(x+Δx)2 ]]>

      式中,w(Δx)是像素的邻域I中各点的权函数。

      将式(11)最小化可得:

      d(x)=wATA-1wATΔb ]]>
      e(x)=wΔbTΔb-d(x)TwATΔb ]]>

      式中,e(x)的最小值用作反向置信度值,值越小,置信度越高。

      根据运动模型对光流场进行参数化可以提高鲁棒性,采用8参数运动模型可得:

      dx(x,y)=a1+a2x+a3y+a7x2+a8xy ]]>
      dy(x,y)=a4+a5x+a6y+a7xy+a8y2 ]]>

      引入系数矩阵Sp,计算式为:

      S=1x00y00100xyx2xyxyx2 ]]>
      p=a1a2a3a4a5a6a7a8T ]]>

      则有d=Sp,将其代入式(11),可得加权最小二乘:

      iwi||AiSip-Δbi||2 ]]>

      式中,i是像素邻域坐标索引,可得出:

      p=iwiSiTAiTAiSi-1iwiSiTAiTΔbi ]]>

      为了避免位移过大造成的误差,需引入先验位移d0(x),将式(8)和式(9)变换为:

      A(x)=A1(x)+A2(x˜)2 ]]>
      Δb(x)=-12(b2(x˜)-b1(x))+A(x)d(x) ]]>

      其中,x˜x的关系式为:

      x˜=x+d0(x) ]]>

      将式(12)与式(20)~式(22)联立,得到估计位移值d(x)。在计算Δb时,将先验位移d0(x)设置为0,根据式(19)~式(22)计算得到新的d0(x),利用其求解新的Δb,得到更加精确的d0(x),多次迭代,直到Δb收敛得到的位移估计精确逼近真实位移。

      使用上述原理计算光流值时,通过对位移场的观察可以看出大部分噪声来自无明显结构或对比度非常低的区域。在这些区域会产生孔径问题,即约束条件小于求解未知量个数的现象。为此,对式(11)进行改进,添加正则项,将背景场加到不确定的估计上,实现序列中的运动目标的光流场局部平滑,计算式为:

      μd(x)-d0(x)2+ΔxIw(Δx)A(x+Δx)d(x)-Δb(x+Δx)2 ]]>

      式中,μ为常数。

      当表达式对位移的约束条件足够时,该项则不产生影响,否则对位移进行约束。将式(23)最小化可得:

      d(x)=μI+ωATA-1(μd0(x)+ωATΔb) ]]>
    • 密集光流法适用于小场景移动,当计算大运动场景中目标点光流值时,需先建立影像的金字塔模型。采用金字塔模型计算密集光流场的策略是通过缩小影像尺寸来缩小相邻影像帧间的大尺度位移,从而使其适用于光流法的约束条件。若原影像中目标像素的光流为dx),则金字塔影像中每一层的光流为dl(x)=d(x)/2l,其中l代表金字塔影像的层数。

      图 2所示,影像1和影像2分别为相邻两帧影像,逐层对其降采样,降低影像分辨率,同时影像间的运动尺度也在减小。在金字塔模型中,首先计算顶层影像的光流,此时其先验位移d(x)=0,由此得到顶层影像间的位移为fL,这样得到的位移向量dl=(dxl,dyl)T就足够小;然后逐层传递,在计算下一层影像间的位移时,将上一层影像间位移值的2倍作为其先验位移,即d(x)=2fL,直到金字塔底层图像计算结束,大运动场景的光流值计算完毕。

      图  2  光流法金字塔模型

      Figure 2.  Pyramid Model of Optical Flow

      图 3为无金字塔模型和建立金字塔模型条件下计算得到的光流场。由图 3(a)可以看出,对于无金字塔模型,光流场局部不平滑且大小不一,对于大运动尺度的物体出现位移检测失败现象。而图 3(b)中,对于建立金字塔模型,光流场局部更加光滑,将图 3(b)中的光流值与原始影像中该区域地物对比,可以看出金字塔模型光流矢量场与被检测物体的运动情况更为接近,使用金字塔模型计算光流场不仅能检测高速运动的物体,而且细节也更加丰富。

      图  3  无金字塔和建立金字塔模型条件下的光流场

      Figure 3.  Optical Flow Fields Without and with Pyramid Model

    • 基于图割模型进行镶嵌线搜索的核心问题是结合像素特征设计一个代价函数,合理地表达影像间的相似性。本文基于DOM间密集光流场和影像梯度与灰度信息构造一种新的代价函数。设I1I2为待拼接的两张影像,对于单个像素p,其代价函数CI1,I2(p)计算式为:

      CI1,I2(p)=CI1,I2o+CI1,I2g+CI1,I2c ]]>

      式中,CI1,I2o代表光流项;CI1,I2g代表梯度项;CI1,I2c代表灰度项。

      像素的灰度信息可以衡量影像间的灰度差异,像素间灰度差异越大,则两个像素间的相似性越小;反之,则相似性越大。相似性越大代表拼接线穿过其的代价惩罚越小。灰度项计算式为:

      CI1,I2c=I1(p)-I2(p) ]]>

      式中,I1(p)I2(p)分别代表像素p在影像I1I2上的灰度值。

      像素灰度值虽然在一定程度上能够反映影像间的差异性,但因其易受外界环境影响,不可避免会有拼接线穿过梯度值较大的边缘区域。为此,本文代价函数还引入了鲁棒性较好的梯度信息,使其不仅对光照变化敏感,还可以反映边缘信息的强弱,从一定程度上避免拼接线穿过人工建筑物造成的几何错位现象。梯度项CI1,I2g计算式为:

      CI1,I2g=GI1x(x)-GI2x(x)+GI1y(y)-GI2y(y) ]]>

      式中,GI1xxGI2xx分别代表像素p在影像I1I2上水平方向的梯度大小;GI1yyGI2yy分别代表像素p在影像I1I2上垂直方向的梯度大小。

      DOM间的光流场描述的是相邻帧影像同名点在像平面坐标系下的矢量位移(Δx,Δy),位移越大,穿过该区域出现错位的概率越大。因此在查找最优拼接线时应尽量避免拼接线穿过光流值大的区域。光流项的计算式为:

      CI1,I2c=Δx2+Δy2 ]]>
    • 图割模型的能量函数主要分为数据项和平滑项两部分。针对两张影像I1I2间的最优拼接线搜索问题,定义能量函数计算式为:

      E(Γ)=Edata(Γ)+Esmooth(Γ) ]]>

      式中,Γ表示拼接后的影像;EdataΓEsmoothΓ分别为数据项和平滑项。

      数据项是指拼接后影像中的每个像素标记来自影像I1I2的能量总和,计算式为:

      Edata(Γ)=Edata(I1)+Edata(I2) ]]>

      式中,EdataI1EdataI2分别代表像素来自影像I1I2的能量,计算式为:

      Edata(Ii)=xΓDli(p'),i=1, 2 ]]>

      式中,p'为拼接后影像Γ中的一个像素;Dli(p')代表将其标记来自影像Ii的惩罚代价值。

      平滑项是指将不同的标签标记给相邻的像素节点所产生的惩罚能量总和,计算式为:

      Esmooth(Γ)=(x,y)N(Γ)η(L(p),L(q))Esmooth(p,q) ]]>

      式中,N(Γ)为所有4邻域邻接的像素对;Lp)和Lq)分别表示像素xy的标签,即该像素所属的影像编号,若两者标签相同,则η(L(p),L(q))为0,反之则为1;Esmooth(p,q)代表像素pq之间平滑项能量大小,将其定义为两个像素的代价函数之和,计算式为:

      Esmooth(p,q)=CI1,I2(p)+CI1,I2(q) ]]>

      至此,图割模型的能量函数构造完成,对有效重叠区域构建权重图,即像素对应权重图中的节点,每个像素的4个邻域对应权重图中的边,逐像素计算能量函数值,边的权值为该像素与邻域像素能量函数的代价和。在权重图中找到总能量最小的割,完成能量优化。在最优镶嵌线搜索中,能量函数最小值对应的即为最优镶嵌线。

    • 本文实验采用Visual C++计算机语言编程实现,实验环境为Windows 10 64位操作系统,处理器为IntelCore XeonCPU @ 2.20 GHz,内存为64 GB。实验数据为无人机低空遥感影像,为验证本文方法对建筑物的自动规避效果以及对几何错位的改善情况,实验分别选取密集建筑区、稀疏建筑区、地势起伏与地势平坦4种不同地形区域进行影像镶嵌,并将采用本文方法与商业软件OrthoVista的DOM镶嵌结果进行对比分析。

    • 图 4为本文方法在4种地形区域对应的两张重叠影像的镶嵌线结果,其中,黄色矩形区域为重叠区域,红色曲线为DOM镶嵌线。由图 4(a)4(b)可以看出,基于密集光流法的镶嵌线搜索结果较好地避开了人工建筑物;由于本文方法只在影像间重叠区域进行搜索,所以在图 4(c)中,该实验区域的拼接结果必须穿越两张影像重叠区域的高架桥(图中蓝线标注处),从高架桥的接缝处可以看出,本文方法在地势起伏区域没有出现明显的几何错位现象;由图 4(c)4(d)可以看出,在地形起伏与平坦区域,本文方法的拼接结果不受地势高低变化的影响,具有较好的鲁棒性。

      图  4  本文方法镶嵌线搜索结果

      Figure 4.  Seamline Search Results of the Proposed Method inThis Paper

      代价影像反映影像间重叠区域的投影差差异大小,当镶嵌线沿代价影像中的低亮度区域前进,沿该镶嵌线拼接的影像产生的几何错位最小。因此最优镶嵌线应穿越代价影像上像素亮度较小的区域,本文方法将计算机视觉中的密集光流引入代价函数的构造,加强了人工建筑物在代价影像上的代价值,能够保证镶嵌线自动规避人工建筑物。如图 4所示,在密集建筑地区,镶嵌线均沿着建筑物边缘前进,在地势平坦地区,镶嵌线基本沿道路前进。

    • 使用商业软件Inpho中的OrthoVista对上述相同2张重叠影像进行镶嵌线搜索,结果如图 5所示。由图 5可以看出,OrthoVista软件在密集建筑区域与稀疏建筑区域分别穿越12栋和8栋建筑物,而由§4.1可知,本文方法生成的镶嵌线沿着道路和房屋边缘行进,较好地避开了人工建筑物,说明本文方法视觉效果整体上优于商业软件OrthoVista的搜索结果。

      图  5  OrthoVista拼接结果

      Figure 5.  Seamline Search Results of OrthoVista

      表 1列出了本文方法和OrthoVista在4种不同类型区域搜索镶嵌线的质量与效率统计数据。从表 1可以看出,本文方法在4种类型区域均表现良好,能够在不同地形下保证镶嵌线质量并具有较高效率,镶嵌线走向一般沿着建筑物或道路边缘行进。其中,密集建筑区的镶嵌线平均灰度值均高于地势平坦地区,密集建筑区的影像重叠区域包含大量在代价影像上高亮显示的人工建筑物,因此密集建筑区域影像的搜索时间明显高于稀疏建筑区域,地势起伏地区与平坦地区在质量和效率上相差不大,进一步验证了本文方法不受地势起伏变化的影响。通过对比表 1数据可以看出,本文方法得到的镶嵌线在稀疏建筑区域差异像素灰度大于100的像素数仅占0.7%,灰度大于150的仅占0.3%,搜索用时为11 470 ms,而商业软件OrthoVista分别达到了2.5%和1.7%,用时为13 585 ms;在密集建筑区域,本文方法得到的镶嵌线差异像素灰度大于100的像素数仅为1.1%,而OrthoVista为3.7%,说明本文方法在质量和效率上均取得了较好的效果,同等条件下可以实现自动规避人工建筑物等高于地面高程的物体进行镶嵌线搜索,在地势起伏地区与地势平坦地区搜索效率与质量均优于OrthoVista拼接结果,且使用本文方法在平坦与地势起伏地区效果相当,说明影像拼接受地形因素影响不明显。

      表 1  不同方法镶嵌线质量与效率统计

      Table 1.  Quality and Efficiency Statitics of Different Methods

      地形区域 方法 路径长度/像素 搜索用时/ms 差异像素数(占比) 平均灰度值
      灰度>50 灰度>100 灰度>150
      密集建筑区 本文方法 7 470 22 700 184(2.4%) 83(1.1%) 47(0.6%) 33.26
      OrthoVista 6 036 27 325 458(7.6%) 229(3.7%) 156(2.5%) 28.34
      稀疏建筑区 本文方法 5 024 11 470 77(1.5%) 37(0.7%) 20(0.3%) 24.04
      OrthoVista 4 833 13 585 265(5.5%) 122(2.5%) 84(1.7%) 30.15
      地势起伏地区 本文方法 8 026 12 258 85(1.1%) 33(0.4%) 17(0.2%) 33.67
      OrthoVista 4 903 13 619 83(2.0%) 60(1.2%) 14(0.3%) 37.50
      地势平坦地区 本文方法 7 189 10 377 39(0.5%) 24(0.3%) 19(0.3%) 21.58
      OrthoVista 6 154 10 940 62(1.0%) 31(0.5%) 25(0.4%) 47.31

      图 6为商业软件OrthoVista和本文方法在两个局部区域生成的镶嵌线结果。由图 6可以看出,在相同的局部区域,本文方法基本能够避开建筑物,沿边缘行进,而OrthoVista则明显穿越建筑物,且本文方法生成的镶嵌线穿越建筑物的次数明显少于OrthoVista生成镶嵌线穿越建筑物的次数。

      图  6  镶嵌线结果比较

      Figure 6.  Comparision of Seamline Search Results

      图 7为本文方法在地势平坦区域生成的拼接结果的局部示意图。由图 7可以看出,本文方法在规避人工建筑物与改善几何错位现象方面有较好的效果。

      图  7  本文方法拼接结果的局部示意图

      Figure 7.  Partial Schematic Diagram of the Proposed Method in This Paper

    • 本文提出了一种全新的DOM拼接方法,通过构造代价函数,将连续检测人工建筑物边缘信息的光流值引入其中,利用同一目标在两幅影像上的坐标差异越大,表明两幅影像在该位置镶嵌后几何错位越明显这一现象,实现DOM镶嵌线智能搜索。实验结果表明,经该算法处理生成的拼接影像可以自动规避人工建筑物与重叠区域差异较大的像素,拼接后的影像几何差异较小,一定程度上实现了DOM镶嵌线搜索的智能化。由于目前所给方法仅为双片DOM拼接,未考虑多片DOM拼接镶嵌以及影像间的匀光匀色问题,这些问题有待后续进一步研究。

参考文献 (11)

目录

    /

    返回文章
    返回