密集光流法正射影像镶嵌线智能提取

张春森, 张月莹, 郭丙轩, 任力

张春森, 张月莹, 郭丙轩, 任力. 密集光流法正射影像镶嵌线智能提取[J]. 武汉大学学报 ( 信息科学版), 2022, 47(2): 261-268. DOI: 10.13203/j.whugis20200573
引用本文: 张春森, 张月莹, 郭丙轩, 任力. 密集光流法正射影像镶嵌线智能提取[J]. 武汉大学学报 ( 信息科学版), 2022, 47(2): 261-268. DOI: 10.13203/j.whugis20200573
ZHANG Chunsen, ZHANG Yueying, GUO Bingxuan, REN Li. Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 261-268. DOI: 10.13203/j.whugis20200573
Citation: ZHANG Chunsen, ZHANG Yueying, GUO Bingxuan, REN Li. Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2): 261-268. DOI: 10.13203/j.whugis20200573

密集光流法正射影像镶嵌线智能提取

基金项目: 

国家自然科学基金 92038301

陕西省自然科学基金 2018JM5103

自然资源部城市国土资源监测与仿真重点实验室开放基金 KF-2018-03-052

详细信息
    作者简介:

    张春森,博士,教授,主要从事摄影测量计算机视觉与遥感应用研究。zhchunsen@aliyun.com

    通讯作者:

    郭丙轩,博士,教授。mobilemap@163.com

  • 中图分类号: P232

Dense Optical Flow Method for Intelligently Extracting Seamline of Orthophotos

Funds: 

The National Natural Science Foundation of China 92038301

the Natural Science Foundation of Shaanxi Province 2018JM5103

the Open Fund of Key Laboratory of Urban Land Resources Monitoring and Simulation, Ministry of Natural Resources KF-2018-03-052

More Information
    Author Bio:

    ZHANG Chunsen, PhD, professor, specializes in photogrammetry computer vision and remote sensing application. E-mail: zhchunsen@aliyun.com

    Corresponding author:

    GUO Bingxuan, PhD, professor. E-mail: mobilemap@163.com

  • 摘要: 针对正射影像拼接时影像间存在复杂的几何错位问题,提出一种基于密集光流法正射影像镶嵌线智能搜索方法。利用影像密集光流、梯度信息和灰度信息构造代价影像并视其为带权无向图,以图割模型为基础,采用最大流最小割原理自诊断搜索镶嵌线。实验结果表明,采用所提方法得到的稀疏建筑区镶嵌线代价像素数大于100的仅占路径长度的0.7%,且相较于现有商业软件OrthoVista效率提升17%。对人工建筑物与正射影像间投影差较大的区域可实现自动规避,大大降低了几何错位的概率,可明显改善影像拼接的几何错位现象,实现正射影像镶嵌线搜索的智能化。
    Abstract:
      Objectives  Geometric misalignment is one of the key problems for orthophoto mosaicking. To solve this problem, this paper proposes a regional seamline detection algorithm based on dense optical flow.
      Methods  Firstly, the cost image is constructed with dense optical flow, gradient information and gray information. And the cost image is regarded as a weighted undirected graph. Secondly, the principle of maximum flow and minimum cut is used to search for seamline based on graph-cut model.
      Results  The experiment results show that the seamline cost of the sparse building area greater than 100 pixels obtained by the proposed method only accounts for 0.7% of the path length. And the search efficiency of the proposed method is increased by 17% compared with OrthoVista software.
      Conclusions  The proposed method can automatically avoid passing the building area and the areas with large projection in digital orthophoto map, greatly reduce the probability of geometric dislocation phenomenon of image mosaicking, and realize the intelligence of orthophoto seamline searching.
  • 目前,北斗导航卫星系统(BDS)已实现局域覆盖,随着系统建设的不断完善和应用的不断拓展,与之相关的各类数据处理软件的开发成为重要的研究内容。因此,自主开发北斗高精度数据处理软件,成为发展高精度位置服务的迫切任务[1-8]。因北斗导航卫星系统与GPS在星座构造、坐标框架、时间系统、信号频率等方面具有明显差异[9-15],现有的高精度GPS数据处理软件无法直接处理北斗数据。本文针对北斗高精度数据处理的系统设计、数据流、功能模块及高精度算法实现等进行了研究,研制开发了一套高精度北斗基线解算软件BGO(BeiDou Navigation Satellite System/Global Positioning System Office),并将其用于高速铁路高精度控制测量建网。通过与商业软件TGO(Trimble Geomatics Office)和TBC(Trimble Business Center),及高精度科研软件Bernese进行对比测试、性能分析,验证了该软件的正确性和有效性。

    北斗和GPS基线解算软件主要包含北斗基线处理、GPS基线处理及联合基线处理3大模块。各模块间相互独立,但使用相同的数据结构,且数据流基本一致。数据处理流程如图 1所示。

    图  1  BGO软件数据流
    Figure  1.  Data Stream of BGO Software

    基线解算之前,需选择有效双频观测数据,具体包含低高度角卫星剔除、观测值粗差剔除、星历未获取观测数据剔除等。剔除质量较差的观测数据可通过可视化的方式实现。通过双频数据组合有效消除电离层延迟影响,伪距消电离组合能算出测站精确至10 m内的概略位置,从而形成网络拓扑图,便于用户查看站点的平面分布。基线解算时,北斗与GPS独立系统数据处理算法相同;联合处理需选择统一的坐标和时间框架,随着多余观测数的增加,还需设置合理的模糊度固定限值。基线解算后,进行网平差,应剔除不合格基线,直至平差结果满足要求。

    高精度基线解算利用双差观测量建立误差方程,北斗双差观测量构造如式(1):

    $$ \mathit{\Delta} \nabla L^{{C_m}{C_n}}_{{S_i}{S_j}} = \left( {L^{{C_n}}_{{S_j}} - L^{{C_n}}_{{S_i}}} \right) - \left( {L^{{C_m}}_{{S_j}} - L^{{C_m}}_{{S_i}}} \right) $$ (1)

    式中,ΔL表示双差观测量;SiSj表示任意站点;CmCn表示任意北斗卫星。

    依据式(1)构建的双差观测量,建立误差方程,如式(2):

    $$ \left[ \begin{array}{l} \mathit{\Delta} \nabla \boldsymbol{\varPhi} \\ \mathit{\Delta} \nabla \boldsymbol{P} \end{array} \right] = \boldsymbol{BX} + \boldsymbol{A}\mathit{\Delta} \nabla \boldsymbol{N} + \boldsymbol{V} $$ (2)

    式中,ΔΦΔP分别表示卫星载波相位和伪距双差观测量;X表示基线向量;ΔN表示双差整周模糊度;BA为系数阵;V为残差向量。

    利用式(2)构建的误差方程,解算基线向量和双差整周模糊度浮点解。利用LAMBAD方法[16, 17]固定双差整周模糊度后去除。再利用载波相位观测值获取高精度基线向量结果。基线解算过程中,主要利用抗差估计的切比雪夫多项式拟合法[18]及MW-GF组合法[19]探测与修复周跳。

    对北斗和GPS双系统基线解算,只需将各系统的双差观测量误差方程叠加后平差计算,即可实现双系统联合基线解算。但需注意,星间差分需选择同一系统卫星,否则会引入系统间信号硬件延迟[20],影响双差整周模糊度的固定。另外,北斗和GPS在时间框架、坐标框架等存在一定差异,双系统联合解算需保证框架的统一。

    北斗和GPS时间转换公式如式(3):

    $$ {t_C} = {t_G}-14\;{\rm{s}} $$ (3)

    式中,tCtG分别表示北斗时和GPS时,两者均为原子时,起算原点不同[13]

    北斗和GPS坐标转换公式如式(4):

    $$ \begin{array}{c} \left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{X_G}}\\ {{Y_G}}\\ {{Z_G}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {{T_X}}\\ {{T_Y}}\\ {{T_Z}} \end{array}} \right] + \\ \left[ {\begin{array}{*{20}{c}} D&{ - {R_Z}}&{{R_Y}}\\ {{R_Z}}&D&{ - {R_X}}\\ { - {R_Y}}&{{R_X}}&D \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_G}}\\ {{Y_G}}\\ {{Z_G}} \end{array}} \right] \end{array} $$ (4)

    式中,北斗坐标(XCYCZC)与GPS坐标(XGYGZG)可通过七参数TXTYTZDRXRYRZ进行转换。北斗CGCS2000坐标系采用ITRF97框架2000历元的坐标和速度场,当前GPS WGS84坐标和ITRF08基本一致。因此,可利用ITRF97框架2000历元与ITRF08间转换的七参数(ITRF网站公布)实现北斗与GPS坐标框架的统一[11, 12]

    处理高速铁路CPI控制网时,通过读取观测文件和星历文件,单点定位生成控制网的基线网络拓扑图,如图 2所示。基线解算前,设置相关参数包括卫星截止高度角、误差限差参数、框架、对流层模型、电离层模型、模糊度Ratio值、同步最小观测历元数等。设置完成后,可选择北斗、GPS、联合3种模式进行基线解算。基线解算完成后,软件界面中将显示解算的基线分量及其精度,并可显示残差向量检核基线解算效果。

    图  2  BGO软件主界面
    Figure  2.  Software View of BGO

    为了测试BGO解算GPS基线的正确性,将其与TGO和Bernese软件处理结果进行了比较,得到57条GPS基线(基线最长6 667 m,最短446 m)的比较结果,如图 3所示。

    图  3  BGO、TGO、Bernese软件处理GPS基线分量比较
    Figure  3.  Comparing GPS Baseline Components from BGO, TGO and Bernese Software

    图 3(a)3(b)分别表示BGO软件与TGO、Bernese软件处理GPS基线分量的差值ΔX、ΔY、ΔZ图 3(a)中,BGO和TGO有52条基线在XYZ方向的分量差值均在2 cm内,有48条基线各分量差值在mm级。TGO解算少量基线验后方差分量超限,与BGO基线分量差值较大。图 3(b)中,BGO和Bernese有55条基线在XYZ方向的分量差值均在2 cm内,有49条基线各分量差值在mm级。

    图 4(a)~4(c)分别表示BGO、TGO、Bernese软件处理GPS基线的内符合精度σXσYσZ(BGO、TGO、Bernese软件基线解算精度分别精确至0.1 mm、1 mm和0.1 mm)。整体上,约90%的基线3个软件的解算精度相当。

    图  4  BGO、TGO、Bernese的GPS基线内符合精度比较
    Figure  4.  Comparing GPS Baseline Precision from BGO, TGO and Bernese Software

    为了测试BGO解算北斗与GPS联合基线的性能,本文选用美国Trimble的商业软件TBC与之进行比较。同上57条基线,每条基线观测数据均包含北斗与GPS观测数据。图 5展示了BGO和TBC处理北斗与GPS联合基线分量的差值ΔX、ΔY、ΔZ图 5可见,98%的基线分量差值分布在mm级,表明BGO软件处理联合基线能达到与TBC软件相当的水平。另外,两者内符合精度绝大部分均在mm级,故图 5中未加以比较。

    图  5  BGO与TBC软件处理北斗与GPS联合基线分量比较
    Figure  5.  Comparing BDS and GPS Combined Baseline Components from BGO and TBC Software

    由此可知,BGO软件处理GPS基线、北斗与GPS联合基线的内外符合精度能达到TGO、Bernese、TBC相当的水平。因此,以BGO软件处理GPS、北斗与GPS联合基线结果为参考值,分析该软件处理北斗基线结果的正确性和可靠性,如图 6图 7所示。图 6比较了北斗与GPS、联合基线分量的差值,图 7比较了北斗、GPS、联合基线解算的内符合精度。

    图  6  BGO软件处理北斗与GPS、联合基线分量比较
    Figure  6.  Comparing BDS, GPS and BDS/GPS Combined Baseline Components from BGO Software
    图  7  北斗、GPS、联合基线解的内符合精度统计
    Figure  7.  The Statistics of Precision of BDS, GPS and BDS/GPS Combined Baseline Solutions

    图 6(a)表示BGO软件处理北斗与GPS基线分量的差值ΔXΔYΔZ,其中有43条基线在XYZ方向上的分量差值ΔxΔyΔz在2 cm内,有31条基线在XYZ方向上的分量差值在mm级。图 6(b)表示BGO软件处理北斗与联合基线分量的差值,其中有54条基线在XYZ方向上的分量差值在2 cm内,有38条基线在XYZ方向上的分量差值在mm级(图 6中第6条基线北斗为浮点解,各分量差值结果较大,图中置为0)。

    图 7中,93%的联合基线在XYZ方向上的分量精度分别优于0.5 mm、1 mm、0.5 mm;约90%的北斗基线和95%的GPS基线在XYZ方向上的分量精度分别优于1 mm、2 mm、1 mm。由北斗、GPS、联合基线3者精度比较可知,在北斗试运行阶段,GPS基线内符合精度略优于北斗,北斗与GPS联合系统基线内符合精度明显高于独立系统。

    BGO具备网平差功能,根据网平差后的基线分量改正数、相对中误差、点位精度等判断基线解算结果的可靠性。对上述解算的北斗、GPS、联合基线分别进行无约束网平差。

    北斗、GPS、联合基线无约束网平差的平差改正数δXδYδZ绝大部分在±1 cm内,如图 8(a)~8(c)所示。最弱边相对中误差优于5.5 ppm(规范限值),具体见表 1。据图 8表 1及《高速铁路工程测量规范》[21]可知,BGO能合理稳定地解算北斗、GPS及联合基线,解算结果中的基线向量改正数、最弱边相对中误差、最弱点点位精度均满足CPI控制测量要求,各系统解算均能精确获得24个CPI控制点坐标。

    图  8  GPS、北斗、联合无约束网平差基线向量改正数
    Figure  8.  Baseline Vector Corrections from GPS, BDS and BDS/GPS Combined Unconstrained Adjustment
    表  1  GPS、北斗、联合无约束平差结果统计
    Table  1.  The Statistics of GPS, BDS and BDS/GPS Combined Unconstrained Adjustment Results
    解算模式 独立基线 多余观测数 控制点个数 最弱边相对中误差/ppm 最弱点点位精度/mm
    GPS 55 66 24 3.6 23.6
    北斗 51 57 24 3.1 26.9
    联合 57 72 24 3.7 17.9
    下载: 导出CSV 
    | 显示表格

    本文系统地研究了北斗与GPS联合基线解算的算法,自主开发了北斗高精度基线解算软件BGO。通过实测高铁CPI控制网的数据处理测试表明:软件能进行高精度地处理北斗与GPS数据, 以及北斗与GPS联合数据处理;GPS基线解算性能与天宝TGO软件相当,能达到与Bernese软件一致的精度;北斗与GPS基线处理能达到与TBC相当的水平。BGO最大的优势在于能对北斗和GPS进行联合解算,从而提高北斗或GPS单系统的基线解算合格率和精度。经高速铁路CPI控制网实例测试,证明该软件处理基线结果可用于高精度北斗和GPS测量控制网的数据处理。

  • 图  1   本文方法流程图

    Figure  1.   Flowchart of the Proposed Method

    图  2   光流法金字塔模型

    Figure  2.   Pyramid Model of Optical Flow

    图  3   无金字塔和建立金字塔模型条件下的光流场

    Figure  3.   Optical Flow Fields Without and with Pyramid Model

    图  4   本文方法镶嵌线搜索结果

    Figure  4.   Seamline Search Results of the Proposed Method inThis Paper

    图  5   OrthoVista拼接结果

    Figure  5.   Seamline Search Results of OrthoVista

    图  6   镶嵌线结果比较

    Figure  6.   Comparision of Seamline Search Results

    图  7   本文方法拼接结果的局部示意图

    Figure  7.   Partial Schematic Diagram of the Proposed Method in This Paper

    表  1   不同方法镶嵌线质量与效率统计

    Table  1   Quality and Efficiency Statitics of Different Methods

    地形区域 方法 路径长度/像素 搜索用时/ms 差异像素数(占比) 平均灰度值
    灰度>50 灰度>100 灰度>150
    密集建筑区 本文方法 7 470 22 700 184(2.4%) 83(1.1%) 47(0.6%) 33.26
    OrthoVista 6 036 27 325 458(7.6%) 229(3.7%) 156(2.5%) 28.34
    稀疏建筑区 本文方法 5 024 11 470 77(1.5%) 37(0.7%) 20(0.3%) 24.04
    OrthoVista 4 833 13 585 265(5.5%) 122(2.5%) 84(1.7%) 30.15
    地势起伏地区 本文方法 8 026 12 258 85(1.1%) 33(0.4%) 17(0.2%) 33.67
    OrthoVista 4 903 13 619 83(2.0%) 60(1.2%) 14(0.3%) 37.50
    地势平坦地区 本文方法 7 189 10 377 39(0.5%) 24(0.3%) 19(0.3%) 21.58
    OrthoVista 6 154 10 940 62(1.0%) 31(0.5%) 25(0.4%) 47.31
    下载: 导出CSV
  • [1] 靳建立. 基于DSM的遥感影像拼接关键技术研究[D]. 郑州: 信息工程大学, 2009

    Jin Jianli. A Study on DSM-Based Mosaicking Techniques for Remote Sensing Imagery[D]. Zhengzhou: Information Engineering University, 2009

    [2] 蔡平, 万一, 张永军, 等. 点云信息辅助的航空正射影像自动镶嵌方法[J]. 测绘地理信息, 2021, 46(S1): 200-204 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG2021S1047.htm

    Cai Ping, Wan Yi, Zhang Yongjun, et al. Automated Seamline Detection for Aerial Orthophoto Mosaicking Assisted by Point Cloud Information[J]. Journal of Geomatics, 2021, 46(S1): 200-204 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG2021S1047.htm

    [3] 荣利会, 戴晨光, 聂海滨, 等. OESM辅助的高分辨率航空正射影像拼接线自动检测算法[J]. 测绘科学技术学报, 2017, 34(2): 162-167 https://www.cnki.com.cn/Article/CJFDTOTAL-JFJC201702010.htm

    Rong Lihui, Dai Chenguang, Nie Haibin, et al. Automatic Seamline Detection Algorithm for High Resolution Aerial Orthoimages with the Auxiliary Orthoimage Elevation Synchronization Model[J]. Journal of Geomatics Science and Technology, 2017, 34(2): 162-167 https://www.cnki.com.cn/Article/CJFDTOTAL-JFJC201702010.htm

    [4] 李朋龙, 邓非, 李海亮, 等. 基于有效区域约束的GPU-CPU协同影像快拼方法[J]. 武汉大学学报·信息科学版, 2018, 43(2): 304-310 doi: 10.13203/j.whugis20150284

    Li Penglong, Deng Fei, Li Hailiang, et al. A Method of GPU-CPU Co-Processing Rapid Images Mosaicking Based on Valid Areas[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 304-310 doi: 10.13203/j.whugis20150284

    [5] 李婉, 赵双明, 张卫龙, 等. 一种无人机影像滤波分频拼接算法[J]. 武汉大学学报·信息科学版, 2018, 43(6): 943-950 doi: 10.13203/j.whugis20160108

    Li Wan, Zhao Shuangming, Zhang Weilong, et al. A Mosaic Method for UAV Images Based on Filtering[J]. Geomatics and Information Science of Wuhan University, 2018, 43(6): 943-950 doi: 10.13203/j.whugis20160108

    [6] 杨超. 基于图像分割的高分影像镶嵌线快速生成算法研究[D]. 杭州: 杭州师范大学, 2018

    Yang Chao. Research on Fast Detection of Seam-Line for GF Image via Image Segmentation[D]. Hangzhou: Hangzhou Normal University, 2018

    [7] 丁锴为, 邹峥嵘, 张云生, 等. 基于图割算法的正射影像镶嵌线自动选择[J]. 测绘与空间地理信息, 2016, 39(9): 54-56 https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH201609016.htm

    Ding Kaiwei, Zou Zhengrong, Zhang Yunsheng, et al. Automatically Seam-Line Selection for Mosaicking Ortho-Photo via Graph Cut Algorithm[J]. Geomatics & Spatial Information Technology, 2016, 39(9): 54-56 https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH201609016.htm

    [8] 张莎莎. 基于语义分割的数字正射影像镶嵌及其质量评价方法研究[D]. 武汉: 武汉大学, 2018

    Zhang Shasha. Research on Orthophoto Mosaicking and Quality Evaluation Methods Based on Semantic Segmentation[D]. Wuhan: Wuhan University, 2018

    [9] 段梦梦. 基于视差图的数字正射影像镶嵌线自动搜索及其质量评价方法研究[D]. 武汉: 武汉大学, 2015

    Duan Mengmeng. Research on Seam Line Detection and Quality Evaluation Methods for Orthophoto Mosaicking Based on Disparity Map[D]. Wuhan: Wuhan University, 2015

    [10] 宫思伟, 陈时雨, 蔡杨. 最小化最大边权的正射影像镶嵌线自动搜索[J]. 测绘地理信息, 2020, 45(4): 104-109 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202004022.htm

    Gong Siwei, Chen Shiyu, Cai Yang. Seamline Detection for Orthoimage Mosaicking Based on Minimizing the Maximum Edge Weight Algorithm[J]. Journal of Geomatics, 2020, 45(4): 104-109 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202004022.htm

    [11]

    Farnebäck G. Two-Frame Motion Estimation Based on Polynomial Expansion[M]//Image Analysis. Berlin, Heidelberg: Springer, 2003

  • 期刊类型引用(8)

    1. 张莹,任战利,兰华平,祁凯,邢光远,夏岩. 关中盆地新近系蓝田-灞河组热储层物性及渗流特征研究. 地质通报. 2024(05): 712-725 . 百度学术
    2. 吴陈冰洁,罗璐,高楠安,汪新伟,崔梓贤. 关中盆地西安凹陷新近系砂岩热储特征研究. 现代地质. 2024(06): 1571-1584 . 百度学术
    3. 张欢,陈应涛,陶威,陈涛,余文鑫,艾卉卉. 不同拉伸方式和速度下的伸展构造砂箱物理模拟实验研究. 西北地质. 2023(02): 327-336 . 百度学术
    4. 颜复康,田镇,杨志强,杨兵,梁沛. 厄瓜多尔俯冲区震间闭锁与粘弹性变形研究. 大地测量与地球动力学. 2023(10): 1080-1085 . 百度学术
    5. 张莹,任战利,邢光远,祁凯,夏岩. 渭河盆地新近系热储层特征. 地质通报. 2023(11): 1993-2005 . 百度学术
    6. 徐斌,张艳. 地下水化学类型分区的GIS空间分析模型. 武汉大学学报(信息科学版). 2019(06): 866-874 . 百度学术
    7. 闫俊义,吕睿,赵涛,王莹,白若冰,古云鹤. 关中盆地地壳应力场特征分析. 山西地震. 2019(03): 39-41 . 百度学术
    8. 白相东,关成尧,张艳,袁四化,刘晓燕. 渭河盆地断层系统运动学体制分解与探讨. 防灾科技学院学报. 2018(03): 8-16 . 百度学术

    其他类型引用(10)

图(7)  /  表(1)
计量
  • 文章访问数:  809
  • HTML全文浏览量:  161
  • PDF下载量:  69
  • 被引次数: 18
出版历程
  • 收稿日期:  2021-07-27
  • 发布日期:  2022-02-04

目录

/

返回文章
返回