Region Feature Based Multi-scale Fusion Method for Thermal Infrared and Visible Images
-
摘要: 针对传统的热红外与可见光图像融合方法对比度低，容易出现边缘细节、目标等信息丢失或减弱的现象，提出一种顾及区域特征差异的热红外与可见光图像多尺度融合方法。首先采用自适应PCNN（脉冲耦合神经网络）模型和二维Renyi熵相结合的图像分割方法，分别对红外和可见光图像进行区域分割；然后利用非下采样Contourlet变换对原图像进行多尺度多方向分解，根据区域的特征差异设计不同的融合规则，融合热红外与可见光图像。实验结果表明，该方法不仅能有效地融合热红外图像的目标特征，还能更多地保留可见光图像丰富的背景信息，融合图像对比度高，在视觉效果和客观评价上优于传统融合方法。Abstract: To overcome the defects of existing algorithms that the target information and edge details are easily lost and that fusion image contrast is low, a novel fusion method that combines region feature and multi-scale transform for thermal infrared and visible images is proposed in this paper. Firstly, the source infrared and visible images are segmented based on adaptive pulse coupled neural network (PCNN) and two-dimension Renyi entropy, and a joint segmentation map can be acquired through region joint operation. Then the original images are multi-scale and multi-directional decomposed by nonsubsampled contourlet transform (NSCT). After that, the fusion rules are designed based on region feature difference in NSCT domain. Finally, the fusion image is reconstructed by NSCT inverse transform. Experimental results show the proposed method can effectively fuse infrared target feature, preserve the background information as much as possible, and obtain good contrast. The proposed method is superior to the traditional methods in terms of both subjective evaluation and objective evaluation.
-
Keywords:
- image fusion /
- region segmentation /
- pulse coupled neural network /
- renyi entropy
-
目前，北斗导航卫星系统(BDS)已实现局域覆盖，随着系统建设的不断完善和应用的不断拓展，与之相关的各类数据处理软件的开发成为重要的研究内容。因此，自主开发北斗高精度数据处理软件，成为发展高精度位置服务的迫切任务[1-8]。因北斗导航卫星系统与GPS在星座构造、坐标框架、时间系统、信号频率等方面具有明显差异[9-15]，现有的高精度GPS数据处理软件无法直接处理北斗数据。本文针对北斗高精度数据处理的系统设计、数据流、功能模块及高精度算法实现等进行了研究，研制开发了一套高精度北斗基线解算软件BGO(BeiDou Navigation Satellite System/Global Positioning System Office)，并将其用于高速铁路高精度控制测量建网。通过与商业软件TGO(Trimble Geomatics Office)和TBC(Trimble Business Center)，及高精度科研软件Bernese进行对比测试、性能分析，验证了该软件的正确性和有效性。
1 系统的设计与模块算法的实现
1.1 系统设计与数据流分析
北斗和GPS基线解算软件主要包含北斗基线处理、GPS基线处理及联合基线处理3大模块。各模块间相互独立，但使用相同的数据结构，且数据流基本一致。数据处理流程如图 1所示。
基线解算之前，需选择有效双频观测数据，具体包含低高度角卫星剔除、观测值粗差剔除、星历未获取观测数据剔除等。剔除质量较差的观测数据可通过可视化的方式实现。通过双频数据组合有效消除电离层延迟影响，伪距消电离组合能算出测站精确至10 m内的概略位置，从而形成网络拓扑图，便于用户查看站点的平面分布。基线解算时，北斗与GPS独立系统数据处理算法相同；联合处理需选择统一的坐标和时间框架，随着多余观测数的增加，还需设置合理的模糊度固定限值。基线解算后，进行网平差，应剔除不合格基线，直至平差结果满足要求。
1.2 高精度基线解算算法实现
高精度基线解算利用双差观测量建立误差方程，北斗双差观测量构造如式(1)：
$$ \mathit{\Delta} \nabla L^{{C_m}{C_n}}_{{S_i}{S_j}} = \left( {L^{{C_n}}_{{S_j}} - L^{{C_n}}_{{S_i}}} \right) - \left( {L^{{C_m}}_{{S_j}} - L^{{C_m}}_{{S_i}}} \right) $$ (1) 式中，Δ▽L表示双差观测量；Si和Sj表示任意站点；Cm和Cn表示任意北斗卫星。
依据式(1)构建的双差观测量，建立误差方程，如式(2)：
$$ \left[ \begin{array}{l} \mathit{\Delta} \nabla \boldsymbol{\varPhi} \\ \mathit{\Delta} \nabla \boldsymbol{P} \end{array} \right] = \boldsymbol{BX} + \boldsymbol{A}\mathit{\Delta} \nabla \boldsymbol{N} + \boldsymbol{V} $$ (2) 式中，Δ▽Φ和Δ▽P分别表示卫星载波相位和伪距双差观测量；X表示基线向量；Δ▽N表示双差整周模糊度；B和A为系数阵；V为残差向量。
利用式(2)构建的误差方程，解算基线向量和双差整周模糊度浮点解。利用LAMBAD方法[16, 17]固定双差整周模糊度后去除。再利用载波相位观测值获取高精度基线向量结果。基线解算过程中，主要利用抗差估计的切比雪夫多项式拟合法[18]及MW-GF组合法[19]探测与修复周跳。
对北斗和GPS双系统基线解算，只需将各系统的双差观测量误差方程叠加后平差计算，即可实现双系统联合基线解算。但需注意，星间差分需选择同一系统卫星，否则会引入系统间信号硬件延迟[20]，影响双差整周模糊度的固定。另外，北斗和GPS在时间框架、坐标框架等存在一定差异，双系统联合解算需保证框架的统一。
北斗和GPS时间转换公式如式(3)：
$$ {t_C} = {t_G}-14\;{\rm{s}} $$ (3) 式中，tC和tG分别表示北斗时和GPS时，两者均为原子时，起算原点不同[13]。
北斗和GPS坐标转换公式如式(4)：
$$ \begin{array}{c} \left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{X_G}}\\ {{Y_G}}\\ {{Z_G}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {{T_X}}\\ {{T_Y}}\\ {{T_Z}} \end{array}} \right] + \\ \left[ {\begin{array}{*{20}{c}} D&{ - {R_Z}}&{{R_Y}}\\ {{R_Z}}&D&{ - {R_X}}\\ { - {R_Y}}&{{R_X}}&D \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_G}}\\ {{Y_G}}\\ {{Z_G}} \end{array}} \right] \end{array} $$ (4) 式中，北斗坐标(XC，YC，ZC)与GPS坐标(XG，YG，ZG)可通过七参数TX、TY、TZ、D、RX、RY、RZ进行转换。北斗CGCS2000坐标系采用ITRF97框架2000历元的坐标和速度场，当前GPS WGS84坐标和ITRF08基本一致。因此，可利用ITRF97框架2000历元与ITRF08间转换的七参数(ITRF网站公布)实现北斗与GPS坐标框架的统一[11, 12]。
2 BGO数据处理实例与性能测试
2.1 高速铁路CPI控制网基线解算
处理高速铁路CPI控制网时，通过读取观测文件和星历文件，单点定位生成控制网的基线网络拓扑图，如图 2所示。基线解算前，设置相关参数包括卫星截止高度角、误差限差参数、框架、对流层模型、电离层模型、模糊度Ratio值、同步最小观测历元数等。设置完成后，可选择北斗、GPS、联合3种模式进行基线解算。基线解算完成后，软件界面中将显示解算的基线分量及其精度，并可显示残差向量检核基线解算效果。
2.2 BGO、TGO、Bernese软件处理GPS基线结果比较
为了测试BGO解算GPS基线的正确性，将其与TGO和Bernese软件处理结果进行了比较，得到57条GPS基线(基线最长6 667 m，最短446 m)的比较结果，如图 3所示。
![]()
图 3 BGO、TGO、Bernese软件处理GPS基线分量比较Figure 3. Comparing GPS Baseline Components from BGO, TGO and Bernese Software图 3(a)、3(b)分别表示BGO软件与TGO、Bernese软件处理GPS基线分量的差值ΔX、ΔY、ΔZ。图 3(a)中，BGO和TGO有52条基线在X、Y、Z方向的分量差值均在2 cm内，有48条基线各分量差值在mm级。TGO解算少量基线验后方差分量超限，与BGO基线分量差值较大。图 3(b)中，BGO和Bernese有55条基线在X、Y、Z方向的分量差值均在2 cm内，有49条基线各分量差值在mm级。
图 4(a)~4(c)分别表示BGO、TGO、Bernese软件处理GPS基线的内符合精度σX、σY、σZ(BGO、TGO、Bernese软件基线解算精度分别精确至0.1 mm、1 mm和0.1 mm)。整体上，约90%的基线3个软件的解算精度相当。
![]()
图 4 BGO、TGO、Bernese的GPS基线内符合精度比较Figure 4. Comparing GPS Baseline Precision from BGO, TGO and Bernese Software2.3 BGO、TBC软件处理北斗与GPS联合基线结果
为了测试BGO解算北斗与GPS联合基线的性能，本文选用美国Trimble的商业软件TBC与之进行比较。同上57条基线，每条基线观测数据均包含北斗与GPS观测数据。图 5展示了BGO和TBC处理北斗与GPS联合基线分量的差值ΔX、ΔY、ΔZ。图 5可见，98%的基线分量差值分布在mm级，表明BGO软件处理联合基线能达到与TBC软件相当的水平。另外，两者内符合精度绝大部分均在mm级，故图 5中未加以比较。
![]()
图 5 BGO与TBC软件处理北斗与GPS联合基线分量比较Figure 5. Comparing BDS and GPS Combined Baseline Components from BGO and TBC Software由此可知，BGO软件处理GPS基线、北斗与GPS联合基线的内外符合精度能达到TGO、Bernese、TBC相当的水平。因此，以BGO软件处理GPS、北斗与GPS联合基线结果为参考值，分析该软件处理北斗基线结果的正确性和可靠性，如图 6和图 7所示。图 6比较了北斗与GPS、联合基线分量的差值，图 7比较了北斗、GPS、联合基线解算的内符合精度。
![]()
图 6 BGO软件处理北斗与GPS、联合基线分量比较Figure 6. Comparing BDS, GPS and BDS/GPS Combined Baseline Components from BGO Software![]()
图 7 北斗、GPS、联合基线解的内符合精度统计Figure 7. The Statistics of Precision of BDS, GPS and BDS/GPS Combined Baseline Solutions图 6(a)表示BGO软件处理北斗与GPS基线分量的差值ΔX、ΔY、ΔZ，其中有43条基线在X、Y、Z方向上的分量差值Δx、Δy、Δz在2 cm内，有31条基线在X、Y、Z方向上的分量差值在mm级。图 6(b)表示BGO软件处理北斗与联合基线分量的差值，其中有54条基线在X、Y、Z方向上的分量差值在2 cm内，有38条基线在X、Y、Z方向上的分量差值在mm级(图 6中第6条基线北斗为浮点解，各分量差值结果较大，图中置为0)。
图 7中，93%的联合基线在X、Y、Z方向上的分量精度分别优于0.5 mm、1 mm、0.5 mm；约90%的北斗基线和95%的GPS基线在X、Y、Z方向上的分量精度分别优于1 mm、2 mm、1 mm。由北斗、GPS、联合基线3者精度比较可知，在北斗试运行阶段，GPS基线内符合精度略优于北斗，北斗与GPS联合系统基线内符合精度明显高于独立系统。
2.4 BGO基线网平差及其精度分析
BGO具备网平差功能，根据网平差后的基线分量改正数、相对中误差、点位精度等判断基线解算结果的可靠性。对上述解算的北斗、GPS、联合基线分别进行无约束网平差。
北斗、GPS、联合基线无约束网平差的平差改正数δX、δY、δZ绝大部分在±1 cm内，如图 8(a)~8(c)所示。最弱边相对中误差优于5.5 ppm(规范限值)，具体见表 1。据图 8、表 1及《高速铁路工程测量规范》[21]可知，BGO能合理稳定地解算北斗、GPS及联合基线，解算结果中的基线向量改正数、最弱边相对中误差、最弱点点位精度均满足CPI控制测量要求，各系统解算均能精确获得24个CPI控制点坐标。
![]()
图 8 GPS、北斗、联合无约束网平差基线向量改正数Figure 8. Baseline Vector Corrections from GPS, BDS and BDS/GPS Combined Unconstrained Adjustment表 1 GPS、北斗、联合无约束平差结果统计Table 1. The Statistics of GPS, BDS and BDS/GPS Combined Unconstrained Adjustment Results解算模式 独立基线 多余观测数 控制点个数 最弱边相对中误差/ppm 最弱点点位精度/mm GPS 55 66 24 3.6 23.6 北斗 51 57 24 3.1 26.9 联合 57 72 24 3.7 17.9 3 结语
本文系统地研究了北斗与GPS联合基线解算的算法，自主开发了北斗高精度基线解算软件BGO。通过实测高铁CPI控制网的数据处理测试表明：软件能进行高精度地处理北斗与GPS数据, 以及北斗与GPS联合数据处理；GPS基线解算性能与天宝TGO软件相当，能达到与Bernese软件一致的精度；北斗与GPS基线处理能达到与TBC相当的水平。BGO最大的优势在于能对北斗和GPS进行联合解算，从而提高北斗或GPS单系统的基线解算合格率和精度。经高速铁路CPI控制网实例测试，证明该软件处理基线结果可用于高精度北斗和GPS测量控制网的数据处理。
-
![]()
图 3 “UN camp”和“Tank”图像基于单像素规则融合结果
Figure 3. Single-pixel Fusion Results of "UN Camp" and "Tank"
![]()
图 4 “UN camp”和“Tank”图像基于窗口规则融合结果
Figure 4. Window Fusion Results of "UN Camp"and "Tank"
![]()
图 5 “UN camp”和“Tank”图像基于NSCT融合结果
Figure 5. NSCT Fusion Results of "UN Camp" and "Tank"
表 1 像素规则融合性能比较
Table 1 Evaluation Results of Single-pixel Rule Fusion
IE MI SD QE QAB/F UN
campDWT 6.464 6 1.469 1 25.491 2 0.149 2 0.396 6 SWT 6.451 4 1.500 6 25.417 8 0.182 5 0.433 3 NSCT 6.553 6 1.524 6 27.032 6 0.200 0 0.459 1 Tank DWT 6.942 2 2.499 7 31.943 1 0.321 2 0.542 1 SWT 6.933 8 2.624 2 31.897 9 0.384 9 0.599 9 NSCT 7.025 7 2.533 5 33.797 6 0.419 3 0.638 0 
下载: 导出CSV
表 2 窗口规则融合性能比较
Table 2 Evaluation Results of Window Rule Fusion
IE MI SD QE QAB/F UN camp SWT-window 6.363 0 1.511 8 24.325 3 0.178 7 0.407 2 NSCT-window 6.368 2 1.542 2 24.856 6 0.216 5 0.439 6 SWT-PCNN 6.440 6 1.495 8 25.295 6 0.181 3 0.426 3 NSCT-PCNN 6.526 9 1.533 8 26.555 8 0.205 2 0.446 4 Tank SWT-window 6.907 6 2.624 9 31.322 6 0.379 0 0.593 4 NSCT-window 6.967 3 2.535 1 32.269 6 0.429 1 0.628 4 SWT-PCNN 6.929 1 2.620 7 31.837 3 0.381 5 0.585 5 NSCT-PCNN 7.007 6 2.534 1 33.379 3 0.416 6 0.598 5
下载: 导出CSV
表 3 NSCT融合算法性能比较
Table 3 Evaluation Results of NSCT Fusion
IE MI SD QE QAB/F UN camp NSCT 6.553 6 1.524 6 27.032 6 0.200 0 0.459 1 NSCT-PCNN 6.526 9 1.533 8 26.555 8 0.205 2 0.446 4 Proposed 7.150 4 3.050 5 39.139 0 0.209 6 0.454 1 Thank NSCT 7.025 7 2.533 5 33.797 6 0.419 3 0.638 0 NSCT-PCNN 7.007 6 2.534 1 33.379 3 0.416 6 0.598 5 Proposed 7.380 4 4.717 2 44.385 4 0.497 3 0.701 3
下载: 导出CSV
-
[1] Piella G. A General Framework for Multiresolution Image Fusion:From Pixels to Regions[J]. Information Fusion, 2003, 4:259-280 doi: 10.1016/S1566-2535(03)00046-0
[2] Luo Xiaoyan, Zhang Jun, Dai Qionghai. A Regional Image Fusion Based on Similarity Characteristics[J]. Signal Processing, 2012, 92(5):1268-1280 doi: 10.1016/j.sigpro.2011.11.021
[3] 杨扬, 戴明, 周箩鱼.基于NSUDCT的红外与可见光图像融合[J].红外与激光工程, 2014, 43(3):961-966 http://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201003018.htm Yang Yang, Dai Ming, Zhou Luoyu. Fusion of Infrared and Visible Images Based on NSUDCT[J]. Infrared and Laser Engineering, 2014, 43(3):961-966 http://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201003018.htm
[4] Niu Yifeng, Xu Shengtao, Wu Lizhen, et al. Airborne Infrared and Visible Image Fusion for Target Perception Based on Target Region Segmentation and Discrete Wavelet Transform[J]. Mathematical Problems in Engineering, 2012, 2012:1-10 https://www.researchgate.net/publication/258383078_Airborne_Infrared_and_Visible_Image_Fusion_for_Target_Perception_Based_on_Target_Region_Segmentation_and_Discrete_Wavelet_Transform
[5] Saeedi J, Faez K. Infrared and Visible Image Fusion Using Fuzzy Logic and Population-based Optimization[J]. Applied Soft Computing, 2012, 12(3):1041-1054 doi: 10.1016/j.asoc.2011.11.020
[6] Liu Huanxi, Zhu Tianhang, Zhao Jiajia. Infrared and Visible Image Fusion Based on Region of Interest Detection and Nonsubsampled Contourlet Transform[J]. Journal of Shanghai Jiaotong University (Science), 2013, 18(5):526-534 doi: 10.1007/s12204-013-1437-7
[7] Zhao Bingjie. Fusion of Infrared and Visible Image Based on Target Extraction and Contourlet Transform[J]. Journal of Information and Computational Science, 2013, 10(15):4751-4761 doi: 10.12733/issn.1548-7741
[8] 邢素霞, 肖洪兵, 陈天华, 等.基于目标提取与NSCT的图像融合技术研究[J].光电子·激光, 2013, 24(3):583-588 http://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201303034.htm Xing Suxia, Xiao Hongbing, Chen Tianhua, et al. Study of Image Fusion Technology Based on Object Extraction and NSCT[J].Journal of Optoelectronics·Laser, 2013, 24(3):583-588 http://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201303034.htm
[9] Monica S M, Sahoo S K. Pulse Coupled Neural Networks and Its Applications[J]. Expert Systems with Applications, 2014, 41(8):3965-3974 doi: 10.1016/j.eswa.2013.12.027
[10] Xiang Tianzhu, Yan Li, Gao Rongrong. A Fusion Algorithm for Infrared and Visible Images Based on Adaptive Dual-channel Unit-linking PCNN in NSCT Domain[J]. Infrared Physics & Technology, 2015, 69:53-61 https://www.researchgate.net/publication/273312702_A_fusion_algorithm_for_infrared_and_visible_images_based_on_adaptive_dual-channel_unit-linking_PCNN_in_NSCT_domain
[11] Sahoo P K, Arora G. A Thresholding Method Based on Two-dimensional Renyi's Entropy[J]. Pattern Recognition, 2004, 37(6):1149-1161 doi: 10.1016/j.patcog.2003.10.008
[12] 邢帅, 谭兵, 徐青, 等.基于复数小波变换的遥感图像融合新算法[J].武汉大学学报·信息科学版, 2007, 32(1):75-77 http://ch.whu.edu.cn/CN/abstract/abstract1790.shtml Xing Shuai, Tan Bing, Xu Qing, et al. A New Algorithm for Remote Sensing Image Fusion Using Complex Wavelet Transform[J]. Geomatics and Information Science of Wuhan University, 2007, 32(1):75-77 http://ch.whu.edu.cn/CN/abstract/abstract1790.shtml
[13] 胡前, 杜军平, 方明, 等.基于结构相似性的多传感器图像融合[J].东南大学学报(自然科学版), 2013, 43(S1):158-162 http://www.cnki.com.cn/Article/CJFDTOTAL-DNDX2013S1034.htm Hu Qian, Du Junping, Fang Ming, et al. Multi-sensor Image Fusion Algorithm Based on SSIM[J]. Journal of Southeast University (Natural Science Edition), 2013, 43(S1):158-162 http://www.cnki.com.cn/Article/CJFDTOTAL-DNDX2013S1034.htm
[14] 叶传奇, 王宝树, 苗启广.基于NSCT变换的红外与可见光图像融合算法[J].系统工程与电子技术, 2008, 30(4):593-596 http://cdmd.cnki.com.cn/Article/CDMD-10287-1011292174.htm Ye Chuanqi, Wang Baoshu, Miao Qiguang. Fusion Algorithm of Infrared and Visible Light Images Based on NSCT Transform[J]. Systems Engineering and Electronics, 2008, 30(4):593-596 http://cdmd.cnki.com.cn/Article/CDMD-10287-1011292174.htm
[15] 金星, 李晖晖, 时丕丽.非下采样Contourlet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合[J].中国图像图形学报, 2012, 17(9):1188-1195 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201209021.htm Jin Xing, Li Huihui, Shi Pili.SAR and Multispectral Image Fusion Algorithm Based on Pulse Coupled Neural Networks and Non-subsampled Contourlet Transform[J]. Journal of Image and Graphics, 2012, 17(9):1188-1195 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201209021.htm
[16] Haghighat M B A, Aghagolzadeh A, Seyedarabi H. A Non-reference Image Fusion Metric Based on Mutual Information of Image Features[J]. Computers & Electrical Engineering, 2011, 37(5):744-756 https://www.researchgate.net/publication/220593498_A_non-reference_image_fusion_metric_based_on_mutual_information_of_image_features
[17] Huang Xin, Wen Dawei, Xie Junfeng, et al. Quality Assessment of Panchromatic and Multispectral Image Fusion for the ZY-3 Satellite:From an Information Extraction Perspective[J].IEEE Geoscience And Remote Sensing Letters, 2014, 11(4):753-757 doi: 10.1109/LGRS.2013.2278551
-
期刊类型引用(8)
1. 张莹，任战利，兰华平，祁凯，邢光远，夏岩. 关中盆地新近系蓝田-灞河组热储层物性及渗流特征研究. 地质通报. 2024(05): 712-725 . 
百度学术
2. 吴陈冰洁，罗璐，高楠安，汪新伟，崔梓贤. 关中盆地西安凹陷新近系砂岩热储特征研究. 现代地质. 2024(06): 1571-1584 . 百度学术
3. 张欢，陈应涛，陶威，陈涛，余文鑫，艾卉卉. 不同拉伸方式和速度下的伸展构造砂箱物理模拟实验研究. 西北地质. 2023(02): 327-336 . 百度学术
4. 颜复康，田镇，杨志强，杨兵，梁沛. 厄瓜多尔俯冲区震间闭锁与粘弹性变形研究. 大地测量与地球动力学. 2023(10): 1080-1085 . 百度学术
5. 张莹，任战利，邢光远，祁凯，夏岩. 渭河盆地新近系热储层特征. 地质通报. 2023(11): 1993-2005 . 百度学术
6. 徐斌，张艳. 地下水化学类型分区的GIS空间分析模型. 武汉大学学报(信息科学版). 2019(06): 866-874 . 百度学术
7. 闫俊义，吕睿，赵涛，王莹，白若冰，古云鹤. 关中盆地地壳应力场特征分析. 山西地震. 2019(03): 39-41 . 百度学术
8. 白相东，关成尧，张艳，袁四化，刘晓燕. 渭河盆地断层系统运动学体制分解与探讨. 防灾科技学院学报. 2018(03): 8-16 . 百度学术
其他类型引用(10)
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 18
