快速检索        
  武汉大学学报·信息科学版  2020, Vol. 45 Issue (3): 426-431

文章信息

许凯秋, 龚龑, 方圣辉, 汪韬阳
XU Kaiqiu, GONG Yan, FANG Shenghui, WANG Taoyang
高分数据辅助下的热红外遥感影像几何校正
Geometric Correction of Thermal Infrared Remote Sensing Image Assisted by High-Resolution Data
武汉大学学报·信息科学版, 2020, 45(3): 426-431
Geomatics and Information Science of Wuhan University, 2020, 45(3): 426-431
http://dx.doi.org/10.13203/j.whugis20180089

文章历史

收稿日期: 2018-08-20
高分数据辅助下的热红外遥感影像几何校正
许凯秋1 , 龚龑1 , 方圣辉1 , 汪韬阳1,2     
1. 武汉大学遥感信息工程学院, 湖北 武汉, 430079;
2. 高分辨率对地观测系统湖北数据与应用中心, 湖北 武汉, 430079
摘要:随着热红外遥感技术的不断发展,热红外遥感影像在地表温度反演、森林火灾监测、矿物探测等方面应用广泛,而在这些应用中,热红外影像的几何校正是重要的基础性技术。利用高分二号卫星空间分辨率高的优势,通过研究分析异构载荷的成像差异与关联,提出了一种模拟影像与特征匹配相结合的方法。该方法立足高分辨率光学影像,以地面辐射基础数据为条件,首先从热红外辐射角度进行影像模拟形成过渡影像,并将其用于辅助热红外影像几何校正;然后利用尺度不变特征变换(scale invariant feature transform,SIFT)算子实现特征点的检测,从而获取同名点,提高热红外影像的几何校正精度。
关键词热红外影像    几何校正    模拟影像    尺度不变特征变换(SIFT)    
Geometric Correction of Thermal Infrared Remote Sensing Image Assisted by High-Resolution Data
XU Kaiqiu1 , GONG Yan1 , FANG Shenghui1 , WANG Taoyang1,2     
1. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China;
2. Hubei High Resolution to the Earth Observation System of Data and Application Center, Wuhan 430079, China
Abstract: With the development of thermal infrared remote sensing technology, the thermal infrared remote sensing image has an extremely vital significance in land surface temperature inversion, forest fire monitoring, mineral detection and other field, and in these applications, the geometric correction is an important basic technology. We use the advantage of the high-resolution satellite, study the differences and correlation of different remote sensing sensors, and introduce a method of combining simulation images with feature matching. The method based on high resolution optical image, according to the radiation transfer equations of thermal infrared, it use the ground radiation data to simulate the thermal infrared image. Then we can use the simulation image to assist the geometric correction of the thermal infrared image. After simulate the image, we use the scale invariant feature transform(SIFT) feature detection algorithm to find the homonymous points, and then finish the geometric correction of thermal infrared image. Experiment results show that this method makes the geometric correction of thermal infrared remote sensing image with high precision.
Key words: thermal infrared image    geometric correction    simulation image    scale invariant feature transform (SIFT)    

随着中国高分辨率对地观测计划的持续推进,多源遥感影像的应用逐渐深入,充分利用多源数据优势来提高热红外影像几何校正的精度具有重要意义。高空间分辨率可见光影像和热红外影像的配准是其中的重要环节。可见光影像与红外影像配准属于异源影像配准,较为常见的异源影像匹配方法有基于互信息的匹配和基于特征的匹配[1-10]。纵观当前研究,多数匹配方法主要针对影像特征,而较少利用蕴含了异源影像重要信息的辐射信息。红外影像反映地物的辐射信息,而可见光影像反映地物的反射信息,这两种信息的物理意义并不相同;同时,传感器成像条件的不同以及地物目标的复杂性,亦造成两种影像之间的灰度特性相差较大。因此,二者缺乏高精度的一致性特征给配准带来难度。本文利用现有高分辨率卫星影像的优势,着眼于地物辐射信息机理,提出了一种模拟影像与特征匹配相结合的方法,实现热红外影像的几何校正。

1 基于影像模拟的热红外影像几何校正方法

本文采用如下策略实现高分辨率光学卫星影像辅助下的热红外影像的几何校正:首先,以经过几何精校正处理的光学卫星影像为基准,结合典型地物比辐射率数据及温度统计信息,从热红外辐射角度进行影像模拟,形成与热红外影像具有类似色调特征的过渡影像。然后,采用特征提取算子对模拟影像与热红外影像分别进行特征点提取,得到一系列特征点对,并筛选出所有的误匹配点,得到对应的同名点对。最后,利用筛选出的同名控制点集解算几何校正公式的系数,实现热红外影像的几何校正。具体流程见图 1

图 1 基于影像模拟的热红外影像几何校正流程图 Fig. 1 Flowchart of Geometric Correction of Thermal Infrared Image Based on Image Simulation
2 基于影像模拟的热红外影像几何校正实验 2.1 实验设计

实验影像为武汉地区2016-08-17的一景高分二号(GF-2)卫星影像与2016-07-23的一景环境1B(HJ-1B)卫星热红外影像,如图 2所示。其中,GF-2影像为基准影像,地面分辨率为4 m,包括可见光、近红外4个波段,其中蓝波段波谱范围为0.45~0.52 µm,绿波段波谱范围为0.52~0.59 µm,红波段波谱范围为0.63~0.69 µm,近红外波段波谱范围为0.77~0.89 µm;HJ-1B热红外影像为待校正影像,空间分辨率为300 m,波谱范围为10.5~12.5 µm。

图 2 实验影像 Fig. 2 Images for Experiment

实验中截取了HJ-1B热红外影像与GF-2影像的共同区域,针对HJ-1B热红外影像几何校正,进行传统的灰度相关[11]、尺度不变特征变换(scale invariant feature transform, SIFT)特征匹配以及引入模拟影像的灰度相关和SIFT特征匹配的对比实验。

目前,遥感热红外影像的分辨率普遍较低,与光学影像之间的分辨率差异是客观存在的。因此,本文首先通过降采样的方法来降低两实验影像之间的空间分辨率差异,然后再利用SIFT特征匹配提取同名点,实现影像的几何校正。同时,将本文方法与经典的基于互信息的异源影像配准方法[2]进行对比,分析本文方法的效果。

2.2 热红外影像模拟

热红外遥感传感器接收到的信息是地表的热辐射信息,辐射亮度值Lλ的表达式(辐射传输方程)可写为:

${{L}_{\lambda }}=\left[ \varepsilon B\left( {{T}_{S}} \right)+\left( 1-\varepsilon \right){{L}^{\downarrow }} \right]\tau +{{L}^{\uparrow }}$

式中,ε为地表比辐射率;TS为地表真实温度(K);B(TS)为黑体热辐射亮度;τ为大气在热红外波段的透过率;L为大气上行辐射亮度;L为大气下行辐射亮度。

从热红外辐射传输方程的角度进行影像的模拟,需要确定地表比辐射率值ε、黑体热辐射亮度B(TS)、大气透过率τ、大气上行辐射亮度L及大气下行辐射亮度L。通过美国国家航空航天局(National Aeronautics and Space Administration,NASA)公布的网站(http://atmcorr.gsfc.nasa.gov)可以获取大气剖面信息:大气透过率τ、大气上行辐射亮度L及大气下行辐射亮度L

对于比辐射率ε的估计,目前使用得比较多的3种方法为植被指数法、归一化植被指数(normalized difference vegetation index,NDVI)阈值法、NDVI阈值改进方法[12-15]。在本文实验中,用NDVI阈值改进方法进行比辐射率估计。首先求得影像的归一化水指数(normalized difference water index,NDWI),当NDWI > 0时,将其分为水体,否则分为非水体。当像元为水体时,ε=0.995;当其为非水体时,ε=0.004Pv+0.986,Pv为植被覆盖度。表 1为部分地物的比辐射率。

表 1 地物比辐射率 Tab. 1 Emissivity of Feature
地物 比辐射率ε
水体 0.995
裸土 0.986
植被完全覆盖区 0.990
植被部分覆盖区 0.986~0.990

文献[16-19]的研究表明,地表真实温度TS与NDVI呈负相关的关系,水体真实温度Tw与NDWI也呈负相关的关系。因此,可以通过查找气象资料的方法粗略估计影像范围内的地表温度TS范围,建立TS与NDVI和NDWI的负相关关系式,根据影像的NDVI和NDWI估算出地表近似温度TS,再根据普朗克公式计算黑体热辐射亮度B(TS)。当以上所有参数确定后,即可根据辐射传输方程模拟得到热红外影像的辐射亮度,然后根据HJ-1B影像提供的辐射定标参数计算得到对应的像元亮度值(digital number,DN),经降采样处理后形成模拟影像,如图 3所示。由于考虑了辐射传输机理,通过地物辐射亮度相对关系,模拟影像与真实影像灰度高低具有较好的相对一致性。表 2展示了不同影像的地物细节图,从表 2中可看出,相比光学影像,模拟影像在图像特征上更接近真实热红外影像。

图 3 模拟影像结果 Fig. 3 Results of Simulation Image
表 2 不同影像地物细节 Tab. 2 Feature's Detail of Different Images
地物 光学影像 真实热红外影像 模拟影像
水体
植被
建筑物
2.3 模拟影像匹配

对GF-2各波段影像、模拟影像及HJ-1B热红外影像进行基于灰度相关和SIFT的特征提取。对于灰度相关的特征提取,利用Harris算子[11]提取GF-2各个波段影像和模拟影像的特征点,以灰度相关作为测度,在HJ-1B影像上寻找相关系数最大的点作为其匹配点。对于SIFT特征提取,通过尺度空间极值探测、极值点精确定位、确定关键点主方向、关键点描述等操作,以欧氏距离作为测度获取匹配点。

由于模拟的热红外影像与HJ-1B热红外影像之间仍存在着差异,匹配点对中仍然存在着较多的误匹配点对,还需要进一步剔除误匹配点对。本文采用随机抽样一致性(random sample consensus,RANSAC)算法初步剔除误匹配点对,利用余下的匹配点求解出右影像的几何校正参数,计算控制点的像点坐标,根据像点坐标与匹配点坐标的欧氏距离计算出误差值,并逐渐剔除其中误差最大的点,直到所有的点对误差值在一个像素之内为止,结果如图 4所示。

图 4 模拟影像匹配结果 Fig. 4 Matching Result of Simulation Image

在以上匹配点的基础上,即可利用多项式校正的方法对待校正影像进行几何校正。

3 结果与分析

GF-2影像是多光谱影像,包含4个波段的数据,对于灰度相关和经典的SIFT特征匹配来说,本文分别将各个波段的数据与HJ-1B热红外影像进行匹配,结果如表 3所示。

表 3 不同方法、不同波段数据匹配结果 Tab. 3 Matching Results of Different Methods and Bands
匹配数据 灰度相关方法 SIFT特征匹配方法
匹配点数 正确点数 匹配点数 正确点数
GF-2蓝波段 82 0 86 0
GF-2绿波段 90 0 85 0
GF-2红波段 95 3 94 0
GF-2近红外波段 89 9 110 9
模拟影像 88 15 90 14

表 3可以看出,对于GF-2影像来说,灰度相关方法只有红波段和近红外波段数据有正确的匹配点,其余波段均无正确的匹配点对,而SIFT匹配方法只有近红外波段数据有正确的匹配点。这是因为红外影像反映的是地物的辐射信息,而可见光波段的影像反映的是地物的反射信息,这两种影像反映的地物信息的物理意义并不相同。此外,由于成像条件的不同以及地物目标的复杂性,两者之间的相关性较小,因而这两种影像之间的灰度特性相差较大,造成了匹配的困难;而GF-2近红外波段与HJ-1B热红外波段影像都包含了地物的辐射信息,使匹配时有部分的正确匹配点对,但是由于二者波段之间的差异,正确的匹配点数目十分少。引入模拟影像后,匹配的点对数目有了一定的增加,模拟影像从辐射传输方程的角度出发,对地物的热辐射传输过程进行模拟,形成的影像与HJ-1B热红外影像之间的差异显著缩小,虽然模拟的过程对许多的参数进行了近似的取值,并不能真正地代表实际地物的热红外成像结果,但是通过模拟可以一定程度上缩小异源影像之间的差异,改善匹配的结果。以上的结果也证明了本文提出的方法可行,能够改善异源影像之间的匹配结果,提供更多的匹配点。

对待校正的HJ-1B热红外影像进行基于影像模拟的SIFT特征匹配,并通过多项式方法进行校正,结果如图 5所示,表 4列出了部分控制点的配准精度评价。从表 4可知,控制点配准误差的最大值为0.98像素,最小值为0.35像素,误差均值为0.60像素。控制点的误差均在1像素之内,达到了匹配的精度要求,通过遥感图像处理平台(The Environment for Visualizing Images,ENVI)将校正后的影像与基准影像叠加显示,对其中的河流等特征明显的地物进行观察,发现校正后的影像能够很好地吻合基准影像,二者之间没有产生明显的错位现象,表明校正的结果较好。这也证实了本文提出的通过影像模拟对热红外影像进行几何校正的方法可行。

图 5 校正后HJ-1B影像 Fig. 5 Corrected HJ-1B Image
表 4 控制点配准精度评价 Tab. 4 Registration Accuracy of Control Points
序号 匹配点坐标/像素 计算得到的像点坐标/像素 误差值v
/像素
1 (136.93, 298.01) (137.70, 298.35) 0.85
2 (148.35, 319.79) (148.58, 319.47) 0.40
3 (153.23, 279.11) (153.22, 280.08) 0.98
4 (148.47, 312.42) (148.11, 312.08) 0.50
5 (102.11, 313.70) (102.05, 313.14) 0.56
6 (116.30, 314.28) (116.43, 314.61) 0.35
7 (99.89, 333.49) (99.84, 333.87) 0.39
8 (69.97, 301.05) (69.16, 301.06) 0.81
误差均值
/像素
0.6

利用基于互信息的异源影像匹配方法得到的匹配点信息如表 5所示。与本文方法相比,基于互信息的匹配方法获取的匹配点数目较少,同时本文方法所取得的亚像素级配准误差效果更优。因此,相较于传统方法,本文方法在匹配点的精度和数量上都更有优势。

表 5 互信息匹配点结果 Tab. 5 Matching Points of Mutual Information
序号 高分影像坐标
/像素
热红外影像坐标/像素 误差值
/像素
1 (79, 22) (122.02, 277.06) 1.347 6
2 (99, 81) (162.41, 312.64) 0.605 6
3 (104, 37) (148.06, 279.93) 1.043 2
4 (54, 22) (100.88, 288.56) 0.649 4
5 (47, 19) (94.75, 289.06) 0.670 1
6 (100, 95) (169.41, 322.91) 0.303 0
7 (31, 101) (126.26, 375.85) 0.035 6
4 结语

本文提出了一种模拟影像与特征匹配相结合的方法,实现热红外影像的几何校正。相对于直接利用可见光近红外影像图像特征进行几何校正,模拟影像与热红外影像反映的都是地物的辐射信息,较好地解决了异源影像特征差异问题。实验结果表明,采用模拟影像的方法使得传统的灰度相关与经典的SIFT特征匹配方法能够适用于异源影像配准。

后续研究可从两方面进行:(1)高分影像的地表信息丰富,有待后续研究中更充分的利用,可借助包含丰富地物类型目标的比辐射率库,结合热红外辐射传输方程进行更精细模拟。(2)对于宽幅热红外遥感影像校正,可以通过获取一定数量分布均匀的高分影像块作为基准影像,通过扩大模拟影像在宽幅热红外影像中的分布范围来进一步提高几何校正精度。

参考文献
[1]
Zhang X, Men T, Liu C, et al. Infrared and Visible Images Registration Using BEMD and MI[C]. IEEE International Conference on Computer Science and Information Technology, Chengdu, China, 2010
[2]
Zhou Hao, Ye Yuanxin, Wang Lei. A Multi-source Remote Sensing Image Registration Method Using Point Features and Mutual Information[J]. Remote Sensing Information, 2015(3): 99-103. (周浩, 叶沅鑫, 王蕾. 一种利用点特征和互信息的多源遥感影像配准方法[J]. 遥感信息, 2015(3): 99-103. )
[3]
Liang Chao. Study of Multi-sensor Images Registration Based on Mutual Information[D]. Xi'an: Xidian University, 2014 (梁超.基于互信息的异源图像配准研究[D].西安: 西安电子科技大学, 2014) http://cdmd.cnki.com.cn/Article/CDMD-10701-1015433539.htm
[4]
Li Longxun. The Registration and Fusion of Multi-sensor Image Base on Mutual Information[D].Chengdu: University of Electronic Science and Technology of China, 2013 (李龙勋.基于互信息的异源图像匹配与融合[D].成都: 电子科技大学, 2013)
[5]
Kelman A, Sofka M, Stewart C V. Keypoint Descriptors for Matching Across Multiple Image Modalities and Non-linear Intensity Variations[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Minneapolis, Minnesota, USA, 2007
[6]
Huang Q, Yang J. Visible and Infrared Image Registration Algorithm Based on NSCT and Gradient Mirroring[C]. SPIE Asia-Pacific Remote Sensing, Beijing, China, 2014
[7]
Ye Yuanxin, Shan Jie, Xiong Jinxin, et al. A Matching Method Combining SIFT and Edge Information for Multi-source Remote Sensing Image[J]. Geomatics and Information Science of Wuhan University, 2013, 38(10): 1148-1151. (叶沅鑫, 单杰, 熊金鑫, 等. 一种结合SIFT和边缘信息的多源遥感影像匹配方法[J]. 武汉大学学报·信息科学版, 2013, 38(10): 1148-1151. )
[8]
Ye Yuanxin, Shen Li, Chen Min, et al. An Automatic Matching Method Based on Local Phase Feature Descriptor for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(9): 1278-1284. (叶沅鑫, 慎利, 陈敏, 等. 局部相位特征描述的多源遥感影像自动匹配[J]. 武汉大学学报·信息科学版, 2017, 42(9): 1278-1284. )
[9]
Yan Li, Hu Xiubing, Chen Changjun, et al. An Operator of Gradient Consistency for Multimodal Image Registration[J]. Geomatics and Information Science of Wuhan University, 2013, 38(8): 969-972. (闫利, 胡修兵, 陈长军, 等. 多模态图像配准的梯度一致性算子[J]. 武汉大学学报·信息科学版, 2013, 38(8): 969-972. )
[10]
Xu Jun, Fu Tianyu, Yang Jian, et al. Registration of Infrared Image and Visible Image Based on Saliency and EOH Feature Analysis[J]. Optics and Precision Engineering, 2016, 24(11): 2830-2840. DOI:10.3788/OPE.20162411.2830
[11]
Zhang Yong, Yu Jianping, Sun Junwei, et al. Research on Corner Matching Method Based on Harris[J]. Computer and Modernization, 2011(11): 78-81. (张勇, 余建平, 孙军伟, 等. 基于Harris的角点匹配算法研究[J]. 计算机与现代化, 2011(11): 78-81. )
[12]
Griend A, Owe M. On the Relationship Between Thermal Emissivity and the Normalized Difference Vegetation Index for Natural Surfaces[J]. International Journal of Remote Sensing, 1993, 14(6): 1119-1131. DOI:10.1080/01431169308904400
[13]
Sobrino J A, Jimenez-Munoz J C, Soria G, et al. Land Surface Emissivity Retrieval from Different VNIR and TIR Sensors[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(2): 316-327. DOI:10.1109/TGRS.2007.904834
[14]
Qin Zhihao, Li Wenjuan, Xu Bin, et al. The Estimation of Land Surface Emissivity for Landsat TM6[J]. Remote Sensing of Land and Resources, 2004, 16(3): 28-32. (覃志豪, 李文娟, 徐斌, 等. 陆地卫星TM6波段范围内地表比辐射率的估计[J]. 国土资源遥感, 2004, 16(3): 28-32. )
[15]
Da Rima, Bao Yuhai. Comparative Analysis of Land Surface Emissivity (LSE) Retrieval Methods Based on TM Data[J]. Journal of Inner Mongolia Normal University (Natural Science Edition), 2010, 39(2): 186-190. (达日玛, 包玉海. 基于TM数据的地表比辐射率反演方法对比分析[J]. 内蒙古师范大学学报(自然科学汉文版), 2010, 39(2): 186-190. )
[16]
Sun D, Kafatos M. Note on the NDVI-LST Relationship and the Use of Temperature Related Drought Indices over North America[J]. Geophysical Research Letters, 2007, 34(24): 497-507.
[17]
Li Hua, Liu Qinhuo, Zhou Jie. Relationships of LST to NDBI and NDVI in Changsha-Zhuzhou-Xiangtan Area Based on MODIS Data[J]. Geoscience, 2009, 29(2): 262-267. (历华, 柳钦火, 邹杰. 基于MODIS数据的长株潭地区NDBI和NDVI与地表温度的关系研究[J]. 地理科学, 2009, 29(2): 262-267. )
[18]
Ma Wei, Zhao Zhenmei, Liu Xiang, et al. A Quantitative Analysis of the Relationship Between Vegetation Indices and Land Surface Temperature Based on Remote Sensing:A Case Study of TM Data for Beijing[J]. Remote Sensing of Land and Resources, 2010, 22(4): 108-112. (马伟, 赵珍梅, 刘翔, 等. 植被指数与地表温度定量关系遥感分析:以北京市TM数据为例[J]. 国土资源遥感, 2010, 22(4): 108-112. )
[19]
Yu Zhen. A Study of Urban Heat Island Changes in Qingdao Based on Multi-temporal Remote Sensing Data[D].Qingdao: Shandong University of Science and Technology, 2015 (于臻.基于多时相遥感数据青岛市热岛效应变化研究[D].青岛: 山东科技大学, 2015) http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y2924293