文章信息
- 邵振峰, 白云, 周熙然
- SHAO Zhenfeng, BAI Yun, ZHOU Xiran
- 改进多尺度Retinex理论的低照度遥感影像增强方法
- Improved Multi-scale Retinex Image Enhancement of Under Poor Illumination
- 武汉大学学报·信息科学版, 2015, 40(1): 32-39
- Geomatics and Information Science of Wuhan University, 2015, 40(1): 32-39
- http://dx.doi.org/10.13203/j.whugis20130142
-
文章历史
- 收稿日期:2013-05-14
2. 立得空间信息技术股份有限公司, 湖北 武汉, 430223
2. Leador Spatial Information Technology Corporation, Wuhan 430223, China
遥感影像包含非常丰富的信息,但由于受到传感器自身性能、恶劣天气、光照不均等外部因素的影响,获取到的遥感影像常常会出现亮度不均、对比度低、颜色失真及边缘模糊等问题,导致影像质量变差,影响遥感影像的后续判读和信息提取。因此,为了改善影像质量并提取更多的可用信息,快速且高效的影像增强算法成为影像分析和理解领域的关键内容之一。
现有的影像增强方法主要包括传统的空域和频域影像增强算法[1,2]、基于小波变换的影像增强方法[3,4]、基于人工神经网络的影像增强方法[5]、基于模糊集合的影像增强方法[6,7]、基于人眼视觉特性的影像增强方法[8]及基于这些方法的改进方法[9,10]等。其中,空域影像增强方法中效果比较好的是直方图均衡化,但是直方图均衡化仍存在一些缺陷,如变换后的图像灰度级减少、某些影像细节消失、影像过增强等。频域影像增强方法处理后的影像则视觉效果不够理想,会出现色彩失真现象。基于小波变换的影像增强方法能够使影像细节清晰,层次感强,但影像对比度的改变不是很大,而且多级小波分解的计算量较大,降低了影像增强的效率。基于人工神经网络的影像增强方法能较好地去除椒盐噪声和脉冲噪声,但是会导致影像模糊,且参数较多,算法比较复杂。基于模糊集理论的影像增强方法的阈值根据经验选取,不同的阈值将产生不同的影像增强效果,一般很难选取一个能达到最优增强效果的阈值,算法比较复杂且不稳定。
与其他方法相比,基于人眼视觉特性的影像增强方法在很大程度上提高了影像的亮度和对比度,避免了色彩失真现象,增强后的影像边缘更加清晰,细节信息更丰富,更加符合人眼视觉感受。目前,基于人眼视觉特性的影像增强方法主要包括两类:第一类方法是基于Retinex理论的影像增强方法[11],以及在此基础上发展的单尺度Retinex、多尺度Retinex和带彩色恢复多尺度Retinex算法等改进算法[12,13,14],这类方法虽然符合人眼视觉特性,但是会出现不同程度的彩色失真;另一类算法是将原始影像从RGB色彩空间转换到符合人眼视觉特性的HSI或者HSV色彩空间,消除各颜色分量之间的相关性,保持色调不变,调整亮度分量和饱和度分量来达到影像增强的目的[15]。
本文以低照度遥感影像为研究对象。低照度遥感影像的灰度值较低,而且灰度差别一般在几十级以内。本文在分析基于人眼视觉特性的两类算法的优缺点的基础上,将两种算法进行结合,提出了一种基于多尺度Retinex算法(multi-scale Retinex,MSR)的改进算法。 1 Retinex增强算法
多尺度Retinex算法[16]是在中心/环绕Retinex算法[17]基础上提出的改进,该算法通过高斯滤波估计入射光分量,比其他几种Retinex算法简单,具有大范围动态压缩和颜色恒定的特性。多尺度Retinex算法是将数个不同尺度上的单尺度Retinex进行线性加权组合。
单尺度Retinex增强算法的表达式为:
式中,i表示颜色通道数,若i=1,则表示原始影像为灰度图像,若i=3,则表示原始影像为彩色影像;Ii x,y 表示第i个颜色通道的输入分量;RSSRi x,y 表示第i个颜色通道的Retinex算法输出结果;符号表示卷积运算;F x,y 表示中心/环绕函数,不同的环绕函数会产生不同的增强效果。
文献[17]采用高斯函数作为环绕函数,达到了很好的影像增强效果。环绕函数F x,y 表达式为:
其中,标准差σ即为尺度参数,σ的大小对入射分量的估计有直接影响。当σ取值较小时,高斯模板较小,能够很好地实现动态范围压缩,影像偏暗区域的边缘细节能够得到较好的增强,但是会出现颜色失真现象;当σ取值较大时,高斯模板较大,颜色保真效果较好,但是动态压缩能力和细节增强效果较差。κ为归一化因子,其满足条件:
处理单一σ 参数的单尺度Retinex算法无法在保证细节增强的同时实现颜色保真,针对此问题,文献[17]提出了多尺度Retinex影像增强算法,该算法旨在细节增强和颜色保真之间寻找平衡点,在保留影像细节信息的同时,尽可能地避免颜色失真。多尺度Retinex算法就相当于将数个不同尺度上的单尺度Retinex进行线性加权组合,其数学表达为:
其中,
其中,RMSRi x,y 表示多尺度Retinex算法的输出结果;Rji x,y 表示单尺Retinex算法的输出结果;K为尺度参数σ的总个数,一般取K=3;I x,y 为原始影像;Wj为与第j个环绕函数相关的权重因子,满足条件,一般情况下,W1=W2=W3=1/3;N表示影像颜色通道的个数,当N=1时,表示灰度影像,当N=3时,表示彩色影像;符号表示卷积运算。
Fj x,y 代表第j个中心/环绕函数,其数学表达式为:
其中,σj为第j个环绕函数的尺度参数,σ的取值为:σ1=15,σ2=80,σ3=250。
参数κ的选择必须满足以下条件:
多尺度Retinex算法的增强效果主要受尺度参数个数和尺度参数值的影响,尺度参数选择不同,会产生不同的增强效果。多尺度Retinex算法会出现影像色彩失真、影像整体泛灰,且在局部对比度较大区域会产生“光晕”现象。本文在该算法的基础上提出了一种改进算法,改善了多尺度Retinex算法存在的颜色失真、泛灰和“光晕”等问题。 2 改进的多尺度Retinex算法
低照度影像的灰度值较低,而且灰度差别一般在几十级以内,因此,人眼能够获取到的信息量非常有限。而人眼主要是通过相邻像素之间的灰度差异获取影像信息的,为了使人眼能够获取更多、更准确的影像信息,应该在保持影像原有信息不变的前提下使影像中的灰度差异最大限度地被人眼分辨。本文在分析基于人眼视觉特性的两类算法的优缺点的基础上,将基于Retinex理论的算法和经颜色空间变换后对亮度和饱和度分量进行增强的算法相结合,提出了一种基于多尺度Retinex算法的改进算法,其主要思想是:将原始影像从RGB色彩空间转换到HSI色彩空间,在保证色调分量H不变的前提下,首先对亮度分量I和饱和度分量S进行调整,使得处理后的影像更加符合人眼视觉特性,避免了颜色失真现象。然后,将增强后的影像从HSI色彩空间转换到RGB色彩空间,采用拉普拉斯算子与原始影像进行卷积运算,得到边缘影像。最后,将增强后的影像和边缘影像叠加得到最终增强影像。改进算法的流程图如图 1所示。
2.1 将原始影像从RGB色彩空间转换到HSI色彩空间将原始影像从RGB色彩空间转换到符合人眼视觉特性的HSI色彩空间进行增强处理的主要目的是将颜色分量与亮度分量及饱和度分量分离,保证颜色分量不变,调整亮度分量和饱和度分量。这样能够避免传统方法在RGB色彩空间中分别对三个颜色通道进行调整而导致的颜色失真问题,使增强后的影像更加符合人眼视觉特性。
RGB色彩空间向HSI色彩空间的转换是从基于笛卡尔直角坐标系的单位立方体向基于圆柱极坐标双锥体的转换,其转换的基本原则是分离出RGB 中的亮度分量,并将色度分解为色调和饱和度两个分量,用角向量表示色调。具体的转换公式如式(8)所示。
其中,
其中,R、G、B分别表示原始影像的三个颜色通道,R、G、B∈ 0,1 ;H表示色调分量,H∈ 00,3600 ;S表示饱和度分量,I表示亮度分量,且满足条件S、I∈ 0,1 。 2.2 调整亮度分量I
本文中对亮度分量I的增强处理采用基于多尺度Retinex理论的改进算法,主要包括以下三个步骤。
1) 对亮度分量采用单尺度Retinex算法,公式为:
其中,I x,y 表示亮度分量;RSSR x,y 表示亮度分量的 Retinex算法输出结果;符号“”表示卷积运算;F x,y 表示中心/环绕函数,最初的单尺度Retinex算法中F x,y 均采用高斯核函数。本文经实验发现,采用巴特沃斯低通滤波函数得到的影像增强效果更好,因此,本文采用该函数作为环绕函数,其表达式为:
其中,表示截止频率,当D x,y =0时,则F x,y =1,当D x,y =D0时,;n为正整数,表示巴特沃斯低通滤波阶数,用于控制频率衰减速度。n越大,巴特沃斯低通滤波器的特性曲线越陡峭,当n增大到一定程度时,特性曲线在通带范围内无限接近于1,阻带范围内无限接近于0,振幅接近于矩形。本文中取n=1,能够在抑制影像噪声的同时有效地避免图像模糊和振铃效应。
2) 选取3个不同尺度的单尺度Retinex进行线性加权组合,得到多尺度Retinex:
其中,
其中,RMSR x,y 表示多尺度Retinex算法的输出结果;Rj x,y 表示单尺度Retinex算法的输出结果;K为尺度参数D0的总个数,本文中取K=3;Wj为与第j个环绕函数相关的权重因子,满足条件,一般情况下,W1=W2=W3=1/3;Fj x,y 代表第j个中心/环绕函数,其数学表达式为:
其中,D1≠D2≠D3。
不同影像的亮度和对比度有所不同,如果单纯地使用式(14)作为中心/环绕函数对所有影像进行增强,则影像的增强效果并不都十分理想。为了尽可能地使每幅影像都能够达到理想的增强效果,本文引入一个增益常数γ,则Rj x,y 的表达式为:
亮度分量I的增强结果为:
式中,γ1、γ2、γ3分别表示为三个不相等的增益常数,因此可用一个常数γ进行简化,表示最终的增益常数;其中:
则亮度分量I的最终增强结果可以表示为:
带彩色恢复多尺度Retinex算法是在多尺度Retinex算法的基础上引入色彩恢复系数 C得到的改进算法,其公式如式(19)所示:
其中,
其中,C表示亮度分量的色彩恢复系数;f · 为映射函数,是对Retinex空间运算的光谱模拟,本文选用对数函数;β=46,表示增益常数;α=125,用于控制非线性变换的强度。由于实验中采用亮度分量I取代了原有算法中的分别对R、G、B三个颜色通道进行处理,且亮度分量I满足条件I=1/3 R+G+B ,则由式(19)可推导出色彩恢复系数C为一个常数,而直接调整增益常数γ的值就能够达到带彩色恢复多尺 度Retinex算法的增强效果。因此,本文最终采用多尺度Retinex算法思想,与带彩色恢复多尺度算法相比,提高了算法运行效率。
2.3 线性拉伸饱和度分量S
由于影像获取时的外界环境不同,每幅低照度影像需要对饱和度分量 S进行拉伸的程度也不相同。为了自适应地使各种低照度影像的饱和度分量S达到最优,本文提出了一种自适应的饱和度分量S线性拉伸算法,其表达式为:
其中,S表示原始影像的饱和度;S′表示线性拉伸后影像的饱和度;MV表示原始影像的均值;max(R,G,B)和min(R,G,B)分别表示R、G、B三个颜色分量的最大值和最小值。实验结果表明,该算法能够很好地满足不同程度低照度影像的饱和度分量S的增强需求,并且该算法计算量小,效率较高。
2.4 将影像从HSI色彩空间转换到RGB色彩空间
将处理后的影像从HSI颜色空间转换回RGB颜色空间。具体转换公式如下所示:
当 00≤H≤120°时:
当120°≤H≤240°时:
当240°≤H≤360°时:
经过色彩空间变换后的增强影像表示为f1 x,y 。 2.5 影像增强
实验过程中发现,如果单纯地对每个像素进行同比增强,则增强后的影像的边界和轮廓会比较模糊。因为这种增强方式虽然增加了影像的亮度,但是削弱了相邻像素间的灰度差异,导致相邻像素之间的灰度值趋于相近。而人类的视觉系统有增强边缘对比度的机制,当人眼观察影像中两块不同亮度的区域时,若边界处的亮度和对比度提高,则会产生强烈的对比和反差,使得影像的轮廓更清晰。像素之间的灰度差异具体表现为影像的边缘细节特征,因此,需要将这些边缘细节特征重新加入到增强后的影像中,恢复相邻像素间的灰度差异。
拉普拉斯增强算子可以使像素之间的灰度差异得到保留,使灰度突变处的对比度得到增强,最终在保留影像背景的前提下突现出影像中的边缘细节信息,因此,本文采用拉普拉斯增强算子对影像进行边缘细节增强。拉普拉斯增强算子是最简单的各向同性微分算子,具有旋转不变性。连续的拉普拉斯算子不能直接用于影像增强,需要利用模板来实现。本文影像边缘增强的原理是将拉普拉斯增强算子模板与原始亮度影像进行卷积运算,原始亮度影像减去卷积运算结果得到的运算结果即为边缘影像。
拉普拉斯模板有多种形式,最常见的是4邻域拉普拉斯算子和8邻域拉普拉斯算子,如图 2所示,其基本要求是:中心像素的系数为正,而中心像素周围的像素的系数为负,且所有系数和为零。
实验过程中发现采用4邻域拉普拉斯运算模板效果更好,因此,将4邻域拉普拉斯算子与原始亮度分量I进行卷积运算,提取每个像素的边缘特征,将亮度分量减去卷积的结果作为边缘影像 f2。其形式如下所示:
其中,
最终的增强影像g x,y 可以表示为:
3 实验与分析
本文以低照度遥感影像为研究对象进行实验,并通过清晰度(D)[18]、色调偏差指数(H)[19]和熵(E)[20]等三个评价指标验证本文算法的有效性。
3.1 低照度遥感影像增强实验
本文采用两组低照度遥感影像对本文算法进行验证,并与多尺度Retinex算法(MSR)和带色彩恢复的多尺度Retinex算法(MSRCR)进行对比,三种算法增强后的影像效果图如图 3、4所示。
3.2 实验结果分析表 1和表 2分别为上述两组低照度遥感影像的质量评价结果。
由以上效果和评价指标可以看出:
1) 在清晰度方面,表 1中本文算法的清晰度分别为MSR和MSRCR算法的1.36倍和1.27倍,表 2中本文算法的清晰度分别为MSR和MSRCR算法的1.80倍和1.85倍。MSR和MSRCR算法得到的清晰度值明显低于本文算法,表明本文算法增强后的影像更清晰,细节更丰富。
评价因子 | 原始影像 | MSR | MSRCR | 本文算法 |
D | 1.590 3 | 4.794 9 | 5.163 8 | 6.533 6 |
H | — | 0.125 7 | 0.116 1 | 0.022 5 |
E | 1.444 1 | 1.612 2 | 1.601 2 | 1.984 6 |
2) 在色调偏差指数H方面,本文算法增强后的影像的色调偏差指数明显低于MSR和MSRCR算法。表 1中本文算法的色调偏差指数分别为MSR和MSRCR算法的17.90%和19.38%,表 2中本文算法的色调偏差指数分别为MSR和MSRCR算法的16.29%和17.52%,表明本文算法在改善影像颜色失真方面具有很大的优越性。
评价因子 | 原始影像 | MSR | MSRCR | 本文算法 |
D | 1.946 1 | 4.188 7 | 4.064 2 | 7.531 9 |
H | — | 0.092 7 | 0.086 2 | 0.015 1 |
E | 1.907 7 | 2.401 3 | 2.476 0 | 2.717 5 |
3) 在信息熵方面,本文算法增强后的影像的信息熵明显低于MSR和MSRCR算法。表 1中本文算法增强后影像的信息熵分别为MSR和MSRCR算法的1.23倍和1.24倍,表 2中本文算法增强后影像的信息熵分别为MSR和MSRCR算法的1.13倍和1. 10倍,表明本文算法增强后的影像所包含信息量更丰富,能更好地保持影像的空间细节信息。 4 结 语
本文结合基于人眼视觉特性的两类算法和低照度遥感影像本身的特性,提出了一种基于多尺度Retinex理论的低照度遥感影像增强方法,有效地解决了多尺度Retinex算法存在的影像颜色失真、细节特征模糊、影像整体泛灰等问题。增强后的遥感影像亮度和对比度明显提高,影像信息更丰富,影像边缘更加清晰,更加符合人眼视觉感受。
影像增强的主要目的是改善影像的质量,便于后续的影像分析和处理工作。传统的影像增强方法未考虑到人眼的感知机理,采用这些算法增强后的影像效果均不是很好。而亮度敏感性、灰度敏感性、光谱敏感性和视觉掩盖效应等人眼视觉特性给影像增强算法研究带来新的促进和发展,将这些人眼视觉特性应用到现有的影像增强算法中,并对这些算法进行改进,使得增强后的影像更加符合人眼视觉的感知。因此,将影像增强技术与人眼视觉特性相结合,充分利用人眼视觉特性的各个特点,将是今后影像增强领域的研究热点。
[1] | Celik T. Two-Dimensional Histogram Equalization and Contrast Enhancement[J]. Pattern Recognition, 2012,45(10):3 810-3 824 |
[2] | Eunsung L, Sangjin K, Wonseok K. Contrast Enhancement Using Dominant Brightness Level Analysis and Adaptive Intensity Transformation for Remote Sensing Images[J].IEEE Geoscience and Remote Sensing Letters, 2013,10(1):62-66 |
[3] | Hsung T C , Lun D P K, Ng W W L. Efficient Fringe Image Enhancement Based on Dual-Tree Complex Wavelet Transform[J]. Applied Optics, 2011,50(21):3 973-3 986 |
[4] | Zafar I M, Abdul G, Masood S A. Satellite Image Resolution Enhancement Using Dual-Tree Complex Wavelet Transform and Nonlocal Means[J].IEEE Geoscience and Remote Sensing Letters, 2013,10(3):451-455 |
[5] | Ma Y, Lin D, Zhang B, et al. A Novel Algorithm of Image Enhancement Based on Pulse Coupled Neural Network Time Matrix and Rough Set[C]. IEEE The Fourth International Conference on Fuzzy Systems and Knowledge Discovery, Haikou, 2007 |
[6] | Cai L M, Qian J S. Night Color Image Enhancement Using Fuzzy Set[C].The 2nd International Congress on Image and Signal Processing, Tianjin, 2009 |
[7] | Chaira T. A Rank Ordered Filter for Medical Image Edge Enhancement and Detection Using Intuitionistic Fuzzy Set[J]. Applied Soft Computing, 2012,12(4):1 259-1 266 |
[8] | Huang K Q, Wang Q, Wu Z Y. Natural Color Image Enhancement and Evaluation Algorithm Based on Human Visual System[J]. Computer Vision and Image Understanding, 2006, 103(1): 52-63 |
[9] | Eunsung L, Sangjin K, Wonseok K. Contrast Enhancement Using Dominant Brightness Level Analysis and Adaptive Intensity Transformation for Remote Sensing Images[J].IEEE Geoscience and Remote Sensing Letters, 2013,10(1):62-66 |
[10] | Gorgel P, Sertbas A, Ucan O N. A Wavelet-Based Mammographic Image Denoising and Enhancement with Homomorphic Filtering[J]. Journal of Medical Systems, 2010,34(6): 993-1 002 |
[11] | Yang Xuefeng, Li Jinzong, Li Dongdong, et al. A Forward and Backward Diffusion Based on Image Denoising and Enhancement Method[J].Geomatics and Information Science of Wuhan University, 2010, 35(8): 975-978 (杨学峰, 李金宗, 李冬冬, 等. 一种基于前后向扩散的图像去噪与增强方法[J]. 武汉大学学报·信息科学版, 2010, 35(8): 975-978) |
[12] | Jang J H, Kim S D, Ra J B. Enhancement of Optical Remote Sensing Images by Subband-Decomposed Multiscale Retinex with Hybrid Intensity Transfer Function[J]. IEEE Geoscience and Remote Sensing Letters, 2011, 8(5): 983-987 |
[13] | Kang Mu, Wang Baoshu. An Image Filtering Algorithm with Image Enhancement[J]. Geomatics and Information Science of Wuhan University, 2009, 34(7): 822-825 (康牧, 王宝树. 一种基于图像增强的图像滤波方法[J]. 武汉大学学报·信息科学版, 2009, 34(7): 822-825) |
[14] | Jang T N, Kim S D, Ra J B. Enhancement of Optical Remote Sensing Images by Subband-Decomposed Multiscale Retinex With Hybrid Intensity Transfer Function[J].IEEE Geoscience and Remote Sensing Letters, 2011,8(5):983-987 |
[15] | Yin W, Lin X, Sun Y. A Novel Framework for Low-light Colour Image Enhancement and Denoising[C]. The 3rd International Conference on Awareness Science and Technology, Dalian, 2011 |
[16] | Shen Xiaole, Shao Zhenfeng, Yan Beibei. A Novel Dodging Algorithm for Remote Sensing Images Affected by Thin Clouds[J]. Geomatics and Information Science of Wuhan University, 2013, 38(5): 543-547 (沈小乐, 邵振峰, 闫贝贝. 一种薄云影响下的遥感影像匀光算法[J]. 武汉大学学报·信息科学版, 2013, 38(5): 543-547) |
[17] | Jobson D J, Rahaman Z, Woodell G A. Properties and Performance of a Center/Surround Retinex[J]. IEEE Trans on Image Processing, 1997,6(3):451-462 |
[18] | Zhang Zhen, Ren Yuan, Ping Xijian,et al. Blind Detection of Image Splicing Based on Image Quality Metrics and Hidden Markov Model[J]. Geomatics and Information Science of Wuhan University, 2008, 33(10): 1 030-1 033 (张震, 任远, 平西建, 等. 基于图像质量评价量和隐马尔科夫模型的图像拼接检测[J]. 武汉大学学报·信息科学版, 2008, 33(10): 1 030-1 033) |
[19] | Liu Jun. Color Constancy Enhancement Under Poor Illumination[J]. Optical Society of America, 2011,36(24):4 821-4 823 |
[20] | Lu Jian, Peng Man, Lu Xin. Relativity of RemoteSensing Images and Entropy Calculation[J]. Geomatics and Information Science of Wuhan University, 2006, 31(6): 476-480(卢健, 彭嫚, 卢昕. 遥感图像相关性及其熵计算[J]. 武汉大学学报 ·信息科学版, 2006, 31(6): 476-480) |