文章信息
- 刘操, 郑宏, 黎曦
- LIU Cao, ZHENG Hong, LI Xi
- 基于自适应亮度基准漂移的十字路口交通图像增强处理研究
- A Method for Intersection Traffic Image Enhancement Based on Adaptive Brightness Baseline Drift
- 武汉大学学报·信息科学版, 2015, 40(10): 1381-1385
- Geomatics and Information Science of Wuhan University, 2015, 40(10): 1381-1385
- http://dx.doi.org/10.13203/j.whugis20130717
-
文章历史
- 收稿日期: 2013-12-02
2. 湖北省视觉感知与智能交通技术研究中心, 湖北 武汉, 430072;
3. 武汉工程大学电气信息学院, 湖北 武汉, 430205
2. Hubei Research and Development Center of Vision Perception and Intelligent Trasportation Technology, Wuhan 430072, China;
3. Electronic Information School, Wuhan Institute of Technology, Wuhan 430205, China
对十字路口交通图像进行监控与采集时,受光照条件和天气变化的影响,采集的图像可能模糊不清或者图像整体光照不均,导致有用信息不突出。这一现象不仅影响信息识读效果,而 且对后续的车辆检测、车牌识别等工作带来不利影响。因此,如何减小不同光照和天气条件的差异性,突出监控图像的有用信息,成为一个需要解决的问题。
目前对该问题的研究主要集中在对监控相机本身参数的调整,以适应各种复杂的环境[1, 2, 3, 4]。对成像后的图像主要集中在对特定环境下的图像进行增强处理,如对夜间对比度低的图像或雾霾天气的图像进行增强处理等[5, 6, 7, 8, 9, 10]。这些研究对提升监控图像的质量起到了至关重要的作用。但是针对十字路口的交通图像常有的顺逆光情况,以及全天候光照变化和不同天气差异形成的图像质量不佳等问题还没有得到很好的解决。
针对以上问题,本文提出了一种新的基于自适应亮度基准漂移的全天候交通图像增强处理方法。此方法同时考虑图像与光照强度、光照时间之间的相互关系,并建立光照变化模型,然后依据模型对图像选择相关参数进行增强处理,实现监控图像质量的优化。
1 基于自适应亮度基准漂移的图像增强算法本文算法包括亮度基准值模型的建立和进行图像增强两部分。如图1所示,亮度基准值模型由亮度基准曲线和亮度实时反馈综合得到。增强部分是将原始彩色图像转换到HSV色彩空间,对亮度分量根据亮度基准值自适应增强。
1.1 亮度基准值的数学模型为了描述全天候不同时刻的光照变化,本文采用了亮度基准的概念,即不同时刻的光照强度有一个基准值,如果亮度基准值设为固定值会带来较大的图像失真,并且不符合实际的光照变化,于是采用亮度基准曲线来描述光照的变化情况。
定义 t时刻的亮度基准值为L(t),则要找到一个能够描述L(t)的关系式。通过大量实验发现,晚上的平均亮度基本保持不变,则晚上的亮度基准值可以设为定值,即
白天的亮度基准值视路口的朝向有所差异。南北向路口,中午时刻视频场景最亮,早晨和傍晚场景较暗,亮度基准值的变化从低到高再到低,整个过程可以用高斯函数来表示:
式中,l0为光照最强时刻的亮度基准值;μ为亮度曲线均值;σ为亮度曲线的标准差。通过实验,设定l0=150,即中午时刻的亮度基准为150;μ=12.5,即中午12:30时刻图像的亮度最强;σ的选择采用了如下方式:设白天是从时刻t0到t1,则t0至t1包括了几乎整个白天过程,而高斯分布的横轴区间(μ-2.58σ,μ+2.58σ)占据了整个分布的99.7%以上的比例,依据高斯分布可得t1-t0=μ+2.58σ-(μ-2.58σ),所以可得σ=(t1-t0)/(2.58×2)。
东西向路口存在顺逆光的情况,若相机朝西,上午顺光,图像整体很亮,为了使图像在一个合理的亮度范围,亮度基准应该降低;下午逆光,图像在光照直射区域很亮,在阴影区域很暗,而在监控中,车牌及车身其他有用信息都集中在阴影区,所以亮度基准应该提高;相机朝东时则相反。这种顺逆光的变化情况可以用三角函数来表示。为了描述这种顺逆光的影响,采用了顺逆光补偿函数:
其中,λ为补偿系数,相机朝西时为正值,朝东时为负值;w为补偿函数的角频率;ts为光补偿的起始时刻,若te为光补偿的终止时刻,则有w=2π/(te-ts);c0为补偿基准值,具体值由统计得出。
由上述分析可知,t时刻图像的亮度基准曲线L(t)可以表示为:
式中,若相机为南北朝向,则λ=0;若相机朝西,λ>0 ;若相机朝东,λ<0。当选取l0=150,μ=12.5,t0=8,t1=17,c0=20,ts=8,te=17,c=20时,亮度基准曲线图如图2所示。图2中红色曲线为λ=0时的曲线;绿色曲线为λ>0时的曲线,图中取值为1;蓝色曲线为λ<0时的曲线,图中取值为-1。
得到亮度基准曲线后,就可以根据其查找当前时刻的亮度基准值,将视频图像漂移到以亮度基准值为均值的视频图像。
考虑到不同天气及光照条件下同一时间段内的图像会有较大差别,仅仅采用亮度基准曲线来确定亮度基准值可能会使图像与实际图像偏差较大。 本文采用亮度实时反馈来辅助判断亮度基准值,首先根据亮度基准曲线得到该时刻的亮度 基准值L(t),然后计算当前图像亮度均值μ和亮度基准值L(t)之间的偏差E=μ-L(t),则图像的亮度修正量为:
式中,η为修正步长,其取值在0~1之间。
在实际的实验过程中,由于光照的剧烈变化或运动物的干扰,前后两帧的亮度差异可能较大,为了使亮度修正量趋于一个平稳的变化,在修正量中加上前一次的亮度修正量,定义为惯性项,即
式中,ΔBk(t)为当前帧的亮度修正量;ΔBk-1(t)为上一帧的亮度修正量;α为惯性项系数,其取值在0~1之间。
最终的自适应亮度基准值由亮度曲线和亮度实时反馈相加得到,即
1.2 自适应图像增强得到自适应亮度基准值后,利用亮度基准值对直方图漂移来实现图像的增强。为了保持图像色彩不失真,将彩色图像转换到HSV色彩空间,只对V分量做增强处理。 具体的计算方法如下:
1) 将彩色图像转换到HSV色彩空间,并由式(8)求取图像的亮度分量均值 mp:
式中,i是亮度值;s(i)为亮度值为i的像素数。
2) 由式(7)求取当前时刻的自适应亮度基准值l;
3) 依据式(9)分别求取亮度基准值左侧和右侧区域的漂移参数α和β:
4) 利用式(10)将亮度基准值左侧和右侧区域的亮度级分别乘以漂移参数α和β,得到增强后的图像亮度级;
式中,iL(s)和iR(s)分别为亮度基准值左侧和右侧的亮度值;IL(s)和IR(s)分别为扩展后的亮度值。
5) 将图像转换到RGB色彩空间,得到增强后的图片。
图3为增强前后图像的亮度直方图。由图3可知,增强后的图像亮度均值更接近亮度基准值,并且图像的亮度直方图进行了扩展,左边区域平滑归一化到0~l之间,右边区域平滑归一化到l~255之间。
2 实验与分析 2.1 交通图像增强方法有效性验证为了验证本文提出的交通图像增强方法的有效性,分别在武汉市某东西向十字路口和南北向十字路口进行实验,并分别截取白天11时顺光图片、16时逆光图片和晚上21时图片进行实验,实验结果及对比效果如图4所示。
图4(a)为顺光原始图片,由于光线和相机方向相同,并且光照强 烈,所以图像整体较亮。图4(b)为顺光增强后的图片,依据亮度基准值降低了图像的整体亮度,同时依据亮度基准值对图像进行增强,增加了图像的对比度,图像更清晰。图4(c)为逆光原始图片,由于光线和相机方向相反,所以图像前部大部分区域的亮度很高,而阴影区域的亮度很低。图4(d)为逆光增强后的图片,增强后,使得高亮度区和低亮度区间的过度变得平缓,路面纹理减小,而阴影区域的对比度增加,车牌及车尾其他特 征变得明显。图4(e)为夜晚原始图片,原始图片整体亮度较低,车身及其他有用信息不明显。图4(f)为夜间增强图片,增强后,能够看清监控区域内车辆及路面的其他信息。
2.2 交通图像增强方法鲁棒性验证为了验证本文方法的鲁棒性,在不同天气条件下进行了实验。在同一个十字路口,分别采集晴天、雨天、阴天条件下白天10时、12时、16时、21时的图片各一张。用均方根误差来衡量不同天气条件下同一时刻图像间的差异,计算公式如下[11]:
式中,Ef定义为两幅图像f1和f2的均方根误差;f1(x,y)和f2(x,y)为图像f1和f2的像素灰度值;M和N分别为图像的高和宽。
不同天气条件下同一时刻图像增强前后的均方根误差见 表1。
场景 | 增强前 | 增强后 | |||||
晴 | 雨 | 阴 | 晴 | 雨 | 阴 | ||
10时 | 晴 | 0 | 20.47 | 20.15 | 0 | 17.95 | 17.20 |
雨 | 20.47 | 0 | 28.95 | 17.95 | 0 | 21.68 | |
阴 | 20.15 | 28.95 | 0 | 17.20 | 21.68 | 0 | |
12时 | 晴 | 0 | 21.97 | 20.52 | 0 | 21.26 | 19.75 |
雨 | 21.97 | 0 | 25.42 | 21.26 | 0 | 25.00 | |
阴 | 20.52 | 25.42 | 0 | 19.75 | 25.00 | 0 | |
16时 | 晴 | 0 | 23.19 | 20.15 | 0 | 20.47 | 17.20 |
雨 | 23.19 | 0 | 28.95 | 20.47 | 0 | 21.68 | |
阴 | 20.15 | 28.95 | 0 | 17.20 | 21.68 | 0 | |
21时 | 晴 | 0 | 16.35 | 6.48 | 0 | 12.73 | 3.32 |
雨 | 16.35 | 0 | 22.50 | 12.73 | 0 | 15.78 | |
阴 | 6.48 | 22.50 | 0 | 3.32 | 15.78 | 0 |
由表1知,同一时刻增强后的不同天气条件下,两幅图片的均方根误差均小于增强前相应两幅图片的均方根误差。这样减小了不同天气条件下图片的差异性,有利于后续车辆检测、车牌识别等其他操作,并能简化系统的参数设置,在复杂环境下具有更强的鲁棒性。
2.3 与其他算法的比较将本文增强方法与已有的直方图均衡法、同态滤波方法进行比较。为了便于对比分析,选取§2.1中的相同图片进行实验,实验结果如图5所示。可以看出,直方图均衡化方法在顺光时增强效果不明显,逆光和夜晚情况下容易出现块效应,引起图像失真;同态滤波方法在顺光和逆光情况下对高光区和阴影区域的增强效果不理想,在夜晚情况下增强效果不明显。而§2.1则表明本文方法在各种光照条件下均取得了较理想的增强效果。
3 结 语本文提出了一种基于自适应亮度基准漂移的十字路口交通图像增强方法。首先分析了全天候光照条件的变化,并建立了相应的自适应亮度基准变化模型,然后依据模型对图像进行非线性增强。实验结果表明,针对全天候不同光照条件的变化能够自适应选择最佳参数进行增强,并且在不同天气条件下具有很好的鲁棒性,是一种较好的十字路口交通图像增强方式。在今后的研究中,将对图像增强算法进一步优化,提升白天夜晚临界状态的增强效果,并应用于车辆检测、车牌识别的图像预处理过程中。
[1] | Yang Haitao, Chang Yilin, Wang Jing, et al. A New Automatic Exposure Algorithm for Video Cameras Using Luminance Histogram[J]. Acta Photonica Sinica, 2007, 27(5): 841-847(杨海涛, 常义林, 王静, 等. 一种基于亮度直方图的自动曝光控制方法[J]. 光学学报, 2007, 27(5): 841-847) |
[2] | Yang Zuoting, Ruan Ping, Zhai Bo. Auto-exposure Algorithm for Scenes with High Dynamic Range Based on Image Entropy[J]. Acta Photonica Sinica, 2013, 42(6): 742-746(杨作廷, 阮萍, 翟波. 基于图像熵的高动态范围场景的自动曝光算法[J]. 光子学报, 2013, 42(6): 742-746) |
[3] | He R, Wang Z, Xiong H, et al.Single Image Dehazing with White Balance Correction and Image Decomposition[C]. 2012 International Conference on Digital Image Computing Techniques and Applications (DICTA), Fremantle, WA, 2012 |
[4] | Kao W C, Cheng L W, Chien C Y, et al.Robust Brightness Measurement and Exposure Control in Real-time Video Recording[J]. IEEE Transactions on Instrumentation and Measurement, 2011, 60(4): 1 206-1 216 |
[5] | Zhang J, Gao B, Gu X. Traffic Images Enhancement Based on Vanishing Point Detection and Atmospheric Scattering Model[C]. 2010 3rd International Congress on Image and Signal Processing (CISP), Yantai, China, 2010 |
[6] | Singh K, Kapoor R. Image Enhancement Using Exposure Based Sub Image Histogram Equalization[J]. Pattern Recognition Letters, 2014, 36(1): 10-14 |
[7] | Zhou Z, Sang N, Hu X. Global Brightness and Local Contrast Adaptive Enhancement for Low Illumination Color Image[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(6): 1 795-1 799 |
[8] | Zeng F, Wu Q, Du J. Foggy Image Enhancement Based on Filter Variable Multi-Scale Retinex[J].Applied Mechanics and Materials, 2014, 505(1): 1 041-1 045 |
[9] | Wang Mei, Wang Guohong. An Image Enhancement Method of Nighttime Blurred Vehicle Plate Based on BHPF[J]. Geomatics and Information Science of Wuhan University, 2008,33(9): 951-954(王枚, 王国宏. 基于 BHPF 的夜间车牌图像增强方法[J]. 武汉大学学报·信息科学版, 2008, 33(9): 951-954) |
[10] | Li Li, Jin Weiqi, Xu Chao, et al. Color Image Enhancement Using Nonlinear Sub-Block Overlapping Local Equilibrium Algorithm Under Fog and Haze Weather Conditions[J]. Transactions of Beijing Institute of Technology, 2013, 33(5): 516-522(李力, 金伟其, 徐超, 等. 雾霾天气彩色图像的局域非线性变换增强算法[J]. 北京理工大学学报, 2013, 33(5): 516-522) |
[11] | Wu B F, Juang J H.Adaptive Vehicle Detector Approach for Complex Environments[J]. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(2): 817-827 |