文章信息
- 刘操, 郑宏, 黎曦, 余典
- LIU Cao, ZHENG Hong, LI Xi, YU Dian
- 基于多通道融合HOG特征的全天候运动车辆检测方法
- A Method of Moving Vehicle Detection in All-weather Based on Melted Multi-channel HOG Feature
- 武汉大学学报·信息科学版, 2015, 40(8): 1048-1053
- Geomatics and Information Science of Wuhan University, 2015, 40(8): 1048-1053
- http://dx.doi.org/10.13203/j.whugis20130341
-
文章历史
- 收稿日期: 2013-07-18
2. 湖北省视觉感知与智能交通技术研究中心, 湖北 武汉, 430072;
3. 武汉工程大学电气信息学院, 湖北 武汉, 430025
2. Hubei Research and Development Center of Vision Perception and Intelligent Transportaion Technology, Wuhan 420072, China;
3. School of Electrical and Informaion, Wuhan Institute of Technology, Wuhan 430072, China
智能交通系统(ITS)一直是一个热门的研究领域,车辆的检测是其重要研究课题之一。传统的车辆检测方法是在道路上安装感应线圈[1]或感应雷达[2]来采集交通参数,这种方法的缺点主要是可靠性低,系统安装维护不便。
随着计算机视觉和图像处理技术的发展,许多基于视频和图像处理技术的车辆检测算法被提了出来。常用的基于视频的车辆检测算法主要有光流法[3]、帧差法[4]和背景差法[5]等。帧差法原理简单、计算量小,但对环境噪声较为敏感;光流法对噪声的敏感度较低,但计算量大;背景差分法实 现简单、前景提取准确,但是对背景模型的实时更新依赖性大。近年来,许多改进方法同时融合了车辆本身的局部或全局特征,如颜色、纹理、边缘等信息[6, 7, 8, 9, 10],在夜间或光照条件不理想的情况下,融合了车灯及其对称性特征[11]。同时,基于表观的机器学习方法也取得了较好的检测效果,成为现今车辆检测的热点[12, 13]。这些方法对车辆检测的发展起到了至关重要的作用。本文在研究以上车辆检测方法的基 础上,着重考虑车辆检测的检测率、鲁棒性,提出了一种多通道融合梯度直方图(histogram of oriented gradient,HOG)特征并运用支持向量机来检测视频中运动车辆的方法。
1 基于多通道融合HOG特征的车辆检测基本原理HOG[14]描述了图像局部区域的梯度强度和梯度方向的分布特征,在行人检测[14]、交通标志检测[15]等领域取得了很好的效果。对于确定场景的车辆,由于车牌、保险杠及车灯等的存在,在车头和车尾区域存在丰富的梯度信息,而车身及地面区域的梯度信息相对较少,所以采用HOG为特征来检测车辆是合理的。
当车辆灰度值和地面灰度值很接近时,图片灰度域的局部梯度不明显,采用传统的HOG作为特征来区分车辆和非车辆会导致一定的误检和漏检。本文采用多通道融合HOG作为特征,同时采用基于运动检测的方式来触发车辆检测。该算法包括训练和检测两个模块,训练模块通过采集不同时刻不同车型的车辆样本,经过图像预处理和特征提取,训练出车辆分类器模型;检测模块通过车辆检测触发机制进入车辆检测流程,同样通过图像预处理和特征提取,利用训练出的车辆分类器进行车辆分类。处理流程如图 1所示。
1.1 图像预处理由于全天候光照条件的差异,特别是夜间车辆局部梯度不明显,为了增强图像的梯度信息,本文采用基于亮度均值的图像增强方式来进行预处理。该方法是先求取图像的均值,若图像均值低于设定阈值T,则采用分段线性增强的方式,即不同灰度级区间采用不同的增强方式。具体的增强方式为:
式中,f(x,y)为(x,y)处的像素值;f′((x,y)为该点增强后的像素值;u为图像均值;T为增强处理的阈值;Ithr为分段增强临界点;α为增强因子。通过实验,本文选取T=34,Ithr=75,α=3 ,即图像均值小于增强阈值34时,灰度值低于75的像素点拉伸3倍,灰度值在75~255的像素点线性变换到225~255之间。
1.2 特征提取得到预处理图像后,对其进行特征提取。传统的HOG提取需要将原始图像转化为灰度图像进行处理,容易造成图像的原始色彩信息丢失,当部分车辆在灰度空间与地面或其他干扰区很接近时,难以有效区分车辆,因此传统的HOG提取方法检测车辆会导致一定的误检或漏检。
本文从色彩空间出发,提出了一种基于多通道融合HOG提取方法。因为HSV色彩空间对光照的变化更稳定,能很好地反映颜色的本质。基于HSV色彩空间的HOG特征提取流程如图 2所示。
在特征提取过程中,将彩色图像由RGB色彩空间转换到HSV色彩空间,分别提取图像的 H、S、V三通道数据模板,保存为二维矩阵M H、M S和M V,同时分别计算三个矩阵的HOG特征H H、H S、H V。
由于HOG的生成过程冗长,本文使用积分图来加速HOG特征的计算,具体的计算方法为:(1) 计算图像梯度幅值和角度;(2) 将梯度方向量化为9个方向,采用梯度幅值加权的方式按角度方向分别计算并存储各方向梯度积分图;(3) 根据9个梯度积分图计算各细胞单元(cell)的梯度方向直方图并将其组合成块(block),得到每块的HOG特征;(4) 块内HOG特征进行局部对比度归一化;(5) 将所有块的HOG特征组合得到图像的HOG特征。
为了得到彩色图像的多通道融合HOG特征,本文采用加权的方式对三通道HOG特征进行融合,即:
式中,H为彩色图像的多通道融合HOG特征;ω H、ω S、ω V分别代表H H、H S、H V的加权系数,加权和为1。三通道各自的权值由各通道数据模板自适应确定。具体的确定方式由式(3)~(5)所示:
1.3 车辆分类支持向量机[16](support vector machine,SVM)分类方法在小样本、非线性的情况下,具有较强的泛化能力,能够很好地解决两类分类问题,是对传统学习分类方法的一个较好的替代。本文采用SVM作为车辆分类器模型,选用径向基核函数进行分类。对于径向基核函数SVM分类器,经过训练可得到如下决策函数:
式中,sgn()为符号函数;n为样本数量;αiyi为第i个支持向量的核函数内积权值;K(xi,x)为第i个待分类样本与训练样本中支持向量的核函数内积,本文选用径向基核函数;b为通过训练后得到的决策函数的常数。本文中,若f(x)大于0,则测试图片分类为车辆,否则不为车辆。
1.4 基于运动检测的触发机制由于不是所有时刻路面上都存在车辆,并且HOG的生成过程冗长,得到的特征向量维数较大,因此本文采用运动检测触发的机制进行车辆检测。首先,根据事先画定的车道线为每个车道画定一个检测区域;然后,在每个检测区域内用帧间差分法进行运动物体检测,若某检测区内运动像素数为 M,检测区域宽高分别为w和h,则运动区域的占空比为,占空比超过一定值时,则认为该检测区内可能存在车辆,求取该运动区域的外接矩形作为疑似车辆的ROI,将该ROI区域归一化到统一大小进行特征提取和车辆判断。
2 基于多通道融合HOG特征的车辆检测实验 2.1 车辆分类器的训练训练视频和测试视频来自于武汉市某十字路口的2 448像素×2 048像素高清分辨率监控视频录像,形成训练视频集和测试视频集,车辆训练样本来自训练视频集。训练时,分别挑选了车辆分布在正中的600幅白天和夜间图像作为正样本,不包含车辆或包含车辆局部区域的600幅白天和夜间图像作为负样本。部分车辆训练样本如图 3所示,图 3(a)为部分训练正样本,图 3(b)为部分训练负样本。
将训练样本图片归一化到64像素×64像素大小,进行图像增强预处理,然后在HSV色彩空间提取各通道HOG特征加权形成彩色图像的多通道融合HOG特征,将图像的多通道融合HOG特征送入SVM进行训练,得到车辆的分类器模型。
2.2 车辆检测评判方法及比对试验本文测试平台为Visual Studio 2008,计算机配置为Intel(R)Core(TM)i3-2120 CPU,主频为3.30 GHz,内存为2.99 GB。测试时,由于视频为高分辨率视频,将图片宽高均缩小1/4,总体缩小到1/16进行检测。
本文采用了基于运动检测触发的检测机制来检测车辆,由于红灯时十字路口的车辆是静止的,所以每个车道的检测区域上端靠近斑马线,且呈正方形,以适应归一化呈正方形的训练样本。检测区域的划定和检测车辆结果如图 4所示。其中检测区域由虚线框标出,检测到的车辆用实线框标出。
本文采用式(7)作为车辆检测的评价标准[10]:
式中,TP为实际车辆被检测出来的数目;FN为实际车辆没被检测出来的数目;FP为实际非车辆而被误检测的数目;DR为车辆检测率,FPR 为车辆误检率。测试时从视频集中选取了晴天、雨天、阴天条件下白天6个时间段和夜间4个时间段的视频进行试验。将基于背景差分的运动检测算法[9]、基于车灯提取的检测算法[11]、直接利用HOG特征检测车辆算法和本文提出的基于多通道融合HOG特征检测车辆算法进行对比试验。不同天气条件下4种方法车辆检测的统计结果如表 1所示。4种方法的全天时检测结果及平均每帧检测时间如表 2所示。
方法 | 场景 | GT/辆 | TP/辆 | FN/辆 | FP/辆 | DR/% | FPR/% |
背景差分 检测方法 | 晴 | 456 | 433 | 23 | 33 | 94.96 | 7.08 |
雨 | 347 | 313 | 34 | 35 | 90.20 | 10.05 | |
阴 | 578 | 542 | 36 | 41 | 93.77 | 7.03 | |
车灯检测 方法 | 晴 | 172 | 155 | 17 | 12 | 90.12 | 7.18 |
雨 | 149 | 130 | 19 | 9 | 87.25 | 6.47 | |
阴 | 225 | 209 | 16 | 11 | 92.89 | 5.00 | |
HOG特征 检测方法 | 晴 | 628 | 603 | 25 | 20 | 96.02 | 3.21 |
雨 | 496 | 460 | 36 | 21 | 92.74 | 4.37 | |
阴 | 803 | 769 | 34 | 28 | 95.76 | 3.51 | |
本文检测 方法 | 晴 | 628 | 611 | 17 | 17 | 97.29 | 2.71 |
雨 | 496 | 478 | 18 | 15 | 96.37 | 3.04 | |
阴 | 803 | 788 | 15 | 22 | 98.13 | 2.72 |
检测方法 | 白天平均 检测率/% | 白天平均 误检率/% | 夜间平均 检测率/% | 夜间平均 误检率/% | 平均时间 /ms |
背景差分 检测方法 | 92.98 | 8.29 | / | / | 83 |
车灯检测 方法 | / | / | 90.09 | 6.22 | 76 |
HOG特征 检测方法 | 94.84 | 3.14 | 92.73 | 3.66 | 89 |
本文方法 | 98.28 | 2.20 | 95.86 | 2.25 | 94 |
本文通过采集车辆样本,提取彩色图像的多通道融合HOG特征,使用SVM得到车辆分类器模型,然后根据车辆分类器模型检测车辆。通过测试,本文方法在晴天、雨天、阴天情况下检测率分别为97.29%、96.37%和98.13%,误检率分别为2.71%、3.04和2.72%;白天的平均检测率达到98.28%,误检率为2.20%;夜间的平均检测率达到95.86%,误检率为2.25%。实验结果表明,本文方法在全天候取得了好的检测效果。本文方法平均每帧检测时间为94 ms,略高于其他三种方法,在实际帧率只有8 帧/秒的2 448像素×2 048像素高清分辨率视频中能够满足实时性。
与采用基于背景差分的车辆检测算法相比,本文方法不需要背景建模和更新,避开了实际中由于红绿灯的变化及车辆的走走停停,以及全天候光照的变化,尤其是车流量较大时,背景较难更新的问题,具有很强的鲁棒性。
与采用基于车灯提取的检测算法相比,本文方法不需要判断由白天算法切换到夜间算法的时机,时间上具有统一性。另外,夜晚采用车灯检测的方法在车灯损坏,或者摩托车车灯及并排车辆车灯干扰的情况下,难以成功配对。而本文方法使用车辆本身的梯度方向特征,抛弃了对车灯的依赖,具有很好的适应性。
与直接采用HOG特征检测车辆算法相比,本文方法考虑了车辆的色彩信息。当车辆在灰度空间和地面很接近时,灰度域的局部梯度不明显,而采用HSV空间的三通道加权HOG特征能够有效地增强图像的局部梯度,从而能够更有效地区分车辆和非车辆,实际测试表明,当车辆和地面灰度接近时,本文方法能够取得更好的效果。
以上实验结果说明,基于HSV空间的三通道融合HOG特征检测车辆方法是一种准确率高、鲁棒性强,并且全天候算法统一的车辆检测方法。尤其在车流量较大及车辆存在部分遮挡的情况下,该方法明显优于其他方法。该方法采用基于运动检测触发的检测机制,并运用积分图来加速HOG特征的计算,能够满足系统的实时性,具有很好的应用前景。
4 结 语本文提出了一种基于多通道融合HOG特征的车辆检测方法,该方法统一了全天候车辆检测的算法模型,并且在保留了图像的色彩信息基础上获取车辆的局部梯度进行车辆检测。实验表明,该方法具有很高的检测率,并且在全天候具有很强的适应性,可以作为车辆检测的一种手段进行进一步研究。在未来的研究过程中,将着重研究车辆存在严重遮挡时的检测方法,以及进一步加速HOG特征的计算以方便移植到硬件系统中。
[1] | Liang Junbin, Xu Jianmin. Detection of Trans-line Vehicles Based on Inductive Loop[J]. Journal of South China University of Technology(Natural Science Edition), 2007, 35(7): 20-24(梁俊斌, 徐建闽. 基于感应线圈的骑线车辆检测方法[J]. 华南理工大学学报: 自然科学版, 2007, 35(7): 20-24) |
[2] | Zhang Hao, Xue Wei, Yu Wen, et al. Method of Recognizing Background Power Spectrum Used in Millimetre Wave Traffic Flow Detection Radar[J]. Journal of Infrared and Millimeter Waves, 2008, 27(6): 437-441 (张浩, 薛伟, 余稳, 等. 一种应用于毫米波车流量检测雷达的背景功率谱识别方法[J]. 红外与毫米波学报, 2008, 27(6): 437-441) |
[3] | Moscheni F, Bhattacharjee S, Kunt M. Spatio-temporal Segmentation Based on Region Merging[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1998, 20(9): 897-915 |
[4] | Wixson L. Detecting Salient Motion by Accumulating Directionally-consistent Flow[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000, 22(8): 774-780 |
[5] | Elgammal A, Harwood D, Davis L. Non-parametric Model for Background Subtraction[C]. Computer Vision-ECCV,Ireland, 2000 |
[6] | Wu Jiapeng,Yang Zhaoxuan,Wu Jun, et al. Virtual Line Group Based Video Vehicle Detection Algorithm Utilizing Both Luminance and Chrominance [C]. ICIEA, Harbin, 2007 |
[7] | Wu B F, Juang J H. Adaptive Vehicle Detector Approach for Complex Environments[J]. Intelligent Transportation Systems, IEEE Transactions on, 2012, 13(2): 817-827 |
[8] | Zhu S, Gu M, Liu J. Moving Vehicle Detection and Tracking Algorithm in Traffic Video[J]. TELKOMNIKA Indonesian Journal of Electrical Engineering, 2013,11(6):3 053-3 059 |
[9] | Cao J,Wang W, Liang Y. An Improved Detection Algorithm of Moving Vehicles Based on Computer Vision[C]. Intelligent Computing and Intelligent System,Shanghai,2009 |
[10] | Wu C, Cao X, Lin R, et al. Registration-based Moving Vehicle Detection for Low-altitude Urban Traffic Surveillance[C].Intelligent Control and Automation(WCICA), Shanghai, 2010 |
[11] | O'Malley R, Jones E,Glavin M. Rear-lamp Vvehicle Detection and Tracking in Low-exposure Color Video for Night Condition[J]. Intelligent Transportation Systems,IEEE Transactions on,2010,11(2): 453-462 |
[12] | Cao X, Wu C, Yan P, et al. Linear SVM Classification Using Boosting HOG Features for Vehicle Detection in Low-altitude Airborne Videos[C]. Image Processing (ICIP),18th IEEE International Conference on IEEE, Brussels,2011 |
[13] | Cheng H Y, Weng C C, Chen Y Y. Vehicle Detection in Aerial Surveillance Using Dynamic Bayesian Networks[J]. Image Processing, IEEE Transactions on, 2012, 21(4): 2 152-2 159 |
[14] | Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[C]. Computer Vision and Pattern Recognition, San Diego, USA, 2005 |
[15] | Chen Long, Pan Zhiming, Mao Qingzhou, et al. HOG-LBP Adaptable Fused Features Based Method for Forbidden Traffic Signs Detection[J]. Geomatics and Information Science of Wuhan University, 2013,38(2): 191-194(陈龙,潘志明,毛庆洲,等.利用HOG-LBP自适应融合特征实现禁令交通标志检测[J].武汉大学学报·信息科学版,2013,38(2):191-194) |
[16] | Bian Zhaoqi, Zhang Xuegong. Pattern Recognition[M]. Beijing: Tsinghua University Publications Inc, 2000(边肇祺, 张学工.模式识别[M].北京:清华大学出版社有限公司,2000) |