-
摘要: 针对我国圆形禁令交通标志,提出一种快速、稳定的标志自动检测方法。首先,基于RGB空间对标志图像进行颜色分割,针对三通道差值的固定阈值分割方法对图像亮度的适应性较差的问题,提出基于基础通道选择的相对通道差值计算及阈值曲线拟合的方法进行自适应颜色分割,并针对标志与背景同色的情况,提出梯度过滤的方法将标志与同色背景分离;然后对分割图像进行边缘提取,基于标志椭圆特征,用最小二乘椭圆拟合后验偏差估计法来对边缘进行筛选,并提取最终标志边缘。实验表明,该方法能快速准确地对自然环境下不同亮度的圆形禁令标志自动检测,具有实时性和鲁棒性,在智能交通中具有良好的应用前景。
-
关键词:
- 圆形禁令交通标志检测 /
- 颜色分割 /
- 阈值曲线 /
- 梯度过滤 /
- 拟合后验偏差估计
Abstract: In this paper, a new fast, stable automatic detection method for round ban traffic signs is proposed. Color segmentation based on RGB color space is conducted on sign images. Given the poor adaptability of segmenting by calculating direct difference between channels and setting fixed thresholds, a novel self-adaptive method is proposed that calculates the relative channel difference and fitting threshold curve based on selecting a basic channel. Meanwhile, a gradient filter method separates the signs from its background with the same red color. Edges are extracted and a method of error estimation after least square ellipse fitting screens out the sign edges. Experimental results show that the method presented in this paper can automatically detect round ban traffic signs from sign images of deferent brightness in natural environments, with good prospects in Intelligent transportation as it is stable and applicable in real-time. -
道路交通标志检测是智能交通系统的重要组成部分,对保障交通安全有非常关键的作用。自然环境下的标志检测由于多种因素面临着诸多挑战[1]。目前的标志检测算法主要从形状分析和颜色分割两方面进行。基于形状的方法如基于Hough变换[2]、径向对称变换[3]、HOG特征[4-6]等方法大多涉及到复杂的图像运算,实时性有所欠缺;基于色彩空间的颜色分割方法实时性好,但大多采用固定分割阈值,适应性较差[7]。
交通标志为了达到醒目的效果,一般都有特定的颜色,如我国的圆形禁令标志都是红色,因此一般的标志检测算法都是先基于颜色进行初步分割。文献[8-10]采用RGB三通道差值的固定阈值方法分割交通标志,但由于三通道之间具有强相关性,对光照敏感,因此适用性较差。文献[11, 12]则采用规格化RGB的方式,使r+g+b=1,减少了通道之间的相关性,阈值设置更稳定。但通道的规格化转换不太稳定,在接近零值的情况下对噪声敏感[13]。很多学者将RGB转换到HIS颜色模型下进行分割[14-19]。但每个像素从RGB到HIS空间的转换都要进行非线性运算,增加了算法耗时,实时性有待提高。
本文针对我国圆形禁令交通标志,提出一种颜色分割与形状分析的标志检测算法。首先,在RGB颜色空间选择一个基础通道,计算相对通道差值,通过实验数据拟合阈值曲线进行自适应颜色分割;然后,对分割图像提取边缘,提出最小二乘椭圆拟合后验偏差估计法对边缘进行筛选,确定最终标志边缘。算法检测速度快,稳定性好,具有实时性和鲁棒性。
1 颜色分割
本文通过对大量圆形禁令标志的颜色特征进行分析,在RGB颜色空间下提出一种新的基于基础通道选择的自适应颜色分割算法。该算法选择某个通道作为基础通道,计算另外两个通道与基础通道之间的相对差值以及其差值相对于基础通道的相对值,对前两个相对差值通过实验数据拟合分割阈值曲线,由阈值曲线自适应计算分割阈值,结合第三个相对差值的固定阈值,快速稳定地分割基础通道颜色区域。
本文检测的圆形禁令标志以红色为底色,所以将红色通道作为基础通道,三个相对通道差值的计算公式为:
(1) (2) (3) 式中,rdiff 1(i,j)、rdiff 2(i,j)、rdiff 3(i,j)为像素(i,j)的三个相对通道差值;red(i,j)、 green(i,j)、blue(i,j)为三个通道值。
1.1 阈值曲线计算
当红色通道为基础通道时,蓝绿通道对红色通道的影响程度相等,因此可对前两个相对差值设定同样的阈值。但图像亮度的变化阈值并不是一个固定值,而是随红色通道值的变化而变化。实验发现,两者呈现一种较明显的指数函数关系。为了清晰地描述这种关系,本文每间隔20个灰度选取一个红色通道值,通过不断改变蓝绿通道的值并观察色彩的变化情况,确定每个红色通道值下的分割阈值,绘制出趋势曲线,如图 1所示。
从图 1中可以看出,分割阈值与红色通道值呈现较明显的指数函数关系,根据这种关系,本文拟合一条阈值曲线来根据红色通道值自适应计算分割阈值。阈值曲线的关系式为:
(4) 式中,ThR(i,j)为分割阈值;a、b为指数函数的两个系数,拟合得a=0.900 3,b=-0.015。
因第三个相对差值rdiff 3(i,j) 对亮度变化的敏感度较小,因此采用固定阈值的方式。根据色彩知识,红色像素的蓝绿通道差值不能过大,rdiff 3(i,j)必须在一定阈值区间内,结合实验确定rdiff 3(i,j)处于-0.35~0.15之间,因此确定的分割条件为:
(5) 1.2 分割实验对比分析
为测试本文分割方法的有效性,对三张不同亮度的禁令标志图像分别采用文献[9]、文献[15]以及本文的分割方法进行对比实验,结果如图 2所示。
从图 2可看出,文献[9]方法对光照很敏感,当光照较暗或较强时分割效果都不太理想;而本文和文献[15]方法在三种光照条件下均能有效分割出标志区域,且本文算法直接基于RGB空间进行计算,在时间开销上更有优势。
1.3 梯度过滤
提取图像中的红色区域时,当标志背景也为红色时就会出现标志区域与背景粘连到一起的情况,给后续形状分析带来困难(图 3(a))。由于交通标志具有明显的边缘特征,若能找到标志的边缘位置,并在分割图中置为黑色,即可达到与背景分离的目的。本文提出一种梯度过滤的方法来完成此工作。
图像梯度是离散像素X、Y方向的一阶微分之和,常被用来检测图像边缘,梯度越大,边缘性越强。梯度过滤法即将分割图中梯度大于一定阈值的像素过滤掉(置为黑色)。像素点(i,j)的梯度值grad(i,j)计算公式为:
(6) 式中,gray(i,j)为原彩色图像灰度化后像素点(i,j)的灰度值。
梯度过滤法实现简单,耗时较少,对实时性的检测算法来说较为适用。本文确定的梯度过滤阈值为30,梯度过滤结果见图 3。由图 3可以看出,标志与背景成功分离。
2 形状分析
形状分析即根据交通标志的形状特征来对其进行检测。而边缘承载了物体的轮廓、尺寸等特征信息,因此本文首先对颜色分割后的图像进行边缘检测。
2.1 边缘检测
采用基于4-邻域搜索方法对分割图像进行边缘检测,即对图像内每个白色像素进行上下左右4个邻域搜索,若4个邻域像素有一个为黑色,则判断该白色像素为边缘。
边缘检测之前采用中值滤波对分割图像进行平滑处理,去掉孤立噪声并使边缘变得平滑。图 4(a)为对图 2(k)的分割图进行边缘检测的结果。
2.2 初次筛选
从图 4(a)可以看出,检测的边缘并非都是标志边缘,因此必须对非标志边缘进行剔除。首先计算边缘周长,若周长小于原图像宽和高中较小值的1/10,则判断为非标志边缘并剔除;然后计算边缘外接矩形的宽高比,若宽高比大于2或小于1/2,则判断为非标志边缘并剔除。
初次筛选可去掉大量非标志边缘(图 4(b)),但依然还可能有非标志边缘存在,根据禁令标志的椭圆特征,本文提出最小二乘椭圆拟合后验偏差估计法进行二次筛选。
2.3 二次筛选
最小二乘椭圆拟合通过寻找一个参数集合,使数据点与椭圆之间的距离度量最小化,是一种常用的椭圆拟合方法。该算法首先对边缘进行最小二乘椭圆拟合,然后计算边缘的拟合偏差估计,分析偏差估计值的大小来对边缘进行筛选。这里引入点到椭圆的“近似几何距离”概念,将其作为点的拟合偏差估计值。点到椭圆的近似几何距离,指在点和椭圆圆心的连线上到椭圆的最近距离,见图 5。
图 5中点C为椭圆圆心,点P为椭圆外一点,点A为P、C的连线与椭圆的交点,点B为P到椭圆的最近点,则|PA|、|PB|分别为P点到椭圆的近似几何距离和真实几何距离。当|PB|足够小时,|PA|近似等于|PB|,此时可用|PA|来替代|PB|;而|PB|越大时,|PA|越大于或等于|PB|,此时用|PA|作为|PB|的估计值会起到放大非椭圆形边缘拟合偏差的效果,使阈值筛选更容易。
采用近似几何距离作为拟合偏差估计值来检测椭圆边缘的具体方法为:某条边缘用最小二乘法拟合椭圆,计算该边缘上所有点到椭圆的近似几何距离平均值,当平均值小于阈值时,判断此边缘为椭圆边缘。
本文设定阈值为拟合椭圆短轴长的1/20,图 4(c)、4(d)为对边缘进行两次筛选的结果图。从图 4中可以看到,经过二次筛选,即可确定所有椭圆形边缘。
某些禁令标志是红色外环,会检测到内外两个椭圆,因此最后进行内圆剔除:如果某椭圆的外包矩形内包含于另一椭圆的外包矩形,则将该椭圆判断为内圆并剔除。剩下的椭圆即为最终标志边缘,如图 4(e)、4(f)所示。
3 实验结果分析
为测试算法的有效性和稳定性,从不同角度和亮度采集了110张自然环境下尺寸为940×540的标志图像进行圆形禁令交通标志检测,部分标志有褪色、变形等情况。禁令标志共192个,采用本文提出的检测方法,共检测出188个,有效检测率高达97.92%,且算法平均耗时只有65.42 ms,满足实时性的需求。对不同情形下的部分检测结果见图 6,可以看出,本文算法对亮度及视角变化、褪色、模糊等情况具有较好的鲁棒性。
为检验算法的性能,与文献[10]及文献[12]中的检测算法进行比较,文献[10]采用基于RGB固定阈值分割及Hough变换的算法,对禁令标志的检测率为92.83%,时间开销为2.644 s。文献[12]采用规格化RGB颜色分割及基于径向对称变换的算法,对禁令标志的检测率为91.4%,时间开销为0.472 s。本文算法在检测率和时间开销上都优于以上两种算法,图 7为三种算法的检测结果对比图,本文算法的检测情况见表 1。
表 1 圆形禁令交通标志检测情况Table 1. Detecting Result of Round Ban Traffic Signs图像内标志数 图像数量 标志总数 检测出标志数 检测率/% 检测耗时/ms 1 63 63 62 98.41 55.44 2 29 58 58 100 64.97 ≥3 18 71 68 95.77 75.84 总和 110 192 188 97.92 65.42 由图 7及表 1可看出,本文算法在不同情形下的检测结果更稳定。相比其他算法,本文算法对环境亮度、标志褪色等情况更具适应性,最小二乘拟合后验偏差估计算法在时间消耗上也优于更复杂的Hough变换及径向对称变换等。
但本文算法也存在错检漏检,如标志由于污渍、光照等因素而变色严重,导致漏检(图 8(a));标志由于自然或人为因素而变形破损,不再呈现椭圆特征,导致漏检(图 8(b));非标志物体具有红色外圆特征而导致错检(图 8(c))。
4 结 语
本文结合我国圆形禁令交通标志的颜色与形状特征,提出了一种快速稳定的标志检测算法。该算法在RGB空间上进行颜色分割,避免了HIS空间分割时间耗费多的问题;相对差值计算以及阈值曲线拟合很好地解决了RGB空间下颜色分割对图像亮度太敏感的问题;同时,梯度过滤算法在一定程度上解决了标志与背景同色难题;最后提出了最小二乘椭圆拟合后验偏差估计法来寻找标志边缘。算法实时性好,检测率高,对天气、光照、视角变化,褪色、模糊等情形具有较好的适应性,具有良好的应用前景。
但自然环境复杂多样,算法在检测过程中也存在错检漏检的情况,算法的一些参数如梯度阈值及偏差阈值等都通过有限实验集确定,在普适性及自动化上有所欠缺。因此未来应增加更多数据进行实验,同时尝试减少参数、寻找自适应参数设定算法,对破损变形标志进行破损变形点检测及有效点边缘拟合。
-
表 1 圆形禁令交通标志检测情况
Table 1 Detecting Result of Round Ban Traffic Signs
图像内标志数 图像数量 标志总数 检测出标志数 检测率/% 检测耗时/ms 1 63 63 62 98.41 55.44 2 29 58 58 100 64.97 ≥3 18 71 68 95.77 75.84 总和 110 192 188 97.92 65.42 -
[1] 齐飞. 交通标志识别技术研究[D]. 北京:北京交通大学, 2013 http://cdmd.cnki.com.cn/Article/CDMD-10004-1013278400.htm Qi Fei. Study on Traffic Sign Recognition Technology[D]. Beijing:Beijing Jiaotong University, 2013 http://cdmd.cnki.com.cn/Article/CDMD-10004-1013278400.htm
[2] Rubel B, Hasan F, Moin M. Detection and Classification of Speed Limit Traffic Signs[C].Computer Applications and Information Systems (WCCAIS), Hammamet, Tunisia, 2014
[3] Sorn S, Toshiaki K. Red Traffic Light Detection Using Fast Radial Symmetry Transform[C]. 11th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON), Nakhon Ratchasima, 2014
[4] Wang G, Ren G, Wu Z, et al. A Robust, Coarse-tofine Traffic Sign Detection Method[C]. Int. Joint Conf Neural Netw., Dallas, USA, 2013
[5] Salti S, Petrelli A, Tombari F, et al, A Traffic Sign Detection Pipeline Based on Interest Region Extraction[C]. Int. Joint Conf. Neural Netw., Dallas, USA, 2013
[6] 陈龙, 潘志敏, 毛庆洲,等. 利用HOG-LBP自适应融合特征实现禁令交通标志检测[J]. 武汉大学学报·信息科学版, 2013, 38(2):191-194 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201302016.htm Chen Long, Pan Zhimin, Mao Qingzhou, et al. HOG-LBP Adaptable Fused Features Based Medthod for Forbidden Traffic Signs Detection[J].Geomatics and Information Science of Wuhan University, 2013,38(2):191-194 http://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201302016.htm
[7] 张卡, 盛业华, 叶春. 针对车载移动测量系统的交通标志自动检测[J]. 武汉大学学报·信息科学版, 2009, 34(12):1448-1453 http://ch.whu.edu.cn/CN/abstract/abstract1466.shtml Zhang Ka, Sheng Yehua, Ye Chun. Automatic Traffic Sign Detection Based on a Vehicle-Borne Mobile Mapping System[J]. Geomatics and Information Science of Wuhan University, 2009,34(12):1448-1453 http://ch.whu.edu.cn/CN/abstract/abstract1466.shtml
[8] 孙光民, 王晶, 于光宇, 等. 自然背景中交通标志的检测与识别[J]. 北京工业大学学报, 2010, 36(10):1337-1343 http://www.cnki.com.cn/Article/CJFDTOTAL-BJGD201010008.htm Sun Guangmin, Wang Jing, Yu Guangyu, et al. The Detection and Recognition of Traffic Signs in Natural Scenes[J]. Journal of Beijing University of Technology, 2010,36(10):1337-1343 http://www.cnki.com.cn/Article/CJFDTOTAL-BJGD201010008.htm
[9] 王慧敏. 智能辅助驾驶系统中的禁令交通标志识别方法研究[D]. 成都:西南交通大学, 2013 http://cdmd.cnki.com.cn/Article/CDMD-10613-1013251391.htm Wang Huimin. Research on Prohibition Traffic Sign Recognition Method in Intelligent Driver Assistance System[D]. Chengdu:Southwest Jiaotong University, 2013 http://cdmd.cnki.com.cn/Article/CDMD-10613-1013251391.htm
[10] 徐迪红, 唐炉亮. 基于颜色和标志边缘特征的交通标志检测[J]. 武汉大学学报·信息科学版, 2008, 33(4):433-436 http://ch.whu.edu.cn/CN/abstract/abstract1523.shtml Xu Dihong, Tang Luliang. Traffic Sign Detection Based on Color and Boundary Feature[J].Geomatics and Information Science of Wuhan University, 2008, 33(4):433-436 http://ch.whu.edu.cn/CN/abstract/abstract1523.shtml
[11] 李厚杰, 邱天爽, 宋海玉, 等. 基于径向对称变换的自适应交通禁令标志检测[J].光电子·激光, 2014, 25(3):532-539 http://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201403020.htm Li Houjie, Qiu Tianshuang, Song Haiyu, et al. Adaptive Traffic Prohibitive Sign Detection Based on Radial Symmetry Transform[J]. Journal of Optoelectronics·Laser, 2014, 25(3):532-539 http://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201403020.htm
[12] Kamada H, Naoi S, Gotoh T. A Compact Navigation System Using Image Processing and Fuzzy Control[J].Southeastcon Proceedings, 1990, 1:337-342 http://cn.bing.com/academic/profile?id=2096665443&encoded=0&v=paper_preview&mkt=zh-cn
[13] 周广波. 基于颜色和形状分析的交通标志检测[D]. 大连:大连理工大学, 2013 Zhou Guangbo. Traffic Sign Detection Based on Color and Shape Features[D]. Dalian:Dalian University of Technology, 2013
[14] 张宁, 何铁军, 高朝晖, 等. 道路场景中交通标志的检测方法[J]. 交通运输工程学报, 2008, 8(6):104-109 http://www.cnki.com.cn/Article/CJFDTOTAL-JYGC200806022.htm Zhang Ning, He Tiejun, Gao Zhaohui, et al. Detection Method of Traffic Signs in Road Scenes[J]. Journal of Traffic and Transportation Engineering, 2008, 8(6):104-109 http://www.cnki.com.cn/Article/CJFDTOTAL-JYGC200806022.htm
[15] Maldonado B S, Lafuente A S, Gil J P, et al. Road-sign Detection and Recognition Based on Support Vector Machines[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(2):264-278 doi: 10.1109/TITS.2007.895311
[16] Timofte R, Zimmermann K, Van Gool L. Multi-view Traffic Sign Detection, Recognition, and Localisation[J]. Machine Vison and Applications, 2014, 25(3):633-647 doi: 10.1007/s00138-011-0391-3
[17] Sallah S S M, Hussin F A, Yusoff M Z. Road Sign Detection and Recognition System for Real-time Embedded Applications[C]. Electrical, Control and Computer Engineering(INECCE), Pahang, Malaysia, 2011
[18] Hasan F, Rubel B, Erfan D. Traffic Sign Detection Based on AdaBoost Color Segmentation and SVM Classification[C]. EUROCON, Zagreb, 2013
[19] Abderrahim S, Brahim M, Mohamed F.Robust Automatic Traffic Signs Detection Using Fast Polygonal Approximation of Digital Curves[C]. Multimedia Computing and Systems (ICMCS), 2014 International Conference on, Marrakech, Morocco, 2014