留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

高分辨率航空影像中斑马线的识别与重建

杨冲 张帆 王健 黄先锋 高云龙

杨冲, 张帆, 王健, 黄先锋, 高云龙. 高分辨率航空影像中斑马线的识别与重建[J]. 武汉大学学报 ● 信息科学版, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055
引用本文: 杨冲, 张帆, 王健, 黄先锋, 高云龙. 高分辨率航空影像中斑马线的识别与重建[J]. 武汉大学学报 ● 信息科学版, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055
YANG Chong, ZHANG Fan, WANG Jian, HUANG Xianfeng, GAO Yunlong. Extraction and Reconstruction of Zebra Crossings from High Resolution Aerial Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055
Citation: YANG Chong, ZHANG Fan, WANG Jian, HUANG Xianfeng, GAO Yunlong. Extraction and Reconstruction of Zebra Crossings from High Resolution Aerial Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055

高分辨率航空影像中斑马线的识别与重建

doi: 10.13203/j.whugis20160055
基金项目: 

国家科技支撑计划 2014BAK07B04

国家自然科学基金 41571437

浙江省科技计划 2015C33075

详细信息

Extraction and Reconstruction of Zebra Crossings from High Resolution Aerial Images

Funds: 

The National Key Technology Support Program of China 2014BAK07B04

the National Natural Science Foundation of China 41571437

the Technology Program of Zhejiang Province 2015C33075

More Information
    Author Bio:

    YANG Chong, PhD candidate, specializes in the methods of handling of UAV datas. E-mail:yangchong609@yeah.net

    Corresponding author: ZHANG Fan,PhD, associate professor. E-mail:zhangfan@whu.edu.cn
  • 摘要: 提出了一种利用高分辨率航空影像自动识别与重建斑马线的方法。文中利用基于灰度共生矩阵(cray level co-occurrence matrix,GLCM)和二维Gabor滤波器特征的JointBoost分类器来提取斑马线,并依据斑马线在空间几何上的重复性规则对斑马线建立参数模型。最后结合一些具有代表性的实验数据(如阴影、遮挡和模糊等)来验证本文所提出的方法在斑马线的识别与重建中的有效性。
  • 图  1  斑马线图斑与背景图斑的对比度特征值在不同尺度上的分布

    Figure  1.  Results of Contrast Feature Extracted from Zebra Crossing Samplesand Background Samples at Different Scales

    图  2  不同频率下Gabor分解的特征分布

    Figure  2.  Results of the Feature Extracted by Gabor Filter with Different Frequencies

    图  3  JointBoost分类示例

    Figure  3.  Example of JointBoost Extraction

    图  4  斑马线几何模型示意图

    Figure  4.  Geometrical Model of Zebra Crossing

    图  5  斑马线边框提取结果

    Figure  5.  Boundary Line Detection

    图  6  斑马线空间频率图

    Figure  6.  Spatial Frequency of Zebra Crossing

    图  7  斑马线元素的梯度信息和宽度近似值

    Figure  7.  Depicts the Gradient of Stripes and Depicts Widths of Stripes

    图  8  斑马线重建效果图

    Figure  8.  Reconstruction Results of Zebra Crossing

    图  9  JointBoost分类器与模板匹配识别结果

    Figure  9.  Extraction Results of Zebra Crossings by JointBoost and Template Matching

    图  10  有遮挡的斑马线重建结果图

    Figure  10.  Reconstruction Results of Zebra Crossings Covered by Objects

    图  11  不清晰的斑马线重建结果图

    Figure  11.  Reconstruction Result of Blurred Zebra Crossing

    图  12  有阴影的斑马线重建结果图

    Figure  12.  Reconstruction Results of Zebra Crossings Within Shadows

  • [1] Thomas G, Donikian S. Virtual Humans Animation in Informed Urban Environments[C]. IEEE Computer Animation Conference, Philadelphia, USA, 2000
    [2] Narzt W, Pomberger G, Ferscha A, et al. Augmented Reality Navigation Systems[J]. Universal Access in the Information Society, 2006, 4(3):177-187 doi:  10.1007/s10209-005-0017-5
    [3] Rebut J, Bensrhair A, Toulminet G. Image Segmentation and Pattern Recognition for Road Marking Analysis[C]. IEEE International Symposium on Industrial Electronics, Ajaccio, France, 2004
    [4] Sichelschmidt S, Haselhoff A, Kummert A, et al. Pedestrian Crossing Detecting as A Part of An Urban Pedestrian Safety System[C]. IEEE Intelligent Vehicles Symposium (IV), Univ Calif, San Diego, 2010
    [5] Feng Q, Liu J, Gong J. UAV Remote Sensing for Urban Vegetation Mapping Using Random Forest and Texture Analysis[J]. Remote Sensing, 2015, 7(1):1074-1094 doi:  10.3390/rs70101074
    [6] Leitloff J, Rosenbaum D, Kurz F, et al. An Operational System for Estimating Road Traffic Information from Aerial Images[J]. Remote Sensing, 2014, 6(11):11315-11341 doi:  10.3390/rs61111315
    [7] Qin R. An Object-Based Hierarchical Method for Change Detection Using Unmanned Aerial Vehicle Images[J]. Remote Sensing, 2014, 6(9):7911-7932 doi:  10.3390/rs6097911
    [8] Jin H, Feng Y. Automated Road Pavement Marking Detection from High Resolution Aerial Images Based on Multi-Resolution Image Analysis and Anisotropic Gaussian Filtering[C]. The 2nd International Conference on Signal Processing Systems, Dalian, China, 2010
    [9] Kim T, Park S R, Kim M G, et al. Tracking Road Centerlines from High Resolution Remote Sensing Images by Least Squares Correlation Matching[J]. Photogrammetric Engineering and Remote Sensing, 2004, 70(12): 1417-1422 doi:  10.14358/PERS.70.12.1417
    [10] Lausser L, G. Schwenker F, Palm G. Detecting Zebra Crossings Utilizing AdaBoost[C]. Advances in Computational Intelligence and Learning Bruges, Belgium, 2008
    [11] Torralba A, Murphy K P, Freeman W T. Sharing Visual Features for Multiclass and Multiview Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(5):854-869 doi:  10.1109/TPAMI.2007.1055
    [12] Veit T, Tarel J P, Nicolle P, et al. Evaluation of Road Marking Feature Extraction[C]. The 11th IEEE International Conference on Intelligent Transportation Systems, Beijing, China, 2008
    [13] Lafarge F, Descombes X, Zerubia J, et al. Structural Approach for Building Reconstruction from a Single DSM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1):135-147 doi:  10.1109/TPAMI.2008.281
    [14] Jin H, Feng Y, Li M. Towards an Automatic System for Road Lane Marking Extraction in Large-Scale Aerial Images Acquired over Rural Areas by Hierarchical Image Analysis and Gabor Filter[J]. International Journal of Remote Sensing, 2012, 33(9):2747-2769 doi:  10.1080/01431161.2011.620031
    [15] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110 doi:  10.1023/B:VISI.0000029664.99615.94
    [16] Daugman J G. Uncertainty Relation for Resolution in Space, Spatial Frequency, and Orientation Optimized by Two-Dimensional Visual Cortical Filters[J]. Journal of the Optical Society of America, 1985, 2(7):1160-1169 doi:  10.1364/JOSAA.2.001160
    [17] HamamotoY, Uchimura S, Masamizu K, et al. Recognition of Handprinted Chinese Characters Using Gabor Features[J]. IEEE Transactions on Document Analysis & Recognition, 1995, 2:819-823
    [18] 张刚, 马宗民.一种采用Gabor小波的纹理特征提取方法[J].中国图象图形学报, 2010, 15(2):247-254 doi:  10.11834/jig.20100210

    Zhang Gang, Ma Zongmin. An Approach of Using Gabor Wavelets for Texture Feature Extraction[J]. Journal of Image and Graphics, 2010, 15(2):247-254 doi:  10.11834/jig.20100210
    [19] Otsu N. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1):62-66 doi:  10.1109/TSMC.1979.4310076
    [20] 杨俊, 赵忠明, 杨健.一种高分辨率遥感影像阴影去除方法[J].武汉大学学报·信息科学版, 2008, 33(1):17-20 http://ch.whu.edu.cn/CN/abstract/abstract1488.shtml

    Yang Jun, Zhao Zhongming, Yang Jian. A Shadow Removal Method for High Resolution Remote Sensing Image[J]. Geomatics and Information Science of Wuhan University, 2008, 33(1):17-20 http://ch.whu.edu.cn/CN/abstract/abstract1488.shtml
    [21] 林宗坚, 任超峰, 姚娜等.一种航空影像阴影补偿方法[J].武汉大学学报·信息科学版, 2013, 38(4):431-435 http://ch.whu.edu.cn/CN/abstract/abstract764.shtml

    Lin Zongjian, Ren Chaofei, Yao Na, et al. A Shadow Compensation Method for Aerial Image[J].Geomatics and Information Science of Wuhan University, 2013, 38(4):431-435 http://ch.whu.edu.cn/CN/abstract/abstract764.shtml
  • [1] 冯黎刚, 金立新, 边少锋, 李厚朴.  大椭圆椭球参数模型在长线工程中的应用 . 武汉大学学报 ● 信息科学版, 2020, 45(2): 219-225, 232. doi: 10.13203/j.whugis20180133
    [2] 王乐洋, 李海燕, 陈汉清.  2013年芦山Ms 7.0级地震断层参数模型反演 . 武汉大学学报 ● 信息科学版, 2019, 44(3): 347-354. doi: 10.13203/j.whugis20160485
    [3] 吕凤华, 舒宁, 龚颵, 郭清, 曲雪光.  利用多特征进行航空影像建筑物提取 . 武汉大学学报 ● 信息科学版, 2017, 42(5): 656-660. doi: 10.13203/j.whugis20140781
    [4] 郭越, 王晓峰, 张恒振.  基于人类感知的SAR图像海上溢油检测算法 . 武汉大学学报 ● 信息科学版, 2016, 41(3): 395-401,407. doi: 10.13203/j.whugis20140404
    [5] 丁士俊, 姜卫平.  线性半参数模型非参数假设检验理论和方法 . 武汉大学学报 ● 信息科学版, 2014, 39(12): 1467-1471.
    [6] 陶肖静, 朱建军, 田玉淼.  半参数模型中影响正则化参数的因素分析 . 武汉大学学报 ● 信息科学版, 2012, 37(3): 298-301.
    [7] 赵建虎, 王胜平, 王爱学.  基于地磁共生矩阵的水下地磁导航适配区选择 . 武汉大学学报 ● 信息科学版, 2011, 36(4): 446-449.
    [8] 成英燕, 程鹏飞, 顾旦生, 文汉江.  三维4参数模型实现地图到CGCS2000的转换 . 武汉大学学报 ● 信息科学版, 2010, 35(6): 747-751.
    [9] 魏小莉, 沈未名.  一种基于马尔科夫随机场模型的彩色纹理图像分割 . 武汉大学学报 ● 信息科学版, 2010, 35(8): 955-958.
    [10] 陈杰, 邓敏, 肖鹏峰, 杨敏华.  利用Gabor滤波器与蚁群算法进行纹理分割 . 武汉大学学报 ● 信息科学版, 2010, 35(11): 1271-1274.
    [11] 王振杰, 卢秀山.  利用半参数模型分离GPS基线中的系统误差 . 武汉大学学报 ● 信息科学版, 2007, 32(4): 316-318.
    [12] 王波, 姚宏宇, 李弼程.  一种有效的基于灰度共生矩阵的图像检索方法 . 武汉大学学报 ● 信息科学版, 2006, 31(9): 761-764.
    [13] 赵银娣, 张良培, 李平湘.  一种纹理特征融合分类算法 . 武汉大学学报 ● 信息科学版, 2006, 31(3): 278-281.
    [14] 苏国中, 张剑清, 陈炳贵.  GIS知识引导的正射影像变化检测及更新 . 武汉大学学报 ● 信息科学版, 2005, 30(8): 664-667.
    [15] 李陶, 刘经南, 廖明生.  重复轨道差分干涉测量参数模型的建立 . 武汉大学学报 ● 信息科学版, 2005, 30(8): 744-747.
    [16] 王振杰, 欧吉坤, 曲国庆, 韩保民.  L-曲线法确定半参数模型中的平滑因子 . 武汉大学学报 ● 信息科学版, 2004, 29(7): 651-653.
    [17] 丁士俊, 陶本藻.  自然样条半参数模型与系统误差估计 . 武汉大学学报 ● 信息科学版, 2004, 29(11): 964-967.
    [18] 孙海燕.  测量平差函数模型的若干讨论 . 武汉大学学报 ● 信息科学版, 2003, 28(S1): 62-64.
    [19] 廖明生.  递归型自适应数字滤波器研究的状态空间法探讨 . 武汉大学学报 ● 信息科学版, 1991, 16(1): 49-55.
    [20] 赵茂泰.  用微机设计有源滤波器方法的研究 . 武汉大学学报 ● 信息科学版, 1990, 15(1): 75-81.
  • 加载中
图(12)
计量
  • 文章访问数:  1005
  • HTML全文浏览量:  99
  • PDF下载量:  432
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-12-13
  • 刊出日期:  2017-10-05

高分辨率航空影像中斑马线的识别与重建

doi: 10.13203/j.whugis20160055
    基金项目:

    国家科技支撑计划 2014BAK07B04

    国家自然科学基金 41571437

    浙江省科技计划 2015C33075

    作者简介:

    杨冲, 博士生, 主要从事无人机数据处理方法研究.yangchong609@yeah.net

    通讯作者: 张帆, 博士, 副教授.zhangfan@whu.edu.cn
  • 中图分类号: P237

摘要: 提出了一种利用高分辨率航空影像自动识别与重建斑马线的方法。文中利用基于灰度共生矩阵(cray level co-occurrence matrix,GLCM)和二维Gabor滤波器特征的JointBoost分类器来提取斑马线,并依据斑马线在空间几何上的重复性规则对斑马线建立参数模型。最后结合一些具有代表性的实验数据(如阴影、遮挡和模糊等)来验证本文所提出的方法在斑马线的识别与重建中的有效性。

English Abstract

杨冲, 张帆, 王健, 黄先锋, 高云龙. 高分辨率航空影像中斑马线的识别与重建[J]. 武汉大学学报 ● 信息科学版, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055
引用本文: 杨冲, 张帆, 王健, 黄先锋, 高云龙. 高分辨率航空影像中斑马线的识别与重建[J]. 武汉大学学报 ● 信息科学版, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055
YANG Chong, ZHANG Fan, WANG Jian, HUANG Xianfeng, GAO Yunlong. Extraction and Reconstruction of Zebra Crossings from High Resolution Aerial Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055
Citation: YANG Chong, ZHANG Fan, WANG Jian, HUANG Xianfeng, GAO Yunlong. Extraction and Reconstruction of Zebra Crossings from High Resolution Aerial Images[J]. Geomatics and Information Science of Wuhan University, 2017, 42(10): 1358-1364, 1380. doi: 10.13203/j.whugis20160055
  • 斑马线作为一种典型的路面标识,在世界上有广泛的使用,但在地理数据收集中往往容易被忽略[1]。随着车辆导航、行人模拟仿真等方面对道路信息需求的增长,对道路表面标识的重建已成为一个重要的研究热点[2-4]。高分辨率航空影像是快速获取地表信息的重要数据源[5-7],随着遥感技术的发展,遥感影像空间分辨率越来越高,这给道路表面标识的重建提供了可能性。

    高分辨率遥感影像中目标识别的方法有很多,Jin等[8]利用非监督分类方法对道路进行识别,并在高分辨率影像上通过各向异性的高斯滤波器提取路面标识。Park和Kim[9]利用自适应最小二乘模板匹配方法从IKONOS影像中提取道路的中心线,但其侧重点在于道路的识别,并未涉及到道路标记。目前,国内外已有许多利用机器学习方法进行高分辨率遥感影像分类和解译的研究,例如Lausser等[10]利用AdaBoost方法并在道路中心线的约束下识别车载影像中的斑马线。而Torralba等[11]提出的JointBoost方法是基于GentleBoost的,它对AdaBoost中的缺点有所改进,并且支持多类别的分类和识别,可扩展性更好。而对于高分辨率遥感影像中路面目标的重建,多数方法为建立几何模型,然后依据影像中的信息求解模型参数[12],例如Lafarge等[13]利用简单几何模型的组合在DSM中优化能量函数后提取二维建筑物边框,从而进行三维建模。

    本文提出了一种利用高分辨率航空影像识别与重建斑马线的方法。首先利用JointBoost分类器提取影像中斑马线对象,同时根据实际中斑马线出现的形式建立抽象几何模型,然后在斑马线图像对象的基础上求解几何模型,并考虑斑马线的空间重复规则以规避噪声的影响,最终重建斑马线。

    • 本文基于灰度共生矩阵(cray level co-occurrence matrix, GLCM)特征和二维Gabor滤波器特征的JointBoost分类器来区分斑马线和背景。在进行斑马线识别之前,要对影像进行对比度增强预处理,以减少影像中阴影和噪声带来的影响,同时使用高斯低通滤波器来抑制白噪声。

    • GLCM反映了图像中灰度方向、相邻间隔、变化幅度的综合信息,因此它是分析纹理基元和排列结构的有效工具。在量化描述纹理的特征时,GLCM本身不直接作为特征量使用,而是在其基础上计算二次统计量。本文中使用了角二阶矩、相关性、对比度、同质性和熵等5种统计量[14],这些统计量可以从不同的角度描述纹理的特征。

      为了测试GLCM特征在不同尺度下区分斑马线和背景的有效性,本文使用高斯差分算子代替拉普拉斯算子来计算各尺度上的高频分量[15]。文中实验数据为50个斑马线图斑和50个背景图斑,以对比度均值为例,实验结果如图 1所示。

      图  1  斑马线图斑与背景图斑的对比度特征值在不同尺度上的分布

      Figure 1.  Results of Contrast Feature Extracted from Zebra Crossing Samplesand Background Samples at Different Scales

    • 二维Gabor滤波器可以在不同频率或尺度,不同方向上分析二维信号的时频特性,非常适合于图像识别领域的研究[16]。另外二维Gabor滤波器能最大限度的提取图像的局部方向信息、频率信息和位置信息。其函数形式为:

      $$\left\{ {\begin{array}{*{20}{l}} {g\left( {x,{\rm{ }}y;\lambda ,{\rm{ }}\theta ,{\rm{ }}\psi ,{\rm{ }}\sigma ,{\rm{ }}\gamma } \right) = }\\ {\quad \quad {\rm{exp}}\left( { - \frac{{x{\prime ^2} + {\gamma ^2}y{\prime ^2}}}{{2\sigma 2}}} \right){\rm{exp}}\left( {i\left( {2\pi \frac{{x\prime }}{\lambda } + \psi } \right)} \right)}\\ {x\prime = x{\rm{cos}}\theta + y{\rm{sin}}\theta }\\ {y\prime = - x{\rm{sin}}\theta + y{\rm{cos}}\theta } \end{array}} \right.$$ (1)

      式中,λ为滤波的波长; θ为坐标旋转的角度,即滤波的方向; ψ为谐波的相位; σ为高斯窗在主方向上的标准方差; γ为高斯窗两个方向标准差的比率。

      图 2是对同样的实验数据进行Gabor分解后在它们各自主方向上的能量特征分布图。实验中设ψ=0,频率分别采用0.1和0.2,方向范围为0~180°(共分为18个方向),高斯窗函数在两个方向上的标准差被计算为频率或波长的函数[17]。斑马线的平均间隔大致为8~12像素,即空间频率在0.1左右。

      图  2  不同频率下Gabor分解的特征分布

      Figure 2.  Results of the Feature Extracted by Gabor Filter with Different Frequencies

      图 2中的特征分布可以看出, 当频率取值为0.1时滤波所得到特征的可分性比取0.2时要好。实际的特征提取过程中,在各个滤波器响应的基础上统计它们能量的均值和方差作为分类时的特征值[18]。另外考虑到不同航空影像斑马线方向的差异性,本文将同一频率下不同方向的滤波响应特征值进行排序产生新的特征描述向量,再用于比较和分类,以提高分类的准确性。

    • JointBoost是Boost分类算法家族中的一种重要算法。该算法沿用GentleBoost算法中训练两类分类器的方法,然后将多个两类分类器联合起来。JointBoost有很好的特征选择功能,且最终选择的特征数量不大于迭代的次数。因此可以选择足够多的特征用于分类,而不用过多的关注于特征选择的问题。另外JointBoost对错分样本的加权处理,对特征分量的最优选择等性能使它对复杂情况也有很好的处理能力。

      利用JointBoost分类器对影像进行分类需要经过训练和分类两个大的步骤。训练前的样本图斑预处理已在前面阐述;而后对每个样本提取特征,主要包括多尺度下的GLCM特征和二维Gabor滤波特征。最后将每个样本的特征向量、类别标签信息代入训练即可得到一个强分类器。分类结果示例如图 3所示。

      图  3  JointBoost分类示例

      Figure 3.  Example of JointBoost Extraction

      图 3中标有黄色十字叉的位置就是被分类为斑马线的图斑的中心,从结果可以看出,JointBoost分类器准确地找到了斑马线的位置。而且图中黄色线框的范围已经覆盖了整个斑马线区域,这样提取出的斑马线就比较完整,从而为后续的斑马线重建工作奠定了基础。

    • 通过目标识别的方法得到斑马线所在的范围后,即可根据该区域中的图像信息重建斑马线。斑马线是一种二维的面状目标,可以通过提取边缘重建每个斑马线元素。但是由于其他外在因素(如阴影、遮挡等)的影响,使得斑马线的边缘并不规则,无法直接通过边缘信息重建整条斑马线。因此本文采用了一种基于斑马线空间重复规则建模并对斑马线进行整体优化的方法重建斑马线。

    • 设图像是连续的二维灰度分布,其密度函数为f(x, y),其梯度的密度函数为g(x, y)=∇f(x, y)。斑马线边缘出现位置的坐标集合用E表示,E={(x, y)|(x, y)∈斑马线边缘点}。图像在E上梯度值的总和即梯度能量值函数用SGE表示,其函数形式为:

      $${\rm{SGE}} = \int\limits_E {g\left( {x,{\rm{ }}y} \right){d_s}} $$ (2)

      式中,ds为曲线上很小的一个弧段。如果有一个坐标集合恰好与图像中实际的斑马线边缘位置吻合,那么在这个坐标集合上的SGE值将会是在一定范围内变化的局部极大值。

      为了要准确地描述斑马线,需要根据斑马线的空间几何特点建立相应的数学模型,以此描述斑马线内部或边缘上点的位置与斑马线参数的函数关系,从而才能使用函数SGE对斑马线参数进行优化。本文对影像中各种形式的斑马线建立一个统一的几何模型, 为了体现斑马线的空间重复规则,假设斑马线中每个元素的形状和大小是一致的,且它们之间的间距是相同的,图 4为斑马线几何模型的示意图。

      图  4  斑马线几何模型示意图

      Figure 4.  Geometrical Model of Zebra Crossing

      图 4中, θm表示斑马线主边界线的法方向在x-o-y坐标系中的倾角; θp表示斑马线元素长边边界线的法方向在x-o-y坐标系中的倾角; wp表示斑马线两条主边界线之间的距离; we表示斑马线元素两条长边边界线之间的距离; T表示斑马线在其元素长边边界线的法方向上的空间周期或间隔; (xi, yi)表示斑马线每个元素的中心点位置。

      对一个单一的斑马线元素来说,如果以它的中心点为原点坐标,那么它的4条边界线可由式(3) 中的4个直线方程表示,该元素边界上的点集合Ee(xi, yi)可表示为式(4),那么以(xi, yi)为中心的所有斑马线元素的边界点集合E可由式(5) 表示。

      $$\left\{ {\begin{array}{*{20}{l}} {{l_1}:x\;{\rm{cos}}{\theta _m} + y\;{\rm{sin}}{\theta _m} - \frac{{{w_p}}}{2} = 0}\\ {{l_2}:x\;{\rm{cos}}{\theta _m} + y\;{\rm{sin}}{\theta _m} + \frac{{{w_p}}}{2} = 0}\\ {{l_3}:x\;{\rm{cos}}{\theta _p} + y\;{\rm{sin}}{\theta _p} - \frac{{{w_e}}}{2} = 0}\\ {{l_4}:x\;{\rm{cos}}{\theta _p} + y\;{\rm{sin}}{\theta _p} + \frac{{{w_e}}}{2} = 0} \end{array}} \right.$$ (3)
      $${E_e}\left( {{x_i},{\rm{ }}{y_i}} \right) = \\ \left\{ {\left( {x,{\rm{ }}y} \right)\left| {\begin{array}{*{20}{l}} {\;\left[ {\left( {{l_1}\left( {x,{\rm{ }}y} \right) = 0\; \cup \;{l_2}\left( {x,{\rm{ }}y} \right) = 0} \right)\; \cap \;{l_3}\left( {x,{\rm{ }}y} \right){l_4}\left( {x,{\rm{ }}y} \right) \le 0} \right]}\\ {\; \cup \;\left[ {\left( {{l_3}\left( {x,{\rm{ }}y} \right) = 0\; \cup \;{l_4}\left( {x,{\rm{ }}y} \right) = 0\;} \right) \cap \;{l_1}\left( {x,{\rm{ }}y} \right){l_2}\left( {x,{\rm{ }}y} \right) \le 0} \right]} \end{array}} \right.} \right\}$$ (4)
      $$E = \mathop \cup \limits_{i = 1}^N {E_e}\left( {{x_i},{\rm{ }}{y_i}} \right)$$ (5)
    • 由于在函数SGE上寻找的优化值并非全局极大值,需要先求取斑马线几何模型参数的近似初值,然后在函数SGE上进行局部优化。在开始求解斑马线模型参数之前,需要对斑马线图像进行预处理, 包括直方图均衡化[19]、阴影移除[20, 21]以及形态学处理等。

      由§2.1中斑马线几何模型建立的内容可见,首先要确定斑马线区域的4条边界直线。这4条直线的倾角就分别代表斑马线的整体主方向θm和元素主方向θp,因此通过Hough变换的方法提取这些线特征。图 5是利用Hough变换提取的斑马线边框。

      图  5  斑马线边框提取结果

      Figure 5.  Boundary Line Detection

      斑马线的空间重复性规则是通过参数T(空间频率)决定的,为了计算图像内容的空间频率,本文采用Gabor变换将图像转换到频率域来获取最佳的T图 6是利用Gabor滤波器计算斑马线空间频率的示例结果,其中图 6(a)为利用Gabor滤波器在垂直于斑马线元素长边的主方向上进行滤波后得到的频谱,其空间频率范围被设置为0.05~0.2。可见,在频谱中出现了一个明显的极大值,该极大值所对应的空间频率即是所要求取的斑马线空间主频率。本示例中该空间主频率为0.073 7,对应的空间重复周期T为13.566像素。图 6(b)为利用T值在斑马线原图上画线的示意图,从图中可见中间的若干条线已经和斑马线元素边缘的位置很接近,但是在首尾两个斑马线元素上的标记线仍有较明显的误差。

      图  6  斑马线空间频率图

      Figure 6.  Spatial Frequency of Zebra Crossing

      为了保证在梯度信息中估计斑马线元素宽度的准确性,首先将梯度信息按照梯度方向分成两部分,记为GfGb,这两部分分别为斑马线元素两边的梯度信息,如图 7(a)所示;图 7(b)是斑马线元素的宽度近似值。假设这组对边直线所对应的坐标集合在0~T之间变化,那么直线上像点的梯度的总和SGE在GfGb两个梯度图像中会各有一个极值,假设这两个极值出现的位置分别是ρfρb,那么斑马线元素的宽度的表达式为:

      图  7  斑马线元素的梯度信息和宽度近似值

      Figure 7.  Depicts the Gradient of Stripes and Depicts Widths of Stripes

      $${w_e} = \left\{ {\begin{array}{*{20}{l}} {{\rho _f} - {\rho _b},{\rho _f} \ge {\rho _b}}\\ {T + {\rho _f} - {\rho _b},{\rho _f}{\rm{ < }}{\rho _b}} \end{array}} \right.$$ (6)

      式中,we为斑马线元素宽度的近似值。

      至此,斑马线几何模型的所有参数计算完毕,但部分参数(Twe)仍然存在估计误差。因此需要对上述两个参数进行整体优化。此时,梯度能量值函数可以表示为:

      $${\rm{SGE}} = {\rm{SGE}}(T,{w_e})$$ (7)

      在整体优化的过程中,本文采取类似牛顿下降法的迭代求解方法寻找局部最优解,得到Twe的局部最优值,再解算出中心点坐标串(xi, yi),重建效果如图 8所示。

      图  8  斑马线重建效果图

      Figure 8.  Reconstruction Results of Zebra Crossing

    • 由于斑马线会出现被严重遮挡或褪色的现象,使本该为一条斑马线的地物对象在识别过程中被分为多个对象。为了解决该问题,在重建过程中需要对此类斑马线进行修复,使其成为一条完整的斑马线。

      修复的依据仍然是斑马线的空间重复特性,即被修复的斑马线应满足以下条件:(1) 斑马线在空间上的距离小于一定阈值;(2) 斑马线的中心点串应在同一条直线上;(3) 斑马线的中心点串中任意两点的距离应近似于T的整数倍。

      修复的过程即是合并两段斑马线所对应的几何模型的过程,其中除中心点坐标串外, 其他的参数都可以取平均值作为最终的结果,而最终的中心点串可以在两段斑马线的中心点串拟合的直线上按空间重复周期计算出的中心点个数等间隔的取点生成。

    • 本文的实验数据来自Google Earth法国地区的高分辨率航空影像数据,空间分辨率为0.1 m左右。文中算法是以Matlab 2014作为开发工具,在Windows7操作系统(主频3.4 GHz,内存8 G)下实现的。实验中分类器的训练是由50个正样本和150个负样本完成。

    • 本文利用JointBoost分类器来提取斑马线,为了检验该方法的有效性,作为对比,在实验中还使用模板匹配的方法对相同的影像进行识别,并设置相关系数阈值分别为0.85、0.9、0.95。识别结果如图 9所示。

      图  9  JointBoost分类器与模板匹配识别结果

      Figure 9.  Extraction Results of Zebra Crossings by JointBoost and Template Matching

      图 9可知,在使用模板匹配的方法识别时,相关系数阈值为0.85时分类效果最好。而利用JointBoost分类器进行识别,在同一判别准则下其识别效果更好。综合实验结果可见,利用JointBoost分类器识别的正确率和鲁棒性更好,在斑马线识别的问题上更具有优势。

    • 斑马线很容易被人或车辆遮挡,这样会给斑马线的边缘识别带来干扰,尤其在对图像进行二值化之后,斑马线的边缘会变得很不规则,对检测斑马线元素方向造成影响。图 10是对若干有遮挡情况的斑马线重建结果,图中黄色线框标出的区域为斑马线的重建结果。

      图  10  有遮挡的斑马线重建结果图

      Figure 10.  Reconstruction Results of Zebra Crossings Covered by Objects

      从实验中的ABE这3个区域的重建结果可见,本文的算法对有部分遮挡的斑马线有较好的重建能力。而实验中的CD两个区域,由于在斑马线中间部分出现了严重遮挡,导致整条斑马线被识别为两部分。然而根据斑马线的修复规则,它们最终被合并成一条斑马线。由于G区域可见部分太小,难以检测到斑马线的边界,所以没能成功重建G区域的斑马线。

      有时由于斑马线长时间未刷新,使得斑马线出现褪色不清晰的情况,就带来两大难点:一是会导致斑马线不能被识别;二是会导致二值化结果质量下降,从而影响斑马线几何模型参数的计算。对于难点一,本文通过对图斑的灰度拉伸预处理来应对,但是严重褪色的斑马线尚无法完全识别;对于难点二,本文使用局部二值化的方法来提高二值化的质量。图 11是对有褪色情况斑马线的重建结果。

      图  11  不清晰的斑马线重建结果图

      Figure 11.  Reconstruction Result of Blurred Zebra Crossing

      对于有阴影的斑马线,也会存在二值化质量不高的问题。本文通过在斑马线图像预处理中使用基于HSV颜色空间的阴影检测方法来消除阴影,降低它对二值化的影响,从而使得斑马线元素的分离更稳定。图 12是对一些有明显阴影出现的斑马线的重建,区域A中的斑马线只有少部分被阴影覆盖,而区域B和区域C中的斑马线有超过一半的部分被阴影覆盖。

      图  12  有阴影的斑马线重建结果图

      Figure 12.  Reconstruction Results of Zebra Crossings Within Shadows

    • 本文提出了一种利用高分辨率航空影像自动识别与重建斑马线的方法。文中选用了多尺度下的GLCM特征和二维Gabor滤波特征的JointBoost分类器来提取斑马线,实验证明用两种特征描述斑马线的纹理是有效的,可以使斑马线与其他的地物显著的区分开。斑马线的重建问题则有赖于斑马线几何模型的建立和重复性规则的使用。在对斑马线建立几何模型时,需要考虑多种斑马线的类型,将其一般化,最终使用少量的参数和它们的函数来描述整个模型。实验证明,本文的重建方法可以从带有遮挡、模糊和阴影等干扰性因素的图像中完成大部分斑马线的重建工作。

      但本文的方法仍有很大扩展的空间。首先,在识别问题上,一个分类器只是针对某一个分辨率的影像进行训练并分类的,分类器很难处理多个分辨率影像的识别问题。另外,本文使用的JointBoost分类器是可以进行多类别分类的分类器,因此还可以扩展完成对多种路面标识的识别和重建,从而使得道路细节信息的提取结果更加全面完整。

参考文献 (21)

目录

    /

    返回文章
    返回