Detection of Pedestrian Crossings with Hierarchical Learning Classifier from Multi-angle Low Altitude Images

本文选用基于特征的识别方法进行低空影像人行横道线的识别。根据人行横道边缘特征明显、形状规律的外形特点，选择了Lienhart等^[5]提出的Haar-like特征模板来进行低空影像人行横道正样本的描述。

基于Haar-like特征的级联分类器，参见文献[6, 7]，本文仅涉及与分类器错误式学习有关的内容。

当负样本的多样性、代表性和质量都不高时，系统利用初始随机选择的几个特征就能够轻易地区分当前正负样本，从而结束该轮学习。该分类器在训练过程中缺少了高质量负样本数据的检验，误识别率会因为学习过程得不到深入而升高。由于人类和机器识别物体的方式和手段都不相同，人为很难推测出怎样的负样本才能更好的满足机器学习的需要。为了解决该问题，本文运用基于错误式学习的分类器训练方法。

基于错误式学习的分类器训练方法的思路是，首先降低训练条件，快速训练出一个初始的分类器，并利用该分类器对影像进行识别，得到初始识别结果；然后半自动地搜索初始识别结果中被错误分类的影像区域。将这些被错分类的区域加入样本集中，迭代重复训练。

为了快速、高效地区分初始识别结果的正误，本文借助局部二值模式(local binary pattern, LBP)和方向梯度直方图(histogram of oriented gradient, HOG)特征分类器对Haar-like分类器的初始识别结果进行半自动筛选，将错误分类的影响区域加入样本集中，进行迭代训练, 如图 1所示。

Figure 1.  Flowchart of Hierarchical Learning Based Training Process

步骤1  初始准备。人工裁剪正负样本进行分类器训练，训练得到初始的Haar-like分类器，LBP分类器和HOG分类器。

步骤2  联合检测。利用Haar-like、LBP和HOG共3个分类器分别对同一幅来自训练组的低空影像进行人行横道线识别，识别时设置3个分类器的重复检测次数均为0，Haar-like、LBP、HOG分类器得到的检测结果集合分别为S₁、S₂、S₃。重复检测次数是指由于检测过程中会对影像进行缩放，以检测不同大小的目标。因此将影像尺度改变过程中同一区域被检测为目标的次数作为重复检测次数。当其设置为0时，表示某一区域在缩放过程中只被检测出1次。

步骤3  确定误检区。低空影像的某一区域如果同时被S₁、S₂和S₃中两个或以上的集合包含，则认为该区域是人行横道线区域，即正样本区，其余区域均列为疑似误检区域集合S_Wa。

步骤4精化误检区(可选)。对步骤3得到的疑似误检结果进行目视判读，将S_Wa中带有目标人行横道线的区域均列入集合S_T，而其余非目标区域列入集合S_W，使得集合S_W中的所有样本区域均满足负样本条件。该步骤可根据训练实际情况进行执行或跳过。当3个分类器均由数量充足且相同的样本训练而成，且检测的对象是训练组影像时，如果粗略观测发现经过步骤3处理后，正样目标被列入疑似误检区域集合S_Wa的结果非常少，则在前几次迭代过程中可不做人工判读，若发现前后两次迭代的误检率W下降不明显时，再对误检区进行判读。

步骤5  扩充正负样本迭代训练。将经过步骤3、步骤4筛选出的非目标区域S_W(如果未做步骤4则此处应为集合S_Wa)加入负样本集中，经过步骤4目视判断为横道线的区域S_T可加入正样本集中，以提高正样本质量。利用扩充后的正负样本，重新训练Haar-like分类器、LBP分类器和HOG分类器，然后对训练组的同一张低空影像重复步骤2~步骤5，直到连续两次迭代结果中，误检率W下降不明显，即可进行步骤6。

步骤6  迭代训练结束。利用训练组中新的低空影像重复步骤2~步骤5，直到误检率W低于设定的结束条件阈值T，迭代训练结束。

经过以上处理，即可在迭代过程中逐步减低误检概率，最终得到识别准确率高、误检率低的分类器。

城镇中高楼大厦密集，道路上的车辆众多，受这些地物遮挡影响，人行横道线自动识别的漏检概率大幅提高。为了尽可能地减少遮挡的不利影响，本文提出了对多角度识别结果进行合并以降低识别漏检率的方法。

如图 2所示，编号为1、2、6的人行横道受到楼房和车辆的遮挡，在图 2(a)中被漏检了，但是在同一地区不同角度的影像图 2(b)中可被正确检测出。为了降低漏检率，本文将同一地区不同角度的低空影像的识别结果进行合并。识别结果合并方法为：根据该地区所有影像的空三结果(空三结果由数字摄影测量网格系统^[8](Digital Photogrammetry Grid，DPGrid)的无人机影像处理模块^[9]计算得到)，计算出全部横道线的空间坐标。利用横道线地理信息，将它们合并到同一坐标系下，从而得到该地区的人行横道线分布图。该方法虽然能够部分排除地物遮挡的不利影响，但是不可避免地会使误识别结果累加，如图 2(b)中编号为3、4、5的误检区域就会通过合并操作被引入人行横道线分布图中。

Figure 2.  Interference to Detection Causing by Occlusions and Camera Angles

大部分楼面或者屋顶的误识别区域可以通过计算它们与地面的高程差异排除。然而对于处在地面上的误识别区域的排除有待进一步研究。对于位于地面上的误识别区域，本文仅提出了一种简单的后期处理方法，依据该地区已知的道路网分布图，将其与人行横道线分布图套合，如图 3所示，带红色数字的区域不与道路网重叠，这些区域即为误识别区域。

Figure 3.  Merging Result of Road Network with Detection Results

这种后期处理方法有两点弊端：1)若该地区的道路网分布图不精确、或者未及时更新，那么会造成误剔除现象；2)若道路网图的绝对坐标未知或者低空影像的控制点坐标未知，就必须人工对两幅图进行套合。

本文应用422张正样本及1 173张负样本作为初始数据，经过3次迭代训练后误检率达到设定阈值T为12%，训练自动结束。整个过程中没有进行人工目视判读，最终负样本数目达到4 945个。该目标识别算法是借用OpenCV^[7]的人工智能库利用Visual C++编程实现。实验平台电脑CPU型号为Inter Core2 Quad 2.33 GHz，内存2 G，操作系统是Windows 7。当给训练器分配1 024 MB内存时，迭代训练过程约耗时28 h。训练过程虽然耗时，但训练工作是一次性的。分类器训练好后，在上述实验平台上的识别速度依据每张影像的大小(约6 048×4 032像素)和所含目标数目的多少而不同，一般情况耗时5 s~15 s不等。基于错误式学习的分类器和普通分类器对同一张影像的识别速度无差别。

为了测试基于Haar-like特征的分类器的鲁棒性，本文以无人机为数据获取平台，选择了不同相机在不同时间、不同高度、不同地点拍摄的3张影像进行了对比实验。实验中严格分隔了训练组和实验组的数据。

图 4是鲁棒性测试实验中较有代表性的3张实验组数据。数据的相机参数以及影像参数如表 1所示，由于实验目的是鲁棒性验证，所以未对第2组数据受到大气质量不利影响的影像做增强处理，从而保持影像质量的多样性，增加实验复杂度。

Figure 4.  Detecting Results of the Hierarchical Learning Classifier

图 4是利用基于错误式学习的分类器对上述3张实验组数据进行识别的结果，深蓝色的矩形是分类器识别出的低空影像人行横道线区域。

鲁棒性实验证实了地域的差异对识别正确率的影响并不明显。对于拍摄时间、地点、高度、影像质量、拍摄相机完全不同的异源影像也能进行相同地物的检测。对第2组存在质量问题的影像做了增强。对增强前后的结果对比后发现，影像增强后识别效果会改善，但并不显著。这一结果说明了该算法对影像质量并不敏感，从而进一步验证了鲁棒性。

为了清晰地看出识别效果，图 5是截取后放大的基于错误式学习的分类器对各类型路口布设的人行横道线的识别结果。可以看出，即使存在人行横道掉漆、阴影遮挡、人行横道线的长度和角度差异的情况，基于错误式学习的分类器也能有效地识别出低空影像中的各类人行横道线。

Figure 5.  Detection of Diverse Pedestrian Crossing

如图 6所示，基于错误式学习的分类器依然会受到大楼侧面、停车场网状线、条形房顶的纹理等这类和人行横道线纹理的相似程度非常高的地物的影响。基于错误式学习的分类器无法完全避免误识别，但能够显著减少误检率，其通常能将误检率从60%左右降低到10%以下。据本文§2将人行横道线分布图和该地区已知的道路网分布图套合的后期处理方法，也可以剔除这些位于非道路上的误识别区域。

Figure 6.  Wrong Results of Detection

图 7为在训练参数设置相同的情况下，错误式学习的分类器与未经过错误式学习的分类器对同张影像的识别结果图的局部截图。

Figure 7.  Hierarchical Learning Classifier Detecting Result of Taiwan Province

可以直观地看出普通分类器的识别结果存在大量的误识别区域。为了更加客观地评价分类器的性能指标，本文利用识别准确率、漏检率和误检率3个指标来进行评估，3个指标的计算式为：

式中，A为识别准确率；M为漏检率；W为误检率；N_Sum指识别结果的总数；N_Wrong是错误识别的个数；N_Miss是漏检的个数。

本文从实验组中随机选取了10张中国台湾省低空影像，通过对比实验分析基于错误式学习的分类器与一般分类器相比在性能上的差异。依据实验结果，针对两类分类器分别做出3项性能的对比图，如图 8所示。图 8中红色线代表未经过错误式学习的分类器的结果，蓝色线代表经过错误式学习的分类器的识别结果。

Figure 8.  Contrast in Quality of Detecting Between Hierarchical Learning Classifier and General Classifier

从图 8可以清晰地看出，错误式学习分类器的性能不论是在漏检率、误检率还是准确率方面都高于普通的未经过错误式学习的分类器，且在降低误检率方面有着明显优势。如统计图 8(c)，在相同条件下，错误式学习分类器能将误检率从60%左右降低到10%以下，且效果稳定。

为了评价本文提出的算法的性能，从识别漏检率、准确率、误检率、耗时几个方面，将本文的方法与Herumurti等^[3]提出算法以及Sichelschmidt等^[1]提出识别方法进行了对比。低空影像实验数据是中国武汉市光谷地区的10张存在重叠度的低空影像，地面影像识别算法所用数据是利用移动测图系统拍摄的该地区的4 300张地面影像。低空影像大小为8 162×5 986像素，地面影像大小为1 600×1 200像素。横道线识别结果的正误通过人工目视判读。表 2是这3种方法识别结果。

从表 2中可以看出，基于地面影像的识别方法虽然有较好的识别准确率以及较低的漏检率和误检率，但是由于目标区域地域面积大，致使数据量巨大，这导致了计算耗时大为增加。针对低空影像的圆形模版SURF算法，其识别耗时是本文方法的一倍多，准确率也没有本文提出的方法高。不过该方法在降低识别误检率方面有着较好的效果，但是这种保证低误检率的策略间接导致了该算法的漏检率大幅度上升。未迭代分类器在训练耗时上明显少于基于错误式学习的迭代分类器，在识别耗时上和迭代分类器无区别。但是，该方法误检率过高，无法实际使用。本文提出的基于错误式学习的分类器方法则在漏检率、误检率、准确率和识别耗时上都有着较好的表现。该算法对于分类器的训练是一次性的，即一旦训练出了基于错误式学习的分类器，无需重复该工作即可直接利用训练好的分类器对低空影像进行自动目标识别。

本文提出一种基于错误式学习的分类器低空影像人行横道自动识别方法，该方法能够处理传统航拍及无人机获取的低空影像，利用错误式学习理论训练出用于识别低空影像人行横道线的分类器；并对多角度影像的初始识别结果进行融合，从而排除城区地物遮挡人行横道线的影响。通过对比实验证实了本文方法有着较好的综合性能，在不降低识别耗时的前提下，具备高准确率、低漏检率和低误识别率的特点。

进一步的研究是将MMS数据中检测出的人行横道线和低空检测结果通过空地数据集成手段^[10]进行集成，这样不仅可以获得更精确、全面的检测结果，进一步降低误检率和漏检率；还可利用近景影像细节丰富的优势，对人行横道线的污损状态进行监测，从而提供便捷的交通设施监管、分析手段，提高交通安全性。