留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用人体部位特征重要性进行行人再识别

章登义 王骞 朱波 武小平 曹瑀 蔡波

章登义, 王骞, 朱波, 武小平, 曹瑀, 蔡波. 利用人体部位特征重要性进行行人再识别[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551
引用本文: 章登义, 王骞, 朱波, 武小平, 曹瑀, 蔡波. 利用人体部位特征重要性进行行人再识别[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551
ZHANG Dengyi, WANG Qian, ZHU Bo, WU Xiaoping, CAO Yu, CAI Bo. Person Re-identification Based on Part Feature Importance[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551
Citation: ZHANG Dengyi, WANG Qian, ZHU Bo, WU Xiaoping, CAO Yu, CAI Bo. Person Re-identification Based on Part Feature Importance[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551

利用人体部位特征重要性进行行人再识别

doi: 10.13203/j.whugis20150551
基金项目: 

湖北省科技支撑计划 2014BAA149

详细信息
    作者简介:

    章登义, 教授, 主要从事模式识别、计算机视觉等理论与方法研究。dyzhangwhu@163.com

    通讯作者: 王骞, 博士生。wq1984a@qq.com
  • 中图分类号: P237.4;P208

Person Re-identification Based on Part Feature Importance

Funds: 

Scientific and Technological Project in Hubei Province 2014BAA149

More Information
    Corresponding author: WANG Qian, PhD candidate. E-mail: wq1984a@qq.com
图(4) / 表(3)
计量
  • 文章访问数:  1319
  • HTML全文浏览量:  38
  • PDF下载量:  404
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-04-30
  • 刊出日期:  2017-01-05

利用人体部位特征重要性进行行人再识别

doi: 10.13203/j.whugis20150551
    基金项目:

    湖北省科技支撑计划 2014BAA149

    作者简介:

    章登义, 教授, 主要从事模式识别、计算机视觉等理论与方法研究。dyzhangwhu@163.com

    通讯作者: 王骞, 博士生。wq1984a@qq.com
  • 中图分类号: P237.4;P208

摘要: 提出了一种基于人体部位特征重要性的行人再识别算法,该算法首先提取人体各部位的颜色、纹理以及形状等特征,然后对多个行人样本的每个部位分别进行聚类分析,使用误差积累的方法为每个分类计算一种更适合该分类的部位特征重要性权值向量,使得不同类型特征能更有效地应用在其适合的外观上。在公共数据集VIPeR上进行了实验,通过积累匹配特性(cumulative matching characteristic,CMC)曲线对实验结果进行评价,结果表明,该算法具有较高的再识别率,且对行人视角转换、光照变化、环境嘈杂和物体遮挡有较好的鲁棒性。

English Abstract

章登义, 王骞, 朱波, 武小平, 曹瑀, 蔡波. 利用人体部位特征重要性进行行人再识别[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551
引用本文: 章登义, 王骞, 朱波, 武小平, 曹瑀, 蔡波. 利用人体部位特征重要性进行行人再识别[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551
ZHANG Dengyi, WANG Qian, ZHU Bo, WU Xiaoping, CAO Yu, CAI Bo. Person Re-identification Based on Part Feature Importance[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551
Citation: ZHANG Dengyi, WANG Qian, ZHU Bo, WU Xiaoping, CAO Yu, CAI Bo. Person Re-identification Based on Part Feature Importance[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 84-90. doi: 10.13203/j.whugis20150551
  • 在视频监控系统中,行人再识别技术已成为研究的热点与难点问题,因为不同的摄像机画面中行人的视角、姿态、光照、背景、遮挡以及分辨率等因素都不相同,导致同一行人在不同摄像机画面中外观差异较大,而不同行人在同一摄像机中可能外观相似,这使得在不同的摄像机画面中识别同一行人非常困难。目前解决行人再识别问题主要通过特征描述法[1-6],寻找更合适的特征来应对视角、姿势、光照、背景、遮挡以及分辨率等因素的变化。

    特征描述法首先对行人进行特征提取,然后利用距离函数计算特征向量间的距离,通过特征间的距离来描述行人间的相似程度。文献[1]提出的局部特征对称性驱动积累(symmetry-driven accumulation of local features,SDALF)方法主要分为3个阶段:首先,通过金属成分分析模型(stel component analysis,STEL)将行人从背景中提取出来,利用基于对称性的轮廓分割方法将人体在垂直方向上分成头、上半身和下半身,在水平方向将上半身和下半身分别划分成左右两部分;然后提取权重颜色直方图(weighted color histogram,WCH)、最大稳定颜色区域(maximally stable color regions,MSCR[7])和重复高结构块(recurrent high-structured patches,RHSP)特征;最后,在进行距离计算时使用这3种特征的巴氏距离加权求和。文献[3]提出了自定义图案结构(custom pictorial structures,CPS)方法,该方法首先利用图案结构(pictorial structures,PS)模型[8]将行人图像中人体的各个部位分割出来,然后提取各部位颜色直方图和MSCR特征,最后进行距离计算时同样使用巴氏距离计算这两种特征的距离并对其加权求和。文献[4]提出了费舍尔向量编码的局部描述(local descriptors encoded by Fisher vector,eLDFV)方法,该方法使用费舍尔向量对行人图像亮度和梯度信息进行编码作为特征,然后结合WCH和MSCR两种特征,在SDALF框架下进行距离计算。文献[9]提出了一种局部特征集(ensemble of the localized features, ELF)的行人再识别方法,选取分类效果较好的特征,按其分类效果赋予不同的权重,构成了ELF特征,通过ELF相似度函数来进行行人图像间的匹配。

    基于特征描述的行人再识别方法通常使用的是SDALF方法中提出的行人再识别框架,首先提取行人图像中人体部分所在区域,然后提取行人图像的多种特征,最后在计算距离时使用传统的距离函数对同类特征进行距离算法,再加权求和作为最终的距离。相比SDALF方法使用的STEL模型,CPS方法所用到的PS模型能更好地将人体部分从行人图像中分离出来,减小了背景和姿态对行人造成的影响。本文所提出的方法采用了SDALF方法提出的行人再识别框架,同时采用了PS模型对人体部位进行提取,不同的是本文方法考虑了人体各部位受视角和姿态因素影响各不相同,在计算距离时对各部位进行了部位重要性加权。此外,由于SDALF框架在进行距离计算时只是对各种特征进行经验性的加权,这样并不能很好地将各种特征应用到其适合的外观上。因此,本文提出的部位特征重要性(part feature importance,PFI)方法在此基础上进行了改进,为每种特征计算一种特征重要性,使得不同的特征可以更好地用于其适合的外观,更有效地区分不同的行人。

    • 特征重要性思想主要源于文献[10],本文提出的基于人体部位特征重要性的行人再识别方法流程如图 1所示。首先,利用PS模型[5]将行人图像中的人体分割成头、肩膀、躯干、左右上臂、左右下臂、左右大腿和左右小腿共11个部位,并统一方向和尺度;然后,分别对这11个部位提取颜色、纹理和形状等特征;接着,对各个部位进行聚类分析,将某一部位具有类似外观的行人聚成一类;接下来,通过一种误差积累的方法为每一类部位计算其特征重要性;最后,通过加权计算不同图像中行人相同部位的距离来进行行人再识别。

      图  1  基于人体部位特征重要性的行人再识别方法流程图

      Figure 1.  Flowchart of Person Re-identification Based on Part Feature Importance

    • 假设行人的身体是由部位的集合组成,人体的上半部分依赖于头、肩膀、躯干、左右手臂的上下部分7个不同的部位,人体的下半部分依赖于左右腿的上下部分4个不同的部位,一共是11个部位,如图 1(a)所示。

      本文通过PS模型将人体分割成11个部位,每个部位的方向以人体垂直站立且手脚与地面垂直时为标准0°,将人体部位方向和尺度统一到同一固定值。在进行行人再识别时,将部位角度旋转至该固定值,再将各部位缩放到该固定尺度,以此来进行部位图像标准化。各部位的标准化图像可描述为P=p1, p2, …, pN,其中N=11。

    • 描述颜色的最具代表性特征是颜色直方图。本文使用了红绿蓝(red, green, blue, RGB)、色调饱和度明度(hue, saturation, value, HSV)和亮度蓝色色度红色色度(luminance, blue chromaticity,red chromaticity, YCbCr)3种颜色空间,由于HSV和YCbCr具有共同的亮度通道。因此3种颜色空间构成8个颜色通道。,部位的颜色特征为Fcolor=[HR HG HB Hs HV HY HCb HCr],其中H*表示指定颜色通道的直方图。

    • 描述纹理最具代表性的特征为局部二值模式(local binary patterns,LBP[11]),该特征对局部旋转、光照变化有一定的鲁棒性。本文所使用的是8邻域半径为1的LBP8, 1特征。首先,将人体部位图像转换成灰度图像;然后,计算各像素点的LBP值;接着,将部位图像划分成16×16像素的子块,相邻块之间在水平或垂直方向上相隔4个像素;最后,对各子块进行LBP直方图统计,该直方图作为子块的LBP特征向量。因此,部位的LBP特征FLBP=[H1 H2HN],其中,Hn表示的是第n个子块的LBP特征向量。

    • 描述形状的最具代表性的特征为梯度方向直方图(histogram of oriented gradients,HOG)[12],该特征在边缘和局部形状检测方面效果较好。首先,将人体部位图像转换成灰度图像;然后,计算各像素点处的水平和垂直梯度,通过水平和垂直梯度计算像素点处的梯度大小和方向,用计算LBP特征的方法对图像进行分块,将每个16×16像素的子块沿水平和垂直中线划分成4个8×8像素的块;将梯度方向量化成9份,分别对4个块进行梯度方向直方图统计,将4个块的梯度方向直方图连接在一起构成子块的HOG特征向量。因此,部位的HOG特征FHOG=[H1 H2HN],其中,Hn表示的是第n个子块的HOG特征向量。

      F=[Fcolor FLBP FHOG]为部位特征向量,并对其进行归一化处理作为最终的部位特征向量F,如图 1(b)所示。

    • 本文算法旨在针对人体各部位不同外观,从众多特征中自动选取能更好地描述该外观的特征。这种描述是通过特征重要性权值来反映的。对于输入的m个未标记的行人图像{Ii|i=1, 2, …, m},进行人体部位提取后各部位的图像为Pi={p1i, p2i, …, pNi}。则第i幅图像的第n个部位的特征向量为:Xn, i=[xn, i1 xn, i2xn, idn]T,其中,dn为第n个部位的特征向量维度,xn, id为第i幅图像第n个部位的第d维特征值。

    • 利用K均值算法分别对人体的N个部位进行聚类分析,如图 1(c)所示。部位种类集合可以表示为K=k1, k2, …, kN,其中kn表示第n个部位的种类数。

      从所有行人图像第n个部位的特征向量集合{Xn, i|i=1, 2, …, m}中随机选取kn个向量作为聚类随机向量集合{Xn, uj},其中{uj|j=1, 2, …, kn}为kn个不重复的大于0且小于或等于m的随机数。通过式(1)计算第i幅行人图像第n个部位的类别:

      $$ {c_n}\left( {{\mathit{\boldsymbol{X}}_{n,i}}} \right) = \mathop {\arg \min }\limits_j {\left\| {{\mathit{\boldsymbol{X}}_{n,i}} - {\mathit{\boldsymbol{X}}_{n,{u_j}}}} \right\|^2} $$ (1)

      通过式(2)计算新的聚类中心:

      $$ {\mathit{\boldsymbol{X}}_{n,{u_j}}} = \frac{{\sum\nolimits_{i = 1}^m {l\left\{ {c_n^{\left( i \right)} = j} \right\}{\mathit{\boldsymbol{X}}_{n,i}}} }}{{\sum\nolimits_{i = 1}^m {l\left\{ {c_n^{\left( i \right)} = j} \right\}} }} $$ (2)

      通过式(1)和式(2)的迭代,当Xn, uj变化向量的模小于某一极小值Δ或迭代次数超过某一极大值T时停止迭代。

    • 设人体各部位特征重要性权值向量集合为W={W1, W2, …, WN},则第n个部位的权值向量组Wn=[Wn1 Wn2Wnkn]T,其中Wnk表示当Xn, i分类为k时其特征向量的权值向量。使用式(3)计算Wnk的第d维特征值的重要性权值:

      $$ W_n^{k,d} = \sum\limits_{i = 1}^m {\delta _{n,i}^{k,d}} $$ (3)

      其中,

      $$ \delta _{n, i}^{k, d} = \left\{ \begin{array}{l} 1, {c_n}\left( {{x_{n, i}}} \right) \ne {c_n}\left( {{x_{n, i}} + E_n^d} \right)\\ 0, {c_n}\left( {{x_{n, i}}} \right) = {c_n}\left( {{x_{n, i}} + E_n^d} \right) \end{array} \right. $$

      End为第d维特征值上引入的随机误差。引入误差后导致的错误越多说明该特征值影响越大,权值就越大。最后对Wnk进行归一化处理, 如图 1(d)所示。

      使用式(4)计算第i幅图像第n个部位的第d维重要性特征值:

      $$ y_{n,i}^d = W_n^{{c_n}\left( {{\mathit{\boldsymbol{X}}_{n,i}}} \right),d} \times x_{n,i}^d $$ (4)

      则第i幅图像的第n个部位的重要性特征向量为:

      $$ D_n^{i,j} = {\rm{dist}}\left( {\mathit{\boldsymbol{Y}}_{n,i}},{\mathit{\boldsymbol{Y}_{n,j}}} \right) $$
    • 设行人图像IiIj的第n个部位的重要性特征向量分别为Yn, iYn, j,则根据式(5)计算Yn, iYn, j之间的距离:

      $$ D_n^{i,j} = {\rm{dist}}\left( {{\mathit{\boldsymbol{Y}}_{n,i}},{\mathit{\boldsymbol{Y}}_{n,j}}} \right) $$ (5)

      式中,dist (*, *)为距离度量函数,本文采用的是巴氏距离度量函数。

      PS模型将人体固定分割为11个部位,由于人体部位分割的过程中存在遮挡、阴影或光照等条件的影响,可能会将遮挡物或背景中的某一部分割分成人体的某一部位。同时,不同部位在行人图像中所占的面积、姿态均不相同,从而造成各部位对行人再识别的影响也不同。本文引入了人体部位权值Vn。通过式(6)计算行人图像IiIj之间的最终距离:

      $$ {D^{i,j}} = \sum\limits_{n = 1}^N {\left( {{V_n} \times D_n^{i,j}} \right)} $$ (6)

      式中,权值Vn根据对各部位进行行人再识别的结果而定。图像IiIj最终的距离越小说明图像IiIj越相似。

    • 本文全部实验均在MATLAB R2015b平台上采用公开行人再识别数据集VIPeR[13]完成,具体软件硬件环境如表 1所示。

      表 1  软件硬件环境参数表

      Table 1.  Parameters of the Software and Hardware

      环境参数 说明
      CPU Intel XeonTM E5-2670v2八核处理器
      内存 32G RECC DDR3
      操作系统 Windows 10
      实验平台 MATLAB R2015b

      为了与其他文献进行比较,本文实验过程与文献[1]一致。在行人再识别实验中通常将一组行人的多帧图像分成两组,一组为测试集A,另一组为候选集B,每个行人在这两组数据集中都存在。将测试集A中的每个行人作为再识别目标与候选集B中的行人进行距离匹配。这样,在候选集B中的每一个图像将获得一个距离排名表,如果排名表中排在第1的刚好是B中的这个人,则再识别完全正确。

      目前最常用的评价行人再识别率的方法是积累匹配特性(cumulative matching characteristic,CMC)曲线。CMC曲线的横坐标x表示B中图像所对应行人在A中正确匹配的排名序号,当x为1时CMC曲线表示的是完全匹配的图像数量百分比,CMC曲线纵坐标y表示B中行人排名序号小于或等于x的行人数量百分比,即:

      $$ {\rm{CMC}}\left( X \right) = \frac{{B中排名序号小于或等于x的图像数量}}{{B中图像总数量}} \;\;\;\;\;\;\;\;\;\; \times 100 $$

      曲线下面积(area under curve,AUC)也是衡量再识别算法整体效果的一个重要指标。本文实验中AUC为CMC曲线与x轴围成的面积,nAUC为CMC曲线与x轴围成的面积平均值,可作为行人再识别率的一个综合评价指标。

    • 将数据集VIPeR中的每个行人的图像对随机分配到AB两组,每组632帧图像,其中B作为候选集,A作为测试集。实验时随机选取316个行人在AB中的图像来进行实验。首先利用PS算法将AB中的行人图像的人体分割成11个部位,此时可以得到各部位的坐标、角度与尺度。然后对角度与尺度进行标准化,将每个部位旋转到0°,尺度标准为头部20×20像素,躯干40×40像素,肩膀10×40像素,上下手臂和大小腿均为20×15像素。然后对AB中的行人各部位进行聚类分析,各部位聚类类别K分别为:头部为5类,肩膀和躯干为20类,左右上臂和左右大腿为15类,左右下臂和左右小腿为10类。聚类迭代次数T为经验值10次,迭代变化向量的模最小值Δ为0.01。接着利用式(3)计算人体各部位特征重要性权值,其中在第d维特征值引入的随机误差E在区域[-0.5, 05]上均匀分布。最后将A中的所有图像与B中的进行距离匹配,利用式(6)计算两帧图像的距离,并对距离进行排序,统计CMC曲线。如此重复进行10次,将10次的结果取平均值后计算最终的CMC曲线即为实验结果。

    • 由于行人在运动过程中各部位的大小、外观、姿态各不相同,受环境中的遮挡、阴影以及光照条件的影响也各不相同,因此,在对行人图像进行部位分割时,不同部位分割的准确度也会受到一定影响。本文利用式(5)对行人的每个部位独立进行行人再识别实验,根据实验的效果获得人体部位权重集合V={V1, V2, …, VN}。

      $$ {V_n} = \frac{1}{{316}}\sum\limits_{i = 1}^{316} {{\rm{CMC}}\left( i \right)} $$ (7)

      其中,Vn为第n个部位CMC曲线与x轴围成的面积平均值,即该部位的行人平均再识别率。实验效果如图 2所示。

      图  2  各部位PFI算法的识别效果比较

      Figure 2.  Performance of PFI at All Parts

      各部位中,由于躯干在行人图像中所占面积较大,不易被遮挡,同时躯干在行人行走过程中随姿态变化不大,因此躯干的再识别效果最好,排名前20名的图片数量占总图片数量的71.13%,平均再识别率为58.70%,其次是上臂和大腿。由于下臂最容易受到遮挡且受姿态影响较大,其识别率是最低的。由于不同行人头部特征区分并不大,从表 2中可以看出,头部用于行人再识别效果并不明显。表 2中,nAUC列为各部位的行人平均再识别率,将其进行归一化处理后构成了式(6)中各部位的权重集合V

      表 2  各部位PFI算法的行人再识别结果

      Table 2.  Results of PFI at All Parts

      方法 排名1 排名5 排名10 排名20 nAUC
      全身 25.51 51.56 66.32 76.98 65.30
      躯干 21.01 43.16 59.15 71.13 58.70
      肩膀 19.61 38.77 51.34 64.02 52.31
      大腿 18.15 38.80 52.86 65.99 53.52
      上臂 15.08 38.88 56.08 68.26 55.29
      小腿 8.17 32.19 44.87 61.40 47.16
      6.27 28.60 43.27 58.05 44.37
      下臂 4.28 22.43 36.33 46.72 36.00
    • 实验中所取的对比算法数据均来自算法的出处文献,实验方法与文献[1]保持一致。对比实验效果如图 3所示,PFI算法CMC值比eLDFV和CPS算法略高,但明显高于SDALF和ELF算法。实验结果如表 3所示,本文所提出的PFI算法排名第1的图像数量比效果较好的eLDFV和CPS算法仅高出约3个百分点,比SDALF算法高出5.64%,比ELF算法高出超过10%。排名在前20的图像数量比eLDFV、CPS和SDALF算法高出超过5个百分点,比效果最差的ELF算法高出将近20个百分点。总体来说,在VIPeR数据集上PFI算法的行人再识别效果高于其他行人再识别算法。

      图  3  PFI算法与其他行人再识别算法比较

      Figure 3.  PFI Compare with Other Methods

      表 3  PFI算法和其他行人再识别算法比较结果

      Table 3.  Results of PFI and Other Methods

      方法 排名1 排名5 排名10 排名20 nAUC
      eLDFV[4] 22.34 47.00 60.04 71.00 59.69
      CPS[3] 21.84 44.00 57.21 71.00 58.29
      SDALF[1] 19.87 38.89 49.37 65.73 52.54
      ELF[9] 12.00 31.00 41.00 58.00 44.57
      PFI 25.51 51.56 66.32 76.98 65.30
    • 首先提取测试集和候选集中行人图像中的人体部位,然后提取各部位的颜色、纹理和形状特征,接着计算部位特征重要性权值,接下来计算部位重要性权值,最后计算测试集中每一个行人图像与候选集中所有图像之间的距离,并对距离从小到大进行排序,效果如图 4所示。其中,红色方框表示候选集中与待测行人匹配的行人。

      图  4  PFI算法的再识别效果演示

      Figure 4.  Demonstration of PFI Algorithm

    • 本文提出了一种基于人体部位特征重要性的行人再识别算法。首先, 将行人图像中的人体分割成11个部位,并对各部位图像进行标准化处理;然后,提取这11个部位的颜色、纹理和形状特征;接着,对各个部位的图像进行聚类分析,将每一部位的图像集合划分成几类,每一类中的图像具有相似的外观特征;最后,通过误差积累的方法获取每一类的特征重要性权值向量,利用特征重要性权值向量计算同一部位图像间的距离,并在公共数据集上进行行人再识别实验。实验结果表明,本文算法可以在视频监控系统中进行再识别率较高的行人再识别,且对行人视角转换、光照变化、环境嘈杂和物体遮挡有一定的鲁棒性。寻找更适合于特定外观的特征将是后续研究的重点。

参考文献 (13)

目录

    /

    返回文章
    返回