留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用超像素级上下文特征进行靠岸集装箱船检测

祝胜男 郭炜炜 柳彬 张增辉 郁文贤

祝胜男, 郭炜炜, 柳彬, 张增辉, 郁文贤. 利用超像素级上下文特征进行靠岸集装箱船检测[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129
引用本文: 祝胜男, 郭炜炜, 柳彬, 张增辉, 郁文贤. 利用超像素级上下文特征进行靠岸集装箱船检测[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129
ZHU Shengnan, GUO Weiwei, LIU Bin, ZHANG Zenghui, YU Wenxian. Detection Containers Based on Superpixel-Level Contextual Feature[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129
Citation: ZHU Shengnan, GUO Weiwei, LIU Bin, ZHANG Zenghui, YU Wenxian. Detection Containers Based on Superpixel-Level Contextual Feature[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129

利用超像素级上下文特征进行靠岸集装箱船检测

doi: 10.13203/j.whugis20170129
基金项目: 

国家自然科学基金重点项目 61331015

中国博士后科学基金 2015M581618

详细信息

Detection Containers Based on Superpixel-Level Contextual Feature

Funds: 

the National Natural Science Foundation of China 61331015

the China Postdoctoral Science Foundation 2015M581618

More Information
    Author Bio:

    ZHU Shengnan, postgraduate, specializes in target detection and recognition in optical imagery. E-mail:zsnyjj@sjtu.edu.cn

    Corresponding author: LIU Bin, PhD. E-mail: bliu.rsti@sjtu.edu.cn
图(13) / 表(2)
计量
  • 文章访问数:  1033
  • HTML全文浏览量:  101
  • PDF下载量:  153
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-07-21
  • 刊出日期:  2019-04-05

利用超像素级上下文特征进行靠岸集装箱船检测

doi: 10.13203/j.whugis20170129
    基金项目:

    国家自然科学基金重点项目 61331015

    中国博士后科学基金 2015M581618

    作者简介:

    祝胜男, 硕士生, 主要从事光学遥感图像目标检测识别研究。zsnyjj@sjtu.edu.cn

    通讯作者: 柳彬, 博士。bliu.rsti@sjtu.edu.cn
  • 中图分类号: P237

摘要: 高分辨率光学遥感影像中靠岸集装箱船受到岸边建筑、阴影和背景环境的干扰严重,且其船身模式与相邻陆地上集装箱非常相似,较难实现自动化检测。针对这一难题,提出了一种利用超像素级上下文特征进行靠岸集装箱船检测的方法。首先,对图像进行过分割生成超像素,在超像素区域提取颜色、纹理特征并级联邻域超像素特征形成超像素级上下文特征;然后,将目标超像素作为正样本,并自适应地选择较难区分的背景超像素作为负样本来训练分类器,实现对目标、背景超像素的分类;最后,利用全连接条件随机场对分类结果优化,实现对靠岸集装箱船的检测。实验结果表明,该方法能够较为可靠地检测靠岸集装箱船,具有一定的应用前景。

English Abstract

祝胜男, 郭炜炜, 柳彬, 张增辉, 郁文贤. 利用超像素级上下文特征进行靠岸集装箱船检测[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129
引用本文: 祝胜男, 郭炜炜, 柳彬, 张增辉, 郁文贤. 利用超像素级上下文特征进行靠岸集装箱船检测[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129
ZHU Shengnan, GUO Weiwei, LIU Bin, ZHANG Zenghui, YU Wenxian. Detection Containers Based on Superpixel-Level Contextual Feature[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129
Citation: ZHU Shengnan, GUO Weiwei, LIU Bin, ZHANG Zenghui, YU Wenxian. Detection Containers Based on Superpixel-Level Contextual Feature[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 578-585. doi: 10.13203/j.whugis20170129
  • 集装箱船是全球航运的主要方式,在大尺度、高动态、高分辨率的遥感影像中进行集装箱船的提取对于海上交通和港口监视有重要意义。集装箱船大都停靠在繁忙的民用港口,形式多样、姿态各异,表现在细节丰富的高分辨光学遥感图像中,与简单海面背景上稀疏分布的舰船(图 1(a))相比,检测难度极大增加(图 1(b))。这一方面是因为集装箱船与陆地连接紧密,且船身颜色、纹理模式与岸边的集装箱、建筑等结构非常相似;另一方面由集装箱船实际应用情况决定,靠岸集装箱船船头、船身极易受到装卸桥等结构的干扰。上述原因使得这种复杂背景干扰下的靠岸集装箱船检测挑战巨大,较难实现自动化。

    图  1  简单背景上稀疏分布的舰船与港口的集装箱船的对比

    Figure 1.  Comparison of Ships on a Simple Background and Containers in a Civil Harbor Under Severe Interference

    目前靠岸舰船检测的研究热点大都集中在军用舰船上。一种是基于目标轮廓的方法,如蒋李兵等[1]用可变夹角链码来描述舰船轮廓形状, 并通过匹配待检测区域轮廓与轮廓模板以实现舰船的检测;Xu等[2]采用改进的广义霍夫变换来描述舰船轮廓。这类方法需要较好地提取舰船的轮廓,极易受到陆地、阴影和装卸桥等因素的干扰,对复杂背景干扰下的靠岸集装箱船的检测效果并不理想。另一种是基于船头的方法,如Liu等[3]注意到军用舰船往往具有比较明显的尖形船头,提出了基于这种船头局部区域特征的舰船检测方法,先采用抛物线拟合船头,然后结合分析舰船停靠的先验信息利用区域生长的方法来确定舰船的位置。此方法较好地利用了目标的局部特征,但是集装箱船船头形式较为多样,并且船头也会受到装卸桥等额外结构的干扰,有一定局限性。

    以上传统方法主要集中于利用几何特征,而本文提出了一种基于超像素级上下文特征进行靠岸集装箱船检测的方法。通过超像素分割,利用目标的轮廓信息,在超像素基础上提取颜色、纹理特征,能够较完整地利用目标整体的模式;并且考虑到陆地上集装箱、建筑等结构的干扰,融入超像素级上下文特征[4]以进一步增加特征的区分能力。在特征构建的基础上,设计合适的目标超像素与背景超像素的分类方法[5]。考虑到目标在遥感影像中的稀疏分布,目标超像素的数量与背景超像素的数量存在不平衡问题,本文利用主动学习支持向量机[6](support vector machine, SVM)原理实现困难负样本挖掘,通过挑选有代表性的负样本用于分类器训练以提高分类和检测性能。并利用全连接条件随机场[7](fully-connected conditional random field, CRF)对超像素空间关系进行建模,通过CRF能量函数的优化实现分类结果的优化,进一步提升检测性能。

    • 本文的集装箱船检测方法流程如图 2所示。首先,采用简单线性迭代聚类[8](simple linear iterative clustering,SLIC)法生成超像素。由于船身超像素与陆地集装箱超像素在颜色、纹理等特征上非常相似,主要差别在于所处的背景环境不同,需要利用上下文信息进行区分,因此本文设计了一种具有较强区分性的超像素级上下文特征。然后,利用线性SVM[9]对超像素进行分类,分成目标超像素和背景超像素;最后,利用全连接CRF对超像素空间关系进行建模,通过最小化CRF能量函数对SVM分类结果进行优化[7],最终完成靠岸集装箱船的检测。为了更好地训练SVM以进行超像素分类,本文还利用主动学习SVM[6]进行困难负样本挖掘,提升分类器性能。

      图  2  基于超像素级上下文特征的复杂背景干扰下集装箱船检测方法流程

      Figure 2.  Flowchart of the Detector for Container Ships on Complex Backgrounds Using Superpixel-Level Contextual Features

    • 超像素利用像素之间特征的相似程度将图像过分割成一系列具有一定一致性特征的子区域。超像素在生成过程中融入目标的轮廓信息,能够比单个像素融入更多的上下文信息,也能够显著降低后续图像分析任务的复杂度[10]。本文首先将图像进行超像素分割,在此基础上设计了一种超像素级的上下文特征,并且通过SVM将超像素分成目标超像素和背景超像素。目前已有较多流行的超像素生成方法,包括Mean Shift[11]、Turbopixels[12]、SEEDS[13](superpixels extracted via energy-driven sampling)等。与其他方法相比,SLIC生成方法[8]简单、高效,内存占用小,分割结果紧凑性好,能够生成近似均匀的超像素,并且能够较好地保留目标轮廓。如图 3所示,本文通过SLIC生成的超像素能够较好地收敛到集装箱船的轮廓,将船与背景分割开来,且均匀的超像素有利于上下文特征的提取。

      图  3  光学图像与SLIC超像素生成对比图

      Figure 3.  Optical Image and Its Corresponding Superpixel Generation Result

      要通过分类器对超像素进行有效分类,关键是要使用合适的特征来表示超像素,目前描述超像素的特征有颜色特征、形态学特征、纹理特征等[14]。属于水域背景的超像素与属于船体的超像素在颜色上差异明显,较好区分。区分属于船体的超像素与属于陆地区域的超像素则较为困难。观察发现,两者的上下文背景信息有明显区别。例如,属于船体的超像素大部分被水域超像素包围,与陆地集装箱超像素明显不同,因此本文利用超像素级上下文特征[4]进行超像素分类。

      图 4所示,当且仅当超像素Si中的像素与超像素Sj中的像素四邻域相连时,我们定义SiSj相邻。对于Si,超像素本身提取的特征用Fi0表示。与Si直接相邻的超像素称为第一级邻域超像素,本文将邻域超像素作为一个整体,提取特征作为第一级邻域特征,记为Fi1。与第一级邻域超像素相邻的超像素(除Si本身以外)称为第二级邻域超像素,用Fi2表示,以此类推。最后,如图 4所示,将超像素本身特征及其多级的邻域超像素特征级联作为超像素Si的上下文特征Fi,即:

      $$ {\mathit{\boldsymbol{F}}_i} = {\left[ {\begin{array}{*{20}{c}} {{{\left( {\mathit{\boldsymbol{F}}_i^0} \right)}^{\rm{T}}}}&{{{\left( {\mathit{\boldsymbol{F}}_i^1} \right)}^{\rm{T}}}}& \ldots &{{{\left( {\mathit{\boldsymbol{F}}_i^K} \right)}^{\rm{T}}}} \end{array}} \right]^{\rm{T}}} $$ (1)

      图  4  超像素级上下文特征示意图

      Figure 4.  Superpixel-Level Contextual Features

      式中,K表示到第K级邻域;上标T表示转置。实验表明,过多级的上下文邻域特征并不能提高分类性能,反而会降低特征的区分能力,这是因为当邻域级数越高时,相邻超像素会引入更多相似的上下文特征,这些相似上下文特征居于主导地位会显著降低特征的区分性。

      本文提取的超像素特征包括:

      1) 颜色矩特征[15]。颜色矩简单有效,集装箱船区域具有显著的颜色模式,抽取了超像素在RGB通道的颜色一阶矩、二阶矩、三阶矩。另外,由于在同一个超像素内像素点间的颜色差别相对较小以及光照条件的影响,又抽取了HSV(hue-saturation-value)、LAB通道[16]的颜色一阶矩、二阶矩、三阶矩作为特征,即27维颜色矩特征。

      2) 颜色直方图特征[17]。该特征提供颜色分布信息,由于集装箱船比非船区域颜色更为鲜艳亮丽,而HSV空间能够直观地表达色彩的色调、深浅、明暗的程度,因此提取HSV每个通道的64-bin直方图,形成192维颜色直方图特征。

      3) LBP[18](local binary pattern)直方图特征。该特征用于描述纹理特征。由于船身密集紧凑,陆地与水域更为平坦,本文在原始图像对应的灰度图上抽取LBP特征,并计算每个超像素LBP值的32-bin直方图,即32维纹理特征。

      上述3种特征通过级联形成一个超像素的特征描述,多级超像素特征通过级联形成最终的超像素级上下文特征描述。

    • 在提取超像素级上下文特征的基础上,本文采用线性SVM对超像素分类,分成目标超像素和背景超像素两类。

      为了训练SVM超像素分类器,需要构建训练数据集。由于船身受到额外结构及阴影干扰,超像素分割不一定完全收敛于船的轮廓,即存在超像素中既包含目标像素也包含背景像素的情况。为此,将超像素Si的超面积,即超像素中包含的像素的个数记为A(Si),与标注的船体区域RGT做比较,如图 5所示,记超像素中目标面积为A(SiRGT)。若A(SiRGT) / A(Si) > 0.8,则为目标超像素,反之,则为背景超像素。

      图  5  人工标注示意图

      Figure 5.  Manual Annotation

      由于目标在遥感影像中是稀疏分布的,导致目标超像素个数远小于背景超像素。若使用全部背景超像素作为负样本将导致训练样本不均衡,影响分类器的训练效果,因此需要选取具有代表性的负样本。一种获得方法是通过人工标注,但效率低并且主观性太强。本文采用基于主动学习SVM的方式选取负样本。如图 6所示,首先将全部目标超像素作为正样本,随机选取一定数量的背景超像素作为负样本构造初始训练样本集L,记未参与训练的背景超像素为集合U。利用L训练一个SVM分类器,然后利用该分类器对U进行分类,并将U中错分为目标的超像素作为负样本加入到训练集中重新训练,更新UL,直到分类准确率变化小于0.5%时停止。该方法能大幅减少人工标注耗费的人力和时间代价,同时提升了分类器的分类准确率和推广能力[6, 19]

      图  6  主动学习选择负样本流程图

      Figure 6.  Flowchart of the Classifier Chooses Negative Samples Automatically Based on the Active SVM

    • 经过SVM分类,陆地上仍然会存在部分孤立的错分超像素,而船体超像素一般聚集在一起。因此本文利用全连接CRF对超像素的空间关系进行建模[7],进一步优化分类结果。

      全连接CRF模型中,Gibbs能量函数[7]为:

      $$ E\left( x \right) = \sum\limits_i {} {\mathit{\Psi} _u}({x_i}) + \sum\limits_{i < j} {} \mathit{\Psi} p\left( {{x_i}, {x_j}} \right) $$ (2)

      式中,Ψu(xi)表示超像素i属于类别xi的孤立势能;Ψp(xi, xj)表示超像素ij同时属于类别xixj的二元势能。通过Mean-field均场近似推理方法来最小化CRF能量函数,获得最终超像素的分类结果[7]

      本文孤立势能由SVM分类器的概率输出获得,二元势能Ψp(xi, xj)对超像素的空间关系进行建模使得具有相似性质的超像素能够分配相同的类别。图 7(a)为SVM分类结果,红色标注为分类器判定为目标的超像素。图 7(b)为优化后的结果,考虑超像素对的空间位置以及特征相似程度,达到填补空洞,去除孤立超像素的效果,使分类结果更加精确。

      图  7  全连接CRF优化前后对比图

      Figure 7.  Comparison Between Classification Results Without and with Refinement Using the Fully Connected CRF

    • 本文在Google Earth上选取了600幅包含靠岸集装箱船目标的图片,将训练集的图片裁剪为固定尺寸500×500像素,测试集图片尺寸不限定,图像分辨率平均在1 m左右。图片中目标大多停靠在岸边,船身与陆地上堆放的集装箱在颜色及纹理等方面极为相似,并且船头及船身受到装卸桥等额外结构及阴影不同程度的干扰。选取其中500幅图像用于训练分类器,训练集包含595条靠岸集装箱船。剩余的100幅用于测试算法,测试集包含121条靠岸集装箱舰船。将每幅训练图像分割成约1 000个超像素,训练集正负样本的选取方法如§1.2所述,一次实验共挑选21 856个集装箱船超像素、109 437个背景超像素作为训练集。

    • 本文采用LIBSVM工具包,采用5-fold交叉验证,选取最优参数c[20]。为了防止各特征数值取值范围不一致对分类性能产生影响,将特征进行线性归一化。

    • 本文对于SVM超像素分类性能的评价采用精确度和召回率(precision-recall, P-R)曲线。对集装箱船自动检测算法的评估,采用的指标为检测率和虚警率。为评估检测性能,对所有测试图片上的集装箱船做人工标注,定义人工标注真值集装箱船目标的面积为A(RGT),用机器标注的集装箱船目标的矩形面积为A(RD),定义算法检测出的目标面积与人工标注真值目标面积的重叠率POL为:

      $$ {P_{{\rm{OL}}}} = \frac{{A({R_{{\rm{GT}}}} \cap {R_D})}}{{A({R_{{\rm{GT}}}} \cup {R_D})}} $$ (3)

      POL>0.5时判定为正确检测结果。

      本文选用Liu等[3]提出的靠岸舰船方法作为对比基线方法。方法利用船头局部区域特征检测舰船,取得了较好的检测效果,能反映目前靠岸舰船检测的较高水平。

    • 本文采用了100幅图片测试算法性能,尺寸从500×500像素到1 000×1 000像素不等,共包含121条姿态各异、不同程度受到岸边建筑以及阴影干扰的靠岸集装箱船。图 8展示了本文方法的部分检测结果,在目标与背景颜色、纹理极为相似,且受到岸边建筑物(装卸桥)、阴影干扰时,仍有较好的检测效果。

      图  8  本文方法提取结果

      Figure 8.  Results of the Proposed Method

      为了对检测性能进行定量评估,对测试图片中的所有舰船目标进行手工标注,检测评价指标见§2.1.3。与基线方法的定性视觉对比效果如图 9所示,定量数值评估对比见表 1。从结果对比可以观察到,基线方法过于依赖船头的完整性,而集装箱船处于背景干扰较大的民用港口,船头、船身均受到岸边建筑物以及阴影干扰,且经验参数较多,如角点阈值、抛物线开口的范围等,难以实现适用范围广的参数选择。本文利用机器学习方法,充分挖掘船身上下文信息实现复杂背景干扰下的集装箱船检测,而且本文方法只需较少的参数调整,泛化能力与抗干扰能力较强,适用性较为广泛。

      图  9  本文所提方法与对比基线方法在部分图像上检测结果的对比

      Figure 9.  Comparison of the Proposed Method and the Baseline Method on Some Images

      表 1  本文所提方法与对比基线方法在测试集上的检测性能对比/%

      Table 1.  Comparison of the Proposed Method and the Baseline Method on the Testing Set/%

      方法 检测率 虚警率
      对比基线方法 25.86 32.25
      本文方法 85.12 20.15
    • 本文所提方法首先需要进行超像素分割,超像素尺寸即超像素中含有的像素个数对方法性能具有一定的影响。对于一张500×500像素的图像,将其分割成500、1 000、1 500个超像素,对应的尺寸分别为500、250、167。当超像素尺寸更大时,超像素内部含有的信息量更丰富,超像素块数减少,后续处理计算量降低,但有可能导致超像素分割不能很好地附着于目标轮廓;当超像素尺寸更小时,轮廓附着度提高,但超像素内部含有的信息量减少,从而减弱超像素级上下文特征的表征能力。

      为了确定合适的超像素尺寸,本文将图像分割成3种不同的超像素尺寸(即500、250、167)进行训练与测试。图 10展示了3种不同超像素尺寸下的检测率曲线图。由图 10可以看出,超像素尺寸为250时,相同重叠率下的检测率明显高于另两种尺寸的结果。重叠率设为0.5时,3种不同超像素尺寸对应的检测率与虚警率见表 2。超像素尺寸为500时,在分割时未能将船与背景完全分割开来,即某些超像素中既包含目标像素又包含背景像素,导致分类性能下降。超像素尺寸为167时,尺寸过小,超像素级上下文特征的表征能力下降,也影响了分类性能。综合考虑以上情况,实验部分未特别指明处,超像素尺寸均为250。

      图  10  超像素尺寸对检测性能的影响

      Figure 10.  Impact of the Superpixel Size on the Detection Performance

      表 2  重叠率为0.5时评估准则下采用不同超像素尺寸对应的检测性能

      Table 2.  Detection Performance of the Proposed Method with Different Superpixel Sizes (POL>0.5 as Correctly Detected)

      超像素尺寸 检测率/% 虚警率/%
      500 63.83 37.50
      250 85.12 20.15
      167 68.09 31.91
    • 为了分析训练集中负样本的选取对分类性能的影响,构建两个负样本集:一种如§1.2所述采用主动学习SVM,通过迭代选择最有价值的负样本;另一种在训练图像中目标区域外随机选取负样本。两种负样本选择方法分别进行训练与测试,图 11显示了这两种方法的P-R曲线。从图 11中可以看出,相同召回率下,主动SVM选择负样本的精确度均高于随机选取负样本的精确度。图 12直观显示了两种负样本选择方式对分类性能的影响,分类器判定的目标超像素在图中用红色透明区域表示。从性能对比可以看出,将困难负样本挖掘用于分类器训练,能够显著提高分类器性能。

      图  11  主动SVM与随机选择负样本分类结果数值对比

      Figure 11.  Numerical Comparison of Performance with Actively and Randomly Selected Negative Samples

      图  12  主动SVM与随机选择负样本分类结果视觉对比

      Figure 12.  Visual Comparison of Classification Performance with Actively and Randomly Selected Negative Samples

    • 在设计超像素级上下文特征时,上下文特征级数对分类性能有一定影响,从而影响最终检测算法性能。为了确定合适的邻域特征级数,本文分别提取超像素本身特征(零级)、本身特征级联一级邻域特征以及本身特征级联至二、三、四级邻域特征进行分类器训练和测试。图 13显示了提取不同级数上下文特征的分类P-R曲线,从图 13中可以看出,级联至二级的分类结果明显好于其他种级数。由于属于船的集装箱超像素与陆地的集装箱超像素接近,仅利用超像素本身特征不具有强鉴别性。随着特征中邻域特征级数的增加,分类性能呈提升趋势,但当级联至三、四级邻域特征时,分类性能呈下降趋势。这是由于包含过多级上下文信息将降低相邻超像素之间的区分度,反之则会造成上下文信息没有充分引入。因此在本文中选择超像素级联至二级邻域特征用于分类器。

      图  13  上下文特征级数对分类性能的影响

      Figure 13.  Impact of the Level of the Contextual Feature on the Classification Performance

    • 复杂背景干扰下集装箱船船头及船身极易受到岸边结构、阴影、环境等各种因素的干扰,导致传统的依赖船头建模、船身轮廓匹配的方法无法实现可靠的目标检测。针对这一问题,本文提出一种利用超像素级上下文特征的集装箱船检测方法,构造了一种针对待解决问题的超像素级上下文特征,提升特征的鉴别能力;基于主动学习SVM方法进行困难负样本挖掘,选择有价值的负样本用于SVM超像素分类器的训练,提升分类器性能;采用全连接CRF进行超像素空间关系建模,对SVM分类结果进一步优化, 最终实现目标检测。

      实验结果表明,本文所提方法能够较为可靠地检测靠岸集装箱船,具有性能优势与应用前景;实验分析也证实了超像素分割、上下文特征级联以及主动负样本选择是针对待解决问题的合适设计,能有效提升检测性能。

      本文实际上提出了一种基于学习的舰船检测的一般框架,从上下文特征的设计、分类器的构建和训练技巧到对分类结果的后处理,从而完成整个舰船目标的检测。文中实验采用的是Google Earth中的卫星影像,但整个框架对于其他实际光学遥感影像也是适用的,由于本文方法采用颜色信息,因此对于光学遥感影像需要多光谱信息融合生成彩色图像;如只有全色图像,则需要相应地修改特征。

参考文献 (20)

目录

    /

    返回文章
    返回