文章信息
- 刘进, 杨洁, 庞瑞帆, 陈慧颖
- LIU Jin, YANG Jie, PANG Ruifan, CHEN Huiying
- 一种基于多尺度特征簇的舰船目标快速定位与识别方法
- A Method for Fast Ship Detection and Recognition in Sea-Sky Background Based on Multi-scale Feature Cluster
- 武汉大学学报·信息科学版, 2016, 41(1): 111-116
- Geomatics and Information Science of Wuhan University, 2016, 41(1): 111-116
- http://dx.doi.org/10.13203/j.whugis20130824
-
文章历史
- 收稿日期: 2014-10-14
2. 武汉大学测绘学院, 湖北 武汉, 430079;
3. 中国航空无线电电子研究所, 上海, 200233
2. School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China;
3. China Aeronautical Radio Electronics Research Institute, Shanghai 200233, China
近景舰船目标智能检测与识别系统在民用和军事侦察中有着广阔的应用前景,如无人机海上敌情侦察、为海面巡航导弹提供导引、海上救援等。由于海天条件的复杂性,舰船目标的定位与识别具有相当大的难度。目前,国内外对于海面舰船目标定位与识别的研究主要集中在星载合成孔径雷达(SAR)[1, 2, 3, 4, 5, 6, 7, 8]、红外[9, 10, 11, 12, 13, 14, 15, 16, 17]、可见光[18, 19, 20, 21, 22]等遥感影像上,提出了支持向量机、结构纹理分解、滤波、阈值分割、视觉感知方法、矩阵因式分解和提取特征匹配等多种方法。这些方法所提取的特征往往只针对一种尺度,对于不同远近、不同分辨率的目标采用多尺度特征能够提供更好的适用性和通用性;另一方面,传统分割算法是盲目的,缺少目标知识的引导,因此,有必要通过目标分类器指导分割算法对目标进行有效的筛选识别。本文正是在Canny算子基础上,采用了一种基于多尺度特征簇和分类器的舰船目标快速定位与识别方法。
传统的Canny算子的最大缺点是参数很难调整,不能同时适应不同尺度的图像,因此迫切需要一种与Canny相结合的考虑多尺度因素的算法流程来搜索候选目标。本文借鉴Canny边缘检测与图像金字塔及最小生成树聚类的思想,设计了“特征簇”定位算法。这种方法能快速准确地定位不同尺度的候选目标。针对不同视角、不同类型的舰船,建立“概率树分类器”结合主成分分析的方法进行样本的训练及目标的识别。对图像库中百余张不同角度、不同类型的舰船进行了测试,给出了实验结果的统计分析及部分定位与识别效果演示。算法整体流程如图1所示。
1 舰船目标定位考虑到海天场景的特殊性,本文利用将Canny边缘检测、图像金字塔及最小生成树聚类等算法相结合的“特征簇”定位方法来实现舰船目标的定位。该算法可适应目标的多尺度特性,同时提高了Canny边缘检测的自适应性,对多目标也具有良好的区分定位效果。
1.1 获取舰船目标“特征簇”目标与背景之间存在交界区域,明显的交界可通过小尺度边缘检测算子进行检测,而模糊的交界则需使用大尺度边缘检测算子检测。受小波多尺度理论启发,本文将所有目标可能存在的不同尺度边缘点区域的集合称为目标多尺度空间集合。
首先对原始图像建立多级图像金字塔,从金字塔底层到顶层的各级图像用Mi(i=0,1,2,3,…,n)表示。对图像进行金字塔操作的目的是获得多尺度的目标特征点集。
边缘检测是图像处理中检测目标的重要方法之一,被广泛用于图像目标定位与识别、图像分析、目标跟踪等研究。其中,Canny边缘检测方法对于边缘点和非边缘点的区分度高,能准确定位边缘点,但其使用的高低阈值需要人为设定,自适应性不足。为有效利用目标零散的边缘信息,更精确地定位到舰船目标,本文先对各级金字塔图像进行了Canny边缘检测,再对所获取的边缘点进行最小生成树聚类来实现舰船目标的定位。
在多尺度空间下,设目标空间特征集合为ξ,则该集合可表示为:
式中,ξi(i=0,1,2,…n)为第i级图像的目标特征集合。且各级图像上的特征点xi,yi同金字塔底层原始图像上的对应点x′i,y′i有映射关系:
由此,可设计“特征簇”提取算法流程(见图2)。
对于每个尺度的目标集合采用最小生成树聚类的方法得到候选目标。计算边缘检测点集之间的最大连接距离,如果连接距离大于某一阈值则断开成两半,再分别针对两个子集继续进行剖分,直到子集数小于目标数N或最大连接距离小于阈值,由此得到候选目标。
此外,在获取各级金字塔图像的目标轮廓集合,并将顶层金字塔轮廓坐标映射回底层原始图像上的过程中,可对候选目标轮廓进行一轮筛选。各级轮廓及聚类结果可参见图3。
1.2 舰船目标筛选与纠正对于每一幅图像,可以通过“特征簇”方法定位得到一系列候选舰船目标矩形框,筛选后获得更准确的定位结果,如图4所示。
近景舰船目标大多呈现为长条状的矩形,将海量样本纠正成少数几个角度,这样能大幅度提高训练的针对性。采用最小包围盒算法求出各“特征簇”的最小外接矩形,然后对得到的矩形框进行仿射变换,从而实现对定位目标的纠正处理,如式(3)所示:
式中,xi,yi、x′i,y′i分别为仿射变换前后特征簇最小外接矩形中的点的坐标;θ为矩形框长边同图像x轴之间的夹角;xc,yc为最小外接矩形框中心点坐标;kw(kh)为图像宽(高)同最小外接矩形框宽(高)的比值;w、h分别为图像宽、高。
此方法对处理需要纠正的类矩形倾斜目标具有较好的效果。图5为对舰船目标及其他类矩形目标进行纠正的实验效果演示。
2 舰船目标识别目前对于舰船目标的识别研究主要针对星载红外或雷达图像,这些图像中舰船目标基本都是以俯视视角呈现,有些文献中对于红外侧视舰船也进行过研究,提出了组合不变矩、人工神经网络等识别方法。而近景影像中的舰船识别则因拍摄角度的多变等原因导致一些算法难以取得较好效果,因此,本文考虑采用基于“概率树分类器”的二维主成分分析(principle component analysis in 2 dimention,PCA2D)算法进行样本训练与目标识别。
2.1 舰船目标样本训练为消除光照及对比度对图像的影响,首先对训练样本进行了亮度、对比度归一化处理。
式中,c0和I0分别是原始图像的方差和均值;c1和I1分别是归一化以后的方差和均值。
考虑到不同种类的船只(如军船与民船,巡洋舰与护卫舰)在不同姿态(如侧视、俯视、正视)下所呈现出的特征各不相同,需将样本进行分类,建立一套两级的树形分类器。 在实际目标识别匹配的过程中,按一、二级分类器的匹配结果计算出两组可信值,然后按全概率计算公式 计算出最终的识别结果:
式中,Ac表示待识别舰船类型;B表示待识别舰船姿态;n为分类姿态总数。
若PAc*=maxP(Ac)|c=1,2,…,n,则c*为最匹配的舰船类型。
在样本训练中,对样本船只图像进行二维主成分分析处理,将降维后的特征矩阵作为样本训练数据。由于数字灰度图像在存储设备中都是以矩阵形式存在,设有K(K∈N+)幅图像IK,其大小均为M×N,那么存在矩阵UP×M与VN×Q可将该K(K∈N+)幅图像通过式(7)变换到特征空间BiP×Q(i=1,2,…,n)中。
其中,U、V两矩阵通过二维主成分分析得到。即U通过的特征值所组成的特征向量得到,V通过的特征值所组成的特征向量得到。
这样,原图像中M×N维的特征被压缩到P×Q维,压缩后的图像特征具有处理速度快且鲁棒性好的优点。
2.2 舰船目标识别经过舰船目标定位与纠正处理后,便可开始对得到的候选目标矩形进行识别处理。与样本训练一样,测试图像中的定位结果也进行了二维主成分分析处理,将降维后的特征矩阵与样本数据进行匹配,分别计算其与每一类一、二级分类器的匹配结果,然后按式(5)进行运算,得到最终样本匹配的结果。归一化处理后的匹配结果可作为识别的可信度,从而作为识别的量化指标。
3 实验结果与分析 3.1 部分实验效果演示本文算法是在配置为Core 2 Duo CPU T5550 @ 1.83GHz的联想笔记本电脑上完成的,搜集了不同视角、不同舰种、不同背景条件下的多张近景舰船图像,共计167张。部分定位效果如图6所示,识别效果如图7所示。
3.2 实验数据统计结果
在复杂场景中,针对不同视角、不同尺度大小及不同光照环境的目标进行检测和识别是相当具有挑战性的。对上述图像库中舰船图像的处理统计结果表明,167张测试图像中有158张成功定位,123张正确识别,11张图像中仍然存在虚警。复杂场景中定位成功率达到94.61%,识别正确率为77.85%,虚警率约为6.59%。详细数据如图8所示。
本文算法耗时0.1~0.3 s,多目标或图像中虚警较多的条件下耗时会有所增加,但仍会保持在0.4 s以内。为得到更直观的统计结果,从上述彩色舰船图像库中随机抽取了30张图像进行图像定位与识别耗时测试,图9为图像处理所花费时间的饼状统计图。
特征簇分割思想用于其他类似海面的场景,结合分类器识别方法搜集具有较高可信度或匹配值的目标,也能取得较好的效果,图10是实验演示。
4 结 语本文对海天背景下近景舰船目标的定位与识别问题进行了研究。将Canny边缘检测同图像金字塔处理结合,使得Canny边缘检测对多尺度目标也具有较好的定位效果;然后,通过最小生成树聚类形成“特征簇”目标定位方法。进一步地,通过采用最小包围盒算法求出各“特征簇”的最小外接矩形即可获取目标的方位信息。实验结果表明,该方法提高了Canny边缘检测的适应性,能有效实现多目标定位,可适应目标的多尺度特性,且聚类后能较好地分离距离较近的不同目标。 结合主成分分析的“概率树分类器”进行目标识别的方法,对具有多视角、多类别的目标具有良好的识别效果。
实验结果表明,该套算法可在0.4s内完成图像定位与识别处理,针对各种复杂场景,不同尺度、不同光照环境都能取得较好的识别效果。
[1] | Corbane C, Najman L, Pecoul E, et al. A Complete Processing Chain for Ship Detection Using Optical Satellite Imagery[J]. International Journal of Remote Sensing, 2010, 31(22):5 837-5 854 |
[2] | Howell C, Power D, Lynch M, et al. Dual Polarization Detection of Ships and Icebergs:Recent Results with Envisat ASAR and Data Simulations of RADARSAT-2[C]. IGARSS, Boston, USA, 2008 |
[3] | Ouchi K.Ship Detection by ALOS-PALSAR:An Overview[C]. The 3rd International Asia-Pacific Conference on Synthetic Aperture Radar, Seoul, Korea (South), 2011 |
[4] | Wang Shiqing, Jin Yaqing. Ship Wake Detection in SAR Images Based on Radon Transformation and Morphologic Image Processing[J]. Journal of Remote Sensing, 2001,5 (4):289-294(王世庆,金亚秋. SAR图像船行尾迹检测的Radon变换和形态学图像处理技术[J]. 遥感学报, 2001, 5(4):289-294) |
[5] | Yuan Xiuxiao, Wu Yingdan. Object Location of Space-Borne SAR Imagery Under Lacking Ground Control Points[J]. Geomatics and Information Science of Wuhan University, 2010, 35(1):88-91 (袁修孝,吴颖丹. 缺少控制点的星载SAR遥感影像对地目标定位[J]. 武汉大学学报·信息科学版,2010,35(1):88-91) |
[6] | Argenti F, Benelli G, Garzelli A, et al. Automatic Ship Detection in SAR images[C]. International Conference on Radar, Brighton, UK, 1992 |
[7] | Grasso R, Mirra S, Baldacci A, et al. Performance Assessment of a Mathematical Morphology Ship Detection Algorithm for SAR Images Through Comparison with AIS Data[C]. The Ninth International Conference on Intelligent Systems Design and Applications, Pisa, Italy, 2009 |
[8] | Liu C, Vachon P W, Geling G W. Improved Ship Detection Using Polarimetric SAR Data[C]. IGARSS, Anchorage, AK, USA, 2004 |
[9] | Withagen P J, Schutte K, Vossepoel A M, et al. Automatic Classification of Ships from Infrared (FLIR) Images[C]. SPIE AeroSense, Orlando, USA,1999 |
[10] | Liu Songtao, Wang Huili, Yin Fuliang. Interactive Ship Infrared Image Segmentation Method Based on Graph Cut and Fuzzy Connectedness[J]. Acta Automatica Sinica, 2012, 38(11):1 735-1 750(刘松涛, 王慧丽, 殷福亮. 基于图割和模糊连接度的交互式舰船红外图像分割方法[J]. 自动化学报, 2012, 38(11):1 735-1 750) |
[11] | Wang Peng, Lv Gaojie, Gong Junbin, et al. An Automatic Target Detection Method for Infrared Ship in Complex Sea-Sky Background[J]. Geomatics and Information Science of Wuhan University, 2011, 36 (12):1 438-1 441(王鹏,吕高杰,龚俊赋,等. 一种复杂海天背景下的红外舰船目标自动检测方法[J]. 武汉大学学报·信息科学版,2011, 36(12):1 438-1 441) |
[12] | Mei Jianxin, Duan Shan, Qin Qianqing. Method for Special Targets Detection Based on Support Ector Machines[J]. Geomatics and Information Science of Wuhan University, 2004, 29(10):912-915 (梅建新,段汕,秦前清.基于支持向量机的特定目标检测方法[J]. 武汉大学学报·信息科学版, 2004,29(10):912-915) |
[13] | He Youjin, Li Kaiyong, Ren Jianguang. Improved Method of Infrared Ship Target Segmentation Based on Recursive Threshold Analysis[J]. Infrared and Laser Engineering, 2007, 36(S):267-270(何友金, 李凯永, 任建广. 一种改进的基于递归门限分析的红外舰船目标图像分割方法[J]. 红外与激光工程, 2007 36(S):267-270) |
[14] | Ai Shufang, Zhang Guohua. Ship Detection in Sea Infrared Image with Complex Clutter Background[J]. Infrared and Laser Engineering, 2007, 36(S):331-334 (艾淑芳, 张国华. 海面杂波背景下红外图像中舰船目标的检测[J]. 红外与激光工程, 2007, 36(S):331-334) |
[15] | Peng Haoyu, Wang Xinsai, Zhang Tianxu. Comparison Among Projecting Features of Infrared Warship Target[J]. Infrared and Laser Engineering, 2004, 33 (1):59-62(彭浩宇, 王新赛, 张天序. 红外舰船目标的投影特征比较[J]. 红外与激光工程, 2004, 33(1):59-62) |
[16] | Hu Xuemin, Zheng Hong, Si Xiaoshu. A Novel High Resolution Satellite Imagery Object Detection Based on Derivative of Double Exponential[J]. Geomatics and Information Science of Wuhan University, 2010, 34(11):1 265-1 270 (胡学敏,郑宏,司小书. 利用双指数函数导数模型进行高分辨率卫星影像目标检测[J]. 武汉大学学报·信息科学版, 2010, 34(11):1 265-1 270) |
[17] | Xu Min, Niu Zhaodong, Chen Zengping. New Automatic Detection Method for IR Ship Target on the Condition of Low SNR[J]. Infrared and Laser Engineering, 2007,36(S):158-162 (许旻, 牛照东, 陈曾平. 一种新的低信噪比红外舰船目标自动检测方法[J]. 红外与激光工程, 2007,36(S):158-162) |
[18] | Wang Weiwei, Xi Dengyan, Yang Gongpeng, et al. Warship Target Detection Algorithm Based on Cartoon-Texture Decompositipon[J]. Journal of Xi'dian University, 2012, 4(39):167-174(王卫卫, 席灯炎, 杨塨鹏, 等. 利用结构纹理分解的海洋舰船目标检测[J]. 西安电子科技大学学报, 2012, 4(39):167-174) |
[19] | Zhou Hui, Guo Jun, Zhu Changren, et al. Ship Detection from Optical Remote Sensing Images Based on PLSA Model[J]. Journal of Remote Sensing,2010,14(4):663-680(周晖, 郭军, 朱长仁, 等. 引入PLSA模型的光学遥感图像舰船检测[J]. 遥感学报,2010,14 (4):663-680) |
[20] | Wang Min, Luo Jiancheng, Ming Dongping. Extract Ship Targets from High Spatial Resolution Remote Sensed Imagery with Shape Feature[J]. Geomatics and Information Science of Wuhan University, 2005, 30(8):685-688 (汪闽,骆剑承,明冬萍. 高分辨率遥感影像上基于形状特征的船舶提取[J]. 武汉大学学报·信息科学版, 2005, 30(8):685-688) |
[21] | Lu Wei, Yu Xuchu, Ma Yonggang, et al. Research of Sea Fleet Targets Detection Approach in Hyperspectral Image[J]. Hydro-graphic Surveying and Charting, 2005, 25(5):8-12 (路威,余旭初,马永刚,等. 高光谱遥感影像海上舰船目标检测算法的研究[J].海洋测绘, 2005, 25 (5):8-12) |
[22] | Tong Jian, Wen Biyang, Wang Song. Ship Target Detection in Strong Sea Clutter Background[J]. Journal of Wuhan University(Natural Science Edition), 2005, 51(3):370-374 (童健,文必洋,王颂. 强海杂波背景下的舰船目标检测[J]. 武汉大学学报(理学版),2005, 51(3):370-374) |