留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

联合时空信息和轨迹关联的空中多目标检测

张寅 蔡旭阳 闫钧华 苏恺 张琨

张寅, 蔡旭阳, 闫钧华, 苏恺, 张琨. 联合时空信息和轨迹关联的空中多目标检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359
引用本文: 张寅, 蔡旭阳, 闫钧华, 苏恺, 张琨. 联合时空信息和轨迹关联的空中多目标检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359
ZHANG Yin, CAI Xuyang, YAN Junhua, SU Kai, ZHANG Kun. Aerial Multi-target Detection Based on Spatial-Temporal Information and Trajectory Association[J]. Geomatics and Information Science of Wuhan University, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359
Citation: ZHANG Yin, CAI Xuyang, YAN Junhua, SU Kai, ZHANG Kun. Aerial Multi-target Detection Based on Spatial-Temporal Information and Trajectory Association[J]. Geomatics and Information Science of Wuhan University, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359

联合时空信息和轨迹关联的空中多目标检测

doi: 10.13203/j.whugis20190359
基金项目: 

国家自然科学基金 61705104

江苏省自然科学基金 BK20170804

详细信息
    作者简介:

    张寅,博士,讲师,主要从事天基光电探测信息处理与分析技术研究。zhangyin1986@nuaa.edu.cn

    通讯作者: 闫钧华,博士,教授。yjh9758@126.com
  • 中图分类号: P231

Aerial Multi-target Detection Based on Spatial-Temporal Information and Trajectory Association

Funds: 

The National Natural Science Foundation of China 61705104

the Natural Science Foundation of Jiangsu Province BK20170804

More Information
    Author Bio:

    ZHANG Yin, PhD, lecturer, specializes in the space-based photoelectric detection information processing and analysis technology. E-mail: zhangyin1986@nuaa.edu.cn

    Corresponding author: YAN Junhua, PhD, professor. E-mail: yjh9758@126.com
  • 摘要: 为解决空中多目标检测中目标在图像中所占像素数少、目标相互毗邻和相互遮挡的难题,提出了联合时空信息和轨迹关联的空中多目标检测算法。该算法首先利用基于像素的背景建模算法得到目标空间信息,结合邻近帧差算法提取的目标时间信息,联合得到目标的时空信息图;然后,利用卡尔曼预测器对目标位置进行预测,利用匈牙利匹配算法关联目标得到目标轨迹,根据目标轨迹补充漏检目标, 提高目标的查全率;最后,分段提取目标轨迹特征,根据轨迹特征进行判断,滤除虚警目标, 提高目标的查准率。采用空中多目标视频进行实验验证,结果表明,本文算法检测性能优良,查全率高于96%,查准率高于98%,F测度高于97%。
  • 图  1  区域随机光流跟踪点

    Figure  1.  Regional Random Optical Flow Tracking Points

    图  2  联合时空信息确定目标点和背景点

    Figure  2.  Joint Time and Space Information to Determine Target Points and Background Points

    图  3  目标轨迹关联结果

    Figure  3.  Results of Trajectory Association

    图  4  目标轨迹

    Figure  4.  Target Trajectory

    图  5  联合时空信息和轨迹关联的空中多目标检测算法流程

    Figure  5.  Flowchart of Aerial Multi-target Detection Based on Spatial-temporal Information and Trajectory Association

    表  1  背景云层变化时空中多目标检测结果

    Table  1.   Aerial Multi-target Detection Results with Changing Clouds

    算法目标 DBSCAN- based ELM-based DGM-LKT RGM-LKR ST-Tra
    第17帧实际目标:无人机2个 无人机0个
    虚警0个
    无人机1个
    虚警0个
    无人机2个
    虚警3个
    无人机2个
    虚警1个
    无人机2个
    虚警0个
    第27帧实际目标:无人机2个 无人机1个
    虚警0个
    无人机2个
    虚警0个
    无人机2个
    虚警5个
    无人机2个
    虚警1个
    无人机2个
    虚警0个
    整段视频 TP=140,FP=7 TP=195,FP=10 TP=241,FP=126 TP=242,FP=110 TP=245,FP=3
    下载: 导出CSV

    表  2  目标尺度小时空中多目标检测结果

    Table  2.   Aerial Multi-target Detection Results with Small Targets

    算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra
    第40帧实际目标:无人机1个、飞鸟7只 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟7只、虚警1个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个
    第53帧实际目标:无人机1个、飞鸟8只 无人机0个、飞鸟6只、虚警0个 无人机0个、飞鸟7只、虚警2个 无人机1个、飞鸟7只、虚警0个 无人机1个、飞鸟8只、虚警0个 无人机1个、飞鸟8只、虚警0个
    整段视频 TP=621,FP=15 TP=721,FP=57 TP=754,FP=20 TP=768,FP=2 TP=848,FP=1
    下载: 导出CSV

    表  3  目标相互毗邻和相互遮挡时空中多目标检测结果

    Table  3.   Aerial Multi-target Detection Results with Targets Adjacent to Each Other and Occluded Each Other

    算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra
    第59帧实际目标:无人机1个、飞鸟7只 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警2个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个
    第116帧实际目标:无人机1个、飞鸟5只 无人机1个、飞鸟2只、虚警0个 无人机1个、飞鸟3只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警0个
    整段视频 TP=621,FP=15 TP=721,FP=57 TP=754,FP=20 TP=768,FP=2 TP=848,FP=1
    下载: 导出CSV

    表  4  本文算法与其他4种算法性能比较结果/%

    Table  4.   Performance Comparison Results of This Algorithm with Other Four Algorithms/%

    评价指标 实验视频 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra
    R VD1 54.9 76.3 94.4 94.8 96.1
    VD2 72.1 83.7 87.6 89.2 98.5
    P VD1 95.2 95.1 65.6 68.5 98.8
    VD2 97.5 92.6 97.4 99.7 99.9
    F VD1 69.6 84.7 77.4 79.7 97.4
    VD2 82.9 84.5 92.2 94.1 99.2
    下载: 导出CSV
  • [1] Shen H, Li S, Zhu C. Moving Object Detection in Aerial Video Based on Spatiotemporal Saliency[J]. Chinese Journal of Aeronautics, 2013, 26(5):1 211-1 217 doi:  10.1016/j.cja.2013.07.038
    [2] Shakeri M, Zhang H. Detection of Small Moving Objects Using a Moving Camera[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. Chicago, IL, USA, 2014
    [3] Yi K M, Yun K, Kim S W. Detection of Moving Objects with Non-Stationary Cameras in 5.8 ms: Bringing Motion Detection to Your Mobile Device[C]. Conference on Computer Vision and Pattern Recognition Workshops, Portland, OR, USA, 2013
    [4] 刘慧, 李清泉, 高春仙, 等.利用C_SURF配准的空基视频运动目标检测[J].武汉大学学报·信息科学版, 2014, 39(8): 951-955 doi:  10.13203/j.whugis20130121

    Liu Hui, Li Qingquan, Gao Chunxian, et al. Moving Target Detection Using C_SURF Registration[J]. Geomatics and Information Science of Wuhan University, 2014, 39(8): 951-955 doi:  10.13203/j.whugis20130121
    [5] Yang T, Wang X, Yao B. Small Moving Vehicle Detection in a Satellite Video of an Urban Area[J]. Sensors, 2016, 16(9):1 528 doi:  10.3390/s16091528
    [6] Yan J, Wang S, Huang W. Real-Time Moving Object Detection Based on Regional Background Modeling Under a Moving Camera[J]. Journal of Imaging Science and Technology, 2017, 61(4): 40 506 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=856980245f3c59b126a3b69ba62a78b5
    [7] 李成美, 白宏阳, 郭宏伟.一种改进光流法的运动目标检测及跟踪算法[J].仪器仪表学报, 2018, 39(5):249-256 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=yqyb201805030

    Li Chengmei, Bai Hongyang, Guo Hongwei. Moving Object Detection and Tracking Based on Improved Optical Flow Method[J]. Chinese Journal of Scientific Instrument, 2018, 39(5): 249-256 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=yqyb201805030
    [8] Teutsch M, Krüger W. Detection, Segmentation, and Tracking of Moving Objects in UAV Videos[C]. IEEE Ninth International Conference on Advanced Video and Signal-Based Surveillance, Beijing, China, 2012
    [9] Siam M, ElSayed R, ElHelw M. On-Board Multiple Target Detection and Tracking on Camera-Equipped Aerial Vehicles[C]. IEEE International Conference on Robotics and Biomimetics (ROBIO), Guangzhou, China, 2012
    [10] Sadeghi-Tehran P, Clarke C, Angelov P. A Real-Time Approach for Autonomous Detection and Tracking of Moving Objects from UAV[C]. IEEE Symposium on Evolving and Autonomous Learning Systems (EALS), Orlando, FL, USA, 2014
    [11] Kang K, Li H, Yan J. T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 28(10): 2 896-2 907 doi:  10.1109/CVPR.2016.95
    [12] Girshick R, Donahue J, Darrell T. Rich Feature Hie-rarchies for Accurate Object Detection and Semantic Segmentation[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014
    [13] Rozantsev A, Lepetit V, Fua P. Detecting Flying Objects Using a Single Moving Camera[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(5):879-892 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=dc9c3820c475f57760346dd5880045cd
    [14] Janousek J, Novotny J, Marcon P. Algorithms for Flying Object Detection[C]. 2018 Progress in Electro Magnetics Research Symposium (PIERS-Toyama), Toyama, Japan, 2018
    [15] 叶语同, 李必军, 付黎明.智能驾驶中点云目标快速检测与跟踪[J].武汉大学学报·信息科学版, 2019, 44(1): 139-144, 152 doi:  10.13203/j.whugis20170146

    Ye Yutong, Li Bijun, Fu Liming. Fast Object Detection and Tracking in Laser Data for Autonomous Driving[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 139-144, 152 doi:  10.13203/j.whugis20170146
    [16] Lucas B D. An Iterative Image Registoration Techniques with an Application to Stereo Vision[J]. Proc IJCAI, 1981, 81(3):674-679 http://ci.nii.ac.jp/naid/10019127095
    [17] Barnich O, Vanroogenbroeck M. ViBe: A Universal Background Subtraction Algorithm for Video Sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6):1 709-1 724 doi:  10.1109/TIP.2010.2101613
  • [1] 殷吉崇, 武芳, 李安平, 杜佳威, 刘呈熠.  顾及速度与航向信息的轨迹匹配方法 . 武汉大学学报 ● 信息科学版, 2021, 46(11): 1774-1781. doi: 10.13203/j.whugis20210058
    [2] 雷祥旭, 桑吉章, 李振伟, 陈俊宇, 杜建丽, 贺东雷.  低轨空间目标甚短弧初轨关联 . 武汉大学学报 ● 信息科学版, 2020, 45(10): 1526-1532. doi: 10.13203/j.whugis20180386
    [3] 李健伟, 曲长文, 彭书娟.  SAR图像舰船目标联合检测与方向估计 . 武汉大学学报 ● 信息科学版, 2019, 44(6): 901-907. doi: 10.13203/j.whugis20170328
    [4] 朱庆, 韩会鹏, 于杰, 杜志强, 张骏骁, 吴晨, 沈富强.  应急测绘无人机资源多目标优化调度方法 . 武汉大学学报 ● 信息科学版, 2017, 42(11): 1608-1615. doi: 10.13203/j.whugis20130000
    [5] 唐炉亮, 靳晨, 杨雪, 阚子涵, 任畅.  基于GPS时空轨迹的路网拓扑自动变化检测 . 武汉大学学报 ● 信息科学版, 2017, 42(10): 1381-1386. doi: 10.13203/j.whugis20150662
    [6] 向隆刚, 陶强强, 吴涛.  语义关联的轨迹-有向线移动过程模型及查询分析 . 武汉大学学报 ● 信息科学版, 2016, 41(8): 1034-1039, 1045. doi: 10.13203/j.whugis20140407
    [7] 徐汝东, 刘进.  可量测视频目标动态轨迹生成及GIS应用 . 武汉大学学报 ● 信息科学版, 2016, 41(6): 818-824. doi: 10.13203/j.whugis20140518
    [8] 黄远程, 钟燕飞, 赵野鹤, 朱卫恒.  联合盲分解与稀疏表达的高光谱图像异常目标检测 . 武汉大学学报 ● 信息科学版, 2015, 40(9): 1144-1150. doi: 10.13203/j .whu g is20140575
    [9] 孟永昌, 杨赛霓, 史培军.  基于改进遗传算法的路网应急疏散多目标优化 . 武汉大学学报 ● 信息科学版, 2014, 39(2): 201-205. doi: 10.13203/j.whugis20120584
    [10] 刘殿锋, 刘艳芳.  一种知识约束下的多目标土壤空间抽样优化模型 . 武汉大学学报 ● 信息科学版, 2014, 39(11): 1282-1286.
    [11] 史劼, 高火涛, 周林, 张华君.  基于SMVF的高频雷达自适应多目标检测 . 武汉大学学报 ● 信息科学版, 2014, 39(11): 1304-1309.
    [12] 刘殿锋, 刘耀林, 刘艳芳, 赵翔.  多目标微粒群算法用于土地利用空间优化配置 . 武汉大学学报 ● 信息科学版, 2013, 38(6): 751-755.
    [13] 宋奂寰, 王树宗.  信息熵在潜艇作战系统多目标任务调度中的应用 . 武汉大学学报 ● 信息科学版, 2012, 37(12): 1477-1481.
    [14] 柯宏发, 何可, 陈永光.  运动目标的MGM(1,N)轨迹预测算法 . 武汉大学学报 ● 信息科学版, 2012, 37(6): 662-666.
    [15] 卞光浪, 翟国君, 黄谟涛, 欧阳永忠.  顾及地磁背景场的多目标磁异常分量换算方法 . 武汉大学学报 ● 信息科学版, 2011, 36(8): 914-918.
    [16] 刘洋, 兰泽英.  利用多目标禁忌搜索算法进行土地整理自动分区 . 武汉大学学报 ● 信息科学版, 2010, 35(9): 1129-1133.
    [17] 曹江丽, 孙潮义.  多目标遗传算法在水下机器人路径规划中的应用 . 武汉大学学报 ● 信息科学版, 2010, 35(4): 441-445.
    [18] 杨鸣, 康立山, 吴燕来.  动态多目标TSP中动态程度和目标冲突程度的度量 . 武汉大学学报 ● 信息科学版, 2008, 33(2): 216-219.
    [19] 奚锐锋, 刘经南, 陶本藻, 陆立发.  水下机动目标轨迹跟踪的自适应估计方法 . 武汉大学学报 ● 信息科学版, 1996, 21(1): 25-30.
    [20] 郭宁, 熊伟, 欧阳雪, 杨岸然, 吴烨, 陈荦, 景宁.  时空轨迹多层级相似子段匹配方法 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20200170
  • 加载中
图(5) / 表(4)
计量
  • 文章访问数:  478
  • HTML全文浏览量:  98
  • PDF下载量:  72
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-02-18
  • 刊出日期:  2020-10-05

联合时空信息和轨迹关联的空中多目标检测

doi: 10.13203/j.whugis20190359
    基金项目:

    国家自然科学基金 61705104

    江苏省自然科学基金 BK20170804

    作者简介:

    张寅,博士,讲师,主要从事天基光电探测信息处理与分析技术研究。zhangyin1986@nuaa.edu.cn

    通讯作者: 闫钧华,博士,教授。yjh9758@126.com
  • 中图分类号: P231

摘要: 为解决空中多目标检测中目标在图像中所占像素数少、目标相互毗邻和相互遮挡的难题,提出了联合时空信息和轨迹关联的空中多目标检测算法。该算法首先利用基于像素的背景建模算法得到目标空间信息,结合邻近帧差算法提取的目标时间信息,联合得到目标的时空信息图;然后,利用卡尔曼预测器对目标位置进行预测,利用匈牙利匹配算法关联目标得到目标轨迹,根据目标轨迹补充漏检目标, 提高目标的查全率;最后,分段提取目标轨迹特征,根据轨迹特征进行判断,滤除虚警目标, 提高目标的查准率。采用空中多目标视频进行实验验证,结果表明,本文算法检测性能优良,查全率高于96%,查准率高于98%,F测度高于97%。

English Abstract

张寅, 蔡旭阳, 闫钧华, 苏恺, 张琨. 联合时空信息和轨迹关联的空中多目标检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359
引用本文: 张寅, 蔡旭阳, 闫钧华, 苏恺, 张琨. 联合时空信息和轨迹关联的空中多目标检测[J]. 武汉大学学报 ● 信息科学版, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359
ZHANG Yin, CAI Xuyang, YAN Junhua, SU Kai, ZHANG Kun. Aerial Multi-target Detection Based on Spatial-Temporal Information and Trajectory Association[J]. Geomatics and Information Science of Wuhan University, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359
Citation: ZHANG Yin, CAI Xuyang, YAN Junhua, SU Kai, ZHANG Kun. Aerial Multi-target Detection Based on Spatial-Temporal Information and Trajectory Association[J]. Geomatics and Information Science of Wuhan University, 2020, 45(10): 1533-1540. doi: 10.13203/j.whugis20190359
  • 本文针对无人机和空中飞鸟等多目标检测展开研究,光电检测平台和相机的运动导致视频图像中背景是运动的,目标在背景中,因此目标既具有自己独立的运动,也具有背景的运动。空中目标距离相机远,因此目标在图像中所占像素数少,缺乏形貌信息。目标数量多在飞行过程中容易造成相互毗邻、相互遮挡的情况,使得精确检测出空中多目标成为难题。

    针对上述难题,国内外学者提出了许多运动目标检测算法,主要分为两类:一类研究是针对目标像素数少的难题,例如,Shen等[1]检测出完整的运动目标空间分布,目标相互毗邻遮挡时出现检测错误;Shakeri等[2]、Moo等[3]、Liu等[4]的研究能有效检测出运动目标,不能有效区分相互毗邻遮挡的目标,会误滤除小目标;Yang等[5]的研究认为,背景静止时效果较优,背景运动时检测效果较差;Yan等[6]对小目标检测效果好,目标相互毗邻遮挡时,容易造成漏检;李成美等[7]能有效检测出运动目标,背景复杂时检测效果较差。另一类研究是针对目标相互毗邻遮挡的难题,例如,Teutsch等[8]的研究对背景运动简单、目标纹理丰富时能检测出运动目标,背景复杂、目标纹理缺乏时检测效果较差;Siam等[9]对运动目标检测结果较优,目标较小时,容易出现漏检;Sadeghi-Tehran等[10]对背景复杂、目标纹理缺乏时检测效果较差;文献[11-13]对目标漏检低,目标较小时,检测效果较差;Janousek等[14]对飞行目标检测效果好,但目标较小时,检测效果较差;叶语同等[15]对被遮挡的目标检测效果好,但目标较小时,容易出现漏检。

    基于此,本文针对空中多目标检测中目标在图像中所占像素数少、目标相互毗邻和相互遮挡的难题,联合时空信息和轨迹关联进行空中多目标检测。首先联合目标的时间和空间信息,得到时空信息图;然后利用卡尔曼预测器对目标位置进行预测,利用匈牙利匹配算法关联目标得到目标轨迹;最后基于目标轨迹补充漏检目标,提高目标的查全率,滤除虚警目标,提高目标的查准率。

    • 首先对图像进行全局运动估计,补偿背景运动。然后基于帧间差分法提取运动目标的时间信息;为了应对目标较小的情况,采用基于像素的背景建模算法,提取目标的空间信息。最后联合目标的时间和空间信息,得到时空信息图。

    • 本文利用区域随机点和卢卡斯-卡纳德(Lucas-Kanade,LK)光流法[16],获得随机光流跟踪点,如图 1所示。

      图  1  区域随机光流跟踪点

      Figure 1.  Regional Random Optical Flow Tracking Points

      图 1中将图像均匀划分为P列、Q行的网格,将图像均匀分为P×Q块,每块网格的大小为20×20像素的矩阵。

      提取t-1帧图像区域随机点,利用LK光流法计算第t帧图像的随机光流跟踪点,利用随机抽样一致算法计算得到单应性矩阵H,估计全局运动:

      $$\left[ {\begin{array}{*{20}{l}} {x_i^t}\\ {y_i^t}\\ 1 \end{array}} \right] = \mathit{\boldsymbol{H}}\left[ {\begin{array}{*{20}{l}} {x_i^{t - 1}}\\ {y_i^{t - 1}}\\ 1 \end{array}} \right]$$ (1)

      式中,(xit-1yit-1)为第t-1帧图像区域随机点的坐标;(xityit)为第t帧图像的随机光流跟踪点的坐标;矩阵H是一个8参数的单应性矩阵,$ \mathit{\boldsymbol{H}} = \left[ {\begin{array}{*{20}{c}} {{h_0}}&{{h_1}}&{{h_2}}\\ {{h_3}}&{{h_4}}&{{h_5}}\\ {{h_6}}&{{h_7}}&1 \end{array}} \right] $,其中,h0h1h7即为全局运动参数。

    • 根据单应性矩阵H对视频图像进行背景运动补偿:

      $$ f_{t - 1}'\left( {x, y} \right) = {f_{t - 1}}\left( {x, y} \right)\cdot\mathit{\boldsymbol{H}} $$ (2)

      式中,ft-1(xy)为t-1帧的图像;ft-1′ (xy)为t-1帧图像经过运动补偿后的图像。

      视频图像的时间信息蕴含在从第t-1帧图像到第t帧图像的运动过程中,根据这种运动过程得到的运动目标区域体现了目标的时间信息。因此对帧差图进行二值化处理,获得运动二值图像,其中运动目标区域即为提取到的时间信息。

      $$ {D_t}\left( {x, y} \right) = \left| {{f_t}\left( {x, y} \right) - f_{t - 1}'\left( {x, y} \right)} \right| $$ (3)
      $$ {M_t}\left( {x, y} \right) = \left\{ {\begin{array}{*{20}{l}} {1, {D_t}\left( {x, y} \right) > \alpha }\\ {0, {D_t}\left( {x, y} \right) \le \alpha } \end{array}} \right. $$ (4)

      式(3)中,ft (xy)为第t帧图像。式(4)采用大津法计算双阈值,选取较小的阈值作为自适应阈值α,以确保目标区域的完整性,本文阈值α经实验确定取值范围为[0, 100]。

      为了去除干扰噪声点,避免漏检尺寸较小的运动目标,对二值图像Mt (xy)进行了一次腐蚀和两次膨胀操作,最终获得运动目标的时间信息图DMt (xy)。

      $$ D{M_t}\left( {x, y} \right) = \left( {\left( {{M_t}\left( {x, y} \right){\rm{\Theta }}{b_{{\rm{erode}}}}} \right) \oplus {b_{{\rm{dilate}}}}} \right) \oplus {b_{{\rm{dilate}}}} $$ (5)

      式中,Θ和⊕分别为腐蚀和膨胀运算符;berodebdilate是菱形结构元素,这两个结构元素的原点到菱形顶点的距离分别为1和3。

    • 本文基于Vibe(visual background extractor)算法[17]对运动补偿后的图像ft-1 (xy)建模,然后对ft (xy)图像判定图像中的每个像素点是目标点还是背景点,从而得到空间分布图VMt (xy),即为提取到的空间信息。

      1)建立背景模型。基于相邻像素点具有像素值相近的空间分布特性,在图像ft-1 (xy)上随机选择第k个像素点Ik-1t邻域中的N个点作为它的模型样本点,Ik-1t的背景模型为Mt-1 (k),遍历图像每个像素点。

      $$ {M_{t - 1}}\left( k \right) = \left\{ {{I_1}, {\rm{}}{I_2} \ldots {I_i} \ldots {I_N}} \right\} $$ (6)

      式中,k表示图像中第k个像素点;Ii为邻域中的像素点,N取20。

      2)判定目标点和背景点。将ft (xy)图像中每个像素点Itk与其对应的背景模型Mt-1 (k)里的N个像素值进行比较,判定其是目标点还是背景点。

      $$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;S_t^k\left( i \right) = \\ \left\{ {\begin{array}{*{20}{l}} {1, \left| {I_t^k - {I_i}} \right| < {\rm{RADIUS}}, {\rm{}}{I_i} \in {M_{t - 1}}\left( k \right)}\\ {0, 其他} \end{array}} \right. \end{array} $$ (7)
      $$ VM_t^k = \left\{ {\begin{array}{*{20}{l}} {0, \mathop \sum \limits_i S_t^k\left( i \right) > RN, {\rm{}}i = 1, 2 \ldots N}\\ {255, 其他} \end{array}} \right. $$ (8)

      式(7)中,Stk (i)表示像素点Itk的值与背景模型Mt-1 (k)里的像素值Ii是否相似,如果两者差的绝对值小于阈值RADIUS,则相似,本文阈值RADIUS经实验确定取值为20。式(8)中,VMtk表示像素点Itk是目标点还是背景点,如果相似点的个数大于RN个,则是背景点;其余则为目标点,本文阈值RN经实验确定取值为3。基于此,得到ft (xy)图像的空间分布图VMt (xy)。

      3)更新背景模型。根据空间分布图VMt (xy)更新ft (xy)图像中像素点Itk的背景模型Mt (k)。如果Itk是背景点,由图像ft′(xy)得到Itk的背景模型Mt (k),再以1/ φ的概率更新Mt (k),此时将Itk代替Mt (k)中随机一个样本点。如果Itk是目标点,由图像ft′(xy)得到Itk的背景模型Mt (k)。更新概率1/φ与视频图像中的背景变化快慢有关,背景变化越快,φ越小。为保证空间信息的查全效果,降低背景模型更新速度,以延长缓慢运动的物体融入到背景样本集的时间,从而减少检测到的前景目标出现空洞以及不完整的情况,本文φ取16。用更新后的背景模型Mt (k)对ft+1 (xy)图像中每个像素点Ik+1t判定其是目标点还是背景点。再更新背景模型,以此类推,不断重复,检测出视频图像中所有的目标像素点。

    • 利用空间信息,可以尽可能地保证检测出全部目标点,会造成较高的虚警。因此需要联合目标的时间信息滤除虚假目标、降低虚警,得到联合时空信息图DVt (xy),如式(9)和图 2所示。

      $$ D{V_t}\left( {x, y} \right) = \left\{ {\begin{array}{*{20}{l}} {0, V{M_t}\left( {x, y} \right) \times D{M_t}\left( {x, y} \right) = 0{\rm{}}}\\ {255, 其他} \end{array}} \right. $$ (9)

      图  2  联合时空信息确定目标点和背景点

      Figure 2.  Joint Time and Space Information to Determine Target Points and Background Points

    • 联合时空信息图DVt (xy)确定的目标点,会存在目标的漏检,尤其是当多目标相互毗邻和相互遮挡时,目标的漏检会比较严重。利用卡尔曼预测器对目标位置进行预测,基于预测目标位置和检测目标位置的欧氏距离,利用匈牙利匹配算法关联目标得到多个目标轨迹。若预测目标位置无检测目标与之相匹配,则出现目标漏检,在该预测目标位置上补充漏检的目标,提高目标的查全率。若背景点被误认为目标点,则出现目标虚警,利用目标轨迹特征滤除虚警目标轨迹,提高目标的查准率。

    • 在联合时空信息图DVt中,利用卡尔曼预测器对目标位置进行预测,利用匈牙利匹配算法关联目标得到目标轨迹。

      1)预测目标位置。利用八连通域算法在DVt中检测出目标及其位置,利用卡尔曼预测器预测每个目标在下一帧DVt+1中的位置。

      2)检测目标。利用八连通域算法在DVt+1中检测出目标及其位置。

      3)关联目标。利用匈牙利匹配算法将DVt+1中的每个目标的预测位置和检测位置进行目标间的匹配。若目标的预测位置与目标的检测位置相匹配,则关联为同一目标。若目标的预测位置与所有的目标检测位置不相匹配,则出现目标的漏检,此时在DVt+1中目标的预测位置将漏检的目标补充上去。若目标的检测位置与所有的目标预测位置不相匹配,则出现新的目标。

      4)确定目标轨迹。将所有关联到的M个目标确定为M条目标轨迹,如果某条轨迹中的目标连续5帧都是在预测位置上补充的,则将该条轨迹删除,目标轨迹确定,如图 3所示。

      图  3  目标轨迹关联结果

      Figure 3.  Results of Trajectory Association

      图 3中,在第1帧、第2帧、第3帧中关联到3个目标确定为3条目标轨迹,分别标记为ID1、ID2和ID3。在第4帧中出现新的目标,标记为ID4。在第5、6、7、8、9帧连续5帧中目标轨迹ID3P都是在预测位置上补充的,此时确定该目标已经消失,从第5帧开始将ID3删除。在第11帧中,ID1上的目标是在预测位置上补充的,将此漏检目标标记为ID1P。在第12帧中,ID1上的漏检目标ID1P再次被检测关联为ID1。

    • 背景的运动导致当把背景点误认为目标点时,出现虚警,通过关联形成虚警目标轨迹。真实目标轨迹特征与虚警目标轨迹特征不同,利用轨迹特征滤除虚警目标轨迹。

      目标轨迹特征包括:目标面积特征A、目标位置特征V、目标运动方向特征D。计算目标轨迹中目标面积的均方差,得到目标面积特征A。真实目标轨迹中目标面积变化小,因此A的值小;虚警目标轨迹中目标面积变化大,因此A的值大。计算目标轨迹中目标帧间移动像素的均方差,得到目标位置特征V。真实目标轨迹中目标位置变化小,因此V的值小;虚警目标轨迹中目标位置变化大,因此V的值大。计算目标轨迹中目标运动方向与垂直方向之间夹角的均方差,得到目标运动方向特征D。真实目标轨迹中目标运动方向有序,因此D的值小;虚警目标轨迹中目标运动方向无序,因此D的值大。

      目标轨迹特征在轨迹存续期间会有较大的变化,这是由于目标的运动造成的。因此需要对目标轨迹进行分段处理,每段轨迹中目标轨迹特征变化较小,可以提高滤除虚警目标轨迹的准确性。本文以连续10帧为一段提取目标轨迹特征,其AVD分别为:

      $$ A = {\rm{Var}}\left( {{\rm{are}}{{\rm{a}}_t}, {\rm{are}}{{\rm{a}}_{t + 1}} \ldots {\rm{are}}{{\rm{a}}_{t + 9}}} \right) $$ (10)
      $$ V = {\rm{Var}}\left( {{\rm{spee}}{{\rm{d}}_t}, {\rm{spee}}{{\rm{d}}_{t + 1}} \ldots {\rm{spee}}{{\rm{d}}_{t + 9}}} \right) $$ (11)
      $$ D = {\rm{Var}}\left( {{\rm{directio}}{{\rm{n}}_t}, {\rm{directio}}{{\rm{n}}_{t + 1}} \ldots {\rm{directio}}{{\rm{n}}_{t + 9}}} \right) $$ (12)

      式中,area表示目标面积大小,speed表示目标帧间移动像素,direction表示目标运动方向与垂直方向之间夹角。

      联合目标面积特征A、目标位置特征V和目标运动方向特征D,得到目标轨迹的特征向量S=[AVD]。

    • 在轨迹特征向量S=[AVD]中,当AVD均小于对应阈值时,判定该轨迹是真实目标轨迹;否则判定为虚警目标轨迹,即

      $$ \begin{array}{l} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ {\rm{flag}} = \\ \left\{ {\begin{array}{*{20}{l}} {1, A < m\_{\rm{area}}, V < m\_{\rm{speed}}, D < m\_{\rm{direction}}}\\ {0, 其他} \end{array}} \right. \end{array} $$ (13)

      式中,m_area、m_speed、m_direction分别是AVD对应的阈值,与视频图像中的目标运动有关。对多条轨迹的均方差进行归一化处理,得到AVD的最小值,经实验确定AVD对应的阈值为最小值的2倍。flag若为1,判定该轨迹为真实目标轨迹;flag若为0,判定该轨迹为虚警目标轨迹,如图 4所示。

      图  4  目标轨迹

      Figure 4.  Target Trajectory

      图 4中,在第1帧到第10帧中共有5条目标轨迹,分别标记为ID1、ID2、ID3、ID4和ID5。ID1和ID2上的目标在第1~10帧中面积变化、位置变化和运动方向变化较小,AVD均小于对应阈值,判定ID1和ID2是真实目标轨迹。ID3上的目标在第1~10帧中面积变化较大,在第3帧中面积最小约9个像素,在第8帧中面积最大约180个像素,A大于对应阈值,判定ID3是虚警目标轨迹。ID4上的目标在第1~10帧中运动方向变化较大,例如第2帧目标运动方向向右,第4帧目标运动方向向下,第6帧目标运动方向向左,D大于对应阈值,判定ID4是虚警目标轨迹。ID5上的目标在第1~10帧中位置变化较大,第5帧到第6帧移动约5个像素,第8帧到第9帧移动约30个像素,V大于对应阈值,判定ID5是虚警目标轨迹,因此滤除ID3、ID4、ID5。

    • 联合时空信息和轨迹关联的空中多目标检测算法流程如图 5所示。

      图  5  联合时空信息和轨迹关联的空中多目标检测算法流程

      Figure 5.  Flowchart of Aerial Multi-target Detection Based on Spatial-temporal Information and Trajectory Association

      具体步骤为:

      1)均匀提取区域随机点及其对应的光流跟踪点,采用RANSAC(random sample consensus)过滤并进行透视矩阵计算,对运动背景进行补偿。

      2)提取目标时间信息,采用邻近帧差算法,得到目标时间信息图DMt;提取目标空间信息,采用背景模型算法,得到目标空间分布图DMt,联合时间空间信息得到时空信息图DVt

      3)检测DVt中目标,利用卡尔曼预测器对DVt+1中目标位置进行预测,利用匈牙利匹配算法关联DVt+1中检测出的目标,若目标的预测位置与目标的检测位置相匹配,则关联为同一目标;若目标的预测位置与所有的目标检测位置不相匹配,则在预测位置上补充漏检的目标;若目标的检测位置与所有的目标预测位置不相匹配,则出现新的目标;将所有关联到的多个目标确定为多条目标轨迹。若某条轨迹中的目标连续5帧都是在预测位置上补充的,则目标已经消失,将该条轨迹删除。

      4)对于误检导致的虚警目标轨迹,分段提取目标轨迹特征,利用轨迹特征滤除虚警目标轨迹,保留真实目标轨迹,得到空中多目标检测结果。

    • 将本文联合时空信息和轨迹关联的空中多目标检测算法(spatial-temporal information and trajectory association,ST-Tra)与多目标检测算法中性能优越的其他4种算法进行了对比实验,包括基于密度聚类(density-based spatial clustering of applications with noise,DBSCAN)的多目标检测算法(DBSCAN-based)[9]、基于演化局部均值聚类(evolving local means,ELM)的多目标检测算法(ELM-based)[10]、基于LKT(Lucas Kanade tomasi)点补偿后双模高斯背景模型(double Gaussian model,DGM)的多目标检测算法(DGM-LKT)[3]和基于随机LK(Lucas Kanade random,LKR)点补偿后区域化高斯背景模型(regional Gaussian model,RGM)的多目标检测算法(RGM-LKR)[6]。利用查全率(R)、查准率(P)和F测度(F)对多目标检测算法进行定量评价。

      所有的实验结果都是在相同的数据以及初始化条件下获得的。实验环境:VS2010、Matlab2016;实验平台:3.60 GHz,Intel i7处理器,64位Win7操作系统,8 GB内存。

    • 实验视频需要满足背景运动、目标尺度小、空中有多个目标、目标相互毗邻和相互遮挡等多个条件。满足全部条件的实验视频难以获得,本文采取两种方法获得了两段实验视频。

      第1种方法是基于满足最多所需条件的实拍视频,对其仿真实现以满足其余条件,从而得到第1段实验视频VD1。文献[13]提供的一段视频满足了本文实验最多所需的条件,视频包含2 000帧图像,图像大小为1 280×720像素,图像的背景是多云环境的天空,空中的云层有一定变化,背景中还包含地面场景,目标是多架小型固定翼无人机。该段视频背景是静止的,不满足背景运动的条件,本文利用视频仿真的方法,从整段视频的2 000帧图像中选取了包含多个目标在内的连续200帧图像,仿真出背景运动得到实验视频VD1,图像大小为640×480像素。通过人工统计获得实验视频VD1中目标的真值,共有255个目标。

      第2种方法是实地拍摄得到第2段实验视频VD2。视频包含4 400帧图像,图像大小为640×480像素,图像的背景是无云的天空背景,目标是一架小型四旋翼无人机和多只随机飞行的小型飞鸟,目标数量较多,目标飞行时有相互毗邻和相互遮挡的情况,拍摄时相机平台运动导致背景运动,该段视频能满足本文实验所需的全部条件。从整段视频图像中选取了连续200帧图像,得到实验视频VD2。通过人工统计获得实验视频VD2中目标的真值,共有861个目标。

    • 实验视频VD1背景是多云环境的天空,空中的云层有一定变化,通过VD1验证本文算法在背景云层变化时的空中多目标检测效果,本文算法与其他4种多目标检测算法的对比实验结果如表 1所示。表 1表明,本文算法具有最高的TP(true positive)和最低的FP(false positive),正确检测出目标的数量最多,虚警最少,说明本文算法性能优于其他算法。

      表 1  背景云层变化时空中多目标检测结果

      Table 1.  Aerial Multi-target Detection Results with Changing Clouds

      算法目标 DBSCAN- based ELM-based DGM-LKT RGM-LKR ST-Tra
      第17帧实际目标:无人机2个 无人机0个
      虚警0个
      无人机1个
      虚警0个
      无人机2个
      虚警3个
      无人机2个
      虚警1个
      无人机2个
      虚警0个
      第27帧实际目标:无人机2个 无人机1个
      虚警0个
      无人机2个
      虚警0个
      无人机2个
      虚警5个
      无人机2个
      虚警1个
      无人机2个
      虚警0个
      整段视频 TP=140,FP=7 TP=195,FP=10 TP=241,FP=126 TP=242,FP=110 TP=245,FP=3
    • 实验视频VD2中空中目标尺度小,最小的目标在图像中约9个像素,通过VD2验证本文算法在目标尺度小时的空中多目标检测效果,本文算法与其他4种多目标检测算法的对比实验结果如表 2所示。表 2表明,本文算法具有最高的TP值和最低的FP值,正确检测出目标的数量最多,虚警最少,说明本文算法性能优于其他算法。

      表 2  目标尺度小时空中多目标检测结果

      Table 2.  Aerial Multi-target Detection Results with Small Targets

      算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra
      第40帧实际目标:无人机1个、飞鸟7只 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟5只、虚警0个 无人机1个、飞鸟7只、虚警1个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个
      第53帧实际目标:无人机1个、飞鸟8只 无人机0个、飞鸟6只、虚警0个 无人机0个、飞鸟7只、虚警2个 无人机1个、飞鸟7只、虚警0个 无人机1个、飞鸟8只、虚警0个 无人机1个、飞鸟8只、虚警0个
      整段视频 TP=621,FP=15 TP=721,FP=57 TP=754,FP=20 TP=768,FP=2 TP=848,FP=1
    • 实验视频VD2中的目标数量多,多个目标飞行时有相互毗邻和相互遮挡情况,通过VD2验证本文算法在目标相互毗邻和相互遮挡时的空中多目标检测效果,本文算法与其他4种多目标检测算法的对比实验结果如表 3所示。表 3表明,本文算法具有最高的TP值和最低的FP值,正确检测出目标的数量最多、虚警最少,说明本文算法性能优于其他算法。

      表 3  目标相互毗邻和相互遮挡时空中多目标检测结果

      Table 3.  Aerial Multi-target Detection Results with Targets Adjacent to Each Other and Occluded Each Other

      算法目标 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra
      第59帧实际目标:无人机1个、飞鸟7只 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警2个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟6只、虚警0个 无人机1个、飞鸟7只、虚警0个
      第116帧实际目标:无人机1个、飞鸟5只 无人机1个、飞鸟2只、虚警0个 无人机1个、飞鸟3只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟4只、虚警0个 无人机1个、飞鸟5只、虚警0个
      整段视频 TP=621,FP=15 TP=721,FP=57 TP=754,FP=20 TP=768,FP=2 TP=848,FP=1
    • 将本文算法ST-Tra与其他4种多目标检测算法进行性能比较实验,采用查全率(R)、查准率(P)和F测度(F)指标,实验结果如表 4所示。

      表 4  本文算法与其他4种算法性能比较结果/%

      Table 4.  Performance Comparison Results of This Algorithm with Other Four Algorithms/%

      评价指标 实验视频 DBSCAN-based ELM-based DGM-LKT RGM-LKR ST-Tra
      R VD1 54.9 76.3 94.4 94.8 96.1
      VD2 72.1 83.7 87.6 89.2 98.5
      P VD1 95.2 95.1 65.6 68.5 98.8
      VD2 97.5 92.6 97.4 99.7 99.9
      F VD1 69.6 84.7 77.4 79.7 97.4
      VD2 82.9 84.5 92.2 94.1 99.2

      表 4表明,本文算法具有最高的查全率R、查准率PF测度,说明本文算法性能优于其他算法。本文算法采用像素级背景建模算法提取目标的空间信息,提高了目标的查全率,联合目标的时间信息降低了虚警;进行目标轨迹关联,在预测位置上补充漏检目标,降低了目标的漏检;分段提取目标轨迹特征滤除虚警目标轨迹,进一步降低了虚警。实验结果表明,本文算法的空中多目标检测效果最好。

    • 本文算法解决了空中多目标检测中目标在图像中所占像素数少、目标相互毗邻和相互遮挡的难题,具有优良的检测性能。实验结果表明,本文算法具有较高的查全率、查准率和F测度。后续研究将针对背景旋转运动下的多运动目标检测进行,扩展目标检测算法的适用范围。

参考文献 (17)

目录

    /

    返回文章
    返回