Ship Abnormal Event Detection with Deep Spatiotemporal Autoencoder Network and Multi-instance Learning
-
摘要:
异常事件检测是交通安全防控的重要支撑技术,也一直是信息科学领域的研究热点。提出了利用深度时空自编码网络与多示例学习进行船只异常事件检测的方法,针对目前无法为模型训练提供精确帧级别标注的问题,引入多示例学习模型,将视频作为包,并将视频片段作为包中的示例,通过网络自动学习一个深度异常排序模型,该模型能预测异常视频片段的分数。同时,在特征提取方面,提出了深度时空自编码网络,在空间自编码器中,为了获取更精确的红绿蓝特征,将解码器中的上采样层替换为像素重组层。在时间自编码器中,为了突出运动变化较大的区域,引入基于方差的注意力机制,使快速移动的物体有更大的运动损失,有利于检测出异常事件。还构建了一个新的大规模的船只视频数据集,包括100个真实场景的监控视频以及5类真实的异常事件,分别为海面逗留、非港口靠岸、非港口离岸、超速和越界。该数据集可用于模型的训练与测试。实验结果表明,相比传统的双流网络以及基于图像重构的检测方法,所提出的基于深度时空自编码网络与多示例学习的方法的异常事件检测精度由71.7%提升为82.4%,表明了其在船只异常事件检测上的有效性。
Abstract:ObjectivesRGB(red green blue) and motion features are very important for ship video abnormal event detection. We need to extract these features in video more accurately and apply them to the detection of abnormal events in ship video. Meanwhile, due to the huge cost of frame-level annotations, we also need to solve the problem of not providing frame-level annotations in the model training stage, but using video-level annotations for model training. In addition, we also need to solve the problem of the scarcity of ship video abnormal event database.
MethodsWe acquire a large number of surveillance videos of ships on the sea surface and construct a data set of abnormal events of ship video after processing. Also, we propose a ship abnormal event detection model based on deep spatiotemporal autoencoder network and multi-instance learning, using a deep multi-instance ranking framework, without obtaining frame-level annotations, only video-level information is needed. In addition, in the spatial autoencoder, in order to obtain more accurate RGB features, the deconvolution layer in the decoder is replaced by a pixel shuffle layer. In the temporal autoencoder, in order to highlight the regions with large motion variation, a variance-based attention mechanism is introduced, so that fast-moving objects have a larger motion loss.
ResultsWe compare the proposed method with the two benchmark methods and a previous state-of-the-art method. The experimental results show that the proposed method has higher detection accuracy. In addition, we observe that variance-based attention can significantly improve the detection effect of fast motion, such as unexpected stopping and overspeed.
ConclusionsThis shows that RGB and motion features play an important role in ship abnormal event detection and also proves the necessity of multi-instance ranking model.
-
http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20220121
-
表 1 船只数据集中事件类别分布
Table 1 Abnormal Event Category Distribution in Ship Dataset
类别 正常事件 海面逗留 超速 非港口离岸 非港口靠岸 越界 数量/个 53 14 8 7 8 10 帧总数 89 650 22 500 12 105 10 450 13 004 14 903 占比/% 53 14 8 7 8 10 
下载: 导出CSV
表 2 本文方法与其他方法在SAED上的实验结果对比/%
Table 2 Comparison of Experimental Results of the Proposed Method with Other Methods on SAED/%
下载: 导出CSV
表 3 各模块对模型性能的影响
Table 3 The Effect of Each Module on Model Performance
模块 实验1 实验2 实验3 实验4 实验5 实验6 实验7 RGB特征 √ √ √ √ √ 像素重组层 √ √ 运动特征 √ √ √ √ √ 方差注意力机制 √ √ √ AUC/% 75.1 76.2 78.5 79.4 80.4 81.3 82.4
下载: 导出CSV
表 4 3种模型在不同数据集上的平均PSNR值/dB
Table 4 Average PSNR Values of Three Models on Different Datasets/dB
下载: 导出CSV
-
[1] 马文耀. 船舶异常行为的一致性检测[D]. 大连： 大连海事大学, 2018. Ma Wenyao. Conformal Detection of Anomalous Behaviors of Vessel[D]. Dalian： Dalian Maritime University, 2018.
[2] Durso F T, Nickerson R S. Handbook of Applied Cognition[M].New York： John Wiley & Sons, 2007.
[3] 胡波, 刘明. 遥感技术在海域态势感知中的应用[J]. 世界知识, 2021（19）： 74. Hu Bo, Liu Ming. Application of Remote Sensing Technology in Situation Awareness of Sea Area[J]. World Affairs, 2021（19）： 74.
[4] Chintoan-Uta M, Silva J R. Global Maritime Domain Awareness： A Sustainable Development Perspective[J]. WMU Journal of Maritime Affairs, 2017, 16（1）： 37-52.
[5] Shi Z W, Yu X R, Jiang Z G, et al. Ship Detection in High-Resolution Optical Imagery Based on Anomaly Detector and Local Shape Feature[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52（8）： 4511-4523.
[6] Riveiro M, Pallotta G, Vespe M. Maritime Anomaly Detection： A Review[J]. WIREs Data Mining and Knowledge Discovery, 2018, 8（5）： e1266.
[7] Liu W, Luo W X, Lian D Z, et al. Future Frame Prediction for Anomaly Detection： A New Baseline[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition,Salt Lake City,USA,2018.
[8] Ronneberger O, Fischer P, Brox T. U-Net： Convolutional Networks for Biomedical Image Segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, New York, USA, 2015.
[9] Hasan M, Choi J, Neumann J, et al. Learning Temporal Regularity in Video Sequences[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016.
[10] Sabokrou M, Fayyaz M, Fathy M, et al. Deep-Anomaly： Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes[J]. Computer Vision and Image Understanding, 2018, 172： 88-97.
[11] Lu C W, Shi J P, Jia J Y. Abnormal Event Detection at 150 FPS in MATLAB[C]//IEEE International Conference on Computer Vision, Sydney, Australia, 2013.
[12] Wu P, Liu J, Li M M, et al. Fast Sparse Coding Networks for Anomaly Detection in Videos[J]. Pattern Recognition, 2020, 107： 107515.
[13] Stewart R, Ermon S. Label-Free Supervision of Neural Networks with Physics and Domain Knowledge[C]//The 31st AAAI Conference on Artificial Intelligence,San Francisco,California,USA, 2017.
[14] Srivastava N, Mansimov E, Salakhutdinov R. Unsupervised Learning of Video Representations Using LSTMS[C]//The 32nd International Conference on International Conference on Machine Learning, Lille, France, 2015.
[15] Simonyan K, Zisserman A. Two-stream Convolutional Networks for Action Recognition in Videos[EB/OL]. （2014-06-09）[2022-01-08]. http：//arxiv.org/abs/1406.2199.
[16] Mahadevan V, Li W X, Bhalodia V, et al. Anomaly Detection in Crowded Scenes[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010.
[17] Xu D, Yan Y, Ricci E, et al. Detecting Anomalous Events in Videos by Learning Deep Representations of Appearance and Motion[J]. Computer Vision and Image Understanding, 2017, 156： 117-127.
[18] Nguyen T N, Meunier J. Anomaly Detection in Video Sequence with Appearance-Motion Correspondence[C]//IEEE/CVF International Conference on Computer Vision （ICCV）,Seoul, Republic of Korea, 2019.
[19] Tran D, Bourdev L, Fergus R, et al. Learning Spatiotemporal Features with 3D Convolutional Networks[C]//IEEE International Conference on Computer Vision （ICCV）, Santiago, Chile, 2015.
[20] Carreira J, Zisserman A. Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset[C]//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）, Honolulu, USA, 2017.
[21] Xie S N, Sun C, Huang J, et al. Rethinking Spatiotemporal Feature Learning： Speed-Accuracy Trade-Offs in Video Classification[C]//The 15th European Conference, Munich, Germany, 2018.
[22] Sun D Q, Yang X D, Liu M Y, et al. PWC-Net： CNNS for Optical Flow Using Pyramid, Warping, and Cost Volume[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018.
[23] Sultani W, Chen C, Shah M. Real-World Anomaly Detection in Surveillance Videos[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018.
[24] 杨先斌, 党建武, 王松, 等. 基于双流网络与多示例学习的异常事件检测[J]. 激光与光电子学进展, 2021, 58（20）： 2015006. Yang Xianbin, Dang Jianwu, Wang Song, et al. Anomaly Event Detection Based on Two-Stream Network and Multi-instance Learning[J]. Laser & Optoelectronics Progress, 2021, 58（20）： 2015006.
[25] Zweig M H, Campbell G. Receiver-Operating Characteristic （ROC） Plots： A Fundamental Evaluation Tool in Clinical Medicine[J]. Clinical Chemistry, 1993, 39（4）： 561-577.
[26] Paszke A, Gross S, Massa F, et al. PyTorch： An Imperative Style, High-Performance Deep Learning Library[EB/OL]. （2019-12-03）[2022-01-08]. http：//arxiv.org/abs/1912.01703.
[27] Stephen K, Menon V. Re Learning Memory Guided Normality for Anomaly Detection[EB/OL]. （2021-04-01）[2022-01-08]. http：//arxiv.org/abs/2101.12382.
-
期刊类型引用(46)
1. 刘春雷，张媛静，陆晨明，李亚松，李剑锋. 基于时序InSAR的九龙江河口地区地面沉降时空演变规律及成因分析. 应用海洋学学报. 2024(01): 116-125 . 
百度学术
2. 陈瑞瑞，孙颢月，朱紫若，蒋雪中，陈沈良，陈静. 黄河三角洲地面沉降研究进展与未来展望. 海岸工程. 2024(01): 1-23 . 百度学术
3. 赵凤阳，周吕，魏玉业. 融合改进鲸鱼算法解缠的梧州市地面沉降InSAR监测. 遥感信息. 2024(01): 52-58 . 百度学术
4. 侯永浩，张兴，李晓民，李宗仁. SBAS-InSAR技术在地质灾害调查中的应用. 北京测绘. 2024(10): 1477-1481 . 百度学术
5. 柳新强，姜刚，刘军峰，贺国伟. PS-InSAR和SBAS-InSAR的地表沉降监测对比研究——以雄安新区为例. 工程勘察. 2023(01): 62-67 . 百度学术
6. 曾敏，皮鹏程，赵信文，陈松，彭红霞，侯清芹，孙慧敏，薛紫萱. 基于PS-InSAR的珠江口典型填海造地区地面沉降时空特征研究. 华南地质. 2023(01): 116-126 . 百度学术
7. 李文慧，王志伟，赵月，王翔. 基于SNAP-StaMPS方法的高速公路沿线地面沉降监测. 测绘工程. 2023(03): 36-43 . 百度学术
8. 周定义，左小清，赵志芳，喜文飞，葛楚. 基于SBAS-InSAR和改进BP神经网络的城市地面沉降预测. 地质通报. 2023(10): 1774-1783 . 百度学术
9. 刘泽洲，卢才武，章赛，李萌，和郑翔. 基于多阈值目标提取的时序InSAR矿区地表沉降监测研究. 中国矿业. 2022(08): 79-85 . 百度学术
10. 王新田，刘增珉，陈建忠，梁菲，孟萌，李天鹤. 山东省地表形变InSAR监测与分析. 测绘通报. 2022(S2): 130-134 . 百度学术
11. 邓晓景，曲国庆，张建霞，席换，王晖. 融合升降轨PS-InSAR东营市地面沉降监测. 山东理工大学学报(自然科学版). 2021(01): 10-16 . 百度学术
12. 杨利，薛东剑，王海方，付林，张婷. 五龙沟矿区时序InSAR地表形变监测. 中国矿业. 2021(03): 107-112 . 百度学术
13. 程琳琳，杨玉曼，李月颖，孙梦尧，王振威，焦路尧. 矿业型村镇转型期发展问题分析与策略研究：以北京市门头沟区为例. 中国矿业. 2021(03): 101-106 . 百度学术
14. 王辉，曾琪明，焦健，陈继伟. 结合序贯平差方法监测地表形变的InSAR时序分析技术. 北京大学学报(自然科学版). 2021(02): 241-249 . 百度学术
15. 付云霞，管勇，王晓丹，王建收，尹政，周晓雪，王青，徐美君. 大型河口三角洲地面沉降机制研究——以黄河三角洲为例. 海岸工程. 2021(02): 83-95 . 百度学术
16. 关金环，高明亮，宫辉力. 首都国际机场区域差异性沉降原因探讨. 测绘科学. 2021(09): 67-75 . 百度学术
17. 柴华彬，胡吉彪，耿思佳. 融合实测数据的地表沉降SBAS-InSAR监测方法. 煤炭学报. 2021(S1): 17-24 . 百度学术
18. 程霞，张永红，邓敏，吴宏安，康永辉. Sentinel-1A卫星的黄河三角洲近期地表形变分析. 测绘科学. 2020(02): 43-51 . 百度学术
19. 卢旺达，韩春明，岳昔娟，赵迎辉，周格仪. 基于Sentinel-1A数据的天津地区PS-InSAR地面沉降监测与分析. 遥感技术与应用. 2020(02): 416-423 . 百度学术
20. 向淇文，潘建平，张广泽，徐正宣，张定凯，涂文丽. 基于SBAS技术的川藏铁路折多山地区地表形变监测与分析. 测绘工程. 2020(04): 48-54+59 . 百度学术
21. 张金盈，崔靓，刘增珉，王新田，林琳，徐凤玲. 利用Sentinel-1 SAR数据及SBAS技术的大区域地表形变监测. 测绘通报. 2020(07): 125-129 . 百度学术
22. 狄桂栓. 基于InSAR技术的黄河三角洲区域地表形变浅析. 地理空间信息. 2020(09): 106-109+8 . 百度学术
23. 高辉，罗孝文，吴自银，阳凡林. 基于时序InSAR的珠江口大面积地面沉降监测. 海洋学研究. 2020(02): 81-87 . 百度学术
24. 韩红花. 黄河三角洲区域地表形变监测研究. 山东国土资源. 2020(11): 69-72 . 百度学术
25. 夏元平，陈志轩，张毅. 南昌市地面沉降InSAR监测及影响因子分析. 测绘科学. 2020(11): 115-122+129 . 百度学术
26. 贺跃光，肖亮. 某水溶开采矿区短基线集InSAR高相干点探测. 中国锰业. 2019(01): 89-93 . 百度学术
27. 张静，丁黄平，刘纯，谢文然，时雨. 基于InSAR技术的盘锦地区地面沉降研究. 世界地质. 2019(02): 574-580 . 百度学术
28. 韩红超，符华年，张文峰，温浩. InSAR、水准多维沉降监测体系建设及应用研究. 测绘通报. 2019(S1): 236-241 . 百度学术
29. 师芸，李伟轩，唐亚明，席磊，孟欣. 时序InSAR技术在地球环境监测及其资源管理中的应用:以交城-清徐地区为例. 武汉大学学报(信息科学版). 2019(11): 1613-1621 . 百度学术
30. 杨帆，王道顺，张磊，张子文. 基于时序InSAR的隧道工程形变监测与分析. 测绘与空间地理信息. 2019(10): 1-4 . 百度学术
31. 黄洁慧，谢谟文，王立伟. 基于SBAS-InSAR技术的白格滑坡形变监测研究. 人民长江. 2019(12): 101-105 . 百度学术
32. 黄洁慧，谢谟文，王立伟. 基于差分干涉合成孔径雷达技术的米林滑坡形变监测. 科学技术与工程. 2019(25): 7-12 . 百度学术
33. 李锁乐，吴宏安，张永红，康永辉，左振华. 包头市地面沉降高分辨率时序InSAR监测. 测绘科学. 2018(09): 76-80 . 百度学术
34. 杨帆，张磊，张子文，赵增鹏. 利用短基线集InSAR技术监测抚顺市地面沉降. 测绘通报. 2018(03): 84-88 . 百度学术
35. 张静，冯东向，綦巍，周雪，赵玉星. 基于SBAS-InSAR技术的盘锦地区地面沉降监测. 工程地质学报. 2018(04): 999-1007 . 百度学术
36. 贺晓阳，赵盟，程存付. 小基线集技术在矿区地表形变监测中的应用. 河南科技. 2018(13): 97-98 . 百度学术
37. LIU Xiao，LIU Jie，FENG Xiuli. Inversion and Prediction of Consolidation Settlement Characteristics of the Fluvial Sediments Based on Void Ratio Variation in the Northern Modern Yellow River Subaqueous Delta, China. Journal of Ocean University of China. 2018(03): 545-554 . 必应学术
38. 李达，邓喀中，高晓雄，牛海鹏. 基于SBAS-InSAR的矿区地表沉降监测与分析. 武汉大学学报(信息科学版). 2018(10): 1531-1537 . 百度学术
39. 张炜，张伟胜，张东升，胡文敏，孙毓言，唐佳佳. 采动覆岩活动规律的“空-地”监测技术. 中国矿业大学学报. 2018(06): 1212-1223 . 百度学术
40. 王小侣. 水电站大坝400V备自投改造研究. 河南科技. 2018(19): 90-91 . 百度学术
41. 张磊，杨帆，李超飞，赵增鹏，张子文. 宁波地面沉降的短基线集监测与分析. 测绘科学. 2017(12): 77-82 . 百度学术
42. 陈继伟，曾琪明，焦健，赵斌臣. Sentinel-1A卫星TOPS模式数据的SBAS时序分析方法——以黄河三角洲地区为例. 国土资源遥感. 2017(04): 82-87 . 百度学术
43. 王萍. 沉降观测技术在高层建筑施工中的应用. 建材与装饰. 2017(35): 19-20 . 百度学术
44. 史秀保，徐宁，温浩，李春进. 一种小基线地表形变监测精度评价方法. 测绘通报. 2016(08): 70-73+91 . 百度学术
45. 于丹，杨子玉，庄岩，于均园. 时序分析法在沈阳地铁二号线变形预测的应用. 沈阳建筑大学学报(自然科学版). 2016(03): 453-458 . 百度学术
46. 王霖郁，李辉. 一种枝切法和质量图相结合的InSAR相位解缠算法. 应用科技. 2016(05): 49-53 . 百度学术
其他类型引用(25)
计量
- 文章访问数: 660
- HTML全文浏览量: 87
- PDF下载量: 84
- 被引次数: 71
