留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

顾及轨迹地理方向的监控视频浓缩方法

解愉嘉 刘学军

解愉嘉, 刘学军. 顾及轨迹地理方向的监控视频浓缩方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080
引用本文: 解愉嘉, 刘学军. 顾及轨迹地理方向的监控视频浓缩方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080
XIE Yujia, LIU Xuejun. Surveillance Video Synopsis Considering Trajectory Geographic Direction[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080
Citation: XIE Yujia, LIU Xuejun. Surveillance Video Synopsis Considering Trajectory Geographic Direction[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080

顾及轨迹地理方向的监控视频浓缩方法

doi: 10.13203/j.whugis20160080
基金项目: 

公安部科技强警基础工作专项 2014GABJC009

国家科技支撑计划基金 2012BAH35B02

江苏省优势学科建设项目 164320H116

详细信息

Surveillance Video Synopsis Considering Trajectory Geographic Direction

Funds: 

The Basic Work on Enforced Police Funded by Specifically Program of Ministry of Public Security 2014GABJC009

the National Science and Technology Support Program 2012BAH35B02

the Priority Academic Program Development of Jiangsu Higher Education Institution 164320H116

  • 摘要: 针对视频浓缩研究未引入运动目标轨迹地理方向进行分析,所实现的可视化效果不能区分表达不同轨迹方向的运动目标的问题,提出了顾及轨迹地理方向的监控视频浓缩方法。该方法使用单应模型将运动目标轨迹由图像空间映射至地理空间,利用属性阈值聚类(quality threshold clustering,QT)算法对轨迹出入口进行聚类,实现轨迹地理方向分析。在对轨迹进行映射聚类处理的基础上,通过选取虚拟场景视点实现视频浓缩背景构建,生成轨迹类拟合中心线作为运动目标显示轨迹,并通过构建轨迹类表达模型实现运动目标显示排序,最终实现视频浓缩构建。实验结果表明,该方法能依据轨迹地理方向对运动目标进行区分表达,并能灵活调整不同轨迹类的表达策略。
  • 图  1  不同视频浓缩方法技术流程比较

    Figure  1.  Comparison of Technological Processes Between Different Video Synopsis

    图  2  视域四边形、中心点与轨迹出入口位置关系

    Figure  2.  Positional Relationship Among the Geospatial Sight Quadrilateral, the Central Point and Entry/Exit Point of the Trajectories

    图  3  虚拟场景视点选取

    Figure  3.  Virtual Scene Viewpoint Selection

    图  4  轨迹类拟合中心线与原始运动目标轨迹散点曲线集空间关系

    Figure  4.  Positional Relationship Between the Original Scatterplot Trajectories and the Fitting Centerline

    图  5  运动目标显示帧间隔数

    Figure  5.  Number of Expressing Interval Frames of Moving Targets

    图  6  轨迹聚类结果

    Figure  6.  Trajectory Clustering Results

    图  7  视频浓缩结果(μ=20)

    Figure  7.  Results of Video Synopsis (μ=20)

    图  8  视频浓缩结果(RO=1,RC=0)

    Figure  8.  Results of Video Synopsis RO=1, RC=0

    图  9  未进行轨迹聚类处理的视频浓缩结果

    Figure  9.  Results of Video Synopsis Without Trajectory Clustering

    表  1  轨迹类信息表达模式

    Table  1.   Expression Patterns of the Trajectory Clusters

    RC RO
    0 1
    0
    1
    下载: 导出CSV
  • [1] Li C, Wu Y T, Yu S S, et al. Motion-Focusing Key Frame Extraction and Video Summarization for Lane Surveillance System[C].The 16th IEEE International Conference on Image Processing, Cairo, Egypt, 2009
    [2] Fu W, Wang J, Zhu X, et al. Video Reshuffling with Narratives Toward Effective Video Browsing[C].The 6th International Conference on Image and Graphics, Berlin, Germany, 2011
    [3] Chiang C C, Yang H F. Quick Browsing and Retrieval for Surveillance Videos[J]. Multimedia Tools and Applications, 2015, 74(9):2861-2877 doi:  10.1007/s11042-013-1750-z
    [4] Huang C R, Chen H C, Chung P C. Online Surveillance Video Synopsis[C].International Symposium on Circuits and Systems, Carrara, Australia, 2012
    [5] Pritch Y, Rav-Acha A, Gutman A, et al. Webcam Synopsis:Peeking Around the World[C].The 11th International Conference on Computer Vision, Rio de Janeiro, Brazil, 2007
    [6] Sun L, Ai H, Lao S. The Dynamic VideoBook:A Hierarchical Summarization for Surveillance Video[C].The 20th IEEE International Conference on Image Processing, Melbourne, Australia, 2013
    [7] Wang S, Liu H, Xie D, et al. A Novel Scheme to Code Object Flags for Video Synopsis[C]. Visual Communications and Image Processing, San Diego, USA, 2012
    [8] Wang S, Yang J, Zhao Y, et al. A Surveillance Video Analysis and Storage Scheme for Scalable Synopsis Browsing[C].International Conference on Computer Vision Workshops, Barcelona, Spain, 2011
    [9] Wang S Z, Wang Z Y, Hu R. Surveillance Video Synopsis in the Compressed Domain for Fast Video Browsing[J]. Journal of Visual Communication and Image Representation, 2013, 24(8):1431-1442 doi:  10.1016/j.jvcir.2013.10.001
    [10] Feng S, Lei Z, Yi D, et al. Online Content-Aware Video Condensation[C]. International Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2012
    [11] Xu M, Li S Z, Li B, et al. A Set Theoretical Method for Video Synopsis[C]. The 1st International Conference on Multimedia Information Retrieval, Vancouver, Canada, 2008
    [12] Fu W, Wang J, Gui L, et al. Online Video Synopsisof Structured Motion[J]. Neurocomputing, 2014, 135:155-162 doi:  10.1016/j.neucom.2013.12.041
    [13] Lu S P, Zhang S H, Wei J, et al. Timeline Editing of Objects in Video[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(7):1218-1227 doi:  10.1109/TVCG.2012.145
    [14] Sun L, Xing J, Ai H, et al. A Tracking Based Fast Online Complete Video Synopsis Approach[C]. The 21st International Conference on Pattern Recognition, Tsukuba, Japan, 2012
    [15] Nie Y, Xiao C, Sun H, et al. Compact Video Synopsis via Global Spatiotemporal Optimization[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(10):1664-1676 doi:  10.1109/TVCG.2012.176
    [16] Kasamwattanarote S, Cooharojananone N, Satoh S, et al. Real Time Tunnel Based Video Summarization using Direct Shift Collision Detection[M]. Berlin, Heidelberg:Springer, 2010
    [17] Feng S, Liao S, Yuan Z, et al. Online Principal Background Selection for Video Synopsis[C]. The 20th International Conference on Pattern Recognition, Istanbul, Turkey, 2010 https://www.computer.org/csdl/proceedings/icpr/2010/4109/00/index.html
    [18] Heyer L J, Kruglyak S, Yooseph S. Exploring Expression Data:Identification and Analysis of CoexpressedGenes[J]. Genome Research, 1999, 9(11):1106-1115 doi:  10.1101/gr.9.11.1106
  • [1] 王飞跃, 解愉嘉, 毛波.  顾及相机可观测域的地理场景多相机视频浓缩 . 武汉大学学报 ● 信息科学版, 2021, 46(4): 595-600. doi: 10.13203/j.whugis20190281
    [2] 肖晶, 胡瑞敏.  星地协同的卫星视频高效压缩方法 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 2197-2204. doi: 10.13203/j.whugis20180159
    [3] 徐汝东, 刘进.  可量测视频目标动态轨迹生成及GIS应用 . 武汉大学学报 ● 信息科学版, 2016, 41(6): 818-824. doi: 10.13203/j.whugis20140518
    [4] 张兴国, 刘学军, 王思宁, 刘洋.  监控视频与2D地理空间数据互映射 . 武汉大学学报 ● 信息科学版, 2015, 40(8): 1130-1136. doi: 10.13203/j.whugis20130817
    [5] 丰江帆, 宋虎.  利用随机图语法的地理视频运动要素解析 . 武汉大学学报 ● 信息科学版, 2014, 39(2): 206-209. doi: 10.13203/j.whugis20120711
    [6] 陈亮, 朱长青, 任娜, 朱一姝.  利用小波变换的视频GIS数据数字水印算法 . 武汉大学学报 ● 信息科学版, 2012, 37(10): 1256-1259.
    [7] 刘慧, 李清泉, 曾喆, 高春仙.  利用低空视频检测道路车辆 . 武汉大学学报 ● 信息科学版, 2011, 36(3): 316-320.
    [8] 宋宏权, 孔云峰.  Adobe Flex框架中的视频GIS系统设计与开发 . 武汉大学学报 ● 信息科学版, 2010, 35(6): 743-746.
    [9] 孔云峰.  地理视频数据模型设计及网络视频GIS实现 . 武汉大学学报 ● 信息科学版, 2010, 35(2): 133-137.
    [10] 雷波, 李清泉.  复杂交通场景中车辆视频检测的背景提取与更新 . 武汉大学学报 ● 信息科学版, 2009, 34(8): 906-909.
    [11] 明英, 蒋晶珏.  视频序列图像中运动目标检测与阴影去除 . 武汉大学学报 ● 信息科学版, 2008, 33(12): 1216-1220.
    [12] 种衍文, 江柳, 沈未名.  基于变化检测的视频对象提取及后继帧的对象跟踪 . 武汉大学学报 ● 信息科学版, 2006, 31(8): 748-751.
    [13] 龚自康.  面向多种网络带宽环境的远程教学视频传输技术研究 . 武汉大学学报 ● 信息科学版, 2006, 31(4): 368-370.
    [14] 谢治平, 何燕, 贺贵明.  基于自适应背景估计的视频运动对象提取 . 武汉大学学报 ● 信息科学版, 2006, 31(4): 332-335.
    [15] 王刃, 张本昀, 朱新慧.  视频激光干涉牛顿环中心的实时提取技术 . 武汉大学学报 ● 信息科学版, 2006, 31(11): 1031-1033.
    [16] 徐正全, 杨志云, 李伟, 陈琳.  数字视频加密技术发展现状及展望 . 武汉大学学报 ● 信息科学版, 2005, 30(7): 570-574.
    [17] 沈未名, 江柳, 种衍文.  视频对象分割及跟踪方法研究 . 武汉大学学报 ● 信息科学版, 2004, 29(3): 274-277.
    [18] 沈未名, 朱立, 李国宽.  错误多发异质网络环境下视频编码系统的总体设计 . 武汉大学学报 ● 信息科学版, 2002, 27(1): 23-27.
    [19] 涂卫平, 胡瑞敏, 艾浩军, 谢兄.  视频会议中音频多点处理器的研究 . 武汉大学学报 ● 信息科学版, 2002, 27(1): 98-101,106.
    [20] 周楠, 曹金山, 肖蕾, 曹世翔.  带有地理编码的光学视频卫星物方稳像方法 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20200306
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  1039
  • HTML全文浏览量:  56
  • PDF下载量:  296
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-05-16
  • 刊出日期:  2017-01-05

顾及轨迹地理方向的监控视频浓缩方法

doi: 10.13203/j.whugis20160080
    基金项目:

    公安部科技强警基础工作专项 2014GABJC009

    国家科技支撑计划基金 2012BAH35B02

    江苏省优势学科建设项目 164320H116

    作者简介:

    解愉嘉, 博士生, 研究方向为视频GIS。xieyujia11@hotmail.com, xieyujia11@hotmail.com

    通讯作者: LIU Xuejun, PhD, professor. E-mail: liuxuejun@njnu.edu.cn
  • 中图分类号: P208

摘要: 针对视频浓缩研究未引入运动目标轨迹地理方向进行分析,所实现的可视化效果不能区分表达不同轨迹方向的运动目标的问题,提出了顾及轨迹地理方向的监控视频浓缩方法。该方法使用单应模型将运动目标轨迹由图像空间映射至地理空间,利用属性阈值聚类(quality threshold clustering,QT)算法对轨迹出入口进行聚类,实现轨迹地理方向分析。在对轨迹进行映射聚类处理的基础上,通过选取虚拟场景视点实现视频浓缩背景构建,生成轨迹类拟合中心线作为运动目标显示轨迹,并通过构建轨迹类表达模型实现运动目标显示排序,最终实现视频浓缩构建。实验结果表明,该方法能依据轨迹地理方向对运动目标进行区分表达,并能灵活调整不同轨迹类的表达策略。

English Abstract

解愉嘉, 刘学军. 顾及轨迹地理方向的监控视频浓缩方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080
引用本文: 解愉嘉, 刘学军. 顾及轨迹地理方向的监控视频浓缩方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080
XIE Yujia, LIU Xuejun. Surveillance Video Synopsis Considering Trajectory Geographic Direction[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080
Citation: XIE Yujia, LIU Xuejun. Surveillance Video Synopsis Considering Trajectory Geographic Direction[J]. Geomatics and Information Science of Wuhan University, 2017, 42(1): 70-76. doi: 10.13203/j.whugis20160080
  • 随着监控摄像机在全球范围内的广泛使用,每天都在产生着海量的监控视频数据。为方便对监控视频进行高效浏览分析,需要进行视频浓缩处理。如何在视频浓缩中有效表达运动目标的时空行为,以方便监控人员理解视频内容已变得愈发重要。

    为满足上述需求,当前的研究主要通过采用浓缩构建模式改进、表达效果优化等方法来进行探索。视频浓缩构建模式大致可分为静态视频浓缩[1-2]、动态视频浓缩[3-5]和混合视频浓缩[6]3大类。上述视频浓缩模式均在图像空间中实现,仅能表达视频运动目标在图像空间中的运动情况,无法有效展现运动目标的地理空间运动情况。

    视频浓缩表达效果优化是通过对浓缩方法进行改良来实现的,大致可分为运动目标本体构建优化[7-9]、运动目标展现序列优化[10-13]、运动目标时空位置优化[14-16]和视频背景优化[17]4类。其中,运动目标本体构建优化的目的是提高浓缩视频中运动目标的生成效率,运动目标展现序列与时空位置优化的目的是为减少运动目标的碰撞表达,视频背景优化目的是准确重现原始视频场景。上述视频浓缩效果优化方法未引入运动目标轨迹地理方向进行分析,所实现的优化效果并不能有效区分运动目标轨迹的地理方向,且难以根据监控系统使用者的观览需求有效调整运动目标的表达策略。

    针对传统浓缩方法存在的问题,本文提出了顾及轨迹地理方向的监控视频浓缩方法(见图 1)。区别于传统的图像空间视频浓缩方法,该方法将运动目标轨迹映射于地理空间,使用虚拟地理场景为背景实现视频浓缩。另一方面,该方法以运动目标轨迹映射聚类的方式实现轨迹地理方向分析,以含有地理方向语义信息的轨迹类为基本单元在虚拟场景模型中进行视频浓缩表达。

    图  1  不同视频浓缩方法技术流程比较

    Figure 1.  Comparison of Technological Processes Between Different Video Synopsis

    • 由于视频浓缩需要在较短的时间内集中地表达运动目标,而运动目标轨迹是杂乱、随机的,将运动目标子图按原空间位置投影于虚拟场景中表达会造成运动目标拥挤、时序混乱等问题,妨碍了观看者对视频内容的有效理解。为了使浓缩结果具有视觉友好性,需要简化运动目标信息表达方式。本文对轨迹进行空间映射,根据轨迹在相机视域中进出位置的地理方向进行聚类处理,获得具有相似地理方向的轨迹类,作为视频浓缩的构建基础。

    • 为将运动目标轨迹有效地标记于地理空间中,需要构建图像-地理空间映射模型。本文采用单应法构建该映射模型。基于地理空间中相机视域范围内地面平坦的假设,设单应矩阵M为:

      $$ \mathit{\boldsymbol{M = }}\left[{\begin{array}{*{20}{c}} {{k_1}}&{{k_2}}&{{t_x}}\\ {{k_3}}&{{k_4}}&{{t_y}}\\ 0&0&1 \end{array}} \right] $$ (1)

      每个图像中像素坐标点xi, j, yi, j所对应的地理空间坐标(Xi, j, Yi, j)可由下式求解:

      $$ \left[{\begin{array}{*{20}{c}} {{X_{i, j}}}\\ {{Y_{i, j}}}\\ 1 \end{array}} \right] = \mathit{\boldsymbol{M}}\left[{\begin{array}{*{20}{c}} {{x_{i, j}}}\\ {{y_{i, j}}}\\ 1 \end{array}} \right] $$ (2)

      通过预先标定的至少3组图像空间坐标点和对应的地理空间坐标点,求解M中的参数k1k2k3k4txty,实现M的求解。

      对监控视频进行运动目标检测跟踪,获取一段时间内视频中所有的运动目标轨迹与运动目标帧子图集合Ρ。将运动目标轨迹映射于地理空间后,获得地理空间的运动目标轨迹集合T

      $$ P = \left\{ {{I_{i, j}}, \left( {i = 1, 2, \cdots, N} \right), \left( {j = 1, 2, \cdots, n} \right)} \right\} $$ (3)
      $$ T = \left\{ {{T_i}, \left( {i = 1, 2, \cdots, N} \right)} \right\} $$ (4)
      $$ {T_i} = \left\{ {{t_i}\left( {{X_{i, j}}, {Y_{i, j}}} \right), \left( {j = 1, 2, \cdots, n} \right)} \right\} $$ (5)

      式中,Ii,j表示单个运动目标帧子图;Ti表示每个运动目标的地理空间轨迹;N表示运动目标个数;n表示单个运动目标位置采样点的个数。

    • 为了对地理方向不同的运动目标轨迹进行区分表达,需要在视频浓缩前对轨迹进行分类。具体而言,为了使轨迹分类结果对不同的场景具有通用性,需要使用聚类而非先验知识分类方法对轨迹分类。由于轨迹出入口的分类数目预先不可知,本文采用不需要预先指定聚类个数的属性阈值聚类(quality threshold clustering, QT)方法对轨迹进行聚类处理。

      本文选用轨迹的出入口地理空间位置点作为聚类对象。由已知的运动目标轨迹集合Ti,求解运动目标轨迹类集合Ψ。对∀Ti,记其入口点为ti, 0,出口点为ti, n。记所有轨迹入口集合为tφ,所有轨迹出口集合为tω,它们定义为:

      $$ {t_\varphi } = \left\{ {{t_{i, 0}}, {\rm{ }}i = 1, 2, \ldots, N} \right\} $$ (6)
      $$ {t_\omega } = \left\{ {{t_{i, n}}, {\rm{ }}i = 1, 2, \ldots, N} \right\} $$ (7)

      图 2所示,以两个运动目标入口位置点ti, 0tj, 0与相机视域四边形R的中心点tc的夹角α作为轨迹出入口相似性度量标准,对tφtω中的元素分别进行聚类。α的定义为:

      图  2  视域四边形、中心点与轨迹出入口位置关系

      Figure 2.  Positional Relationship Among the Geospatial Sight Quadrilateral, the Central Point and Entry/Exit Point of the Trajectories

      $$ \alpha = {\rm{co}}{{\rm{s}}^{-1}}\angle ({t_c}, {t_{i, 0}}, {t_{j, 0}}) $$ (8)

      将聚类半径角度阈值预设为ατ,使用QT聚类算法[18]对轨迹入口集合与轨迹出口集合分别进行聚类处理,最终获得轨迹入口类与出口类集合,记为ΨφΨω。对ΨφΨω进行同轨迹匹配处理,获得运动目标轨迹类集合ΨΨ定义为:

      $$ \begin{array}{l} \mathit{\Psi } = \{ {c_\lambda }, ({c_\lambda } = \left\{ {{T_\varepsilon }, \left( {\varepsilon = 0, \cdots, \rho } \right)} \right\}, \\ \;\;\;\;\;\;\;\;\;\;\;\;\lambda = 1, 2, \cdots, \kappa )\} \end{array} $$ (9)

      其中,κ表示由出入口聚类结果匹配获得的轨迹类数;ρ表示第ε类中轨迹元素数。

    • 为了在浓缩过程中对运动目标进行区分性表达并有效展现运动目标轨迹的地理方向,需要展开如下工作:选取虚拟场景视点,构建轨迹类拟合中心线,以含有地理方向的轨迹类作为基本表达单元构建特定的表达模型,以在虚拟地理场景空间实现视频浓缩表达。将视频运动目标子图加入虚拟地理场景中进行合成显示,实现了视频信息(实景)对虚拟场景(虚景)的增强表达。

    • 为了有效还原视频背景,需要创建虚拟场景视点。在监控相机的地理空间位置与姿态固定的前提下,在虚拟场景中选择合适的相机位置与视线方向,获得相应的虚拟场景局部范围可视化效果,作为视频浓缩背景部分。对拍摄场景进行实地量测,获得相机的地理空间位置坐标tγ。结合映射矩阵M、图像中心的地理空间映射点tc,以tγ为虚拟场景中的相机定位点,以向量$\overrightarrow {{t_\gamma }{t_c}} $为虚拟相机的视线,确定需要显示的虚拟场景局部区域(见图 3)。

      图  3  虚拟场景视点选取

      Figure 3.  Virtual Scene Viewpoint Selection

    • 为使运动目标帧子图有序展现于含有明确地理方向的轨迹类中,需要构建轨迹类拟合中线。以轨迹类拟合中心线作为同类运动目标的公用显示轨迹,实现运动目标表达。

      记每个运动目标轨迹类cλ, 对应的拟合中心线为Lλ(见图 4)。Lλ的定义为:

      图  4  轨迹类拟合中心线与原始运动目标轨迹散点曲线集空间关系

      Figure 4.  Positional Relationship Between the Original Scatterplot Trajectories and the Fitting Centerline

      $$ {L_\lambda } = \{ {t_{\lambda, \varphi }}, {t_{\lambda, \omega }}, {f_\lambda }\} $$ (10)

      式中,tλ, φ为拟合中心线起点;tλ, ω为拟合中心线终点;fλ为拟合中心线多项式系数集。fλ定义为:

      $$ {f_\lambda } = \{ {\sigma _{\lambda, i}}, i = 1, \cdots, \mathit{{\rm O}}\} $$ (11)

      式中,σλ, i代表拟合多项式的系数;Ο代表拟合多项式的阶数。为求得Lλ,需要对其中的元素分别求解。对tλ, φtλ, ω,采用直接对轨迹类中所有轨迹首尾点求重心的方法求得:

      $$ {t_{\lambda, \varphi }} = \left( {\sum\limits_{\varepsilon = 0}^\rho {{x_{\lambda, \varepsilon, 1}}/\rho, \sum\limits_{\varepsilon = 0}^\rho {{y_{\lambda, \varepsilon, 1}}/\rho } } } \right) $$ (12)
      $$ {t_{\lambda, \omega }} = \left( {\sum\limits_{\varepsilon = 0}^\rho {{x_{\lambda, \varepsilon, N}}/\rho, \sum\limits_{\varepsilon = 0}^\rho {{y_{\lambda, \varepsilon, N}}/\rho } } } \right) $$ (13)

      对当前轨迹类cλ中的每条轨迹所有采样点地理位置坐标进行最小二乘法多项式拟合,获得轨迹的拟合多项式系数集fλ, εfλ, ε的定义为:

      $$ {f_{\lambda, \varepsilon }} = \left\{ {{\sigma _{\lambda, \varepsilon, i}}, i = 1, \cdots, \mathit{{\rm O}}} \right\}, \varepsilon = 0, \cdots, \rho $$ (14)

      式中,ρ为轨迹类cλ中的元素数。之后对单个轨迹拟合系数集fλ, ε中相应位置的元素σλ, ε, i求均值,获得拟合中心线多项式的相应位置的元素σλ, i,求得拟合中心线系数集fλ

      $$ {f_{\lambda, \varepsilon }} = \left[{{\sigma _{\lambda, i}}} \right] = \left[{\frac{{\sum\limits_{\varepsilon = 0}^\rho {{\sigma _{\lambda, \varepsilon, i}}} }}{\rho }} \right], i = 1, \cdots, O $$ (15)
    • 完成了虚拟场景视点创建与轨迹类拟合中心线构建后,在轨迹类拟合中心线上动态地显示运动目标子图,实现视频浓缩。

      在实现了轨迹聚类的前提下,运动目标子图集合P的表达方式也随之变化为:

      $$ \left\{ \begin{array}{l} P = \left\{ {{P_\lambda }, \lambda = 1, 2, \cdots, \kappa } \right\}\\ {P_\lambda } = \left\{ {{P_{\lambda, \varepsilon }}, \varepsilon = 0, \cdots, \rho } \right\}\\ {P_{\lambda, \varepsilon }} = \left\{ {{I_{\left( {\lambda, \varepsilon } \right), j}}, j = 1, 2, \cdots, {\upsilon _\varepsilon }} \right\} \end{array} \right. $$ (16)

      式中,κ代表轨迹类数;Ρλ为第λ个轨迹类中所有运动目标子图集合;ρ代表第λ个轨迹类中的运动目标数;Ρλ, ε为第λ个轨迹类中第ε个运动目标的子图集合;υε代表第λ个轨迹类中第ε个运动目标的子图个数。

      在轨迹类编号λ确定时,首先在Ρλ中对运动目标编号ε从0依次取至ρ,获得运动目标子图集合组Ρλ, 0, …, Ρλ, ρ},继而依次在运动目标编号ε确定时,在每个子图集合Ρλ, ε中对子图编号j从0依次取至υε,获得每个运动目标子图I(λ, ε), j,显示于虚拟场景中。

      在运动目标子图I(λ, ε), j显示过程中,有两个问题需要解决:运动目标子图在虚拟地理场景的显示位置问题和不同运动目标的子图显示同步性问题。为确定运动目标子图的显示位置,对每个运动目标子图I(λ, ε), j,记其在虚拟地理场景中的定位点为p(λ, ε), jp(λ, ε), j的在虚拟地理场景中的平面坐标为:

      $$ {p_{\left( {\lambda, \varepsilon } \right), j}} = \left( {{X_{\lambda, n}}, {Y_{\lambda, n}}} \right) $$ (17)
      $$ n = \left( {\frac{j}{\upsilon }N} \right) $$ (18)

      式中,λ为轨迹类序号;N指轨迹类拟合中心线的显示采样点个数;υ指运动目标子图个数;j指运动目标当前子图序号;「表示左取整处理。

      运动目标子图显示同步性包括同轨迹类中不同运动目标的子图显示同步性,和不同轨迹类运动目标的显示同步型。为解决此问题,本文引入运动目标显示同步率RO与轨迹类显示同步率RC两个参数区分不同的子图显示模式:

      $$ {R_O} = \left\{ {0, 1} \right\} $$ (19)
      $$ {R_C} = \left\{ {0, 1} \right\} $$ (20)

      式中, RO表示单个轨迹类中不同运动目标子图的显示同步率;RC表示不同轨迹类中,运动目标子图的显示同步率。RORC的取值情况和其所对应的视频浓缩模式示意图如表 1所示。

      表 1  轨迹类信息表达模式

      Table 1.  Expression Patterns of the Trajectory Clusters

      RC RO
      0 1
      0
      1

      其中,RO=0时,每个运动目标轨迹类每次仅展现一个运动目标子图,上一个运动目标的所有子图全部表达完后再显示下一个运动目标的所有帧子图;RO=1时,将每个轨迹类中的多个运动目标按它们在原始视频中出现的时间顺序依次显示。RC=0时,每次在虚拟场景中仅显示一个轨迹类的运动目标子图;RC=1时,每次在虚拟场景中显示多个轨迹类的运动目标子图。

      子图最小显示帧间隔数μ为一个交互界定参数。当μ的取值确定后,同一轨迹类中时序相邻的两个运动目标子图I(λ, ε0), jI(λ, ε0+1), j在虚拟场景中显示的实际帧间隔数μλ, ε0(见图 5)的计算方法为:

      图  5  运动目标显示帧间隔数

      Figure 5.  Number of Expressing Interval Frames of Moving Targets

      $$ {\mu _{\lambda, {\varepsilon _0}}} = {\rm{max}}({\upsilon _\varepsilon }-{\upsilon _{\varepsilon + 1}} + \mu, \mu ) $$ (21)

      式中,υε指第ε个运动目标的帧子图数;υε+1指第ε+1个运动目标的帧子图数。

    • 本文通过预先实地量测的方式确定相机位置, 通过使用单应矩阵法构建视频-地理场景映射模型,获得相机的地理空间视域四边形。实验视频为一段分辨率1 440×1 080像素的监控视频,共8 045帧。相关的实验结果通过使用arcengine组件库进行可视化表达,其中运动目标聚类实验结果在map控件中显示,视频浓缩表达实验结果在scene控件中显示。

      对监控视频进行运动目标检测跟踪,提取每个运动目标的轨迹。在对运动目标轨迹出入口进行聚类的QT算法中,本文设定轨迹类出入口的聚类半径阈值ατ=22.5°。对入口与出口点进行聚类处理,获得轨迹入口类集合和出口类集合。之后,将具有相同入口与出口聚类编号的轨迹聚为同类轨迹,获得轨迹类集合(见图 6)。从轨迹聚类结果可以看出,经QT算法处理获得的运动目标轨迹类,具有明显的地理方向。如轨迹类①表达一类自西至东的运动目标轨迹,轨迹类②表达一类自西南至东的运动目标轨迹,轨迹类③表达一类自东至西的运动目标轨迹,轨迹类④表达一类自东至西南的运动目标轨迹。轨迹聚类实验提取了含有相似地理方向的运动目标轨迹,有利于在视频浓缩过程中对运动目标进行区分性表达。

      图  6  轨迹聚类结果

      Figure 6.  Trajectory Clustering Results

      对每个轨迹类分别求拟合中心线,并在虚拟地理场景中显示。在最小显示帧间隔数μ为定值20的情况下,对运动目标子图显示同步率参数RORC分别进行不同的取值,获得了相应的视频浓缩结果(见图 7)。图 7(a)表示在地理空间中自东向西的运动目标进行逐个显示的结果,图 7(b)表示在地理空间中自东向西的运动目标进行集中显示,图 7(c)表示对地理空间中不同运动方向的运动目标依照所属的轨迹类逐个显示,图 7(d)表示对地理空间中不同运动方向的运动目标依照所属的轨迹类进行密集显示。进一步,以RO=1、RC=0这种参数取值情况为例,通过对子图最小显示帧间隔数μ分别取不同的值,获得相应的视频浓缩结果(见图 8)。图 8表达了在地理空间中自东向西的运动目标,通过取不同最小显示帧间隔数进行集中表达的视频浓缩结果。

      图  7  视频浓缩结果(μ=20)

      Figure 7.  Results of Video Synopsis (μ=20)

      图  8  视频浓缩结果(RO=1,RC=0)

      Figure 8.  Results of Video Synopsis RO=1, RC=0

      对同一段视频,进行图像空间视频浓缩与无轨迹聚类虚拟地理场景视频浓缩,将所获得的可视化结果(如图 9所示,仅显示前2 000帧的运动目标)与本文方法获得的视频浓缩结果(如图 7所示)进行比对分析。从结果可以看出,图像空间视频浓缩与无轨迹聚类地理场景视频浓缩的可视化效果存在运动目标显示拥挤、运动目标显示时序结构性混乱、不同运动方向运动目标无法区分表达的问题。

      图  9  未进行轨迹聚类处理的视频浓缩结果

      Figure 9.  Results of Video Synopsis Without Trajectory Clustering

      上述实验结果表明,本文所述视频浓缩方法相比于图像空间视频浓缩与无轨迹聚类虚拟地理场景视频浓缩,有几个方面的优势:

      1)运动目标得以依照轨迹的地理方向进行分类。

      2)运动目标之间拥有确定的显示间隔,可避免运动目标显示拥挤的问题。

      3)同轨迹类运动目标在的时序结构在浓缩过程中得以保留。

      4)不同轨迹类在浓缩过程中可进行区分性表达,并可灵活调整不同轨迹类的同步表达策略。

    • 本文通过提出顾及轨迹地理方向的监控视频浓缩方法,以运动目标轨迹映射聚类的方式,实现轨迹地理方向分析;以含有地理方向的轨迹类为基本单元在虚拟场景模型中进行视频浓缩,实现了轨迹地理方向表达。实验结果证明了该方法能够有效分析轨迹地理方向,能依据轨迹地理方向的不同对运动目标区分表达,并灵活调整运动目标的表达策略。进一步的研究将考虑构建有效的地理空间多路视频浓缩方法。

参考文献 (18)

目录

    /

    返回文章
    返回