-
当前公共安全监控系统主要通过大量分布于不同位置的监控设备，尤其是摄像头，实现突发事件的快速探测、响应和处理。然而，此类系统目前仍存在一些不足。监控信息是离散的，对多个相邻或相关监控设备搜集到的监控信息缺乏快速整合的分析机制；且系统收集的监控信息无法与监控设备所处的空间信息相结合。因此，在对突发事件的响应和处理上，可能有所延迟甚至耽误时机。
由于存在上述不足，在应对某些突发事件时，需要监控人员通过视频监控系统对移动对象进行跟踪，往往会因监视器数量多、信息量大、事件变化快等因素导致不能及时有效地跟踪。近年来，学者们开展了大量关于建立多摄像头视频监控系统的工作[1-3]，并在这些监控系统中提出了一些辅助决策技术，如多摄像头标定[4-6]、多摄像头视图拓扑的构建[7]、移动对象的识别与跟踪[8, 9]等。这些研究主要集中在摄像头视域(field of vision, FOV)范围内的信息提取，当监视器数量较多、被监控目标移动较快时，无法为监控人员提供具有导向性、实时性的跟踪线索。根据城市中监控摄像头的空间特性，还有一些学者将视频监控系统与地理信息系统(GIS)相结合[10-12]，结合监控视频与地理空间映射关系[13]，实现了视频监控系统中设备的有效管理和规划。
然而，受目前计算机图像处理技术和效率的限制，为保证监控信息获取的准确性，以人力为主的监控方式依然是目前的主流。在此情况下，如何通过辅助人力提高监控效率，尤其是针对多摄像头的协同操作实现移动对象实时跟踪显得尤为重要。但这方面的研究工作尚显不足，部分工作集中于室内微观环境的多摄像头与可达空间的建模从而实现移动对象的快速定位[14]。本文以此为基础，提出了一种基于网络拓扑结构的多摄像头移动对象辅助协同跟踪方法，构建了一个新的摄像头视域间网络拓扑，再结合改进的最短路径算法实现从单源至多目的地的限制性路径搜索，通过分析各个路径距离确定摄像头间的空间关系，并制定时空协同策略，在不同时间段提供最大可能性的重点监控摄像头组。通过该方法不仅能够提高监控人员的监控效率，还可以实现对动态目标进行有效的半自动化跟踪并确定移动目标的消失范围。最后，建立一个模拟系统验证其有效性。
-
监控人员在视频监控系统中发现异常移动对象并进行实时跟踪时，通常需对整个监控系统中摄像头之间的空间关系非常清楚，以便准确切换至与发现可疑对象的摄像头(简称起始摄像头)相关联的摄像头，才能实现对象跟踪。但当涉及摄像头的数量众多，对象移动速度很快时，单靠人力判断移动对象在何时、何处的摄像头视域中出现是困难且低效的。因此，本文通过构建摄像头间的拓扑结构，实现摄像头的可视范围与可达空间的抽象化表达，并建立多摄像头之间、摄像头与可达空间之间的位置关系，实现移动对象跟踪。
-
通常，城市空间的通达性信息可以通过道路网络来表达，并以空间界限明确的地理实体(如车道、轨道等)作参考。因此，可以用路网来表达城市的可达空间，再用结点弧段模型表达道路网络。以路段的中心线即弧段表示道路，以结点表示路段交叉口，结点为弧段的端点。在数学上用G=(N, A)表示该模型，其中N=(n1, n2, …，nm)为结点集，A=(a1, a2, …，ai)为弧段集。
在实际情况中，摄像头的设置较复杂，如在邻近位置上分布的摄像头，其监控范围各不相同，且由于视域边界的不确定性，会出现重叠、邻接或不相邻等情况，增加了摄像头视域间的空间关系表达的难度。本文根据各个摄像头显示器中的主要监控画面将其划分为3类。如图 1所示，分别为交叉口区域(A)、单向车道(包括双向车道中(左)右车行道(B)和单一车行道(D))以及双向车行道(C)。
图 1 4类摄像头视域
Figure 1. Four Categories of FOV of Cameras
据此，将摄像头的视域范围抽象为一个虚拟节点(简称视域节点)，利用线性参考系统(linear-referencing system, LRS)，在结点弧段模型中定位该点的具体位置[15]构建拓扑关系。在LRS中可以用3个属性定位该视域节点：(offset, node, arc)。其中arc为所在弧段，如果arc为空，表示该视域节点与结点重合；node为所属结点，即该摄像头的视域节点至弧段两端结点中更近一端的结点，如果位于中间则可属任意一端的结点；offset为该摄像头与node的偏移量。
图 2中虚线框表示摄像头视域范围，黑点表示抽象的视域节点。由于弧段对应于道路中心线，监控单向车道的视域节点可能偏离主要监控区域的中心位置，如C12，而其他类型的视域节点则位于监控区域的中心点位置。根据定义，它们在结点弧段模型中的具体位置分别为C11(0, n1, null)、C12(40, n1, a2)、C13(35, n2, a2)、C14(30, n2, a4)。每个摄像头视域节点除了定位信息外还包括其他属性信息，如摄像头视域的监控方向信息(direction)等。监控方向信息定义如下：用0表示监视交叉口区域；1A表示监视进入交叉口(所属结点的位置)的单向车道；1B表示监视离开交叉口(所属结点的位置)的单向车道；用2表示监视双向车道。上述摄像头的定位信息和属性信息存储于二维表中(表 1)。结合表 1及结点弧段模型，可以提取监控范围之间以及监控范围与可达空间之间的拓扑关系。
图 2 利用LRS定位摄像头视域范围
Figure 2. Locating FOV of Cameras with LRS
表 1 摄像头视域范围属性表
Table 1. Attribute of FOV of Cameras
ID node arc offset direction C11 n1 null 0 0 C12 n1 a2 40 1A C13 n2 a2 35 2 C14 n2 a4 30 1A -
通过视频监控系统对城市空间中的移动对象实施跟踪，关键是预测对象在下一时刻可能出现在哪些摄像头的视域中，即在起始位置观察到移动对象后，需要确定下一个或几个可能继续观察到该对象的摄像头。为此，提出方法如下。
首先，基于上述数据模型，我们定义摄像头的搜索范围Q为监控包围圈：
$$ Q = \left( {{R_\psi },V({v_s})} \right) $$ (1) 式中，
$$ V({v_s}) = \{ ({v_e},v{\prime _e})|e \in \left[ {1..n} \right]\} $$ (2) $$ {R_\psi } = \bigcup\limits_{e = 1}^n {{R_{{v_e}}}} $$ (3) $$ {R_{{v_e}}} = \{ r_{{v_e}}^1,r_{{v_e},}^2, \ldots ,r_{{v_e}}^m\} $$ (4) 式(1) 中，Rψ表示搜索路径集合；V(vs)为相对于起始视域节点搜索到的关联视域节点集合。式(2) 中，vs为起始摄像头视域节点；ve为搜索出的关联摄像头视域节点；ve′为道路终止点；n为关联摄像头的数量。式(3) 中，Rve为vs与ve之间在监控包围圈内所有路径集合，表示摄像头之间可能有多条不同的路径。式(4) 中，rvem表示从vs到ve间的其中一条路径，必须满足两个条件，即路径的两端的起止位置是摄像头视域节点所在位置，且除两端节点外，路径中不包含任何其他摄像头视域节点。
以上定义描述了从起始摄像头节点沿不同路径扩散搜索，直到在扩散路线上搜索到摄像头节点或者道路终止处搜索结束，并形成一个监控包围圈的搜索过程。如图 3所示，若移动对象沿着存在摄像头的路径运动出现在搜索出的摄像头视域中，则将该摄像头确定为起始摄像头继续搜索跟踪；若移动对象沿着未布置摄像头的路线移动至道路末端或者停止在监控圈内，则将监控包围圈确定为移动对象的消失区域。
图 3 摄像头搜索范围
Figure 3. Camera Searching Region
根据起始摄像头所在位置将搜索过程分为全向搜索和单向搜索，用D(vs)表示起始摄像头的方向，当D(vs)为1A和1B时，在开始搜索阶段只搜索单个方向上区域，其他情况下则搜索所有方向。如图 4所示，如果C10为起始摄像头时进行单向搜索，C8或C1为起始摄像头进行全向搜索。单向搜索相对于全向搜索可以排除一些出现目标概率小的摄像头，减少了跟踪过程的干扰因素，使得跟踪更加准确。
图 4 单向搜索和全向搜索示意图
Figure 4. One-Direction Search and All-Direction Search
-
移动对象的跟踪是一个持续的过程，监控人员一般只能同时观察5~6个显示器，当搜索出的摄像头数量众多时，无法同时观察所有摄像头视域，且无法判断移动对象再次出现的时间点和位置，使得信息遗漏导致跟踪失败。因此，需要分析和排序移动对象在已搜索出的关联摄像头集合中出现的概率，得到时序关系最优的少量摄像头作为重点监控区域，缩小并集中跟踪范围。
首先，根据起始摄像头与关联摄像头之间最短路径长度的排序结果，得到其在空间上的邻近关系。其次，通过计算如下概率函数，区分在邻近关系上相似的摄像头在队列中的先后次序：
$$ P({v_e}) = \left| {{R_v}_{_e}} \right|/\left| {{R_\psi }} \right| $$ (5) 式中，|Rve|表示摄像头ve至起始摄像头的路径数；|Rψ|表示起始摄像头至搜索的摄像头集合的所有路径数。式(5) 表示移动对象从起始摄像头出发，下一时刻出现在摄像头ve视域范围内的概率。因此，P(ve)越大，表示移动对象经过该摄像头的概率就越大，则其在队列中的次序就越靠前。
接着，先将已排序的队列中前几个摄像头设置为重点监控区域，并通过路径长度和速度比计算移动对象从起始摄像头位置至各个摄像头的时间，并分析各个摄像头的时序关系，定期对重点监控区域进行协同更新，使得移动对象出现概率大的摄像头能显示在该区域。相关公式定义如下：
$$ {T_i} = \left\{ \begin{array}{l} \min\left( {t_{\tilde V}^i} \right) + \theta ,i = 0\\ \min\left( {t_{\tilde V}^i - \sum\limits_{j = 0}^{i - 1} {{T_j}} } \right) + \theta ,i > 0 \end{array} \right. $$ (6) $$ \begin{array}{l} t_{{v_e}}^i = \frac{{\min \left( {R_{{v_e}}^i} \right)}}{{{V_m}}} = \frac{{\min \left\{ {r_{{v_e}}^{1i},r_{{v_e}}^{2i}, \ldots ,r_{{v_e}}^{mi}} \right\}}}{{{V_m}}},\\ \min \left( {R_{{v_e}}^i} \right)/{V_m} > \sum\limits_{j = 0}^{i - 1} {{T_j}} \end{array} $$ (7) $$ {t_{\tilde V}^i = \left\{ {t_{{v_e}}^i\left| {{v_e} \in \tilde V} \right.} \right\}} $$ (8) 式(6) 中，Ti表示第i次更新重点监控区域的最小时间间隔，即切换不同摄像头视域的时间间隔；${t_{\tilde V}^i}$表示在重点监控区域更新第i次后各个摄像头的最短时间，${\tilde V}$表示重点监控摄像头集合；θ表示时间误差；${\sum\limits_{j = 0}^{i -1} {{T_j}} }$表示累积更新时间。式(7) 中tvei表示移动对象最快到达摄像头ve位置的时间，但随着时间的推移，移动对象运动的距离已经超过了一些路径长度，因此排除移动对象在这些路径上出现的可能性，所以必须满足式(7)；Vm是移动对象在起始摄像头视域中的平均速度(可通过检测设备或从视频中估算得到); Rvei为第i次监控包围圈内所有路径集合。
对重点监控区域内的摄像头协同更新过程如图 5所示，每次显示5个摄像头作为重点监控区域，其灰度值的大小表示该摄像头在该区域内显示的时间长短。灰度值越大则摄像头显示的时间越长，即移动对象出现在该摄像头视域范围内需等待的时间越长。在显示第一组摄像头时，T0为移动对象从C2至起始摄像头的时间；当经过T0时间后，如移动对象未出现在C2的视域范围内，则排除该对象在C2中出现的可能性，同时所有摄像头的时间减去T0，再进行重排序得到第二组重点监控摄像头组，继续观察。如此循环，若移动对象出现在摄像头视域内则说明跟踪还将持续并进入下一步跟踪。如果在所有摄像头视域内都没有观察到移动对象，则说明该对象已经消失在搜索范围内。
图 5 协同更新摄像头组
Figure 5. Updating Cooperatively Camera Group
-
本文以某城市的部分社区为研究区域，通过数字化该区域的遥感影像数据获取道路网络数据，建立结点弧段模型。由于城市监控系统数据不易获取，本文基于结点弧段模型设计了一个微观交通仿真模型，模拟现实情况下移动对象(车辆)的运动状况，其移动对象的运动速度和路径皆来源于真实的轨迹数据，且摄像头的监控范围也是根据实际情况设定的。如图 6所示，31号摄像头中红色长条是由交通仿真模型产生的移动对象，黄色数字为对象编号。
图 6 移动对象跟踪过程
Figure 6. Process of Tracking Moving-Object
实验总共建立了95个摄像头监控区域，模拟研究区域的监控环境，再利用上述的数据模型建立整个摄像头网络拓扑关系，并在微观交通仿真模型的基础上建立多摄像头辅助协同跟踪移动对象的系统，验证应用多摄像头协同方法跟踪移动对象的可行性。
假定我们在多摄像头跟踪系统中的31号监控摄像头画面中发现可疑对象17，需要对该对象进行跟踪。进入跟踪界面，如图 6所示，利用上述的搜索算法搜索出与31号起始摄像头相关联的各个摄像头，并进行时空协同性分析，按照时间重要性即概率大小重排序获得少数几个摄像头作为监控人员重点观察对象。图 6中右边红色方框包括重点监控的摄像头、移动对象从起始摄像头至各个摄像头位置的最短最长估计耗时。地图上则标记出移动对象所有可能的移动路线和摄像头在地图上的空间位置。从图 6中观察到对象17已经出现在重点监控摄像头28号的视域中；则将28号摄像头替换为起始摄像头，搜索出与28号相关联的摄像头继续观察跟踪；循环以上过程，直到对象17不再出现则跟踪结束，最后确定移动对象的消失区域。
根据上述的跟踪过程，我们做了10次实验。通过选择不同摄像头视域中10个对象进行跟踪，其跟踪轨迹如图 7所示。在实验中通过观察摄像头视域内的移动对象，将其运动的平均速度Vm设为9.7 m/s，时间误差θ设为5 s。实验证明移动对象在布置了摄像头的路径上移动则必定在搜索的摄像头集合视域中出现，这是因为搜索算法将所有可能路径上的摄像头都搜索出来了。在每一次跟踪过程中，形成监控包围圈的相关摄像头数量较多，但是监控人员只而要观察跟踪系统在不同时间段提供在重点监控区域中的少数几个最大可能性的摄像头，大大减少了工作量。在重点监控区域对移动对象实施跟踪的结果如图 8所示，在跟踪上述10个对象过程中，总共涉及到71个摄像头，其中有67个摄像头在其显示在重点监控区域的时间段内成功观察到移动对象，跟踪成功比达到了94%。有6条轨迹中的移动对象是完全在重点监控区域内跟踪成功的，而另外4条轨迹中有个别情况是移动对象出现在非重点监控区域中或者当重点监控区域内某个摄像头被剔除之后对象才出现在那个摄像头视域中的。原因是移动对象在运动时异常性引起了误差，只要通过准确估算移动对象的运动速度和误差，可提高跟踪成功率。
图 7 移动对象的跟踪轨迹
Figure 7. Trajectories of Tracking Moving-Object
图 8 各轨迹跟踪成功摄像头数
Figure 8. The Number of Successful Tracking Cameras
-
本文提出了一种基于网络拓扑结构的多摄像头辅助协同跟踪移动对象的方法，根据摄像头的主要监控区域建立摄像头网络拓扑结构，实现各个摄像头在空间上的关联，使得离散分布的监控设备形成一个有机整体。基于此能有效地实现关联性强的摄像头序列的搜索，并分析其空间邻近关系和时间协同性，使得靠人为在监控系统中对移动对象的跟踪成为可能。如果将此方法结合计算机视觉领域的视频目标检测和识别技术，可使整个跟踪过程更加自动化和智能化。
Coordinating Multiple Cameras to Assist Tracking Moving Objects Based on Network Topological Structure
-
摘要: 针对当前公共安全监控系统在应对突发事件时，因监视器数量多、信息量大、事件变化快等因素而导致的不能及时有效地对移动对象进行跟踪的问题，提出了一种基于拓扑结构的多摄像头移动对象辅助协同跟踪方法。首先将城市路网中的摄像头监控区域抽象为虚拟节点定位至结点弧段模型中，构建摄像头网络拓扑结构；根据拓扑关系搜索出与发现移动对象的摄像头关联的摄像头集合；再分析摄像头间的空间邻近关系和时间差异，获取时序关系最优的摄像头组作为重点监控区域进行移动对象跟踪，并定期进行协同更新。最后建立了一个模拟监控系统验证了利用多摄像头协同方法实现对移动对象实时跟踪的有效性。Abstract: Due to the factors of large amount of monitors and data, event changes quickly and so on, security surveillance system can't track moving objects timely and effectively in response to emergencies.The paper presents a coordinating multiple cameras approach to assist tracking moving objects based on network topological structure in urban environment. Firstly, the fields of view of cameras were abstracted as points located in node-arc model with linear referencing system to construct a network topological structure between cameras and urban road. According to the network topological structure, we search some cameras which have spatial neighborhood relation with first camera, and analyzing proximity relation of cameras and to find out the time difference between cameras. Then we set some cameras as the main monitoring group for tracking moving objects. As the time goes on, we could update the monitoring group by replacing some cameras in which moving objects can't appear according to the queue principle. In order to verify the validity of the cooperative multi-camera approach, we establish a system based on traffic simulation model that simulates the real traffic circumstance, and randomly select some moving objects that generated by the model to have a test. The experiment result demonstrates that the method is able to provide directive information consisted of map and surveillance information which can assist monitors to track moving targets successfully and effectively.
-
表 1 摄像头视域范围属性表
Table 1. Attribute of FOV of Cameras
ID node arc offset direction C11 n1 null 0 0 C12 n1 a2 40 1A C13 n2 a2 35 2 C14 n2 a4 30 1A 
下载: 导出CSV
-
[1] Collins R T, Amidi O, Kanada T. An Active Camera System for Acquiring Multi-View Video[J]. International Conference on Image Processing (Cat. No.02CH37396), 2002:517-520 http://ieeexplore.ieee.org/document/1038074/ [2] Aghajan H, Cavallaro A. Multi-Camera Networks[M].Amsterdam:Elsevier Amsterdam, 2008 [3] Cucchiara R. Multimedia Surveillance Systems[OL]. http://dl.acm.org/citation.cfm?id=1099399, 2005 [4] Heikkila J. Geometric Camera Calibration Using Circular Control Points[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000, 22(10):1066-1077 doi: 10.1109/34.879788 [5] Agrawal M, Davis L S. Camera Calibration Using Spheres:A Semi-Definite Programming Approach[C]. 9th IEEE International Conference on Computer Vision, Nice, France, 2003 [6] Krahnstoever N, Mendonca P R S. Bayesian Auto-calibration for Surveillance[C]. 10th IEEE International Conference on ICCV, Beijing, China, 2005 [7] Wang X, Kinh T, Grimsom W E L. Correspondence-Free Multi-Camera Activity Analysis and Scene Modeling[C]. IEEE Computer Society Conference on CVPR, Anchorage, USA, 2008 [8] Mittal A, Davis L S. A Multi-View Approach to Segmenting and Tracking People in a Cluttered Scene[J]. International Journal of Computer Vision, 2003, 51(3):189-203 doi: 10.1023/A:1021849801764 [9] Rahimi A, Dunagan B, Darrell T. Simultaneous Calibration and Tracking with a Network of Non-Overlapping Sensors[C]. IEEE Computer Society Conference on CVPR, Washington DC, USA, 2004 [10] 孔云峰.地理视频数据模型设计及网络视频GIS实现[J].武汉大学学报·信息科学版, 2010, 35(2):133-137 http://ch.whu.edu.cn/CN/abstract/abstract837.shtml Kong Yunfeng. Design of GeoVideo Data Model and Implementation of Web-Based Video GIS[J]. Geomatics and Information Science of Wuhan University, 2010, 35(2):133-137 http://ch.whu.edu.cn/CN/abstract/abstract837.shtml [11] Song H, Liu X, Zhang X, et al. Real-Time Monitoring for Crowd Counting Using Video Surveillance and GIS[C]. 2nd International Conference on Remote Sensing, Environment and Transportation Engineering, Nanjing, China, 2012 [12] Wu J, Luo X, Su J. Video Surveillance Commanding Management System for Police Based on GIS[J]. Bulletin of Surveying and Mapping, 2011, 11:67-70 http://en.cnki.com.cn/Article_en/CJFDTOTAL-CHTB201111025.htm [13] 张兴国, 刘学军, 王思宁, 等.监控视频与2D地理空间数据互映射[J].武汉大学学报·信息科学版, 2015, 40(8):1130-1136 http://ch.whu.edu.cn/CN/abstract/abstract3424.shtml Zhang Xingguo, Liu Xuejun, Wang Sining, et al. Mutual Mapping Between Surveillance Video and 2D Geospatial Data[J]. Geomatics and Information Science of Wuhan University, 2015, 40(8):1130-1136 http://ch.whu.edu.cn/CN/abstract/abstract3424.shtml [14] 李响, 束炯, 刘正军.在建筑物内部空间中应用GIS辅助视频监控[J].遥感学报, 2008, 12(5):819-823 http://www.cnki.com.cn/Article/CJFDTOTAL-YGXB200805020.htm Li Xiang, Shu Jiong, Liu Zhengjun. Applying GIS to Video Surveillance in Indoor Space[J]. Journal of Remote Sensing, 2008, 12(5):819-823 http://www.cnki.com.cn/Article/CJFDTOTAL-YGXB200805020.htm [15] Miller H J, Shaw S L. Geographic Information Systems for Transportation:Principles and Applications[M]. New York:Oxford University Press, 2001 -
点击查看大图
图(8) / 表(1)
计量
- 文章访问数: 1395
- HTML全文浏览量: 61
- PDF下载量: 349
- 被引次数: 0
