基于时空约束的跨镜头多目标跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种基于时空约束的跨镜头多目标跟踪方法及装置，其中，方法包括：对不同的色彩空间进行图像预处理，使图片在色温和色调上一致，以获取多个摄像设备的摄像信息；通过摄像设备的投影矩阵建立2D点的对应关系，以获取多个摄像设备之间的几何信息，其中，投影矩阵为关于3D世界的投影矩阵；根据摄像信息和几何信息进行多个摄像头之间的人体特征匹配，以利用跟踪目标的表观和时空特征获取每个摄像设备画面以及实时的跟踪结果。该方法通过结合目前的多目标跟踪算法和多摄像头处理方法，并且利用摄像设备网络位姿关系矩阵，从而实现基于多摄像头的多目标物体跟踪目的，在提高物体跟踪的鲁棒性的同时，减少跟踪误差，提高跟踪的准确性。

Cross lens multi-target tracking method and device based on spatio-temporal constraint

The invention discloses a method and a device including tracking, cross shot multi target space time constraints based on different methods: the color space of image preprocessing, the image of the color temperature and color, in order to obtain the imaging information of multiple camera equipment; to establish the corresponding relationship between 2D points through the projection matrix of camera equipment, to obtain geometric information between multiple camera equipment in which the projection matrix projection matrix on the 3D of the world; according to the image information and the geometric information of human characteristics between multiple cameras, to view, and the spatial and temporal characteristics of target tracking using tables for each camera picture and real-time tracking results. The method by combining multiple target tracking algorithm and the multi camera processing method, and the use of camera equipment network pose relation matrix, which can realize multi object tracking based on multi camera to improve the robustness of object tracking, in the meanwhile, reduce tracking error, improve the accuracy of tracking.

【技术实现步骤摘要】
基于时空约束的跨镜头多目标跟踪方法及装置
本专利技术涉及计算机图像处理中的视觉目标跟踪
，特别涉及一种基于时空约束的跨镜头多目标跟踪方法及装置。
技术介绍
视频目标跟踪是指给定目标在视频中的初始位置，然后输出该目标在视频中的每一个时刻的位置。物体跟踪是计算机视觉中一个重要的问题，通常是视频分析处理的第一步。因此有大量学者从事物体跟踪的研究，以及众多有效的物体跟踪的算法被提出来。在一些监控场景下，需要在一个复杂的场景下同时跟踪多个物体。多个物体之间的相互遮挡增加了物体跟踪的难度，这一点在行人的跟踪经常出现。当一大群人同时出现在摄像设备画面中时，每个人之间相互重叠使得无法准确的获取其实际位置。目前多目标追踪方法主要分为两类：基于单摄像头的多目标追踪和基于多摄像相机的多目标的追踪方法基于单摄像头的多目标追踪方法主要有基于帧间Tracklet拼接的方法和全局优化的方法。Tracklet拼接和基于线性规划的LP跟踪是在整个序列同时优化所有的轨迹另外两种方法。首先生成跟踪小片段，这是由传统群体检测结果形成轨迹片段。然后，这些跟踪小片段通过匈牙利分区算法进行连接。这种方法假定所有跟踪小片段都本文档来自技高网...

【技术保护点】
一种基于时空约束的跨镜头多目标跟踪方法，其特征在于，包括以下步骤：对不同的色彩空间进行图像预处理，使图片在色温和色调上一致，以获取多个摄像设备的摄像信息；通过摄像设备的投影矩阵建立2D点的对应关系，以获取所述多个摄像设备之间的几何信息，其中，所述投影矩阵为关于3D世界的投影矩阵；以及根据所述摄像信息和所述几何信息进行多个摄像头之间的人体特征匹配，以利用跟踪目标的表观和时空特征获取每个摄像设备画面以及实时的跟踪结果。

【技术特征摘要】
1.一种基于时空约束的跨镜头多目标跟踪方法，其特征在于，包括以下步骤：对不同的色彩空间进行图像预处理，使图片在色温和色调上一致，以获取多个摄像设备的摄像信息；通过摄像设备的投影矩阵建立2D点的对应关系，以获取所述多个摄像设备之间的几何信息，其中，所述投影矩阵为关于3D世界的投影矩阵；以及根据所述摄像信息和所述几何信息进行多个摄像头之间的人体特征匹配，以利用跟踪目标的表观和时空特征获取每个摄像设备画面以及实时的跟踪结果。2.根据权利要求1所述的基于时空约束的跨境头多目标跟踪方法，其特征在于，所述根据所述摄像信息和所述几何信息进行多个摄像头之间的人体特征匹配，进一步包括：在所述多个摄像设备中任意一个摄像设备检测到跟踪目标时，通过所述投影矩阵将所述跟踪目标的位置投影到地面对应的坐标系中；将所有的点进行聚类分析，以获取所述多个摄像设备中其它摄像设备中的同一个跟踪目标。3.根据权利要求2所述的基于时空约束的跨镜头多目标跟踪方法，其特征在于，所述获取所述多个摄像设备中其它摄像设备中的同一个跟踪目标，进一步包括：获取所有结果中最优的组，所述最优的组为摄像设备数目最多且相位位置误差最小；通过所述最优的组确定所述跟踪目标的3D坐标，以根据所述跟踪目标的3D坐标去除组中所选的偏差大于第一预设值的点，并且在剩余的点中选择偏差小于第二预设值的点，移除集合，直至所有的点选出集合。4.根据权利要求1所述的基于时空约束的跨镜头多目标跟踪方法，其特征在于，采用Hough投票方法，并且根据人体多个摄像设备的位置以及摄像设备的位姿信息确定行人的位置。5.根据权利要求1-4任一项所述的基于时空约束的跨镜头多目标跟踪方法，其特征在于，在跟踪中，还包括：将所述跟踪结果与行人模型进行匹配，以消除误匹配、遮挡和漏检测问题，其中，行人模型包含速度、当前位置、色彩特征、第一次出现时间、轨迹和当前...

【专利技术属性】
技术研发人员：鲁继文，周杰，任亮亮，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11