跨镜头多目标跟踪方法及系统技术方案

本公开涉及一种用于足球运动的跨镜头多目标跟踪方法，包括以下步骤：1、多个摄像头各自拍摄当前时刻的画面，形成多个当前画面；2、分别检测在所述多个当前画面的每个画面中出现的目标，记录所述目标在各个当前画面中的二维坐标；3、将各个目标在各个当前画面中的二维坐标转换为公共的三维坐标；4、将所述多个摄像头的当前画面中的所有目标与前一画面的目标进行匹配；5、对于匹配后的每个目标，根据所述多个摄像头所确定的多个三维坐标，确定所述目标最终的三维坐标；6、各个摄像头拍摄下一时刻的画面，作为新的当前画面，并重复执行2至5，获取所述目标在连续时刻中的多个三维坐标，形成所述目标的三维轨迹。

Cross-lens Multi-target Tracking Method and System

The present disclosure relates to a cross-lens multi-target tracking method for football, which includes the following steps: 1. Multiple cameras take pictures of the current moment to form a plurality of current pictures; 2. Targets appearing in each picture of the plurality of current pictures are detected separately and recorded in each current picture. Two-dimensional coordinates; 3. Converting the two-dimensional coordinates of each target in each current picture to the common three-dimensional coordinates; 4. Matching all the targets in the current picture of the multiple cameras with the targets in the previous picture; 5. For each target after matching, according to the multiple three-dimensional coordinates determined by the multiple cameras. The coordinates determine the final three-dimensional coordinates of the target; 6. Each camera takes the next moment's picture as a new current picture, and repeats 2 to 5 times to obtain multiple three-dimensional coordinates of the target in a continuous time to form the three-dimensional trajectory of the target.

【技术实现步骤摘要】
跨镜头多目标跟踪方法及系统
本公开本涉及计算机图像处理
，更具体地，涉及一种跨镜头多目标跟踪方法及系统。
技术介绍
视频目标跟踪是指给定目标在视频中的初始位置，然后输出该目标在视频中的每个时刻的位置。物体跟踪是计算机视觉中一个重要的问题，通常是视频分析处理的第一步。目前，有大量学者从事物体跟踪的研究，众多有效的物体跟踪的算法被提出来。在一些监控场景下，需要在一个复杂的场景下同时跟踪多个物体。多个物体之间的相互遮挡增加了物体跟踪的难度，这一点在行人的跟踪经常出现。当一大群人同时出现在摄像设备画面中时，每个人之间相互重叠使得无法准确的获取其实际位置。多目标追踪方法主要分为两类：基于单摄像头的多目标追踪和基于多摄像相机的多目标追踪方法。基于多摄像头的多目标追踪方法，目前主要关注如何进行多摄像头的数据融合，主要有基于摄像设备标定的方法和特征匹配的方法。基于摄像设备标定的方法主要是利用摄像设备投影矩阵，将不同的摄像设备画面投影到同一个画面上。对于基于特征匹配的方法，主要是通过寻找高效的表观特征和时空信息来提高匹配结果。多摄像设备的追踪问题由于不同镜头间有较大的光照和视角差异，相比于摄像设备的跟踪问题，具有更大的挑战性。由于问题的复杂性，现有的跨摄像头跟踪方法由于各种原因而具有相当的误差。对足球运动/比赛的视频进行分析和处理，是上述多目标追踪方法应用的场景之一，由于足球运动具有广泛受众，其能够带来诸多商业和实用价值。例如，从观众视觉的角度，转播需要加入各种视觉特效来满足观众的视觉要求；从研究分析角度，球队交流可以提取出比赛视频中队员的相关数据来协助进行技战术分析与研究，帮助球队提升竞争力；此外，体育节目的版权方和赞助商等也需要充分地发掘出体育比赛转播中蕴含的商机。然而，由于足球比赛中的运动目标较多，除了球员/裁判员之外还包括足球，加上天气和场内光照的影响，对各类跟踪算法的跟踪速度和跟踪精度提出了巨大的挑战，如果不能满足实时性和误差控制的需求，则难以实现商业应用。
技术实现思路
考虑到现有技术的上述问题，专利技术人做出了本专利技术，其通过在足球场的角落处布设多个摄像机、采用跨摄像头关联方法，来实时跟踪球场中的目标(球员和球)的位置。本专利技术使用了独有的相机校正和坐标转换，使得二维跟踪位置能够直接呈现在三维空间，并且能直接对应到统一的坐标系中，方便之后的跨摄像头关联，并采用了基于深度学习的人球检测方法，将单摄像头目标跟踪的检测结果串联成可信度更高的跟踪子。根据本专利技术的实施例，提供了一种用于足球运动的跨镜头多目标跟踪方法，其中，在足球运动场地的不同位置安装有多个摄像头，所述多个摄像头的视野能够共同覆盖到整个足球运动场地，其中，所述跨镜头多目标跟踪方法包括以下步骤：步骤1、所述多个摄像头各自拍摄当前时刻的画面，形成多个当前画面；步骤2、分别检测在所述多个当前画面的每个画面中出现的目标，记录所述目标在各个当前画面中的二维坐标；步骤3、将各个目标在各个当前画面中的二维坐标转换为公共的三维坐标；步骤4、将所述多个摄像头的当前画面中的所有目标与前一画面的目标进行匹配；步骤5、对于匹配后的每个目标，根据所述多个摄像头所确定的多个三维坐标，确定所述目标最终的三维坐标；步骤6、在跟踪周期内，下一时刻到来作为当前时刻，重复执行步骤1至5，由此获取所述目标在连续时刻中的多个三维坐标，形成所述目标的三维轨迹。本专利技术的有益效果主要在于：1)在跨摄像头关联中，同时考虑到目标外观和三维几何关系进行目标匹配，这样的结果更准确，目标交换的可能性也被降到最低；2)在考虑目标位置可信度时，综合了目标深度、可视比例和距离边缘远近的信息来关联数据，使最后计算的统一目标位置更加合理；3)对于足球的跟踪，利用摄像头间的目标位置估计的方差来判断足球是否在空中飞行，去除误差较大的空中足球位置，这大大提高了人球分析的灵活性。附图说明图1和2为根据本专利技术的实施例的跨镜头多目标跟踪方法的部分流程示意图；图3为根据本专利技术的实施例的跨镜头多目标跟踪系统的功能模块示意图；图4为根据本专利技术实施例的安装了应用程序的系统的运行环境的示意图。具体实施方式下面，结合附图对技术方案的实施作进一步的详细描述。本领域的技术人员能够理解，尽管以下的说明涉及到有关本专利技术的实施例的很多技术细节，但这仅为用来说明本专利技术的原理的示例、而不意味着任何限制。本专利技术能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本专利技术的原理和精神即可。另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。下文中，将描述用于进行本专利技术的实施例。注意，将以下面的次序给出描述：1、专利技术构思的概要；2、跨镜头多目标跟踪方法(图1、2)；3、跨镜头多目标跟踪系统(图3)；4、根据本专利技术的实施例的安装了应用程序的系统(图4)。1、专利技术构思的概要首先，举例说明用来实现本专利技术的工作环境，即，开发和运行环境，如下：1)在开发方面，整个程序可在Linux环境下使用C++语言搭建，能够直接用g++进行编译；2)在运行方面，支持常用操作系统，如Windows、Linux等，在仅使用CPU的情况下达到实时运算。而考虑到目标检测时，也可以在有GPU支持的情况下实时进行。首先，为了实现本专利技术，需要在球场安装多个摄像头(例如位于各个角旗的四个摄像头)，在对每个摄像头进行校正和去变形之后，每个摄像头各自拍摄的画面的二维坐标都可以被反映射到每个摄像头各自的三维坐标系。其中，上述二维到三维的转换也被称为反映射，可采用各类现有方法。此外，每个摄像头各自的三维坐标系可分别被转换到一个公共三维坐标系(全局坐标系，或被称为世界坐标系)。由此，经过上述两层转换，每个摄像头各自拍摄的画面的二维坐标都可以被转换到公共三维坐标。接下来，通过对各个摄像头的拍摄画面进行特征识别，筛选出作为球员的目标和作为足球的目标(可选地，排除作为裁判员的目标)，对这两类目标分别进行跟踪(跟踪方法将在后面详述)。具体地，当某个目标(球员或者足球)由于遮挡原因而未出现在某个/某几个摄像头中时，通过利用多个摄像头拍摄角度之间的互补性，仍可继续跟踪被遮挡的目标，从而实现目标的连续跟踪。下面，结合实施例来说明上述专利技术构思的实现。2、跨镜头多目标跟踪方法图1和2为根据本专利技术的实施例的跨镜头多目标跟踪方法的总体流程示意图。本专利技术的实施例提供了一种用于足球运动的跨镜头多目标跟踪方法，其中，在足球运动场地的不同位置安装有多个摄像头，其中，所述多个摄像头的视野能够共同覆盖到整个足球运动场地，所述多个摄像头共同连接到中央处理装置，其中，待识别的目标包括足球运动场地的在场人员和足球，所述方法包括以下步骤：步骤S100、所述多个摄像头各自拍摄当前时刻的画面，形成多个当前画面；步骤S200、分别检测在所述多个当前画面的每个画面中出现的目标，记录所述目标在各个当前画面中的二维坐标；步骤S300、将各个目标在各个当前画面中的二维坐标转换为公共的三维坐标；步骤S400、将所述多个摄像头的当前画面中的所有目标与前一画面的目标进行匹配；步骤S500、对于匹配后的本文档来自技高网...

【技术保护点】
1.一种用于足球运动的跨镜头多目标跟踪方法，其中，在足球运动场地的不同位置安装有多个摄像头，所述多个摄像头的视野能够共同覆盖到整个足球运动场地，其中，所述跨镜头多目标跟踪方法包括以下步骤：步骤1、所述多个摄像头各自拍摄当前时刻的画面，形成多个当前画面；步骤2、分别检测在所述多个当前画面的每个画面中出现的目标，记录所述目标在各个当前画面中的二维坐标；步骤3、将各个目标在各个当前画面中的二维坐标转换为公共的三维坐标；步骤4、将所述多个摄像头的当前画面中的所有目标与前一画面的目标进行匹配；步骤5、对于匹配后的每个目标，根据所述多个摄像头所确定的多个三维坐标，确定所述目标最终的三维坐标；步骤6、在跟踪周期内，下一时刻到来作为当前时刻，重复执行步骤1至5，由此获取所述目标在连续时刻中的多个三维坐标，形成所述目标的三维轨迹。

【技术特征摘要】
1.一种用于足球运动的跨镜头多目标跟踪方法，其中，在足球运动场地的不同位置安装有多个摄像头，所述多个摄像头的视野能够共同覆盖到整个足球运动场地，其中，所述跨镜头多目标跟踪方法包括以下步骤：步骤1、所述多个摄像头各自拍摄当前时刻的画面，形成多个当前画面；步骤2、分别检测在所述多个当前画面的每个画面中出现的目标，记录所述目标在各个当前画面中的二维坐标；步骤3、将各个目标在各个当前画面中的二维坐标转换为公共的三维坐标；步骤4、将所述多个摄像头的当前画面中的所有目标与前一画面的目标进行匹配；步骤5、对于匹配后的每个目标，根据所述多个摄像头所确定的多个三维坐标，确定所述目标最终的三维坐标；步骤6、在跟踪周期内，下一时刻到来作为当前时刻，重复执行步骤1至5，由此获取所述目标在连续时刻中的多个三维坐标，形成所述目标的三维轨迹。2.根据权利要求1所述的跨镜头多目标跟踪方法，其中，所述目标包括足球和球员，在所述步骤2之后，所述方法还包括：步骤2-1、根据所述目标的外形特征，将可所述目标区分为足球和球员。3.根据权利要求2所述的跨镜头多目标跟踪方法，其中，对于作为球员的所述目标，步骤4包括：步骤4-1、对于当前画面，先对所述多个摄像头的第一摄像头中的目标进行编号，再按照第一摄像头中的目标编号而依次地，计算其它摄像头中的各个目标与第一摄像头中的目标的三维坐标之间的距离，将其它摄像头中的与第一摄像头中的目标距离最近的目标判定为同一目标，并将目标编号统一，其中，在所述第一摄像头中检测到的目标数目是所有摄像头中最多的。4.根据权利要求3所述的跨镜头多目标跟踪方法，其中，对于作为球员的所述目标，步骤4还包括：步骤4-2、依次计算当前画面中的各个目标和前一画面中的某个目标的匹配度；步骤4-3、将当前画面中的与前一画面中的某个目标匹配度最高的目标识别为与前一画面中的所述某个目标相同的目标，其中，所述匹配度的计算方式如下：匹配度＝(1.0-由目标的可视部分构成的直方图的巴塔查里亚距离)/(目标三维脚点的欧式距离/当前目标深度)，其中，三维脚点表示目标投影到地面的中点位置，其中，目标深度表示目标到摄像头的地面投影距离，即，目标脚点到摄像头正下方)的欧氏距离，即目标到摄像头的距离。5.根据权利要求4所述的跨镜头多目标跟踪方法，其中，对于作为球员的所述目标，步骤5还包括：步骤5-1...

【专利技术属性】
技术研发人员：崔万海，
申请(专利权)人：北京云视万维科技有限公司，
类型：发明
国别省市：北京,11