一种基于视频多目标跟踪的足球球员跑动距离统计方法技术

一种基于视频多目标跟踪的足球球员跑动距离统计方法属于体育数据统计领域。场上运动员的跑动距离是一项重要的统计数据。随着计算机视觉技术的发展，本文提出了一种基于足球比赛视频的球员跑动距离统计方案。首先，本方法通过分析足球比赛视频可以获得视频中的多目标跟踪数据。然后汇总各个跟踪轨迹，经过轨迹平滑以及顶视图映射操作，最后计算得到球员的跑动轨迹、跑动距离，输出可视化结果。该方法是实现统计球员跑动轨迹、跑动距离的一套完整解决方案，旨在减少人工标注的成本，并通过测试验证了方法可行性，具有重要应用价值。

【技术实现步骤摘要】
一种基于视频多目标跟踪的足球球员跑动距离统计方法
本专利技术应用于体育数据统计领域，具体涉及目标检测，多目标跟踪、单应性变换等计算机视觉与数字图像处理技术。该方法根据架设在体育场内的专用摄像机所拍摄的足球比赛视频，顺序输入图像，通过目标检测和跟踪识别图像中的球员人形目标并获得跟踪轨迹，汇总跟踪结果后实现了球员的跑动轨迹和距离的统计。
技术介绍
足球比赛中的球员跑动轨迹、距离是一项重要的统计数据，该项数据可用于评估球员的行为表现。根据调研，该数据的统计方法依赖于专业的人工标注，仅由少数几家专业体育数据公司提供，获取成本很高，并且应用场景多面向于职业比赛。本专利技术可自动化计算该项数据，起到辅助人工的功能，可以极大降低成本。同时，也使得该数据具有更加广阔的应用场景。不再只局限于职业比赛中应用，在业余比赛或者是日常运动训练中本系统也可以获得较好的支持，帮助更多足球运动员有效地提高自身水平，具有重要应用价值。本专利技术中用作输入的足球比赛视频由架设在足球场地内的专用相机提供。将两组相机安装在15米高的支架上，分别对球场的左右半场进行俯拍。视频采用固定视角拍摄，一经安装，相机的高度、俯角不再变化。由于相机成像以及拍摄视角的限制，两组相机分别负责各自以中场线为界的半场内比赛视频内容。拍摄实际图片如图1所示。在足球比赛视频中，通过目标检测和多目标跟踪算法实现球员人形目标在视频中的定位信息，将位置信息汇总后进行球员目标跑动轨迹、距离的计算。综上所述，本专利技术可以极大的减少人工标注工作量，实现较为便捷的足球运动员跑动轨迹、跑动距离统计。
技术实现思路
为了实现球员跑动距离的统计，提出了一种基于多目标跟踪技术的自动测算方案，测算的方法流程如图2所示。该方法首先将顺序输入的足球比赛视频图像进行预处理，锁定球员目标检测的感兴趣区域；然后将锁定区域的图像送入目标检测模块，得到区域内球员的目标检测框；之后将每一帧的目标检测结果送入多目标跟踪模块，与卡尔曼跟踪器关联匹配，依据指派结果更新相应跟踪器的运动状态参数，随着视频图像的迭代输出球员跟踪轨迹；接着通过人工修正，汇总每一个球员在完整视频时间内的所有跟踪轨迹，可以获得完整的球员位置跟踪轨迹；最后将跟踪轨迹送入数据后处理模块，包括轨迹平滑去噪、差值补齐、顶视图映射变换、跑动距离计算步骤，便可输出最终需要的跑动距离统计结果。本方法各主要模块的
技术实现思路
如下：1.视频图像预处理模块顺序输入的视频图像在进行目标检测之前需要先进行预处理，主要可分为两步，目标检测感兴趣区域(ROI)的设置以及视频半场边界点的标注。由于视频的拍摄视角以及目标检测模型人形目标泛化能力的原因，足球比赛视频中除了本专利技术所需的球员目标外，也会拍摄到场外的行人、观众、工作人员等不需要的人形目标，如图3所示。因此需要通过预处理将图像中不感兴趣的区域过滤，减少目标检测模型识别不需要的人形目标。感兴趣区域图像过滤流程如图4所示，示例如图5所示。同时，也需要标注视频所覆盖的半场的四个边界坐标，用于后续多余目标检测框的过滤以及单应性变换映射矩阵的计算。2.目标检测模块球员跑动距离主要是由比赛视频中的目标跟踪轨迹根据相应的比例计算得来，而视频中目标跟踪状态更新的基础就是球员人形目标的检测。本目标检测网络结构基于SSD目标检测算法的多尺度架构，直接对每个特征层对应的感受野框进行分类和回归；采用了RF(感受野)采样框置灰学习策略，来避免学习到一些冗杂的特征参数。在此构建了一个FCN全卷积网络，根据有效感受野覆盖的像素范围来选择相应网络层。该目标检测深度网络有22个卷积层，能够实现的三种尺度的目标检测框预测，三种尺度分别对应视频图像中不同大小的目标检测，可以直接推断出目标的位置和置信度得分。目标检测的程序流程如图6所示。将上一步中已经设置好感兴趣区域(ROI)的足球比赛视频图像送入该模块作为输入。然后使用一种基于目标感受野回归的目标检测方法检测球员人形目标，首先，加载已经训练好的目标检测深度网络模型以及配置参数模型，部署好目标检测环境；然后统计目标视频中的人形目标的长边大小范围，设定图像尺寸重置(resize)的尺度，使得尺寸重置后的目标框的长边大小位于目标检测模型的范围内；其次，通过目标检测算法计算输出特征图像的二值图，并设置最小置信度阈值筛选出置信度大于阈值的目标候选框；然后使用非极大值抑制操作，优先保留置信度高的目标候选框；最后，在过滤后的目标检测框中，认为目标框的下边中点的坐标是球员所在位置坐标，再根据预处理模块中得到的半场边界点坐标，判断目标框的下边中点与边界点区域的关系，仅保留位于球场边界点区域内的目标框，从而过滤位于感兴趣区域(ROI)边界附近位置的非球员人形目标以及没有位于半场区域内的球员目标。最终球员人形目标检测输出结果如图7所示，示例图中的矩形框为输出结果。3.多目标跟踪模块3.1多目标跟踪流程目标跟踪和目标检测最大的区别就在于跟踪是一个连续的过程，相比目标检测结果，目标跟踪结果使用唯一的id信息将每一帧的目标关联起来。对于足球比赛视频中的每一帧图像重复预处理模块和目标检测模块的操作，将其所输出的目标检测框顺序地送入多目标跟踪模块对每一个球员目标进行跟踪，输出在视频维度下的跟踪轨迹。多目标跟踪的流程如图8所示。多目标跟踪逻辑中将每一帧的目标检测框作为输入，首先将每一个检测框和已有的卡尔曼滤波跟踪器进行相似度关联匹配，根据匹配结果将检测框和跟踪框分成三类：1.成功匹配的检测框和跟踪框、2.未匹配上的检测框、3.未匹配上的跟踪框。然后分别对分类结果进行如图8所示的对应操作，以保证跟踪的正常运行。1.成功匹配的检测框和跟踪框：对于成功匹配的检测框和跟踪框，以检测框的坐标信息(目标框中心点横轴坐标x,目标框中心点纵轴坐标y,目标框面积s,目标框宽高比r，单位均为像素)去更新该框所指派的卡尔曼滤波跟踪器的运动状态信息，用于下一帧的跟踪框预测。同时，累计该跟踪器的成功匹配次数(Hits)，以及把跟踪器的距离上一次成功匹配时间(Age)置零，最后判断该跟踪器的成功匹配次数(Hits)，当成功匹配次数(Hits)的大于等于3判定该跟踪器的状态为“确定”，否则设置为“暂定”。2.未匹配上的检测框：由于目标检测模型的准确率没有达到100％，因此未匹配上的检测框中存在两种可能，一种情况是误检框，另一种情况是新目标出现。因此首先需要过滤掉误检框，根据目标检测的性能分析，个别目标由于检测器性能的原因在非极大值抑制部分没有进行对应的抑制，同一目标出现两个相邻检测的误检情况，误检框如图9所示。因此将未匹配上的检测框与跟踪框计算交并比(IOU)，当交并比大于0.7时，认为该情况下的检测框为误检框，以此达到过滤误检的效果。对于余下的未匹配上的检测框，则认为代表新目标出现的情况，为其创建一个基于卡尔曼滤波运动模型的跟踪器，并将该跟踪器的成功匹配次数(Hits)初始化为0，予以其新的目标id值，并且跟踪器状态设置为“暂定”。对于开始跟踪后的第一帧，此时没有初始化任何跟踪器，因此第一帧中每一个输入的目标检测框都会被关联匹配为未匹配上的检测框。3.未匹配上的跟踪框：对于未匹配上的跟踪框中存在三种可能，一种情况是跟踪目标消失，一种情况是跟踪目标发生遮挡，最后一种是由本文档来自技高网...

【技术保护点】
1.一种基于视频多目标跟踪的足球球员跑动距离统计方法，其特征在于：首先将顺序输入的足球比赛视频图像进行预处理，锁定球员目标检测的感兴趣区域；然后将锁定区域的图像送入目标检测模块，得到区域内球员的目标检测框；之后将每一帧的目标检测结果送入多目标跟踪模块，与卡尔曼跟踪器关联匹配，依据指派结果更新相应跟踪器的运动状态参数，随着视频图像的迭代输出球员跟踪轨迹；接着通过人工修正，汇总每一个球员在完整视频时间内的所有跟踪轨迹，获得完整的球员位置跟踪轨迹；最后将跟踪轨迹送入数据后处理模块，包括轨迹平滑去噪、差值补齐、顶视图映射变换、跑动距离计算步骤，输出最终需要的跑动距离统计结果。

【技术特征摘要】
1.一种基于视频多目标跟踪的足球球员跑动距离统计方法，其特征在于：首先将顺序输入的足球比赛视频图像进行预处理，锁定球员目标检测的感兴趣区域；然后将锁定区域的图像送入目标检测模块，得到区域内球员的目标检测框；之后将每一帧的目标检测结果送入多目标跟踪模块，与卡尔曼跟踪器关联匹配，依据指派结果更新相应跟踪器的运动状态参数，随着视频图像的迭代输出球员跟踪轨迹；接着通过人工修正，汇总每一个球员在完整视频时间内的所有跟踪轨迹，获得完整的球员位置跟踪轨迹；最后将跟踪轨迹送入数据后处理模块，包括轨迹平滑去噪、差值补齐、顶视图映射变换、跑动距离计算步骤，输出最终需要的跑动距离统计结果。2.根据权利要求1所述的一种基于视频多目标跟踪的足球球员跑动距离统计方法，其特征在于：顺序输入的视频图像在进行目标检测之前需要先进行预处理，分为两步，目标检测感兴趣区域的设置以及视频半场边界点的标注。3.根据权利要求1所述的一种基于视频多目标跟踪的足球球员跑动距离统计方法，其特征在于：本目标检测网络结构基于SSD目标检测算法的多尺度架构，直接对每个特征层对应的感受野框进行分类和回归；采用了RF感受野采样框置灰学习策略，构建了一个FCN全卷积网络，根据有效感受野覆盖的像素范围来选择相应网络层；该目标检测深度网络有22个卷积层，能够实现的三种尺度的目标检测框预测，三种尺度分别对应视频图像中不同大小的目标检测，直接推断出目标的位置和置信度得分。4.根据权利要求1所述的一种基于视频多目标跟踪的足球球员跑动距离统计方法，其特征在于：将已经设置好感兴趣区域的足球比赛视频图像作为输入；然后使用一种基于目标感受野回归的目标检测方法检测球员人形目标，首先，加载已经训练好的目标检测深度网络模型以及配置参数模型，部署好目标检测环境；然后统计目标视频中的人形目标的长边大小范围，设定图像尺寸重置的尺度，使得尺寸重置后的目标框的长边大小位于目标检测模型的范围内；其次，通过目标检测算法计算输出特征图像的二值图，并设置最小置信度阈值筛选出置信度大于阈值的目标候选框；然后使用非极大值抑制操作，优先保留置信度高的目标候选框；最后，在过滤后的目标检测框中，认为目标框的下边中点的坐标是球员所在位置坐标，再根据预处理模块中得到的半场边界点坐标，判断目标框的下边中点与边界点区域的关系，仅保留位于球场边界点区域内的目标框，从而过滤位于感兴趣区域边界附近位置的非球员人形目标以及没有位于半场区域内的球员目标。5.根据权利要求1所述的一种基于视频多目标跟踪的足球球员跑动距离统计方法，其特征在于，多目标跟踪具体如下：3.1多目标跟踪流程多目标跟踪逻辑中将每一帧的目标检测框作为输入，首先将每一个检测框和已有的卡尔曼滤波跟踪器进行相似度关联匹配，根据匹配结果将检测框和跟踪框分成三类：1.成功匹配的检测框和跟踪框、2.未匹配上的检测框、3.未匹配上的跟踪框；然后分别对分类结果进行如下对应操作，以保证跟踪的正常运行；1).成功匹配的检测框和跟踪框：对于成功匹配的检测框和跟踪框，以检测框的坐标信息去更新该框所指派的卡尔曼滤波跟踪器的运动状态信息，用于下一帧的跟踪框预测；同时，累计该跟踪器的成功匹配次数Hits，以及把跟踪器的距离上一次成功匹配时间Age置零，最后判断该跟踪器的成功匹配次数Hits，当成功匹配次数大于等于3判定该跟踪器的状态为“确定”，否则设置为“暂定”；2).未匹配上的检测框：将未匹配上的检测框与跟踪框计算交并比IOU，当交并比大于0.7时，认为该情况下的检测框为误检框，以此达到过滤误检的效果；对于余下的未匹配上的检测框，则认为代表新目标出现的情况，为其创建一个基于卡尔曼滤波运动模型的跟踪器，并将该跟踪器的成功匹配次数Hits初始化为0，予以其新的目标id值，并且跟踪器状态设置为“暂定”；对于开始跟踪后的第一帧，此时没有初始化任何跟踪器，因此第一帧中每一个输入的目标检测框都会被关联匹配为未匹配上的检测框；3).未匹配上的跟踪框：对于未匹配上的跟踪框中存在三种可能，一...

【专利技术属性】
技术研发人员：毋立芳，付亨，简萌，徐得中，李则昱，卢哲，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11