一种基于群体运动信息的体育视频中流畅回合定位方法技术

本发明专利技术涉及计算机视觉的视频处理技术领域，提供了一种基于群体运动信息的体育视频中流畅回合定位方法。该方法包括：获得当前视频的运动变化指标，并将所述运动变化指标作为群体运动信息，衡量体育视频中运动员的运动剧烈程度；根据所述运动变化指标定位出视频中的流畅回合，以达到分割体育视频的目的。本发明专利技术通过将视频中运动员跟踪结果采用矩阵形式表示，获得将流畅回合和非流畅回合表示为易于区分的特征；采用的流畅回合的定位方法，获得了分割体育视频理想的定位效果。割体育视频理想的定位效果。割体育视频理想的定位效果。

【技术实现步骤摘要】
一种基于群体运动信息的体育视频中流畅回合定位方法


[0001]本专利技术涉及计算机视觉的视频处理
，尤其涉及一种基于群体运动信息的体育视频中流畅回合定位方法。

技术介绍

[0002]在隔网类体育项目中，例如排球、网球、羽毛球等，对抗双方在连续的攻防交互行为中产生的持续态势转换过程，称这样的一个过程为一个“流畅回合”。分割出体育视频中的流畅回合，不仅能够过滤流畅回合外无关部分，缩短视频时长，而且分割后的视频能够高效支持后续任务，例如精彩片段回放、团体战术分析或进行技术统计等。对流畅回合的分割方法是时序动作定位方法。
[0003]然而，现有的时序动作定位方法通常为深度学习方法，能够较准确地定位视频中单人动作发生所在区间，但需要在数据采集阶段花费大量人力进行标注，并且训练模型阶段也较为耗时。并且本专利技术所关注的定位体育视频中的流畅回合通常包含多人同时发生且连续变化的动作，时序动作定位方法往往不能够适用这样的场景。在一段视频中无法将流畅回合和非流畅回合表示为易于区分的特征，并且流畅回合的定位方法不当，直接影响了定位效果。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种基于群体运动信息的体育视频中流畅回合定位方法，以解决现有技术中在一段视频中无法将流畅回合和非流畅回合表示为易于区分的特征，流畅回合的定位方法不当的技术问题。
[0005]本专利技术提供了一种基于群体运动信息的体育视频中流畅回合定位方法，包括：
[0006]S1获得当前视频的运动变化指标，并将所述运动变化指标作为群体运动信息，衡量体育视频中运动员的运动剧烈程度；
[0007]所述S1，包括：
[0008]S11基于预训练多目标跟踪网络模型TransTrack，在Rally数据库的测试集中获得跟踪结果；
[0009]S12基于所述跟踪结果，将每个样本视频的运动员所述跟踪结果表示为一个矩阵；
[0010]S13基于所述矩阵，获得视频某帧中单个目标的运动剧烈程度；
[0011]S14基于所述视频某帧中单个目标的运动剧烈程度，并合并每帧中所有目标的运动剧烈程度，获得所述当前视频的运动变化指标；
[0012]S2根据所述运动变化指标定位出视频中的流畅回合，以达到分割体育视频的目的。
[0013]进一步地，所述S11，包括：
[0014]在多目标跟踪数据库中预训练多目标跟踪网络模型TransTrack；
[0015]通过Rally数据库的训练集标注多目标跟踪真值，并采用所述多目标跟踪真值以
微调所述多目标跟踪网络模型，使所述多目标跟踪网络模型跟踪体育视频中所有目标，在所述Rally数据库的测试集中获得跟踪结果。
[0016]进一步地，所述S13，包括：
[0017]设为所述矩阵第n行数据，帧序号为c，若存在且和属于同一目标，则将间隔j帧的数据归一化至间隔1帧，再取总共k个间隔帧均值，可获得对应的所述单个目标的运动剧烈程度，其中，表示矩阵第n+i行数据，帧序号为c+j。
[0018]进一步地，所述单个目标的运动剧烈程度的表达式如下：
[0019][0020]其中，为单个目标的运动剧烈程度，为矩阵第n行数据，为矩阵第n+i行，帧序号为c+i数据，|
·
|表示取绝对值，∑表示求和。
[0021]进一步地，所述S14中当前视频的运动变化指标的表达式如下：
[0022][0023][0024]其中，MVI
c
表示第c帧的运动变化指标，∪表示合并所有项，Sort(
·
)表示对其中元素排序，MVI表示当前视频的运动变化指标。
[0025]进一步地，所述S2，包括：
[0026]根据分水岭算法，设置水位线阈值和最短流畅回合时长，获得流畅回合定位结果；
[0027]基于所述流畅回合定位结果，获得分割体育视频。
[0028]进一步地，所述水位线和待定位区间的设置表达式如下：
[0029]WL＝max(MVI)*Threshold
[0030]Segment>duration
[0031]其中，WL表示水位线，max(
·
)表示最大值，*表示乘法，Segment表示待定位区间，duration表示最短流畅回合时长。
[0032]进一步地，所述最短流畅回合时长，采用时序动作定位任务中的区间交并比准确率作为衡量指标。
[0033]进一步地，所述交并比表达式如下：
[0034][0035]其中，∩表示取交集，∪表示取并集，Rally
gt
表示流畅回合区间真值。
[0036]进一步地，所述步骤S11中多目标跟踪网络模型TransTrack经过微调，采用深度学习的方式，通过训练来微调多目标跟踪网络模型TransTrack模型中参数，参数具体包括编码器Encoder、解码器Decoder、多层感知机MLP(Multilayer Perceptron)。
[0037]本专利技术实施例与现有技术相比存在的有益效果是：
[0038]1.本专利技术通过预训练现有跟踪方法所使用的多目标跟踪网络模型，获得较准确的运动员跟踪结果，提升了模型的复用率，减少了计算资源的开销；
[0039]2.本专利技术通过将视频中运动员跟踪结果采用矩阵形式表示，获得将流畅回合和非流畅回合表示为易于区分的特征；
[0040]3.本专利技术提出了某帧中单个目标的运动剧烈程度，更为直观且利于流畅回合定位；
[0041]4.本专利技术直接根据合并每帧中所有目标的运动剧烈程度进行流畅回合定位，提高了计算效率。
附图说明
[0042]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0043]图1是本专利技术提供的一种基于群体运动信息的体育视频中流畅回合定位方法的流程图；
[0044]图2是本专利技术提供的定位范围包含于流畅回合中的示意图；
[0045]图3是本专利技术提供的当前视频的MVI可视化的示意图；
[0046]图4是本专利技术提供的流畅回合定位的示意图；
[0047]图5是本专利技术提供的可视化了分割效果示意图。
具体实施方式
[0048]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0049]下面将结合附图详细说明根据本专利技术实施例的一种基于群体运动信息的体育视频中流畅回合定位方法。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于群体运动信息的体育视频中流畅回合定位方法，其特征在于，包括：S1获得当前视频的运动变化指标，并将所述运动变化指标作为群体运动信息，衡量体育视频中运动员的运动剧烈程度；S11基于预训练多目标跟踪网络模型TransTrack，在Rally数据库的测试集中获得跟踪结果；S12基于所述跟踪结果，将每个样本视频的运动员所述跟踪结果表示为一个矩阵；S13基于所述矩阵，获得视频某帧中单个目标的运动剧烈程度；S14基于所述视频某帧中单个目标的运动剧烈程度，并合并每帧中所有目标的运动剧烈程度，获得所述当前视频的运动变化指标；S2根据所述运动变化指标定位出视频中的流畅回合，以达到分割体育视频的目的。2.根据权利要求1所述的体育视频中流畅回合定位方法，其特征在于，所述S11，包括：在多目标跟踪数据库中预训练多目标跟踪网络模型TransTrack；通过Rally数据库的训练集标注多目标跟踪真值，并采用所述多目标跟踪真值以微调所述多目标跟踪网络模型，使所述多目标跟踪网络模型跟踪体育视频中所有目标，在所述Rally数据库的测试集中获得跟踪结果。3.根据权利要求1所述的体育视频中流畅回合定位方法，其特征在于，所述S13，包括：设为所述矩阵第n行数据，帧序号为c，若存在且和属于同一目标，则将间隔j帧的数据归一化至间隔1帧，再取总共k个间隔帧均值，可获得对应的所述单个目标的运动剧烈程度，其中，表示矩阵第n+i行数据，帧序号为c+j。4.根据权利要求3所述的体育视频中流畅回合定位方法，其特征在于，所述单个目标的运动剧烈程度的表达式如下：其中，为单个目标的运动剧烈程度，为矩阵第n行数据，为矩阵第n+i行，帧序号为c+i数据，|
·
|表示取绝对值，∑表示求和。5.根据权利要求1所述的体育视频中流...

【专利技术属性】
技术研发人员：王蕴红，何睿，傅泽华，陈训逊，刘庆杰，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：