本文公开了基于多主体跟踪数据生成主体和动作预测的方法和系统。计算系统从数据存储检索跟踪数据。计算系统通过以下操作来生成训练的神经网络：基于跟踪数据，通过将每个数据帧转换成包含在帧中的数据的矩阵表示，生成多个训练数据集；以及通过神经网络学习包含在帧中的每个动作的开始帧和结束帧及每个动作相关联的行动者。计算系统接收与赛事相关联的目标跟踪数据。目标跟踪数据包括多个行动者和多个动作。计算系统经由训练的神经网络生成跟踪数据中识别的每个动作的目标开始帧和目标结束帧以及对应的行动者。束帧以及对应的行动者。束帧以及对应的行动者。
【技术实现步骤摘要】
【国外来华专利技术】根据体育运动中的跟踪数据进行半监督动作
‑
行动者检测
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月2日提交的美国临时申请序列No.63/033,570的优先权，通过引用将该申请的全部内容并入本文。
[0003]本公开总体上涉及用于基于例如跟踪数据来预测动作和行动者的系统和方法。
技术介绍
[0004]当描述人类行为和人与人交互时，它们通常被描述为由特定动作执行的一系列活动或动作，这意味着可以通过理解一系列行动者
‑
动作(actor
‑
action)对来捕获人类行为的自然语义。人类活动识别领域中的常规方法涉及计算机视觉。这样的方法主要集中在自上而下方法，在这种方法中，动作的视频被用于在帧级预测场景中的动作。虽然这种方法可能对视频标记有用，但是这样的技术限于在图像空间中执行动作识别，而实际活动发生在现实世界坐标中。然而，图像空间中的动作识别也伴随有附加的挑战，诸如背景杂波、视点变化和不规则的相机运动。在这些自上而下方法中，所涉及的行动者的识别明显更困难。
技术实现思路
[0005]本文所公开的实施例总体涉及用于基于例如赛事数据生成、评分和向用户呈现比赛内见解的系统和方法。在一些实施例中，本文公开了一种基于多主体跟踪数据生成主体和动作预测的方法。计算系统从数据存储检索跟踪数据。跟踪数据包括跨多个赛季的多个赛事的多个数据帧。计算系统通过以下操作来生成训练的神经网络：基于跟踪数据，通过将每个数据帧转换成包含在帧中的数据的矩阵表示，生成多个训练数据集；以及通过神经网络学习包含在帧中的每个动作的开始帧和结束帧及每个动作相关联的行动者。计算系统接收与赛事相关联的目标跟踪数据。目标跟踪数据包括多个行动者和多个动作。计算系统将跟踪数据转换成跟踪数据的矩阵表示。计算系统经由训练的神经网络生成跟踪数据中识别的每个动作的目标开始帧和目标结束帧以及对应的行动者。计算系统向一个或更多个终端用户呈现目标开始帧、目标结束帧、和相关联的行动者。
[0006]在一些实施例中，本公开了一种系统。该系统包括处理器和存储器。存储器包括存储在其上的编程指令，编程指令在由处理器执行时，执行一个或更多个操作。一个或更多个操作包括从数据存储检索跟踪数据。跟踪数据包括跨多个赛季的多个赛事的多个数据帧。一个或更多个操作进一步包括：通过以下操作来生成训练的神经网络：基于跟踪数据，通过将每个数据帧转换成包含在帧中的数据的矩阵表示，生成多个训练数据集；以及通过神经网络学习包含在帧中的每个动作的开始帧和结束帧及每个动作相关联的行动者。一个或更多个操作进一步包括：接收与赛事相关联的目标跟踪数据。目标跟踪数据包括多个行动者和多个动作。一个或更多个操作进一步包括：将跟踪数据转换成跟踪数据的矩阵表示。一个或更多个操作进一步包括：经由训练的神经网络生成跟踪数据中识别的每个动作的目标开
始帧和目标结束帧以及对应的行动者。一个或更多个操作进一步包括：向一个或更多个终端用户呈现目标开始帧、目标结束帧、和相关联的行动者。
[0007]在一些实施例中，本文公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质包括一个或更多个指令序列，一个或更多个指令序列在由一个或更多个处理器执行时执行一个或更多个操作。一个或更多个操作包括：从数据存储检索跟踪数据。跟踪数据包括跨多个赛季的多个赛事的多个数据帧。一个或更多个操作进一步包括：通过以下操作来生训练的神经网络：基于跟踪数据，通过将每个数据帧转换成包含在帧中的数据的矩阵表示，生成多个训练数据集；以及通过神经网络学习包含在帧中的每个动作的开始帧和结束帧及每个动作相关联的行动者。一个或更多个操作进一步包括：接收与赛事相关联的目标跟踪数据。目标跟踪数据包括多个行动者和多个动作。一个或更多个操作进一步包括：将跟踪数据转换成跟踪数据的矩阵表示。一个或更多个操作进一步包括：经由训练的神经网络生成跟踪数据中识别的每个动作的目标开始帧和目标结束帧以及对应的行动者。一个或更多个操作进一步包括：向一个或更多个终端用户呈现目标开始帧、目标结束帧、和相关联的行动者。
附图说明
[0008]为了可以详细理解本公开的上述特征的方式，可以参考实施例(在附图中展示了这些实施例中的一些实施例)得到以上简要概述的本公开的更具体描述。然而，应注意，附图仅说明本公开的典型实施例，因此不应视为限制其范围，因为本公开可允许其他等效实施例。
[0009]图1是示出根据示例实施例的计算环境的框图。
[0010]图2是示出根据示例实施例的用于动作的弱监督学习的框架的框图。
[0011]图3A是示出根据示例实施例的动作
‑
行动者注意力(action
‑
actor
‑
attention)网络的框图。
[0012]图3B是示出根据示例实施例的动作
‑
行动者注意力网络的框图。
[0013]图4是示出根据示例实施例的生成完全训练的预测模型的方法的框图。
[0014]图5是示出根据示例实施例的根据多主体跟踪数据预测动作和行动者的方法的流程图。
[0015]图6A是示出根据示例实施例的计算设备的框图。
[0016]图6B是示出根据示例实施例的计算设备的框图。
[0017]图7是示出根据示例实施例的赛事的描述的框图。
[0018]为了便于理解，在可能的情况下，使用相同的附图标记来表示附图中共有的相同元件。可以预期，在一个实施例中公开的元件可以有利地用于其他实施例而无需具体叙述。
具体实施方式
[0019]本文公开的一种或更多种技术总体上涉及用于根据多主体跟踪数据预测动作和行动者的系统和方法。例如，给定来自体育赛事(例如，篮球比赛)的跟踪数据，本文讨论的一种或更多种技术能够预测每个动作的开始帧和结束帧及每个动作相关联的行动者。由于本文公开的新型网络架构，这种预测是可能的。例如，所公开的网络架构可以使用空间注意
力、用于动作和行动者识别的卷积流、以及允许两个任务之间的信息共享的相互注意力层(mutual attention layer)。
[0020]检测、理解和分析体育赛事中发生的动作(例如，投篮(shot)、传球、带球、救球、抢断球等)对于理解比赛本身是基本的。在历史上，这些赛事和参与那些赛事的行动者/主体(例如，正在投篮的运动员)必须经由手动的、人类的注释来标记。利用跟踪数据，系统能够直接根据运动员和球的运动识别(即，检测)这些赛事及它们相关联的主体。先前的方法依赖于试探法(即，规则：一系列如果
‑
则(if
‑
then)语句)或简单的机器学习方法。这些常规方法(特别是手动注释方法)限于仅能够识别赛事的开始(例如，从投篮者的手中释放投篮的帧)。
[0021]本文描述的一种或更多种方法通过不仅能够识别赛事的开始、而且还能够识别赛事的整个持续时间以及作为该赛事的主要行动者的主体来改进常本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种基于多主体跟踪数据生成主体和动作预测的方法，包括：由计算系统从数据存储检索跟踪数据，所述跟踪数据包括跨多个赛季的多个赛事的多个数据帧；由所述计算系统通过以下操作来生成训练的神经网络：基于所述跟踪数据，通过将每个数据帧转换成包含在所述帧中的数据的矩阵表示，生成多个训练数据集；以及通过所述神经网络学习包含在所述帧中的每个动作的开始帧和结束帧及每个动作相关联的行动者；由所述计算系统接收与赛事相关联的目标跟踪数据，所述目标跟踪数据包括多个行动者和多个动作；由所述计算系统将所述跟踪数据转换成所述跟踪数据的矩阵表示；由所述计算系统经由所训练的神经网络生成所述跟踪数据中识别的每个动作的目标开始帧和目标结束帧以及对应的行动者；以及由所述计算系统向一个或更多个终端用户呈现预测的目标开始帧、预测的目标结束帧、以及预测的相关联的行动者。2.根据权利要求1所述的方法，其中，所述神经网络包括：空间注意力子网络；每个主体的卷积网络，所述每个主体的卷积网络包括并行卷积流；以及相互注意力子网络，所述相互注意力子网络包括第一多层感知器和第二多层感知器。3.根据权利要求2所述的方法，其中，由所述计算系统经由所训练的神经网络生成所述跟踪数据中识别的每个动作的所述目标开始帧和所述目标结束帧以及对应的行动者，包括：将所述跟踪数据的矩阵表示输入到所述空间注意力子网络中，以生成空间注意力系数。4.根据权利要求3所述的方法，还包括：通过将所述跟踪数据的矩阵表示乘以所述空间注意力系数来生成加权的时空矩阵；以及将所述加权的时空矩阵输入到所述并行卷积流的第一卷积流和所述并行卷积流的第二卷积流中。5.根据权利要求4所述的方法，还包括：通过所述相互注意力子网络组合来自所述第一卷积流的第一输出和来自所述第二卷积流的第二输出，以生成相互注意力层；以及使所述相互注意力层通过所述第一多层感知器以生成动作预测；以及使所述相互注意力层通过所述第二多层感知器以生成行动者预测。6.根据权利要求1所述的方法，其中，每个动作能够包括多个子动作。7.根据权利要求6所述的方法，其中，通过所述神经网络学习包含在所述帧中的每个动作的所述开始帧和所述结束帧及每个动作相关联的行动者，包括：初始化子动作到动作
‑
行动者映射函数，所述子动作到动作
‑
行动者映射函数用作地面实况、帧级；以及
通过减少预测的子动作、预测的行动者和地面实况、帧级之间的交叉熵来优化所述神经网络。8.根据权利要求1所述的方法，其中，所述目标跟踪数据包括所述多个行动者的原始位置数据。9.根据权利要求8所述的方法，还包括：由所述计算系统用运动员位置信息注释所述多个行动者的所述原始位置数据。10.根据权利要求8所述的方法，还包括：由所述计算系统将所述多个行动者的所述原始位置数据与手动注释的跟踪数据融合。11.根据权利要求1所述的方法，还包括：由所述计算系统将所述预测的目标开始帧、所述预测的目标结束帧、和所述预测的相关联的行动者输入到细化模块中；以及由所述计算系统经由所述细化模块生成细化的预测的目标开始帧、细化的预测的目标结束帧、以及细化的预测的相关联的行动者。12.一种用于基于多主体跟踪数据生成主体和动作预测的系统，包括：处理器；以及存储器，所述存储器存储有编程指令，所述编程指令在由所述处理器执行时，执行一个或更多个操作，包括：从数据存储检索跟踪数据，所述跟踪数据包括跨多个赛季的多个赛事的多个数据帧；通过以下操作来生成训练...
【专利技术属性】
技术研发人员：魏新宇，詹妮弗，
申请(专利权)人：斯塔特斯公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。