对细粒度对抗性多队员运动进行预测的系统和方法技术方案

本文公开了一种对多队员位置进行预测的系统和方法。计算系统从数据存储部取回跟踪数据。该计算系统使用条件变分自动编码器生成预测模型。该条件变分自动编码器学习所述多个队员中的队员子集很可能采取的一个或更多个路径。该计算系统从远程定位在主办候选体育赛事的比赛地点中的跟踪系统接收跟踪数据。该计算系统识别要被预测位置的一个或更多个候选队员。该计算系统经由预测模型来推断所述一个或更多个候选队员的一个或更多个位置。该计算系统生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。

【技术实现步骤摘要】
【国外来华专利技术】对细粒度对抗性多队员运动进行预测的系统和方法相关申请的交叉引用本申请要求2018年1月21日提交的美国临时申请系列号No.62/619,891的优先权，其全部内容通过引用而并入于此。
本公开总体上涉及生成预测模型的系统和方法，更具体地，涉及使用预测模型对多队员位置进行预测的系统和方法。
技术介绍
人类不断地预测他们周围环境的将来状态。向另一人伸出一只手的人很可能会发起握手。进入餐馆的一对夫妇很可能会寻找一张双人餐桌。处于防守的篮球队员很可能会试图呆在他们的对手与篮球之间。这些预测对于塑造我们的日常交互至关重要，因为它们使得人类能够在人群中穿行、在体育比赛中得分以及总体上遵循社会习俗。这样，被成功地部署成与人类进行交互的计算机视觉系统就必须能够预测人类行为。
技术实现思路
本文所公开的实施方式总体上涉及对多队员位置进行预测的系统和方法。在一个实施方式中，公开了一种方法。计算系统从数据存储部取回跟踪数据。所述跟踪数据包括在多个体育赛事期间的多个序列的队员移动。该计算系统使用条件变分自动编码器生成预测模型。所述条件变分自动编码器至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息，来学习所述多个队员中的队员子集很可能采取的一个或更多个路径。该计算系统从远程定位在主办候选体育赛事的比赛地点中的跟踪系统接收跟踪数据。该计算系统识别要预测位置的一个或更多个候选队员。该计算系统经由预测模型来推断所述一个或更多个候选队员的一个或更多个位置。该计算系统生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。在另一实施方式中，公开了一种系统。所述系统包括处理器和存储器。所述存储器存储有编程指令，所述编程指令在由所述处理器执行时，执行一个或更多个操作。所述一个或更多个操作包括：从数据存储部取回跟踪数据。所述跟踪数据包括在多个体育赛事过程期间的多个序列的队员移动。条件变分自动编码器使用条件变分自动编码器生成预测模型。所述条件变分自动编码器至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息，来学习所述多个队员中的队员子集很可能采取的一个或更多个路径。所述一个或更多个操作还包括：从远程定位在主办候选体育赛事的比赛地点中的跟踪系统接收跟踪数据。所述一个或更多个操作还包括：识别要预测位置的一个或更多个候选队员。所述一个或更多个操作还包括：经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置。所述一个或更多个操作还包括：生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。在另一实施方式中，公开了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质包括一个或更多个指令序列，所述一个或更多个指令序列在由一个或更多个处理器执行时，使计算系统从数据存储部取回跟踪数据。所述跟踪数据包括在多个体育赛事过程期间的多个序列的队员移动。该计算系统使用条件变分自动编码器生成预测模型。所述条件变分自动编码器至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息，来学习所述多个队员中的队员子集很可能采取的一个或更多个路径。该计算系统从远程定位在主办候选体育赛事的比赛地点中的跟踪系统接收跟踪数据。该计算系统识别要预测位置的一个或更多个候选队员。该计算系统经由预测模型来推断所述一个或更多个候选队员的一个或更多个位置。该计算系统生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。附图说明按照可以详细理解本公开的上述特征的方式，上面简要概述的本公开的更具体描述可以参照实施方式进行，其中一些实施方式在附图中进行了例示。然而，要注意，附图仅例示了本公开的典型实施方式，并由此，不应被视为对本公开范围的限制，对于本公开来说，可以允许其它等效实施方式。图1A是例示根据示例实施方式的计算环境的框图。图1B是例示根据示例实施方式的图1A的计算环境的组件的框图。图2是例示根据示例实施方式的对一个或更多个队员的轨迹进行预测的总体方法的框图。图3是例示根据示例实施方式的条件变分自动编码器的框图。图4是例示根据示例实施方式的训练用于对一个或更多个队员的轨迹进行预测的条件变分自动编码器的方法的流程图。图5是例示根据示例实施方式的示例性图形用户界面(GUI)的框图。图6是例示根据示例实施方式的对一个或更多个队员的轨迹进行预测的方法的流程图。图7是例示根据示例实施方式的对队员位置进行预测的方法的流程图。图8A是例示根据示例实施方式的计算装置的框图。图8B是例示根据示例实施方式的计算装置的框图。为了易于理解，在可能的情况下，使用了相同的标号来指定图中公共的相同要素。设想的是，在一个实施方式中公开的要素可以在没有具体讲述的情况下有益地利用在其它实施方式上。具体实施方式本文所公开的一个或更多个实施方式总体上涉及对一个或更多个队员的轨迹进行预测的系统和方法。例如，本文所公开的一种或更多种技术可同时且准确地预测多个交互队员的行为，从而允许广泛地部署计算机视觉应用(例如，自主驾驶载具、安全、监视、体育运动)。特别地，本文所公开的一个或更多个系统实现条件变分自动编码器，该条件变分自动编码器可以被配置成学习这样的模型，即，该模型使针对组表示内的个体队员行为的预测“个性化”。尽管本文所提供的一个或更多个示例总体上涉及与篮球运动有关的系统和方法的使用，但是本领域技术人员容易理解，这样的系统和方法可以扩展到篮球运动之外。通常，团队体育运动提供对个性化行为模型进行评估的示例性环境(setting)。首先，体育运动中有大量标记数据，潜在地包括各个队员的数千个数据点。而且，团队体育运动中的行为是意义明确且复杂的，其中多个队员同时进行协作性和对抗性的交互。因此，体育运动跟踪数据是完全非结构化的跟踪数据(例如，队员数量不受约束的行人运动)与高度结构化的数据(例如，队员的数量既固定又物理连接的身体姿势或面部跟踪)之间的良好折衷。使对多队员运动的预测个性化的挑战之一是开发这样的表示，即，该表示对于局面中出现的许多可能排列同时具有鲁棒性并且具有足够的细粒度，因而输出预测处于希望的粒度水平。通常采用以下两种方法之一：i)自下而上的方法，其中，各个轨迹皆具有单独向其应用的相同的模型，或者ii)自上而下的方法，其中，所有轨迹的组表示具有一齐向其应用的一个模型。数据和目标应用程序主要驱动方法的选择。例如，在具有可变数量的队员(例如，自主驾驶载具或监视)的背景下，自下而上的方法可能是有利的；在具有固定数量的队员(例如，体育运动、面部和身体姿势)的背景下，自上而下的方法可能是有利的。本申请部分地通过使用条件变分自动编码器以及为这种处理选择的特定条件来解决该问题。图1A是例示根据示例实施方式的计算环境100的框图。计算环境100可以包括经由网络105进行通信的跟踪系统102、组织计算系统104以及一个或更多个客户端装置108。网络105可以是任何本文档来自技高网...

【技术保护点】
1.一种对多队员位置进行预测的方法，所述方法包括以下步骤：/n由计算系统从数据存储部取回跟踪数据，所述跟踪数据包括在多个体育赛事过程期间的多个序列的队员移动；/n由所述计算系统按以下步骤使用条件变分自动编码器来生成预测模型：/n由所述条件变分自动编码器，至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息，来学习所述多个队员中的队员的子集很可能采取的一个或更多个路径；/n由所述计算系统从远程定位在主办候选体育赛事的比赛地点中的跟踪系统接收跟踪数据；/n由所述计算系统识别要被预测位置的一个或更多个候选队员；/n由所述计算系统经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置；以及/n由所述计算系统生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。/n

【技术特征摘要】
【国外来华专利技术】20180121 US 62/619,8911.一种对多队员位置进行预测的方法，所述方法包括以下步骤：
由计算系统从数据存储部取回跟踪数据，所述跟踪数据包括在多个体育赛事过程期间的多个序列的队员移动；
由所述计算系统按以下步骤使用条件变分自动编码器来生成预测模型：
由所述条件变分自动编码器，至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息，来学习所述多个队员中的队员的子集很可能采取的一个或更多个路径；
由所述计算系统从远程定位在主办候选体育赛事的比赛地点中的跟踪系统接收跟踪数据；
由所述计算系统识别要被预测位置的一个或更多个候选队员；
由所述计算系统经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置；以及
由所述计算系统生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。


2.根据权利要求1所述的方法，其中，由所述计算系统使用所述条件变分自动编码器来生成预测模型的步骤包括：
通过使用基于树的角色排列来排列队员路线，对所述跟踪数据进行预处理。


3.根据权利要求1所述的方法，其中，由所述条件变分自动编码器学习所述多个队员中的队员的子集的一个或更多个路径的步骤包括：
由第一编码器对针对各个队员的身份信息的第一数据集进行编码以生成第一编码数据集；
由第二编码器对针对所述多个序列中的各个序列中的各个队员的历史位置数据的第二数据集以及所述第一编码数据集进行编码以生成第二编码数据集；以及
由第三编码器对第三数据集进行编码以生成第三编码数据集。


4.根据权利要求3所述的方法，所述方法还包括以下步骤：
由变分模块基于所述第二编码数据集来生成随机隐变量的样本。


5.根据权利要求4所述的方法，其中，在学习期间，变分模块基于所述第二编码数据集对隐变量分布的均值和标准偏差进行预测。


6.根据权利要求4所述的方法，所述方法还包括以下步骤：
由解码器基于所述随机隐变量的样本、所述第一编码数据集以及所述第二编码数据集来推断所述子集中的各个队员的位置。


7.根据权利要求1所述的方法，其中，由所述条件变分自动编码器进一步基于所述多个队员中的队员的第二子集的将来位置数据，来学习所述多个队员中的队员的子集很可能采取的一个或更多个路径，其中，所述子集与所述第二子集的并集是所述多个队员，并且其中，所述子集与所述第二子集的交集是空集。


8.一种系统，该系统包括：
处理器；以及
存储器，所述存储器存储有编程指令，所述编程指令在由所述处理器执行时，执行包括以下项的一个或更多个操作：
从数据存储部取回跟踪数据，所述跟踪数据包括在多个体育赛事过程期间的多个序列的队员移动；
按以下步骤使用条件变分自动编码器来生成预测模型：
由所述条件变分自动编码器，至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息，来学习所述多个队员中的队员的子集很可能采取的一个或更多个路径；
从远程定位在主办候选体育赛事的比赛地点中的跟踪系统接收跟踪数据；
识别要被预测位置的一个或更多个候选队员；
经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置；以及
生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。


9.根据权利要求8所述的系统，其中，由所述计算系统使用所述条件变分自动编码器来生成预测模型包括：
通过使用基于树的角色排列来排列队员路线，对所述跟踪数据进行预处理。


10.根据权利要...

【专利技术属性】
技术研发人员：P·费尔森，S·甘古利，P·卢西，
申请(专利权)人：斯塔特斯公司，
类型：发明
国别省市：美国;US