用户生成内容的游戏事件识别制造技术

本发明专利技术公开了用户生成内容的游戏事件识别。可以使用与各种用户接口或显示元素相关联的信息区域来执行内容中事件的自动检测。某些元素可以指示事件的类型，并且可以在每帧的基础上分析与这些元素相关联的区域。如果这些主要区域之一显示指示这些事件之一的状态或转变，则还可以分析一个或更多个次要区域以尝试查证该事件是否发生，以及该事件是否符合附加用途选择的条件。选定的事件可用于生成精彩剪辑、训练视频或用户简档等目的。这些事件可以位于事件层次的不同层，其中仅针对父区域指示事件类型的帧分析子区域。事件类型的帧分析子区域。事件类型的帧分析子区域。

【技术实现步骤摘要】
用户生成内容的游戏事件识别

技术介绍

[0001]可供最终用户使用的数字内容在复杂性和图像质量方面不断增加。视频游戏等内容还带来了越来越多的玩家可玩的游戏类型，以及不同类型的体验，如非玩家的视频流和锦标赛访问。因此，分析此类内容的方法也变得更加复杂，这对于容量有限的设备或最大延迟要求可能发挥作用的设备来说可能具有挑战性。
附图说明
[0002]将参考附图描述根据本公开的各种实施例，其中：
[0003]图1A和图1B示出了根据至少一个实施例的游戏玩法的图像；
[0004]图2A、图2B、图2C、图2D和图2E示出了根据至少一个实施例的可以利用的区域层次；
[0005]图3A和图3B示出了根据至少一个实施例的可以针对事件进行分析的主要区域和从属区域；
[0006]图4示出了可以用于实现至少一个实施例的方面的示例架构的组件；
[0007]图5A和图5B示出了根据至少一个实施例的用于为输入视频生成精彩片段的管线和过程；
[0008]图6图示了根据至少一个实施例的用于识别在视频中表示的满足至少一个选择标准的事件的过程；
[0009]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图8示出了根据至少一个实施例的示例数据中心系统；
[0012]图9示出了根据至少一个实施例的计算机系统；
[0013]图10示出了根据至少一个实施例的计算机系统；
[0014]图11示出了根据一个或更多个实施例的图形处理器的至少部分；
[0015]图12示出了根据一个或更多个实施例的图形处理器的至少部分；
[0016]图13是根据至少一个实施例的高级计算管线的示例数据流图；
[0017]图14是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；以及
[0018]图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图，以及利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0019]根据各种实施例的方法可以识别媒体内容中的各种事件或发生的事。该内容可以包括任何适当类型的媒体内容，例如可以包括作为视频、音频、视频游戏、虚拟现实(VR)、增强现实(AR)、捕捉到的表演的一部分呈现的音频、视频或图像内容，或其他这样的经历。在至少一个实施例中，该媒体内容可以包括代表这些其他类型的体验之一的音频和视频，例
如另一玩家的游戏会话的流视频。在至少一个实施例中，事件或发生的事的类型可以至少部分地取决于体验的类型，例如游戏体验与VR体验。在至少一个实施例中，事件的类型还可以取决于该类型事件的特定实例，例如为了游戏体验而玩的特定游戏。
[0020]例如，图1A示出了对应于特定用户的游戏玩法的图像或视频内容帧。在此示例中，游戏是第一人称射击游戏(FPS)，或者至少是具有FPS 模式的游戏，其中玩家在虚拟世界中移动虚拟玩家以尝试执行各种任务，这通常涉及消除一个或更多个敌人、角色、非玩家角色(NPC)或其他玩家。在此类游戏的会话期间可能有许多事件或发生的事，可能涉及玩家杀死敌人、完成关卡、收集物品或完成谜题。人们可能出于多种原因想要识别这些事件，例如生成玩家统计数据、生成精彩视频、生成训练视频、确定玩家技能水平等。如果此功能是从游戏内部生成的，或者至少与游戏引擎或游戏服务器有一些集成，则可以从游戏本身提供此信息。然而，在其他情况下，此信息可能无法从游戏中获得，并且必须仅使用游戏的输出来确定，例如由游戏提供或为游戏提供的音频、视频和/或控制反馈。在某些情况下，这可能采用游戏平台或视频流服务的形式，它们可以访问音频和视频内容以进行游戏。该平台或服务可能想要提供精彩视频、训练视频、游戏剪辑或从游戏内容的视频生成的其他形式的内容。为了完成此类任务，该平台、服务或其他实体可能需要能够确定该内容所代表的一个或更多个最终用户值得注意或可能感兴趣的事件或发生的事。
[0021]确定感兴趣事件的一种方法是分析视频内容的各个帧。在至少一个实施例中，这可以涉及分析图像中的所有内容以尝试识别在该内容中表示的对象、发生的事、事件、动作或其他感兴趣的事物，以下为简单起见将其称为事件，尽管这种用法并非旨在仅限于事件或将事件的解释仅限于这些示例。该分析可以包括例如使用一个或更多个神经网络分析图像、音频和/或视频内容以尝试识别或推理这些事件中的任何一个。然而，如图1 中的图像100所示，图像中可能有许多不同的对象，这些对象可能会在帧之间发生变化，因此随着时间的推移分析和跟踪所有这些内容可能会占用太多资源，或者至少对于某些应用程序可能会带来太多延迟。
[0022]在至少一个实施例中，图像的某些区域可能对应于与一个或更多个感兴趣的事件相关联的特定类型的信息，从而可以通过将至少一些分析限制在这些区域来降低分析的复杂性，并试图检测或识别这些区域中内容的某些状态或状态变化(例如，转换)。例如，可能需要知道玩家何时淘汰另一名玩家以生成精彩片段视频或剪辑。为游戏渲染的视频或图像数据可包括指示游戏会话中的玩家何时被淘汰的一个或更多个用户接口元素 102、106。可能存在与图形用户接口(GUI)或平视显示器(HUD)信息相对应的各种其他区域，这可能有助于识别在游戏过程中发生的这些和其他类型的事件。例如，图像100包括对应于各种UI元素的区域，如与剩余时间104、游戏内聊天消息108、所选弹药或武器类型110、剩余弹药量、护盾114、健康116、虚拟玩家现金118和位置120相关。可能还有其他与信息相关的区域，这些信息只在特定时间出现，例如当一名玩家死亡并观看另一名玩家的游戏时。包含在这些区域中的至少一些区域中的信息可以随时间变化，并且这些变化可以指示各种类型的事件。在至少一个实施例中，可以通过检测这些区域中的一个或更多个中的变化来确定事件，并将该变化的信息与可用于确定已发生的事件的类型的一个或更多个其他原因中的信息相结合。例如，如果用户元素102指示玩家已被淘汰，则玩家的现金118根据与击杀相关联的量而增加，玩家弹药112减少，并且聊天消息108指示当前玩家杀死了该另一玩家，然后，即使
在视频数据中未检测到或未分析实际消除(例如，当前玩家杀死另一玩家的化身或角色)，也可以高度肯定地确定该玩家淘汰了该另一玩家。如果某个元素出现在某个区域中，表明玩家只是在某个特定时间观看，则该时间发生的任何杀戮都不是由玩家发起的，因此可能不符合精彩片段的条件，至少部分取决于相关事件规则或选择标准。还可以确定各种其他动作或事件，如与玩家跳伞、达到更高水平或执行另一个动作或成就相关的动作或事件，这些动作或事件可能值得作为一个精彩片段。
[0023]在至少一个实施例中，可以针对每个视频帧分析和/或评估这些区域中的每一个中的信息以便准确地检测游戏事件。然而，这种暴力手段可能是资源密集型的，尤其是对于可能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：接收代表游戏玩家的游戏玩法的视频内容；使用所述视频内容的各个帧分析与所述游戏的第一元素相关联的第一区域；确定所述第一元素具有与所述游戏中的事件的类型相关联的第一状态；响应于所述第一元素被确定为具有所述第一状态，分析具有与所述事件的类型相关联的至少一个第二元素的至少一个第二区域；至少部分地基于所述至少一个第二元素的至少一个第二状态，确定所述事件的类型发生过；和选择代表所述事件的类型的所述视频内容的一部分用于代表所述游戏的输出。2.如权利要求1所述的计算机实现的方法，还包括：使用与所述游戏相关联的所述事件的类型的至少一个规则来确定所述第一区域和所述至少一个第二区域。3.如权利要求2所述的计算机实现的方法，还包括：分析所述视频内容中表示的一个或更多个对象以确定游戏玩法模式；和确定与所述游戏玩法模式对应的所述至少一个规则。4.如权利要求1所述的计算机实现的方法，还包括：作为第一通过的一部分，分析每个视频帧的所述第一区域；和仅当所述第一区域的所述第一元素具有与所述事件的类型相关联的所述第一状态时，分析所述至少一个第二区域，作为在视频帧上执行的第二通过的一部分。5.如权利要求1所述的计算机实现的方法，还包括：确定与所述事件的类型相关联的区域层次，其中所述至少一个第二区域能够位于包含所述第一区域的层级之下的所述区域层次的一个或更多个层级上；和仅当所述区域层次中的父区域具有与所述事件的类型相关联的状态时，才评估所述区域层次中的各个第二区域。6.如权利要求1所述的计算机实现的方法，其中所述第一元素是具有与所述游戏中的至少一种类型的事件相关联的至少一个状态的多个第一元素中的一个，并且其中所述多个第一元素中的每个针对每个单独的视频帧在第一通过上进行分析。7.如权利要求1所述的计算机实现的方法，其中代表所述游戏的所述输出包括精彩片段序列、视频剪辑、训练视频、游戏概要、玩家统计数据或玩家技能简档中的至少一个。8.如权利要求1所述的计算机实现的方法，其中所述第一元素和所述至少一个第二元素包括图标、图形元素、文本或音频内容中的至少一个，并且其中与事件的类型相关联的所述第一状态能够相对于所述第一元素的先前状态而被确定。9.如权利要求1所述的计算机实现的方法，其中，进一步响应于确定所述事件的类型以至少最小置信水平发生过，进一步选择所述视频内容中代表事件的所述类型的部分。10.如权利要求1所述的计算机实现的方法，其中，所述第一区域和所述至少一个第二区域对应于用户接口元素或平视显示器(HUD)的元素。11.一种精彩片段生成系统，包括：至少一个处理器；和存储器，其包括指令，当所示指令由所述至少一个处理器执行时，使所述精彩片段生成
系统以：接收视频内容；在所述视频内容的各个帧中分析与第一元素相关联的第一区域；确定所述第一元素具有与事件的类型相关联的第一状态；响应于所述第一元素被确定具有所述第一状态，分析具有与所述事件的类型相关联的至少一个第二元素的至少一个第二区域；至少部分地基于所述至少一个第二元素的至少一个第二状态，确定...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：