基于远程用户输入的上下文游戏内元素识别、注释和交互制造技术

提供了用于注释由视频游戏生成的视频帧的系统、方法和装置。将元素标签与视频游戏的元素相关联的视频游戏模型可被生成。视频游戏模型可由与视频游戏并发地执行的视频游戏覆盖来应用。视频游戏覆盖可以通过网络从一个或多个远程设备接收远程用户输入。远程用户输入可以通过应用视频游戏模型来被复用和/或归一化以及被后续地解析，以提取与视频游戏相对应的元素标签。通过应用视频游戏模型，视频游戏中与元素标签相对应的游戏内元素可在视频帧中被标识。基于视频游戏的视频帧中的所标识元素，视频帧可被注释并呈现给视频游戏用户。

【技术实现步骤摘要】
【国外来华专利技术】基于远程用户输入的上下文游戏内元素识别、注释和交互
技术介绍
在游戏应用中，位于远程的用户可以通过网络连接(诸如因特网)来观看视频游戏玩家的实时游戏过程。位于远程的用户还可以(例如，通过传送玩家在玩视频游戏时可查看或听到的消息来)与视频游戏玩家交互，从而实现在各个用户之间的社交游戏体验。在一些场景中，消息可以连同游戏过程一起显示在玩家的显示设备上。由此，此类社交游戏体验可以准许多个位于远程的个体进行讨论、协作并协助解决游戏任务等。
技术实现思路
提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式述中进一步描述的概念的选集。本
技术实现思路
并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。提供了用于注释由视频游戏生成的视频帧的系统、方法和计算机程序产品。将元素标签与视频游戏的元素相关联的视频游戏模型可被生成。视频游戏模型可以按数种方式(包括通过受监督和/或无监督的训练)来生成。被配置成在视频帧上显示覆盖的注释的视频游戏覆盖可以与视频游戏并发地被执行。视频游戏覆盖可以通过网络从一个或多个远程设备接收远程用户输入。远程用户输入可以通过应用视频游戏模型来解析，以提取与视频游戏相对应的元素标签。通过使用视频游戏模型，视频游戏的与元素标签相对应的元素可在视频帧中被标识。基于视频帧中所标识的元素，视频帧可以按各种方式来注释。以此方式，视频游戏覆盖可以自动地解析远程用户输入，以实时标识和注释当前视频游戏玩家正在玩的视频游戏的元素。例如，如果接收到指示视频游戏玩家应将足球传给特定玩家的消息，则视频游戏覆盖可标识该玩家，确定该玩家在视频帧上的位置，并且注释该视频帧以标识该玩家(例如，通过在玩家周围绘制轮廓)。通过以此方式自动地标识和注释元素，视频游戏玩家可以容易地查看与远程用户输入相对应的屏幕上注释，因为它们与实际的实时游戏过程有关，而无需单独地读取或收听远程用户输入。作为结果，用户不太可能被远程用户输入分散注意力，并且可以对玩视频游戏保持更好的专注度。下文参考附图详细描述各个示例实施例的进一步特征和优点以及结构和操作。注意，示例实现不限于本文所述的特定实施例。本文呈现这些示例实施例仅用于说明性的用途。基于本文包含的示教，附加的实现对相关领域的技术人员将是显而易见的。附图简述合并到本文并构成说明书的一部分的附图例示了本申请的各示例实施例，并且与说明书一起进一步用于解释各实施例的原理并允许相关领域技术人员实施和使用这些示例实施例。图1示出了根据一示例实施例的用于注释由视频游戏生成的视频帧的系统的框图。图2示出了根据一示例实施例的用于注释由视频游戏生成的视频帧的方法的流程图。图3示出了根据一示例实施例的视频游戏覆盖的框图。图4示出了根据一示例实施例的用于生成视频游戏模型的方法的流程图。图5示出了根据一示例实施例的用于生成经复用的远程用户输入流的方法的流程图。图6示出了根据一示例实施例的用于选择注释以用于渲染到视频帧的方法的流程图。图7A-7D示出了根据一示例实施例的用于渲染到视频游戏的视频帧的示例注释。图8是可用于实现各个示例实施例的示例基于处理器的计算机系统的框图。当结合其中相同的附图标记标识对应的元素的附图时，本文中描述的各实现的特征和优点将从以下阐述的详细描述中变得更加显而易见。在附图中，相同的附图标记一般指示等同的、功能上类似的、和/或结构上类似的元素。其中元素第一次出现的附图由对应附图标记中最左侧的(诸)数位来指示。具体实施方式I.介绍本说明书和附图公开了许多示例实现。本应用的范围不限于所公开的各实现，而且还包括所公开的各实现的各种组合以及对所公开的各实现的各种修改。本说明书中对“一个实现”、“一实现”、“示例实施例”、“示例实现”等的述及指示所描述的实现可包括特定特征、结构或特性，但并非每一实现都有必要包括该特定特征、结构或特性。此外，这些短语不一定指相同的实现。此外，当结合实现描述具体特征、结构或特性时，应当理解在相关领域的技术人员的知识范围内能够结合其他实现来实现此类特征、结构或特性，无论是否被显式地描述。在讨论中，除非另有说明，否则修改本公开的实现的一个或多个特征的条件或关系特性的诸如“基本上”和“大约”之类的形容词应被理解成是指该条件或特性被限定在对该实现所意图的应用而言可接受的该实现的操作的容差以内。以下描述多个示例实施例。应当注意，在此提供的任何章节/子章节标题不旨在限制。本文档中描述了各实现，并且任何类型的实现可被包括在任何章节/子章节下。此外，在任何章节/子章节中公开的各实现可与在相同章节/子章节和/或不同章节/子章节中描述的任何其他实现以任何方式组合。II.示例实现如以上在
技术介绍
章节中所提及的，在游戏应用中，位于远程的用户可以通过网络连接(诸如因特网)来观看视频游戏玩家的实时游戏过程。位于远程的用户还可以(例如，通过传送玩家在玩视频游戏时可查看或听到的消息来)与视频游戏玩家交互，从而实现在各个用户之间的社交游戏体验。在一些场景中，消息可以连同游戏过程一起显示在玩家的显示设备上。由此，此类社交游戏体验可以准许多个位于远程的个体进行讨论、协作并协助解决游戏任务等。然而，远程用户与视频游戏玩家之间的交互通常受到限制。例如，玩家的显示设备通常仅显示所传达的消息的内容。此外，如果远程用户的消息为视频游戏玩家提供了建议或策略提示，则视频游戏玩家仍必须将他或她的注意力从游戏中移开以读取消息，并且随后仅基于消息内容来确定如何在视频游戏中执行一个或多个动作或决定导航到哪里。对于许多视频游戏，视频游戏玩家可能需要几乎立即做出此类确定。如果视频游戏玩家无法足够迅速或甚至根本无法做出此类确定，则尽管从远程观看者处获得了提示或策略消息，但玩家可能无法成功完成视频游戏任务，或者玩家的挫败感可能会上升。随着许多视频游戏变得越来越复杂或具有不断变化的屏幕元素，使玩家实时地基于远程观看者的建议执行动作的能力变得越来越困难。另外，在视频游戏玩家正在同时从多个远程观看者接收消息的情况下，需要视频游戏玩家同时专注于多个与视频游戏相关的元素(例如，查看提供持续传入消息流的聊天窗口，收听传入消息流，以及玩视频游戏)。在此类情形中，视频游戏玩家可能发现在玩视频游戏时同时处理每个传入消息变得愈加困难。如果交互式游戏体验对于特定的视频游戏玩家而言变得不堪重负(例如，归因于图形用户界面以玩家无法轻松处理的方式呈现内容)，则玩家可能会完全禁用交互式游戏功能，从而导致对玩家以及远程观看者而言的下降的游戏体验。本文所描述的实现通过用于注释由视频游戏生成的视频帧的、与视频游戏并发地执行的视频游戏覆盖来解决这些和其他问题。视频游戏覆盖包括通过网络(例如，经由视频游戏覆盖的插件)从位于远程的设备接收用户输入的接收机。视频游戏覆盖还可包括解析器，该解析器通过应用将元素标签或标记与视频游戏的元素相关联的视频游戏模型来从用户输入中提取元素标签。通过使用视频游戏模型，元素识别器可以本文档来自技高网...

【技术保护点】
1.一种用于注释由视频游戏生成的视频帧的系统，所述系统包括：/n至少一个处理器电路；/n至少一个存储器，所述至少一个存储器存储被配置成由所述至少一个处理器电路执行的程序代码，所述程序代码包括：/n视频游戏模型生成器，所述视频游戏模型生成器被配置成生成将元素标签与所述视频游戏的元素相关联的视频游戏模型；/n视频游戏覆盖，所述视频游戏覆盖与所述视频游戏被并发地执行并且包括：/n接收机，所述接收机被配置成通过网络从一个或多个远程设备接收远程用户输入；/n解析器，所述解析器被配置成应用所述视频游戏模型来解析所述远程用户输入并从中提取与所述视频游戏相对应的元素标签；/n元素识别器，所述元素识别器被配置成应用所述视频游戏模型以标识所述视频游戏中与所述元素标签相对应的元素；以及/n注释渲染器，所述注释渲染器被配置成基于所标识的元素和所标识的元素的位置来注释所述视频帧。/n

【技术特征摘要】
【国外来华专利技术】20180507 US 15/973,1231.一种用于注释由视频游戏生成的视频帧的系统，所述系统包括：
至少一个处理器电路；
至少一个存储器，所述至少一个存储器存储被配置成由所述至少一个处理器电路执行的程序代码，所述程序代码包括：
视频游戏模型生成器，所述视频游戏模型生成器被配置成生成将元素标签与所述视频游戏的元素相关联的视频游戏模型；
视频游戏覆盖，所述视频游戏覆盖与所述视频游戏被并发地执行并且包括：
接收机，所述接收机被配置成通过网络从一个或多个远程设备接收远程用户输入；
解析器，所述解析器被配置成应用所述视频游戏模型来解析所述远程用户输入并从中提取与所述视频游戏相对应的元素标签；
元素识别器，所述元素识别器被配置成应用所述视频游戏模型以标识所述视频游戏中与所述元素标签相对应的元素；以及
注释渲染器，所述注释渲染器被配置成基于所标识的元素和所标识的元素的位置来注释所述视频帧。


2.根据权利要求1所述的系统，其特征在于，所述视频游戏模型生成器被配置成基于受监督训练或无监督训练中的一者或多者来生成所述视频游戏模型。


3.根据权利要求1所述的系统，其特征在于，所述接收机包括经由其接收所述远程用户输入的多个插件，其中每个插件对应于不同的远程服务。


4.根据权利要求1所述的系统，其特征在于，所述视频游戏覆盖进一步包括归一化器，所述归一化器被配置成在由所述解析器解析所述远程用户输入之前归一化所述远程用户输入。


5.根据权利要求1所述的系统，其特征在于，所述远程用户输入包括多个远程用户输入流，并且其中所述视频游戏覆盖进一步包括：
复用器，所述复用器在由所述解析器解析所述远程用户输入之前组合所述远程用户输入流以生成单个经复用的输入流。


6.根据权利要求1所述的系统，其特征在于，所述远程用户输入包括以下至少一者：
语音输入；
文本输入；
触摸屏输入；或
定点设备输入。


7.根据权利要求6所述的系统，其特征在于，所述远程用户输入包括语音输入，并且其中所述视频游戏覆盖进一步包括语音至文本转换器，所...

【专利技术属性】
技术研发人员：A·弗马，R·K·萨林，A·R·格雷戈里奥，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US