用于云处理和叠加远程处理应用的流式视频帧上的内容的系统和方法技术方案

第一应用在一个或多个计算系统上执行以便生成用于渲染与所述第一应用执行相关联的图形图像的一系列原始帧像素数据集。第二应用在一个或多个计算系统上执行以检测存在于所述系列原始帧像素数据集中的一个或多个关键图形图像。在检测到一个或多个关键图形图像时，所述第二应用引导替代像素数据对所述系列原始帧像素数据集中的像素数据的一部分的替换，从而生成用于代替所述系列原始帧像素数据集进行编码的一系列修改的帧像素数据集。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】用于云处理和叠加远程处理应用的流式视频帧上的内容的 系统和方法
技术介绍
存在用于执行和渲染视频游戏的若干模型。在最简单的模型中，在游戏玩家的本 地计算设备上执行和渲染游戏。在另一种模型中，在中央服务器处维持游戏状态，并且通过 计算网络将游戏状态传达至发生视频渲染的客户端。这种模型通常由多玩家游戏使用，在 多玩家游戏中，游戏状态取决于通过计算网络接收的来自多个游戏玩家的输入。在第三模 型中，在中央服务器处维持游戏状态，所述中央服务器还对视频进行渲染以便作为视频流 通过计算网络递送至客户端。
技术实现思路
本文所公开的实施方案涉及用于应用的云处理以及云处理的视频帧到远程客户 端的流式传输的系统和方法。云处理可以包括应用，所述应用处理并且输出第一应用（例 如，视频游戏）的视频帧以便检查图像内容，并且基于所述检查，可以将叠加内容整合到正 被转移至远程客户端的视频帧中。在一个实施方案中，叠加内容可以与由第一应用输出的 现有图像内容合并。所述合并可以以各种方式进行处理，并且非限制性地，合并可以包括替 换特定帧或帧集中的像素、追踪所检测的图像对象以及针对所检测的图像对象在它们从一 个帧移动到另一个帧或随时间推移移动时替换像素。 在一些实例中，优化叠加过程以使得由客户端设备的用户接收到的视频帧将不会 检测到正在执行叠加处理（例如，在客户端的显示器上），并且输出看起来像是原始应用 (例如，第一应用）产生的帧。在各种实施方案中，第一应用可以是视频游戏应用。在允许 在线网络游戏的系统中，可以为具有账户的用户提供用于选择的大型视频游戏库，所述视 频游戏可以被认为是第一应用。在这种上下文中，可以为许多用户提供账户并且许多用户 可以同时选择游戏并且进行游戏、单独地或在多玩家模式中与社交网络的朋友进行游戏。 在第一应用的远程执行过程中，一个或多个远程执行应用检查并且处理作为第一应用的输 出的视频帧。这些远程执行应用执行叠加过程并且可以与游戏进行同步以便提供最初不是 原始应用的一部分的新体检。 如以下将讨论的，远程地处理应用的服务器可以被称为云处理系统。云处理系统 可以利用许多服务器，这些服务器可以使用虚拟化硬件和软件，并且云处理系统可以分布 在多于一个数据中心中。适当放置的数据中心允许通过它们的地理分布来减少流式传输的 延迟。在一些实施方案中，可以使用负载均衡来减少延迟并且改进远程游戏进行的性能。 在一个实施方案中，公开了一种用于增强远程服务应用的系统。所述系统包括第 一应用，所述第一应用在一个或多个计算系统上执行以便生成用于渲染与第一应用执行相 关联的图形图像的一系列原始帧像素数据集。所述系统还包括第二应用，所述第二应用在 一个或多个计算系统上执行以便检测存在于所述系列原始帧像素数据集中的一个或多个 关键图形图像。在检测到一个或多个关键图形图像时，第二应用引导替代像素数据对所述 系列原始帧像素数据集中的像素数据的一部分的替换，从而生成用于代替所述系列原始帧 像素数据集进行编码的一系列修改的帧像素数据集。 在一个实施方案中，公开了一种用于增强远程服务应用的方法。所述方法包括搜 索由应用生成的视频帧以检测关键图形图像。所述方法包括检测视频帧中的关键图形图 像。所述方法包括获得表示用户的通用成就状态的叠加图像。所述方法包括使用户的所确 定通用成就状态与存储在数据存储设备上的许多预定义叠加图像中的一个或多个相关联。 所述方法包括从数据存储设备捕获针对与用户的所确定通用成就状态相关联的许多预定 义叠加图像中的至少一个的叠加物（overlay)构造数据。所述方法还包括将所捕获的叠加 物构造数据供应至叠加逻辑以便将预定义叠加图像中的至少一个插入视频帧中。 在一个实施方案中，公开了一种存储有用于增强远程服务应用的程序指令的数据 存储设备。所述数据存储设备包括用于搜索由应用生成的视频帧以检测关键图形图像的程 序指令。所述数据存储设备包括用于检测视频帧中的关键图形图像的程序指令。所述数据 存储设备包括用于获得表示用户的通用成就状态的叠加图像的程序指令。所述数据存储设 备包括用于使用户的所确定通用成就状态与存储在数据存储设备上的许多预定义叠加图 像中的一个或多个相关联的程序指令。所述数据存储设备包括用于从所述数据存储设备捕 获针对与用户的所确定通用成就状态相关联的许多预定义叠加图像中的至少一个的叠加 物构造数据的程序指令。所述数据存储设备还包括用于将所捕获的叠加物构造数据供应至 叠加逻辑以便将预定义叠加图像中的至少一个插入视频帧中的程序指令。 根据以示例方式示出本专利技术的结合附图进行的以下详细描述，本专利技术的其它方面 将变得更加明白。【附图说明】 图1是根据本专利技术的各种实施方案的游戏系统的框图。 图2是被配置成服务于多个视频游戏的视频源的实施方案的框图。 图3示出根据本专利技术的各种实施方案的游戏视频（视频帧）上的叠加物。 图4示出根据本专利技术的各种实施方案的被配置用于将用户输入映射到游戏命令 的输入映射表的一部分。 图5示出根据本专利技术的各种实施方案的使用叠加物的方法。 图6示出根据本专利技术的示例性实施方案的视频源的用于包括视频增强逻辑的扩 展。 图7示出对应于将要由增强逻辑进行处理的视频帧数据的视频帧图像的实例。 图8示出与图7的示例性视频帧图像相关联的示例性目标像素模式。 图9示出将要以叠加物构造数据的形式从叠加物生成逻辑传达至叠加逻辑的叠 加图像。 图10示出在响应于关键检测逻辑检测到对应于如图8中所示的关键图形图像的 目标像素模式的存在而插入叠加图像之后的图7的视频帧。 图11示出根据本专利技术的一个实施方案的用于增强远程服务应用的系统。 图12示出根据本专利技术的一个实施方案的用于增强远程服务应用的方法。 图13示出根据本专利技术的一个实施方案的用于生成和执行远程服务计算机应用的 云计算系统的图解。【具体实施方式】 在以下描述中，阐明了众多具体细节以便提供对本专利技术的彻底理解。然而，对于本 领域的技术人员而言将明显的是，可以在不具有这些具体细节中的一些或全部的情况下实 践本专利技术。在其它情况下，未详细描述众所周知的过程操作以免不必要地模糊本专利技术。 由在第一计算系统（即，服务器系统/云系统）上执行的计算机应用生成的、用于 通过网络传输的、将由第二计算系统显示的显示帧图像的像素数据集在从计算机应用到网 络的路由中被拦截。识别是由所拦截的像素数据集的目标部分组成的，所述目标部分对应 于显示帧图像中待修改的视觉内容。生成针对显示帧图像的已修正像素数据集，其中所拦 截像素数据的目标部分被修改以改变显示帧图像中的对应视觉内容。提供代替所拦截像素 数据集的已修正像素数据集，用于通过网络传输来由第二计算系统进行显示。计算机应用 未察觉到像素数据集的拦截和修正。 根据本专利技术的一个实施方案，本文公开了一种用于增强远程服务应用的系统。所 述系统包括帧增强模块，所述帧增强模块被定义成拦截由在第一计算系统上执行的计算机 应用生成的显示帧图像的像素数据集，用于通过网络传输来由第二计算系统（即，由用户 的计算系统）进行显示。帧增强模块被定义成识别所拦截像素数据集的对应于显示帧图像 中待修改的视觉内容（即，对应于关键图形图像）的目标部分。帧增强模块被定义成生成 针对显示本文档来自技高网...

【技术保护点】
一种用于增强远程服务应用的系统，所述系统包括：第一应用，所述第一应用在一个或多个计算系统上执行以便生成用于渲染与所述第一应用执行相关联的图形图像的一系列原始帧像素数据集；以及第二应用，所述第二应用在一个或多个计算系统上执行以便检测存在于所述系列原始帧像素数据集中的一个或多个关键图形图像，在检测到一个或多个关键图形图像时，所述第二应用引导替代像素数据对所述系列原始帧像素数据集中的像素数据的一部分的替换，从而生成用于代替所述系列原始帧像素数据集进行编码的一系列修改的帧像素数据集。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：D佩里，RFA佩雷拉，N里蒙，
申请(专利权)人：索尼电脑娱乐美国公司，
类型：发明
国别省市：美国;US