流式传输应用的本机虚拟接口的自动实例化制造技术

在示例中，设备的本机输入界面

【技术实现步骤摘要】
【国外来华专利技术】流式传输应用的本机虚拟接口的自动实例化

技术介绍

[0001]游戏流服务允许玩家通过在客户端设备上执行的接口与服务器上运行的游戏实例进行交互
。
从游戏服务器流式传输的游戏可以执行并继续本地处理和渲染游戏应用，同时
(
通过流式传输服务平台
)
将经渲染的视频
、
音频和
/
或其他游戏数据传输到远程客户端设备以呈现该游戏
。
用户可以向客户端设备提供输入，该输入被传送到游戏服务器并用于与游戏交互
。
由于游戏的实例正在游戏服务器中运行，所以游戏可被流式传输到游戏不是为其设计的客户端设备，这可能会导致用户体验的降低，因为不同的客户端设备可能依赖于不同的输入接口
。
例如，桌面游戏通常不是为移动或平板设备设计的，这些设备通常缺乏物理键盘和鼠标
。
因此，一些客户端设备可以使用触摸屏和基于软件的“软”或“虚拟”键盘，它们出现在显示屏幕的一部分上以代替物理键盘向用户提供输入界面
。
因为软键盘显示在设备的屏幕上
‑‑
或者作为来自应用或游戏的其他图形数据的可视化之上的覆盖
(
例如，遮挡
)
或者以其他方式影响
(
例如，通过压缩
)
来自应用或游戏的其他图形数据的可视化
—
所以软键盘界面可能需要由用户根据需要激活和停用
。
[0002]用于调用客户端设备的本机输入接口的常规方法不能够使用与游戏接口本身的交互来让客户端设备的本机输入方法激活和停用，而是依赖于补充小部件或菜单
。
例如，在客户端设备上激活特定于应用的软键盘可能需要与允许用户通过从菜单或命令中选择键盘来调用
(
例如，实例化
)
该键盘的游戏同时运行的额外小部件或应用
。
由于这些操作需要额外的步骤并且不在游戏的主界面或显示内进行，所以它创建了一个繁琐且低效的用户接口
。

技术实现思路

[0003]本公开的实施例涉及用于流式传输应用的本机虚拟接口的自动实例化的方法
。
所公开的系统和方法可用于检测与流式传输游戏的一个或更多个图像帧的一个或更多个交互区相关联的输入事件，并使客户端设备显示对客户端设备来说是本机的图形输入界面
。
[0004]与传统方法相比，本公开提供了利用与来自应用
(
例如游戏
)
的图像帧相关联的交互区来自动调用设备的本机输入界面
(
例如软键盘
)。
本机输入界面可以通过与来自应用输出的视频流的图像帧的特定部分进行交互来被激活
。
例如，来自流式传输游戏视频的图像帧的一个区可以
(
被例如，游戏和
/
或游戏服务器
)
指定为交互区
(
例如，对应于字符输入字段
、
数字输入字段
、
手指或手写笔交互字段等
)。
当检测到与交互区相关联的输入事件
(
例如，鼠标点击
、
触摸事件
、
选择
、
激活等
)
时，可向客户端设备发出指令以调用客户端设备
(
例如，智能手机
、
智能电视
、
平板电脑等
)
的用户接口
(
例如，软键盘
)
，并且可使客户端设备呈现图形输入界面
(
例如，软键盘
、
软件文本输入
、
数字键盘等
)。
对所呈现的图形输入界面的输入
(
例如，输入的文本
)
可由游戏流客户端访问并提供给游戏实例
。
通过调用客户端设备的本机输入接口，用户可以以类似于客户端设备上的其他应用的方式与游戏流式传输应用进行交互，因此可以使用更少的用户交互来提供更熟悉
、
自然和直观的体验
。
附图说明
[0005]下面参考附图详细描述用于流式传输应用的本机虚拟接口的自动实例化的本系统和方法，其中：
[0006]图1描绘了根据本公开的一些实施例的应用流式传输系统的示例；
[0007]图2示出了根据本公开的一些实施例的至少基于与和应用实例相对应的至少一个帧中描绘的区域相对应的交互区而呈现的输入界面的示例；
[0008]图3是根据本公开的一些实施例的显示用于游戏实例中的本机虚拟接口的自动实例化的方法的流程图；
[0009]图4是根据本公开的一些实施例的显示用于应用实例中的本机虚拟接口的自动实例化的方法的流程图；
[0010]图5是适用于实现本公开的一些实施例的示例内容流式传输系统的框图；
[0011]图6是适用于实现本公开的一些实施例的示例计算设备的框图；以及
[0012]图7是适用于实现本公开的一些实施例的示例数据中心的框图
。
具体实施方式
[0013]公开了与流式传输应用的本机虚拟接口的自动实例化有关的系统和方法
。
该公开部分地提供了通过检测与游戏流视频的图像帧有关的输入事件来调用设备的输入接口的方法
。
[0014]在一个或更多个实施例中，可至少基于与由软件应用
(
例如，视频游戏或游戏应用
)
生成的视频输出的区域的交互来提供特定设备的输入接口
。
例如，可以提供平板电脑本机的触摸屏键盘，并用于检测在游戏流式传输系统内使用的文本输入输入，从而允许平板电脑的熟悉和统一的界面被用于与游戏进行交互
。
[0015]在一个或更多个实施例中，与游戏流相关联的视频数据可由客户端设备
(
例如，计算机
、
智能手机
、
智能电视等
)
接收
。
例如，游戏流可以在客户端设备上的游戏流式传输应用中被接收
。
游戏流可以从一个或更多个游戏服务器接收，在这些服务器上游戏的实例可在游戏会话中运行
。
来自一个或更多个游戏服务器的游戏流可以包括与一个或更多个游戏相关联的视频数据和
/
或其他游戏数据的一个或更多个帧
。
游戏数据可以指示和
/
或指定一个或更多个交互区
(
例如，游戏中的文本输入区域
)
，这些区与视频数据的一个或更多个区域或部分相对应并且可以被配置为启用引起输入界面的呈现和
/
或实例化的输入或交互
。
例如，交互区可以与在游戏中和
/
或指定用于输入到游戏中的字段的视频数据中的区域中的文本本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种处理器，包括：一个或更多个电路，用于：从执行一个或更多个软件应用的一个或更多个实例的一个或更多个服务器，接收指示一个或更多个交互区的数据，所述一个或更多个交互区与对应于所述一个或更多个实例的一个或更多个视频流的至少一个帧中的一个或更多个区域相对应；确定与所述一个或更多个区域中的至少一个区域相对应的一个或更多个输入事件；将所述一个或更多个输入事件与所述一个或更多个交互区中的至少一个交互区相关联；至少基于所述一个或更多个输入事件与所述至少一个交互区相关联，使用一个或更多个客户端设备使一个或更多个图形输入界面进行显示；接收对所述一个或更多个图形输入界面中的至少一个图形输入界面的一个或更多个输入；以及传输使所述一个或更多个输入中的至少一个输入被应用于所述一个或更多个实例中的至少一个实例的至少一个消息
。2.
如权利要求1所述的处理器，其中所述至少一个交互区对应于用所述一个或更多个软件应用的所述至少一个实例实例化的至少一个输入字段
。3.
如权利要求1所述的处理器，其中所述一个或更多个交互区的一个或更多个参数使用所述一个或更多个软件应用的所述至少一个实例来指定
。4.
如权利要求1所述的处理器，其中所述数据指示以下中的至少一个：所述一个或更多个区域的一个或更多个位置；或所述一个或更多个区域的一个或更多个维度
。5.
如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于：确定与所述一个或更多个区域中的所述至少一个区域相对应的一个或更多个第二输入事件；将所述一个或更多个第二输入事件与所述至少一个交互区相关联；以及至少基于所述一个或更多个第二输入事件与所述至少一个交互区相关联，使所述至少一个图形输入界面从使用所述一个或更多个客户端设备的所述显示中移除
。6.
如权利要求1所述的处理器，其中使所述一个或更多个图形输入界面进行显示包括：将所述一个或更多个视频流中的至少一个视频流的呈现的至少一部分操纵到更新的位置，以使所述至少一个区域不被所述至少一个图形输入界面遮挡
。7.
如权利要求1所述的处理器，其中所述至少一个图形输入界面包括至少一个软件实现的键盘
。8.
如权利要求1所述的处理器，其中所述数据包括对应于所述至少一个交互区的一个或更多个输入类型参数，所述一个或更多个输入类型参数指示从一组图形输入界面中对所述一个或更多个图形输入界面的选择以用于显示
。9.
如权利要求1所述的处理器，其中所述数据包括与所述至少一个交互区相对应的交互区状态信息，并且使所述一个或更多个图形输入界面进行显示是进一步至少基于指示所述至少一个交互区处于活跃的所述交互区状态信息
。10.
如权利要求1所述的处理器，其中所述处理器被包含在以下中的至少一个中：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的
系统；用于执行数字孪生操作的系统；用于执行光传输模拟的系统；用于为
3D
资产执行协作内容创建的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；用于执行会话式
AI
操作的系统；用于生成合成数据的系统；用于呈现虚拟现实内容
、
增强现实内容或混合现实内容中的至少一种的系统；包含一个或更多个虚拟机
VM
的系统；至少部分地在数据中心中实现的系统；或者至少部分地使用云计算资源实现的系统
。11.
一种系统，包括：用于执行操作的一个或更多个处...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：辉达公司，
类型：发明
国别省市：