云游戏应用程序中的显示控件制造技术

一种用于控制基于网络的游戏应用程序中表示游戏的状态的帧的显示的方法，该方法包括：向服务器发送(301A)表示用户动作的信息；接收(305B)表示根据该用户动作预测的该游戏的预测状态的至少一个帧；获得允许确定所述至少一个帧是否对应于该用户动作的信息；以及；在该至少一个帧对应于所述用户动作的情况下，根据执行此用户动作的时间和所述信息来确定何时显示该至少一个帧中的一个帧。何时显示该至少一个帧中的一个帧。何时显示该至少一个帧中的一个帧。

【技术实现步骤摘要】
【国外来华专利技术】云游戏应用程序中的显示控件
1.

[0001]本专利技术实施方案中的至少一个实施方案整体涉及一种用于控制云游戏应用程序中的图像编码的方法和装置。
2.
技术介绍

[0002]云游戏允许将游戏渲染过程部分地卸载到位于云中的一些远程游戏服务器。
[0003]图1示意性地表示云游戏基础结构。基本上，需要昂贵且耗电的设备的游戏引擎10和3D图形渲染11由云中的服务器1实现。然后用规则视频编码器12将生成的帧传统地编码在视频流中，并经由网络3将其发送到用户游戏系统2。然后，在用户游戏系统2侧上用规则/标准视频解码器20对视频流进行解码，用于在显示设备上渲染。附加的轻质模块21负责管理玩家交互命令(即，负责注册用户动作)。
[0004]游戏应用程序中用户舒适度的一个关键因素是被称为运动到光子(motion
‑
to
‑
photon)的延迟，即用户动作(运动)与该动作的结果在显示设备上的显示(光子)之间的延迟。
[0005]图2示意性地描述了在传统游戏应用程序中的典型运动到光子路径。
[0006]有关图2所描述的步骤全部由用户游戏系统(诸如PC或控制台)实现。这里我们假设用户游戏系统包括输入设备(诸如游戏手柄)和显示设备。
[0007]在步骤200中，由输入设备对用户动作进行注册并且将其发送到主处理模块。
[0008]在步骤202中，游戏引擎使用所注册的动作来计算下一个游戏状态(或下一些游戏状态)。游戏状态包括用户状态(位置等)，以及所有其他实体状态，所有其他实体状态可以是由游戏引擎计算的或者可以是在多玩家游戏的情况下的外部状态。
[0009]在步骤203中，从游戏状态计算帧渲染。在步骤206中，首先将所得的帧放置于视频缓冲器中，然后在步骤207中，将视频缓冲器的内容显示在显示设备上。
[0010]上述步骤中的每个步骤都引入了处理延迟。在图2中，带有点背景的框表示由于硬件计算而引入延迟的步骤。一般来讲，该延迟是固定的、小的并且不会轻易改变。带有白色背景的框表示由于软件计算而引入延迟的步骤。一般来讲，该延迟是较长的并且能够被动态地调适。
[0011]总之，运动到光子的延迟通常低于“100”毫秒(ms)。通常，当延迟高于“200”ms时，用户不适开始。需注意，对于基于使用头戴式耳机可视化的虚拟现实的游戏而言，通常需要较低的延迟以获得良好的用户舒适度。
[0012]图3示意性地描述了云游戏应用程序中的典型运动到光子路径。
[0013]有关图3所描述的步骤不再由单个设备实现，而是如图1所示，需要服务器1与用户游戏系统2(即，客户端系统)之间的协作。
[0014]步骤200由用户游戏系统2执行。
[0015]在步骤301中，经由网络3将表示用户动作的信息传输到服务器1。
[0016]游戏引擎202步骤和渲染203步骤由服务器1实现。
[0017]渲染之后在步骤304中由视频编码器12进行视频编码。
[0018]然后在步骤305中，由视频编码器12生成的视频流经由网络3传输到用户游戏系统2，并且在步骤306中由视频解码器20解码。
[0019]与图2的过程相比，引入了附加的延迟：
[0020]·
传输延迟。传输延迟取决于网络的连接质量。该延迟的范围可以从几ms到几“100”ms。
[0021]·
编码器延迟：在此类框架中，编码器典型地用于低延迟配置中，即只要帧到达，就对其进行编码并且在视频流中进行发送。当实时视频编码器在硬件中实现时，该视频编码器通常在几ms内对帧进行编码。
[0022]·
解码器延迟：典型的视频解码器可以在几ms内对帧进行解码。
[0023]可以看出，附加的延迟(特别是传输延迟)可能潜在地增加全局延迟，使得所述全局延迟对于用户而言变得无法接受。此外，由于网络状态改变，延迟方差也增加了。
[0024]希望提出允许克服上述问题的解决方案。具体地，希望提出一种有助于减少游戏应用程序中的延迟的方法和装置。
3.
技术实现思路

[0025]在第一方面，本专利技术实施方案中的一个或多个实施方案提供了一种用于控制基于网络的游戏应用程序中表示游戏的状态的帧的显示的方法，该方法包括：向服务器发送表示用户动作的信息；接收表示根据该用户动作预测的该游戏的预测状态的至少一个帧；获得允许确定所述至少一个帧是否对应于该用户动作的信息；以及；在该至少一个帧对应于所述用户动作的情况下，根据执行此用户动作的时间和所述信息来确定何时显示该至少一个帧中的一个帧。
[0026]在一个实施方案中，所述信息表示在执行此用户动作的时间与显示对应于所述用户动作的帧的时间之间的延时。
[0027]在一个实施方案中，该方法由用户系统执行，并且其中该信息允许通过允许将该用户系统的时钟与该服务器的时钟同步来确定何时显示该至少一个帧中的一个帧。
[0028]在一个实施方案中，以包括元数据的编码视频流的形式接收该至少一个帧，所述元数据包括所述信息。
[0029]在一个实施方案中，传输到该服务器的表示该用户动作的该信息包括该用户动作的标识符，并且该元数据包括所述标识符。
[0030]在一个实施方案中，该元数据包括表示延时的信息，该延时固定预测对应于该用户动作的预测状态的时间。
[0031]在一个实施方案中，接收多个帧，每个帧表示根据该用户动作预测的该游戏的预测状态，并且该方法还包括根据表示该游戏的实际状态的信息与表示由该多个帧中的帧表示的预测状态的信息之间的比较来确定显示该多个帧中的哪个帧。
[0032]在一个实施方案中，对于该多个帧中的每个帧，该元数据包括表示由所述帧表示的该游戏的该状态的信息。
[0033]在一个实施方案中，表示该游戏的实际状态的信息和表示由该多个帧中的帧表示的预测状态的信息是表示用户动作序列的信息。
[0034]在第二方面，本专利技术实施方案中的一个或多个实施方案提供了一种用于控制基于网络的游戏应用程序中表示游戏的状态的帧的显示的方法，该方法包括：从用户系统接收表示用户动作的信息，该信息包括所述用户动作的标识符；根据该用户动作预测该游戏的至少一个状态；对于至少一个预测状态，渲染表示所述预测状态的帧；在视频流的一部分中用包括所述用户动作的该标识符的元数据编码至少一个渲染帧；以及将视频流的该部分传输到该用户系统。
[0035]在一个实施方案中，该元数据包括表示延时的信息，该延时固定预测对应于该用户动作的预测动作的时间。
[0036]在一个实施方案中，用包括表示每个预测状态的信息的元数据来渲染和编码多个帧，每个帧表示根据该用户动作预测的该游戏的预测状态。
[0037]在一个实施方案中，表示该游戏的预测状态的该信息表示用户动作序列。
[0038]在一个实施方案中，该多个帧的该编码使用多层编码，该多层编码考虑到表示该游戏的至少一个真实状态或预测状态的信息。
[0039本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制基于网络的应用程序中表示应用程序的状态的帧的显示的方法，所述方法包括：向服务器发送(301A)表示用户动作的信息；接收(305B)表示根据所述用户动作预测的所述应用程序的预测状态的至少一个帧；获得允许确定所述至少一个帧是否对应于所述用户动作的信息；以及；在所述至少一个帧对应于所述用户动作的情况下，根据执行此用户动作的时间和所述信息来确定何时显示所述至少一个帧中的一个帧。2.根据权利要求1所述的方法，其中所述信息表示在执行此用户动作的所述时间与显示对应于所述用户动作的帧的时间之间的延时。3.根据权利要求1或2所述的方法，其中所述方法由用户系统执行，并且其中所述信息允许通过允许将所述用户系统的时钟与所述服务器的时钟同步来确定何时显示所述至少一个帧中的一个帧。4.根据权利要求1所述的方法，其中以包括元数据的编码视频流的形式接收所述至少一个帧，所述元数据包括所述信息。5.根据权利要求4所述的方法，其中传输到所述服务器的表示所述用户动作的所述信息包括所述用户动作的标识符，并且所述元数据包括所述标识符。6.根据权利要求5所述的方法，其中所述元数据包括表示延时的信息，所述延时固定预测对应于所述用户动作的预测状态的时间。7.根据任一前述权利要求所述的方法，其中接收多个帧，每个帧表示根据所述用户动作预测的所述应用程序的预测状态，并且其中所述方法还包括根据表示所述应用程序的实际状态的信息与表示由所述多个帧中的帧表示的预测状态的信息之间的比较来确定显示所述多个帧中的哪个帧。8.根据权利要求7所述的方法，其中对于所述多个帧中的每个帧，所述元数据包括表示由所述帧表示的所述应用程序的所述状态的信息。9.根据权利要求7或8所述的方法，其中表示所述应用程序的实际状态的所述信息和表示由所述多个帧中的帧表示的预测状态的所述信息是表示用户动作序列的信息。10.一种用于控制基于网络的应用程序中表示应用程序的状态的帧的显示的方法，所述方法包括：从用户系统接收(301A)表示用户动作的信息，所述信息包括所述用户动作的标识符；根据所述用户动作预测(201)所述应用程序的至少一个状态；对于至少一个预测状态，渲染(202,203)表示所述预测状态的帧；在视频流的一部分中用包括所述用户动作的所述标识符的元数据编码(304bis)至少一个渲染帧；以及，将视频流的所述部分传输(305A)到所述用户系统。11.根据权利要求10所述的方法，其中所述元数据包括表示延时的信息，所述延时固定预测对应于所述用户动作的预测动作的时间。12.根据权利要求10或11所述的方法，其中用包括表示每个预测状态的信息的元数据来渲染和编码多个帧，每个帧表示根据所述用户动作预测的所述应用程序的预测状态。13.根据权利要求12所述的方法，其中表示所述应用程序的预测状态的所述信息表示
用户动作序列。14.根据权利要求12或13所述的方法，其中所述多个帧的所述编码使用多层编码，所述多层编码考虑到表示所述应用程序的至少一个真实状态或预测状态的信息。15.一种用于控制基于网络的应用程序中表示应用程序的状态的帧的显示的设备，所述设备包括：用于向服务器发送(301A)表示用户动作的信息的装置；用于接收(305B)表示根据所述用户动作预测的所述应用程序的预测状态的至少一个帧的装置；获得允许确定所述至少一个帧是否对应于所述用户动作的信息的装置；和；用于以下操作的装置：在所述至少一个帧对应于所述用户动作的情况下，根据执行此用户动作的时间和所述信息来确定何时显示所述至少一个帧中的一个帧。16.根据权利要求15所述的设备，其中所述信息表示在执行此用户动作的所述时间与显示对应于所述用户动作的帧的时间之间的延时。17.根据权利要求15或16所述的设备，其中所述信息通过允许将所述设备的时钟与所述服务器的时钟同步来允许确定何时显示所述至少一个帧中的一个帧。18.根据权利要求15所述的设备，其中以包括元数据的编码视频流的形式接收所述至少一个帧，所述元数据包括所述信息。19.根据权利要求18所述的设备，其中传输到所述服务器的表示所述用户动作的所述信息包括所述用户动作的标识符，并且所述元数据包括所述标识符。20.根据权利要求19所述的设备，其中所述元数据包括表示延时的信息，所述延时固定预测对应于所述用户动作的预测动作的时间。21.根据权利要求15至20中任一前述权利要求所述的设备，其中接收多个帧，每个帧表示根据所述用户动作预测的所述应用程序的预测状态，并且其中所述设备还包括用于以下操作的装置：根据表示所述应用程序的实际状态的信息与表示由所述多个帧中的帧表示的预测状态的信息之间的比较来确定显示所述多个帧中的哪个帧。22.根据权利要求21所述的设备，其中对于所述多个帧中的每个帧，所述元数据包括表示由所述帧表示的所述应用程序的所述状态的信息。23.根据权利要求21或22所述的设备，其中表示所述应用程序的实际状态的所述信息和表示由所述多个帧中的帧表示的预测状态的所述信息是表示用户动作序列的信息。24.一种用于控制基于网络的应用程序中表示应用程序的状态的帧的显...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：交互数字VC控股法国有限公司，
类型：发明
国别省市：