使用共享参考帧的低延迟多遍帧级速率控制制造技术

使用共享参考帧的多遍编码操作被实现，以将一个或多个游戏帧编码为游戏流

【技术实现步骤摘要】
【国外来华专利技术】使用共享参考帧的低延迟多遍帧级速率控制

技术介绍

[0001]基于云的游戏平台涉及在远程服务器上执行部分或整个视频游戏应用，以有助于在本地客户端设备上玩视频游戏应用
。
远程服务器通过网络向本地客户端设备提供从执行视频游戏应用渲染的音频和视频作为音频和视频流
。
在提供这些音频和视频流时，远程服务器采用各种编码器操作的使用在游戏帧和音频被流式传输之前实时压缩它们
。
针对低时延云游戏应用，期望确保编码器操作不以将导致流需要比可用网络允许的更多带宽的比特数来压缩游戏帧
。
[0002]与容忍一些延迟的一般视频流应用不同，基于云的游戏需要维持实时交互性
。
为了解决这个问题，一些基于云的游戏平台要求将每个帧编码为非常接近与当前可用网络带宽匹配的目标帧大小
。
以除目标帧大小之外的大小对游戏帧进行编码能够导致下冲
(
导致比允许的比特少
)
或超调
(
导致比允许的比特多
)
，超调潜在地导致降低游戏体验的分组丢失和延迟
。
附图说明
[0003]通过参照附图，本公开可以被更好地理解，并且其许多特征和优点对于本领域技术人员来说显而易见
。
在不同附图中使用相同的附图标记指示类似或相同的项目
。
[0004]图1是根据一些实施例的采用使用一个或多个共享参考帧的多遍编码技术的基于云的游戏系统的框图
。
[0005]图2是根据一些实施例的被配置为在基于云的游戏系统内对帧进行编码和流式传输的计算设备的框图
。
[0006]图3是图示了根据一些实施例的用于对游戏帧流中的游戏帧进行多遍编码的方法的流程图
。
[0007]图4是根据一些实施例的使用一个或多个共享参考帧的多遍编码过程的示例的图
。

技术实现思路

[0008]本文中描述的技术和系统涉及一种使用共享参考帧的多遍
(multi
‑
pass)
编码操作
。
根据示例实施例，一种计算机实现的方法能够包括将多遍
(
例如两遍
)
编码过程的第一遍编码的第一遍分辨率与多遍编码过程的第二遍编码的第二遍分辨率进行比较
。
附加地，该方法能够包括基于比较检索与第二遍编码相关联的第二遍参考帧，以便产生共享参考帧
。
这可以例如指该方法包括检索在要编码的第一游戏帧的第二遍编码中使用的第二遍参考帧，并且基于分辨率的比较，使用第二遍参考帧作为在第一游戏帧的第一遍编码中使用的第一遍参考帧，或者使第二遍参考帧适应于产生用于第一游戏帧的第一遍编码的第一遍参考
。
在任何情况下，当执行第一遍编码时，第二遍参考帧被用作第一遍参考帧的基础，使得第二遍参考帧形成不仅用于第二遍编码而且用于第一遍编码的共享参考帧
。
该方法还能够包括使用共享参考帧以第一遍分辨率对游戏帧流中的第一游戏帧执行第一遍编码，以确
定第一游戏帧的估计的复杂度
。
该方法能够附加地包括使用第二遍参考帧并且根据估计的复杂度以第二遍分辨率对第一游戏帧执行第二遍编码，以生成编码帧
。
因此，所提出的方法能够附加地包括使用第二遍参考帧和估计的复杂度以第二遍分辨率对第一游戏帧执行第二遍编码，以生成编码帧
。
如本文中所使用的，当前帧的“复杂度”是指当前帧中的不同于与当前帧相关联的一个或多个参考帧
(
例如用于对当前帧进行编码的参考帧
)
的信息量或值
。
例如，仅举几例，当前帧的复杂度包括当前帧与一个或多个参考帧之间的信噪比的差异
、
当前帧与一个或多个参考帧之间的能量的差异以及当前帧与一个或多个参考帧之间的熵的差异或其任何组合
。
通过这种方式，当前帧的复杂度越高，就需要对更多信息进行编码
。
[0009]在该方法中，检索第二遍参考帧能够包括从与第二遍编码相关联的存储器缓冲器检索第二遍参考帧
。
附加地，检索第二遍参考帧能够包括：响应于第一遍分辨率小于第二遍分辨率，将第二遍参考帧下采样到第一遍分辨率以产生下采样的参考帧，并且将下采样的参考帧存储在与第一遍编码相关联的第二存储器缓冲器中以产生共享参考帧
。
检索第二遍参考帧还可以包括：响应于第一遍分辨率等于第二遍分辨率，将第二遍参考帧存储在与第一遍编码相关联的第二存储器缓冲器中，以产生共享参考帧
。
[0010]在该方法中，第二遍参考帧能够根据存储在与第一遍编码相关联的存储器缓冲器中的指针来检索
。
此外，存储器缓冲器能够包括各自与相应的第二遍参考帧相关联的多个指针，该相应的第二遍参考帧被存储在与第二遍编码相关联的第二遍存储器缓冲器中
。
[0011]在另一示例实施例中，一种计算机实现的方法能够包括：基于用于多遍编码过程的第二遍编码的第二遍参考帧来产生用于多遍编码过程的第一遍编码的共享参考帧
。
产生共享参考帧能够包括将第一遍编码的第一遍分辨率与第二遍编码的第二遍分辨率进行比较，并且基于第一遍分辨率和第二遍分辨率的比较对第二遍参考帧进行下采样
。
该方法还能够包括使用共享参考帧以第一遍分辨率对游戏帧流中的第一游戏帧执行第一遍编码，并且基于第一游戏帧的第一遍编码来确定第一游戏帧的估计的复杂度
。
附加地，该方法能够包括使用第二遍参考帧并且基于估计的复杂度以第二遍分辨率对第一游戏帧执行第二遍编码，以生成编码帧
。
[0012]在该方法中，产生共享参考帧还可以包括：根据与第一遍编码相关联的第二存储器缓冲器中的指针，访问与第二遍编码相关联的存储器缓冲器
。
第二存储器缓冲器能够包括各自与相应的第二遍参考帧相关联的多个指针，该第二参考帧被存储在与第二遍编码相关联的存储器缓冲器中
。
产生共享参考帧还能够包括：响应于第一遍分辨率小于第二遍分辨率，将第二遍参考帧下采样到第一遍分辨率以产生下采样的参考帧，并且将下采样的参考帧存储在第二存储器缓冲器中以产生共享参考帧
。
产生共享参考帧还能够包括：响应于第一遍分辨率等于第二遍分辨率，将第二遍参考帧存储在与第一遍编码相关联的第二存储器缓冲器中，以产生共享参考帧
。
[0013]通常，第一遍编码还能够包括将第一游戏帧下采样到第一遍分辨率
。
基于第一游戏帧的第一遍编码来确定第一游戏帧的估计的复杂度还能够包括确定第一游戏帧的量化参数
。
第二遍编码还能够基于量化参数来执行
。
执行第一遍编码可以产生具有比特大小的第一遍编码帧，并且确定估计的复杂度还能够基于比特大小
。
[0014]此外，通常，第本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种基于云的游戏方法，包括：将多遍编码过程的第一遍编码的第一遍分辨率与所述多遍编码过程的第二遍编码的第二遍分辨率进行比较；基于所述比较从所述第二遍编码中使用的第二遍参考帧产生共享参考帧；使用所述共享参考帧以所述第一遍分辨率对游戏帧流中的第一游戏帧执行所述第一遍编码，以确定所述第一游戏帧的估计的复杂度；以及使用所述第二遍参考帧并且根据所述估计的复杂度以所述第二遍分辨率对所述第一游戏帧执行所述第二遍编码，以生成编码帧
。2.
根据权利要求1所述的方法，还包括：从与所述第二遍编码相关联的存储器缓冲器检索所述第二遍参考帧
。3.
根据权利要求2所述的方法，其中，产生所述共享参考帧包括：响应于所述第一遍分辨率小于所述第二遍分辨率，将所述第二遍参考帧下采样到所述第一遍分辨率，并且将下采样的参考帧存储在与所述第一遍编码相关联的存储器缓冲器中，以产生所述共享参考帧
。4.
根据权利要求1至3中任一项所述的方法，还包括：响应于所述第一遍分辨率等于所述第二遍分辨率，将所述第二遍参考帧存储在与所述第一遍编码相关联的存储器缓冲器中，以产生所述共享参考帧
。5.
根据权利要求1至4中任一项所述的方法，还包括：根据存储在与所述第一遍编码相关联的存储器缓冲器中的指针，检索所述第二遍参考帧
。6.
根据权利要求5所述的方法，其中，与所述第一遍编码相关联的所述存储器缓冲器包括各自与相应的第二遍参考帧相关联的多个指针，所述相应的第二遍参考帧被存储在与所述第二遍编码相关联的第二存储器缓冲器中
。7.
一种计算机实现的方法，包括：基于多遍编码过程的第二遍编码中使用的第二遍参考帧来产生所述多遍编码过程的第一遍编码中使用的共享参考帧，其中产生所述共享参考帧包括：将所述第一遍编码的第一遍分辨率与所述第二遍编码的第二遍分辨率进行比较；以及基于所述第一遍分辨率与所述第二遍分辨率的所述比较对所述第二遍参考帧进行下采样；使用所述共享参考帧以所述第一遍分辨率对游戏帧流中的第一游戏帧执行所述第一遍编码，以确定所述第一游戏帧的估计的复杂度；基于所述第一游戏帧的所述第一遍编码来确定所述第一游戏帧的估计的复杂度；以及使用所述第二遍参考帧和所述估计的复杂度以所述第二遍分辨率对所述第一游戏帧执行所述第二遍编码，以生成编码帧
。8.
根据权利要求7所述的方法，其中，产生所述共享参考帧还包括：根据与所述第一遍编码相关联的第二存储器缓冲器中的指针，访问与所述第二遍编码相关联的存储器缓冲器
。9.
根据权利要求8所述的方法，其中，所述第二存储器缓冲器包括各自与相应的第二遍参考帧相关联的多个指针，所述相应的第二遍参考帧被存储在与所述第二遍编码相关联的
所述存储器缓冲器中
。10.
根据权利要求8或9中任一项所述的方法，其中，产生所述共享参考帧还包括：响应于所述第一遍分辨率小于所述第二遍分辨率，将所述第二遍参考帧下采样到所述第一遍分辨率，并且将下采样的参考帧存储在所述第二存储器缓冲器中，以产生所述共享参考帧
。11.
根据权利要求8至
10
中任一项所述的方...

【专利技术属性】
技术研发人员：丹尼，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：