基于编码器提示的渲染和预编码负载估计的系统和方法技术方案

本申请公开了用于提示编码器的系统和方法，其中服务器监测与帧渲染中的变化有关的信息、计算公差边界、滚动平均帧时间和帧时间的短期趋势，使用那些计算来识别帧时间峰值。然后，服务器提示编解码器(编码器)以与帧时间峰值的大小成比例地调制帧输出的质量设置。在某些实施例中，渲染器在游戏环境中记录一个或更多个通关，将来自一个或更多个通关的多个帧排序到热图的多个单元格中并收集已排序帧的列表。然后，编码器可以对已排序帧的列表中的一个或更多个帧进行编码，以计算热图中每个单元格的平均编码帧大小，并将每个平均编码帧大小与每单元格归一化编码器质量设置相关联。

【技术实现步骤摘要】
基于编码器提示的渲染和预编码负载估计的系统和方法本申请为分案申请，其原案申请是申请号为PCT/US2018/028594、申请日为2018年4月20日的PCT申请并且于2019年12月20日进入中国国家阶段，中国国家申请号为201880041815.0，专利技术名称为“基于编码器提示的渲染和预编码负载估计的系统和方法”。
技术介绍
远程游戏应用程序(其中服务器端游戏由客户端玩家控制)已尝试使用现有或定制的编解码器(也称为编码器)对来自三维(3D)图形引擎的视频输出进行实时编码。然而，视频游戏的交互性质、特别是在视频输出与玩家输入之间的玩家反馈循环使得游戏视频流比传统视频流对延迟更加敏感。现有的视频编码方法可以为减少编码时间而牺牲计算能力，而别无其他。用于将编码过程集成到视频渲染过程中的新方法能够显著减少编码时间，同时还可以降低计算能力，改善编码视频的质量并保留原始比特流数据格式以保留现有硬件设备的互操作性。在多遍编码过程的第一遍次，在有效地打包数据以适合连续遍次的比特率约束之前，计算编码成本或每个编码视频帧的大小。多遍编码的益处是可观的，可以为比特率约束提供本文档来自技高网...

【技术保护点】
1.一种用于编码数据的计算机实现的方法，包括以下步骤：/n记录游戏环境中的一个或更多个通关；/n将来自所述一个或更多个通关的多个帧排序到热图上的多个单元格中，其中所述排序产生与所述热图相关联的已排序帧的列表；/n在渲染器处收集已排序帧的列表；/n对已排序帧的列表中的一个或更多个帧进行编码，以计算所述热图中每个单元格的平均编码帧大小，其中每个平均编码帧大小与每单元格归一化编码器质量设置相关联；并且/n根据每个单元格的平均编码帧大小计算热图的平均帧大小，/n其中，在游戏过程期间，与热图中的单元格相对应的每单元格归一化编码器质量设置用于提示编码器对视频序列进行编码。/n

【技术特征摘要】
20170421 US 62/488,526;20180323 US 62/647,180;20181.一种用于编码数据的计算机实现的方法，包括以下步骤：
记录游戏环境中的一个或更多个通关；
将来自所述一个或更多个通关的多个帧排序到热图上的多个单元格中，其中所述排序产生与所述热图相关联的已排序帧的列表；
在渲染器处收集已排序帧的列表；
对已排序帧的列表中的一个或更多个帧进行编码，以计算所述热图中每个单元格的平均编码帧大小，其中每个平均编码帧大小与每单元格归一化编码器质量设置相关联；并且
根据每个单元格的平均编码帧大小计算热图的平均帧大小，
其中，在游戏过程期间，与热图中的单元格相对应的每单元格归一化编码器质量设置用于提示编码器对视频序列进行编码。


2.根据权利要求1所述的方法，其中，所述一个或更多个帧在单个遍次中被编码到所述视频序列中。


3.根据权利要求1所述的方法，还包括步骤：在渲染器处存储每单元格归一化编码器质量设置。


4.根据权利要求1所述的方法，其中，所述一个或更多个通关存储在遥测服务器上。


5.根据权利要求1所述的方法，其中，所述一个或更多个通关由多个帧和与所述多个帧中的每一个相关联的玩家位置组成。


6.根据权利要求5所述的方法，其中，玩家位置用于选择提示编码器的每单元格归一化编码器质量设置。


7.根据权利要求1所述的方法，其中，每单元格归一化编码器质量设置通过以下等式来计算：





8.根据权利要求1所述的方法，还包括步骤：根据空间相关的序列和时间相关的序列组合每单元格归一化编码器质量设置。


9.一种用于编码数据的系统，包括：
渲染器，其中所述渲染器用于：
记录游戏环境中的一个或更多个通关；
将来自所述一个或更多个通关的多个帧排序到热图上的多个单元格中，其中所述排序产生与所述热图相关联的已排序帧的列表；
收集已排序帧的列表；并且
根据每个单元格的平均编码帧大小计算热图的平均帧大小；以及编码器，其中所述编码器用于：
对已排序帧的列表中的一个或更多个帧进行编码，以计算所述热图中每个单元格的平均编码帧大小，其中每个平均编码帧大小与每单元格归一化编码器质量设置相关联；并且
其中，在游戏过程期间，与热图中的单元格相对应的每单元格归一化编码器质量设置用于提示编码器对视频序列进行编码。


10.根据权利要求9所述的系统，其中，所述一个或更多个帧在单个遍次中被编码到所述视频序列中。


11.根据权利要求9所述的系统，其中，渲染器存储每单元格归一化编码器质量设置。


12.根据权利要求9所述的系统，其中，所述一个或更多个通关存储在遥测服务器上。


13.根据权利要求9所述的方法，其中，所述一个或更多个通关由多个帧和与所述多个帧中的每一个相关联的玩家位置组成。


14.根据权利要求13所述的方法，其中，玩家位置用于选择提示编码器的每单元格归一化编码器质量设置。


15.根据权利要求9所述的系统，其中，每单元归一化编码器质量设置通过以下等式来计算：





16.根据权利要求9所述的系统，其中，每单元格归一化编码器质量设置由空间相关的序列和时间相关的序列组合。


17.一种用于编码数据的系统，包括：
渲染器，其中所述渲染器记录由多个帧组成的视频序列；以及
编码器，其中所述编码器以多遍模式对视频序列进行编码，该模式针对视频序列的第一帧优化编码器质量设置，并且其中所述编码器记录所述编码器质量设置，
其中，所述渲染器将编码器质量设置归一化为视频序列的第一帧，以及
其中，归一化编码器质量设置用于提示编码器对视频序列进行编码，
其中，通过以下等式计算归一化编码器质量设置：
归一化


18.根据权利要求17所述的方法，其中，所述视频序列在时间上与一个或更多个其他视频序列相关。


19.一种用于编码数据的系统，包括：
渲染器，其中所述渲染器记录由多个帧组成的视频序列；以及
编码器，其中所述编码器以多...

【专利技术属性】
技术研发人员：迈克尔·科皮茨，
申请(专利权)人：泽尼马克斯媒体公司，
类型：发明
国别省市：美国;US