【技术实现步骤摘要】
【国外来华专利技术】
1.本专利技术的实施方案中的至少一个实施方案总体上涉及允许在低延迟流式传输应用程序中视频数据的微调的方法、装置和信号。
技术介绍
0、2.
技术介绍
1、近年来，流式传输应用程序增长强劲。虽然在开始时，流式传输应用程序是指纯音频和/或视频应用程序，但是它们现在触及新的领域，诸如游戏应用程序领域。
2、游戏应用程序确实正在从设备上迁移到云托管应用程序。云游戏允许将游戏渲染过程部分地卸载到位于云中的一些远程游戏服务器。
3、图1a示意性地表示云游戏系统。基本上，需要昂贵且耗电的设备的游戏引擎10和3d图形渲染11由云中的服务器1实现。然后用规则/标准视频编码器12将生成的图片传统地编码在视频流中，并经由网络3将其发送到用户游戏系统2。用户游戏系统2例如是pc或游戏机。这里我们假设用户游戏系统包括输入设备(诸如游戏手柄或键盘)。然后，在用户游戏系统2侧上用规则/标准视频解码器20对视频流进行解码，用于在显示设备上渲染。在下文中称为注册模块的附加的轻质模块21负责管理玩家交互命令(即，负责注册用户动作)。
4、游戏应用程序中用户舒适度的一个关键因素是被称为运动到光子(motion-to-photon)的延迟，即用户动作(运动)与该动作的结果在显示设备上的显示(光子)之间的延迟。
5、图1b示意性地描述了云游戏应用程序中的典型运动到光子路径。
6、有关图1b所描述的步骤由图1a的云游戏系统实现，并且需要服务器1和用户游戏系统2(即，客户端系统)之间的协作。
8、在步骤101中，经由网络3将表示用户动作的信息传输到服务器1。
9、在步骤102中，游戏引擎10使用所注册的动作来计算下一个游戏状态(或下一些游戏状态)。游戏状态包括用户状态(位置等)，以及所有其他实体状态，所有其他实体状态可以是由游戏引擎10计算的或者可以是在多玩家游戏的情况下的外部状态。
10、在步骤103中，从游戏状态计算图片渲染。
11、渲染之后在步骤104中由视频编码器12对视频流中的渲染图片进行视频编码。
12、然后在步骤105中，由视频编码器12生成的视频流经由网络3传输到用户游戏系统2，并且在步骤106中由视频解码器20解码。
13、然后，在步骤107中，将所得图片显示在显示设备上。
14、上述步骤中的每个步骤都引入了处理延迟。在图1b中，带有点背景的框表示由于硬件计算而引入延迟的步骤。一般来讲，该延迟是固定的、小的并且不会轻易改变。带有白色背景的框表示由于软件计算而引入延迟的步骤。一般来讲，该延迟是较长的并且能够被动态地调适。
15、在图1b的运动到光子路径中，编码和解码过程引入了显著的延迟。然而，这些延迟是典型的延迟，该延迟可以取决于应用程序约束或用户愿望而动态地调适。
16、游戏是如下的领域：用户(游戏玩家)被用来调谐提供给他们的任何参数，以便以尽可能高的质量享受游戏，或者获得最具反应性和最快速的用户体验。游戏玩家通常用视觉质量换取较低的游戏延迟。然而，在云游戏中，提供给终端用户的参数数量非常有限。旨在控制云游戏应用程序中视频编解码器的精细计算成本、延迟和渲染的工具将是有益的。类似地，诸如基于头戴式显示器(hmd)的应用程序或基于增强现实/虚拟现实(ar/vr)眼镜的应用程序的其他应用程序，以及甚至任何低延迟流式传输应用程序将受益于视频编解码器的这种精细控制/调谐。
17、希望提出允许克服上述问题的解决方案。特别地，期望提出一种允许在流式传输应用程序中对编解码器进行微调的解决方案。该解决方案将特别适用于云游戏环境，以便允许游戏玩家在游戏的响应性和最适合他们的显示质量之间找到最佳折衷。
18、3.
技术实现思路
19、在第一方面，本专利技术的一个或多个实施方案提供了一种方法，该方法包括：获得定义在获得期望体验质量时所涉及的一组约束标志的期望体验质量的标识符，每个约束标志被用于激活或去激活视频编码器的相关联的编码工具，该标识符为每个约束标志指定指示相关联的编码工具的激活或去激活的值；将标识符传输到远程服务器；以及从远程服务器接收符合标识符的视频流。
20、在一个实施方案中，标识符还用于定义允许调谐视频解码器的解码决策，使得视频解码器跳过视频流中指定的至少一个解码过程，或者视频解码器向视频流中指定的解码过程添加至少一个附加解码过程。
21、在一个实施方案中，使用会话描述协议来传输标识符。
22、在一个实施方案中，在与远程服务器的能力交换阶段之后获得标识符，该能力交换阶段包括从远程服务器接收会话描述协议消息，该会话描述协议消息指定可被激活或去激活的编码工具或可被选择的一组体验质量。
23、在一个实施方案中，在获得该标识符之前，该方法包括获得可以在sei消息中选择的一组体验质量的描述。
24、在一个实施方案中，该组的每个体验质量与对应组的约束标志和/或至少一个编码决策和/或至少一个解码决策相关联。
25、在第二方面，本专利技术的一个或多个实施方案提供了一种方法，该方法包括：获得定义在获得期望体验质量时所涉及的一组约束标志的期望体验质量的标识符，每个约束标志被用于激活或去激活视频编码器的相关联的编码工具，该标识符为每个约束标志指定指示相关联的编码工具的激活或去激活的值；获得符合标识符的编码视频流；以及将编码的视频流传输到远程系统。
26、在一个实施方案中，通过基于标识符调谐视频编码器来获得编码视频流。
27、在一个实施方案中，调谐包括根据由标识符指定的值来激活或去激活与该组约束标志相关联的编码工具。
28、在一个实施方案中，标识符还用于指定至少一个编码决策，该编码决策允许独立于约束标志和任何配置文件来定义视频编码器的特定具体实施。
29、在一个实施方案中，在会话描述协议消息中从远程系统获得标识符。
30、在一个实施方案中，在与远程系统的能力交换阶段之后获得标识符，该能力交换阶段包括向远程系统传输会话描述协议消息，该会话描述协议消息指定可被激活或去激活的编码工具或者可被选择的一组体验质量。
31、在一个实施方案中，在获得标识符之前，该方法包括向远程系统传输可以在sei消息中选择的一组体验质量的描述。
32、在一个实施方案中，该组的每个体验质量与对应组的约束标志和/或至少一个编码决策和/或至少一个解码决策相关联。
33、在第三方面，本专利技术的一个或多个实施方案提供了一种信号，该信号包括定义在获得体验质量时所涉及的一组约束标志的体验质量的标识符，每个约束标志被用于激活或去激活视频编码器的相关联的编码工具，该标识符为每个约束标志指定指示相关联的编码工具的激活或去激活的值。
34、在第四方面，本专利技术的一个或多个实施方案提供了一种设备，该设备本文档来自技高网...
【技术保护点】
1.一种方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述标识符还用于定义允许调谐视频解码器的解码决策，使得所述视频解码器跳过所述视频流中指定的至少一个解码过程，或者所述视频解码器向所述视频流中指定的解码过程添加至少一个附加解码过程。
3.根据权利要求1或2所述的方法，其中使用会话描述协议来传输所述标识符。
4.根据权利要求3所述的方法，其中在与所述服务器的能力交换阶段之后获得所述标识符，所述能力交换阶段包括从所述服务器接收会话描述协议消息，所述会话描述协议消息指定可被激活或去激活的编码工具或可被选择的一组体验质量。
5.根据权利要求1、2或3所述的方法，其中在获得所述标识符之前，所述方法包括获得可以在SEI消息中选择的一组体验质量的描述。
6.根据权利要求5所述的方法，其中所述组的每个体验质量与对应组的约束标志和/或至少一个编码决策和/或至少一个解码决策相关联。
7.一种方法，所述方法包括：
8.根据权利要求7所述的方法，其中通过基于所述标识符调谐视频编码器来获得所述编码视频流。>
9.根据权利要求8所述的方法，其中所述调谐包括根据由所述标识符指定的所述值来激活或去激活与所述一组约束标志相关联的编码工具。
10.根据权利要求7、8或9所述的方法，其中所述标识符还用于指定至少一个编码决策，所述编码决策允许独立于所述约束标志和任何配置文件来定义视频编码器的特定具体实施。
11.根据权利要求7至10中任一前述权利要求所述的方法，其中在会话描述协议消息中从所述远程系统获得所述标识符。
12.根据权利要求7至11中任一前述权利要求所述的方法，其中在与所述远程系统的能力交换阶段之后获得所述标识符，所述能力交换阶段包括向所述远程系统传输会话描述协议消息，所述会话描述协议消息指定可被激活或去激活的编码工具或者可被选择的一组体验质量。
13.根据权利要求7至11中任一前述权利要求所述的方法，其中在获得所述标识符之前，所述方法包括向所述远程系统传输可以在SEI消息中选择的一组体验质量的描述。
14.根据权利要求13所述的方法，其中所述组的每个体验质量与对应组的约束标志和/或至少一个编码决策和/或至少一个解码决策相关联。
15.一种信号，所述信号包括定义在获得体验质量时所涉及的一组约束标志的所述体验质量的标识符，每个约束标志被用于激活或去激活视频编码器的相关联的编码工具，所述标识符为每个约束标志指定指示所述相关联的编码工具的激活或去激活的值。
16.一种设备，所述设备包括电子电路，所述电子电路适于：
17.根据权利要求16所述的设备，其中所述标识符还用于定义允许调谐视频解码器的解码决策，使得所述视频解码器跳过所述视频流中指定的至少一个解码过程，或者所述视频解码器向所述视频流中指定的解码过程添加至少一个附加解码过程。
18.根据权利要求16或17所述的设备，其中使用会话描述协议来传输所述标识符。
19.根据权利要求18所述的设备，其中在与所述服务器的能力交换阶段之后获得所述标识符，所述能力交换阶段包括从所述服务器接收会话描述协议消息，所述会话描述协议消息指定可被激活或去激活的编码工具或可被选择的一组体验质量。
20.根据权利要求16、17或18所述的设备，其中所述电子电路还适于在获得所述标识符之前，获得可以在SEI消息中选择的一组体验质量的描述。
21.根据权利要求20所述的设备，其中所述组的每个体验质量与对应组的约束标志和/或至少一个编码决策和/或至少一个解码决策相关联。
22.一种设备，所述设备包括电子电路，所述电子电路适于：
23.根据权利要求22所述的设备，其中通过基于所述标识符调谐视频编码器来获得所述编码视频流。
24.根据权利要求23所述的设备，其中所述调谐包括根据由所述标识符指定的所述值来激活或去激活与所述一组约束标志相关联的编码工具。
25.根据权利要求22、23或24所述的设备，其中所述标识符还用于指定至少一个编码决策，所述编码决策允许独立于所述约束标志和任何配置文件来定义视频编码器的特定具体实施。
26.根据权利要求22至25中任一前述权利要求所述的设备，其中在会话描述协议消息中从所述远程系统获得所述标识符。
27.根据权利要求22至26中任一前述权利要求所述的设备，其中在与所述远程系统的能力交换阶段之后获得所述标识符，所述能力交换阶段包括向所述远程系统传输会话描述协议消息，所述会话描述协议消息指定可被激活或...
【技术特征摘要】
【国外来华专利技术】
1.一种方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述标识符还用于定义允许调谐视频解码器的解码决策，使得所述视频解码器跳过所述视频流中指定的至少一个解码过程，或者所述视频解码器向所述视频流中指定的解码过程添加至少一个附加解码过程。
3.根据权利要求1或2所述的方法，其中使用会话描述协议来传输所述标识符。
4.根据权利要求3所述的方法，其中在与所述服务器的能力交换阶段之后获得所述标识符，所述能力交换阶段包括从所述服务器接收会话描述协议消息，所述会话描述协议消息指定可被激活或去激活的编码工具或可被选择的一组体验质量。
5.根据权利要求1、2或3所述的方法，其中在获得所述标识符之前，所述方法包括获得可以在sei消息中选择的一组体验质量的描述。
6.根据权利要求5所述的方法，其中所述组的每个体验质量与对应组的约束标志和/或至少一个编码决策和/或至少一个解码决策相关联。
7.一种方法，所述方法包括：
8.根据权利要求7所述的方法，其中通过基于所述标识符调谐视频编码器来获得所述编码视频流。
9.根据权利要求8所述的方法，其中所述调谐包括根据由所述标识符指定的所述值来激活或去激活与所述一组约束标志相关联的编码工具。
10.根据权利要求7、8或9所述的方法，其中所述标识符还用于指定至少一个编码决策，所述编码决策允许独立于所述约束标志和任何配置文件来定义视频编码器的特定具体实施。
11.根据权利要求7至10中任一前述权利要求所述的方法，其中在会话描述协议消息中从所述远程系统获得所述标识符。
12.根据权利要求7至11中任一前述权利要求所述的方法，其中在与所述远程系统的能力交换阶段之后获得所述标识符，所述能力交换阶段包括向所述远程系统传输会话描述协议消息，所述会话描述协议消息指定可被激活或去激活的编码工具或者可被选择的一组体验质量。
13.根据权利要求7至11中任一前述权利要求所述的方法，其中在获得所述标识符之前，所述方法包括向所述远程系统传输可以在sei消息中选择的一组体验质量的描述。
14.根据权利要求13所述的方法，其中所述组的每个体验质量与对应组的约束标志和/或至少一个编码决策和/或至少一个解码决策相关联。
15.一种信号，所述信号包括定义在获得体验质量时所涉及的一组约束标志的所述体验质量的标识符，每个约束标志被用于激活或去激活视频编码器的相关联的编码工具，所述标识符为每个约束标志指定指示所述相关联的编码工具的激活或去激活的值。
16.一种设备，所述设备包括电子电路，所述电子电路适于：
【专利技术属性】
技术研发人员：G·马丁科谢，F·莱莱昂内克，斯里尼瓦斯·古杜马苏，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。