基于客户端放大能力的流式传输应用的编码输出制造技术

本公开涉及基于客户端放大能力的流式传输应用的编码输出。在各种示例中，分析客户端设备的解码和放大能力以确定内容流式传输服务器用来生成编码视频流的编码参数和操作。客户端设备的放大内容的质量可以由流式传输服务器监控，使得编码参数可以基于监控的质量来更新。以这种方式，一个或更多个流式传输服务器的编码操作可以更有效地匹配一个或更多个客户端设备的解码和放大能力，使得流式传输服务器可以服务于增加数量的客户端设备。务器可以服务于增加数量的客户端设备。务器可以服务于增加数量的客户端设备。

【技术实现步骤摘要】
基于客户端放大能力的流式传输应用的编码输出

技术介绍

[0001]将云托管的应用作为服务提供是一项极其复杂的工作，并且涉及在游戏和网络性能之间保持平衡——理想情况下不影响用户体验。流式传输系统可以在服务器端对应用的视频数据进行编码，其中视频数据的解码和视频帧的渲染发生在客户端，用于在客户端设备上显示。通常，为了减少或控制流式传输系统的延迟和数据包丢失或流式传输服务器中的资源使用(例如，用于编码和流式传输视频到客户端设备的计算资源量)，流式传输系统可能会缩小或降低被编码的流的分辨率。
[0002]降低流式传输内容的分辨率可以提高流式传输服务器的性能。例如，将流式传输的视频的分辨率从1080P降低到720P可以减少流式传输服务器对视频数据进行编码所需的计算资源以及传输视频数据所需的网络资源。一些传统的流式传输系统在选择适当的分辨率时可能会考虑客户端设备支持的监视器分辨率，以降低流式传输视频的分辨率。然而，降低流式应用的分辨率可能导致客户端设备渲染的视频帧具有显著较低的视觉质量，特别是如果客户端设备缺乏能够充分解码和渲染接收到的视频数据的软件和/或硬件。

技术实现思路

[0003]本公开的实施例涉及基于视频放大(upscaling)能力的多客户端流式传输系统中的视频编码。公开了基于目标客户端设备的解码和放大能力和/或性能来确定将视频内容流式传输到目标设备的编码参数的系统和方法。此外，公开了可以基于目标设备的各种能力来协调和/或平衡从多个流式传输服务器到多个目标设备的内容的流式传输从而可以为更多设备提供服务的系统和方法。/>[0004]与诸如上述的那些传统方法相比，所公开的方法可以在确定与视频流(例如云托管应用的用户界面的游戏流或输出流)相关联的一个或更多个编码参数(例如，视频流分辨率、比特率)时考虑一个或更多个客户端设备的放大能力。通过至少基于特定客户端设备的放大能力来确定或配置一个或更多个编码参数，所公开的方法可以考虑在客户端设备处渲染的视频帧的视觉质量。因此，可以将图形和/或其他输出内容流式传输到客户端设备，而感知质量的降低最小或没有降低，同时减少了计算和网络资源的使用。在至少一个实施例中，流式传输服务器可以至少基于调整一个或更多个编码参数来服务一个或更多个附加客户端(例如，提供或托管流式传输到一个或更多个附加客户端的内容)。
附图说明
[0005]下面参考附图详细描述用于在流式传输系统和应用中基于视频放大能力的视频编码的本系统和方法，其中：
[0006]图1是根据本公开的至少一些实施例的流式传输系统的示例系统图；
[0007]图2是示出根据本公开的至少一些实施例的流编码和解码过程的流程图；
[0008]图3是根据本公开的至少一些实施例的视频流式传输过程的示例框图；
[0009]图4是根据本公开的至少一些实施例的用于流式传输系统中的示例负载平衡过程
的图；
[0010]图5是示出根据本公开的至少一些实施例的用于至少基于放大能力在流式传输系统中进行视频编码的方法的示例的流程图；
[0011]图6是示出根据本公开的至少一些实施例的至少基于与放大相关联的视觉质量水平在流式传输系统中进行视频编码的方法的示例的流程图；
[0012]图7是适合用于实现本公开的一些实施例的示例内容流式传输系统的框图；
[0013]图8是适用于实现本公开的一些实施例的示例计算设备的框图；以及
[0014]图9是适合用于实现本公开的一些实施例的示例数据中心的框图。
具体实施方式
[0015]公开了与基于视频放大能力的多客户端流式传输系统中的视频编码相关的系统和方法。
[0016]与诸如上述的那些传统方法相比，所公开的方法可以在确定一个或更多个与视频流(例如游戏流或云托管应用的图形用户界面流)相关联的编码参数(例如，视频流分辨率、比特率、压缩等)时考虑一个或更多个客户端设备的放大能力。在一个或更多个示例中，云托管应用可以对应于使用一个或更多个神经网络实现的应用程序的仪表板、会话人工智能应用程序、模拟或测试应用程序、协作内容创建应用程序或用于多个异构应用程序的平台。通过至少基于客户端设备的放大能力来确定或配置一个或更多个编码参数，所公开的方法可以考虑在一个或更多个特定客户端设备处渲染的视频帧的视觉质量。因此，输出内容(例如，图形、音频、触觉或其他输出)可以在感知质量损失很小或没有损失的情况下流式传输到客户端设备。通过在选择用于流式传输内容的编码参数时考虑客户端设备的能力，可以降低计算和网络资源的利用率。在至少一个实施例中，流式传输服务器可以至少基于调整一个或更多个编码参数来服务一个或更多个附加客户端。例如，通过降低流式传输到客户端设备的内容的分辨率、比特率或其他编码参数，附加资源可以在流式传输服务器上变得可用，从而允许其他客户端设备由流式传输服务器服务。
[0017]在各种示例中，可以在确定和/或调整定义数据(例如，视频、音频、触觉等)如何被编码和流式传输到客户端设备的一个或更多个编码参数之前确定特定客户端设备的放大能力。确定放大能力可以包括例如确定客户端设备能够执行一种或更多种类型的放大、以一种或更多种质量水平执行放大和/或执行放大到一种或更多种显示分辨率。例如，具有增强的处理资源(例如由图形处理单元(GPU)提供的那些)的客户端设备可能能够使用高质量的放大来渲染以较低分辨率流式传输的视频数据。一些客户端设备可能能够在人工智能或机器学习模型的帮助下进行放大。例如，可以使用基于深度学习的卷积神经网络(CNN)来实现高质量的放大器。在一个或更多个实施例中，可以至少部分地使用鉴别器和/或生成对抗网络(GAN)来训练高质量的放大器。
[0018]在一些实施例中，至少基于所确定的客户端设备的放大能力，流式传输服务器可以降低和/或设置流式传输视频数据的分辨率。例如，放大能力可以指示客户端设备能够放大降低分辨率的流以提供具有可接受质量的帧以用于使用客户端设备进行显示或其他呈现。在一些示例中，客户端设备使用的放大算法可以用于确定放大率，或者可以以其他方式向流式传输服务器指示放大率。放大率可用于至少部分地确定与放大算法兼容的一个或更
多个分辨率。在一些示例中，流式传输内容的最大分辨率阈值可以基于客户端设备的放大能力来确定。例如，如果确定特定客户端设备能够进行1:1.5的放大率，则可以至少基于放大器能够将新的分辨率放大1.5倍到客户端设备的支持和/或当前显示分辨率来降低流式视频数据的分辨率。
[0019]在一个或更多个实施例中，可以确定编码参数以说明内容的类型或流式传输的视频内容的某些特性。例如，具有特定特性的内容可能会影响特定编码/解码算法的有效性(例如，编码/解码的速度和/或复杂性)。例如，对于具有简化颜色集(例如，卡通风格、卡通花(cel
‑
shaded)等)的流式游戏视觉效果可能有效的编码算法在应用于与具有更广泛的调色板和动态范围(例如，具有深色、阴影等的游戏)的应用程序相关联的流式输出数据时可能不是最佳算法。类似地，一些编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：接收指示与客户端设备相关联的一个或更多个视频放大能力的数据；至少基于与所述客户端设备相关联的所述一个或更多个视频放大能力和显示分辨率来确定到所述客户端设备的一个或更多个视频数据流的一个或更多个编码参数的配置；根据所述一个或更多个编码参数的所述配置，生成所述一个或更多个视频数据流的至少一部分；以及将一个或更多个流传输到所述客户端设备，所述传输使所述客户端设备使用所述一个或更多个视频放大能力中的至少一个来生成由所述视频数据表示的一个或更多个视频帧的放大版本。2.根据权利要求1所述的方法，其中所述一个或更多个视频放大能力包括可用于所述客户端设备的一个或更多个放大率。3.根据权利要求1所述的方法，其中所述一个或更多个编码参数的所述配置进一步基于由所述视频数据表示的视频内容的一个或更多个特性。4.根据权利要求1所述的方法，还包括：至少基于由所述一个或更多个视频帧的所述放大版本与被编码以生成所述一个或更多个视频数据流的一个或更多个对应视频帧之间的比较所指示的视觉质量水平来更新所述一个或更多个编码参数的所述配置。5.根据权利要求1所述的方法，还包括：至少基于所述一个或更多个放大能力来确定所述一个或更多个视频数据流的阈值分辨率。6.根据权利要求5所述的方法，其中确定所述一个或更多个编码参数的所述配置包括至少基于流分辨率低于所述阈值分辨率来选择所述流分辨率。7.根据权利要求1所述的方法，其中所述一个或更多个视频放大能力中的至少一个与可用于所述客户端设备的一种类型的放大算法相对应。8.根据权利要求1所述的方法，其中确定所述一个或更多个编码参数的配置至少基于指示使用可用于所述客户端设备的至少一个神经网络来进行放大的所述一个或更多个视频放大能力。9.根据权利要求1所述的方法，其中确定所述一个或更多个编码参数的配置进一步至少基于以下各项中的一项或更多项：由所述客户端设备请求的最小流分辨率、由所述客户端设备请求的最小质量水平、或由所述客户端设备请求的最小比特率。10.一种系统，包括：一个或更多个处理单元，用于执行以下操作，所述操作包括：接收指示使用客户端设备生成的一个或更多个放大输出帧的质量水平的数据，所述一个或更多个放大输出帧与到所述客户端设备的一个或更多个输出数据流相对应；至少基于所述质量水平确定所述一个或更多个输出数据流的一个或更多个编码参数的配置；以及根据所述一个或更多个编码参数的所述配置生成所述一个或更多个输出数据流的至少一部分。11.根据权利要求10所述的系统，其中指示所述质量水平的所述数据包括表示所述一个或更多个放大输出帧的第一输出数据，并且所述操作进一步包括：将表示所述一个或更多个放大输出帧的所述第一输出数据...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：辉达公司，
类型：发明
国别省市：