【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及内容分发，具体地涉及用于优化通过网络进行的媒体内容传递的方法和技术。
技术介绍
1、当将如音频和/或视频内容等媒体内容从远程流媒体服务器流式传输到客户端时，服务器与客户端之间的数据链路的性能(例如，吞吐量或延迟)将对所流式传输的媒体内容的质量强加限制。例如，如果数据链路的数据速率低，则只能将经压缩的、比特率低的媒体内容传输到客户端，并且在客户端回放的所得到的媒体内容的回放质量(例如，体验质量或qoe)将较低(例如，体验质量或qoe低)。另一方面，如果数据速率高，则每单位时间在服务器与客户端之间可以路由更多的数据，这使得能够实现更高的回放质量(例如，更高的体验质量或qoe)。
2、由于数据链路的质量会因客户端、服务器的不同而不同，并且会随时间而变化，因此流媒体系统常会使用自适应比特率(abr)技术，该abr技术允许根据数据链路的瞬时性能来修改(例如，动态地选择)所流式传输的媒体内容的比特率。原则上，abr流媒体系统使得能够始终使用当前数据链路性能所允许的最高可能qoe。
3、传统abr流媒体系统中的回放质量选择通常是两步过程，其中，内容提供商将媒体内容编码为若干种不同的质量，并经由内容清单将可用质量和/或比特率传送到客户端。然后，客户端从内容清单中选择质量和/或比特率，并下载具有所选质量和/或比特率的媒体内容以进行回放。选择过程通常会受到若干因素的影响。例如，如客户端回放特性和用户偏好等因素有助于缩小可能的质量列表的范围，但最终还是要对数据链路的性能(例如，吞吐量、抖动和延迟)进行估计，并由客户端
技术实现思路
1、abr技术的问题是难以准确估计数据链路的性能，而当媒体内容是以间歇到达的组块传递或通过抖动高的连接进行传递时尤其如此，这会导致所选择的媒体内容质量和/或比特率不正确。
2、本公开的目的是提供一种用于更准确地选择媒体内容质量的方法和可变质量媒体系统。
3、根据本专利技术的第一方面，提供了一种用于选择媒体内容的质量的方法。该方法包括：通过至少一个网络路径接收数据段的媒体内容，该媒体内容利用网络或应用层代码被编码；以及将媒体内容存储在网络或应用层解码器中。该网络或应用层解码器(有时被称为解码器)被配置为对媒体内容进行解码，并将经解码的媒体内容提供给与媒体渲染器相关联的缓冲区。该方法进一步包括：获得网络或应用层解码器的解码指标，该解码指标指示解码过程的属性；以及基于解码指标来选择后续数据段的媒体内容的质量。
4、在一些实施例中，网络路径包括网络源(例如，媒体内容服务器)与客户端设备之间的通信链路。网络路径可以包括两个或更多个通信链路和至少一个中间设备，该中间设备具有已建立的到网络源和客户端设备之一的通信链路。例如，网络路径可以包括通过第一通信链路与网络源通信并通过第二通信链路与客户端设备通信的第一中间设备。另外，至少一个附加中间设备可以在网络源与第一中间设备之间操作(将第一通信链路划分成两个或更多个子链路)，或者至少一个附加中间设备在客户端设备与第一中间设备之间操作(将第一通信链路划分成两个或更多个子链路)。(多个)中间设备可以是适合于充当网络中的节点的任何设备，例如(多个)中间设备是网关、调制解调器、路由器、交换机等。网络路径中的各个通信链路或子链路可以是无线链路或有线链路。
5、网络源以不同的质量存储媒体内容(或经由例如转码按需提取不同质量的媒体内容)，并通过至少一个网络路径将所选质量的媒体内容传输到客户端设备。所传输的媒体内容(例如，经编码的媒体内容)利用网络或应用层代码被编码，经编码的媒体内容必须被解码以获得经解码的媒体内容，其中，经解码的媒体内容是可以由媒体渲染器摄取的格式。对于经解码的媒体内容，网络或应用层编码已被解码。经解码的媒体内容可以仍是可以由媒体渲染器摄取和处理的媒体编码格式。可以由媒体渲染器摄取的媒体编码格式的示例有h.266/vvc、h.265/hevc、h.264/avc、mpeg-2、vp8、vp9、av1、aac、mp2、opus等。因此，经编码的媒体内容可以包括两级编码，即封装原始媒体内容的媒体编码和封装经媒体编码的原始媒体内容的网络或应用层编码。
6、将原始媒体内容分割(并可选地媒体编码)为多个块，其中，每个块表示原始媒体内容的一部分(例如，预定持续时间)，并且其中，利用网络或应用层代码对每个块进行编码以形成对应的经编码的数据段(携带有媒体内容块的编码表示)。网络或应用层代码是适合于将数据元素划分成多个子元素的代码，这些子元素可以通过多个不同的网络路径传输并在目的地(即客户端设备)被重组。网络或应用层代码可以是将数据元素划分成多个线性无关符号的代码。网络或应用层代码可以是线性代码或非线性代码。例如，网络或应用层代码可以是raptorq码、里德-所罗门码、卢比变换码、随机线性网络代码等。
7、在一些实施例中，媒体渲染器包括获得媒体内容并渲染媒体内容的任何类型的渲染器。渲染媒体内容需要对媒体内容进行处理，以获得呈现就绪格式的媒体内容。呈现就绪格式适于被馈送到显示设备和/或扩音器以进行视觉或听觉呈现。例如，视频渲染器处理媒体内容并产生可以在显示设备上呈现的视频帧。在一些实施方式中，媒体渲染器是被配置为获得音频和/或视频内容并渲染音频和/或视频内容的媒体播放器或客户端媒体应用程序。进一步地，在一些实施例中，使用媒体渲染器来为游戏应用、ar/vr/xr应用、视频和/或音频会议应用等渲染媒体。在一些实施方式中，媒体渲染器将经渲染的媒体内容提供给呈现设备以进行听觉或视觉呈现。呈现设备可以例如包括显示器和/或扩音器。
8、在一些实施例中，选择媒体内容的质量包括选择媒体内容的体验质量qoe。所选媒体内容质量可以用例如指示所选比特率或数据段大小的值来表示。所选媒体内容质量可以用如高质量、中等质量和低质量等描述性标签，或者如超高清(uhd)、高清(hd)或标清(sd)等分辨率来表示。作为进一步的示例，所选媒体内容质量可以指示音频采样率、媒体编码格式或媒体内容的压缩级别。
9、众所周知，相同的媒体内容可以以各种qoe等级来表示，其中，等级越高，所提供的感知上的质量就越高，代价是需要更多数据来表示特定持续时间的媒体内容，即，比特率较高。
10、本专利技术至少部分地基于这样的理解，即通过获得解码指标并基于该解码指标来选择媒体质量，可以对媒体内容质量进行更准确的选择。由于媒体内容是以经编码的数据段进行传递的——这些经编码的数据段在被提供给媒体渲染器之前必须进行解码，因此指示例如将经解码的媒体内容传递到缓冲区的速率或存在于与媒体渲染器相关联的缓冲区中的经解码的内容量的指标将不是进行媒体内容选择的准确依据。例如，网络或应用层解码器下游的流量形状/模式不反映解码器所接收到的数据的形状/模式。替代地，本文档来自技高网...
【技术保护点】
1.一种用于选择媒体内容的质量的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述媒体内容通过至少两个不同的网络路径(1031a，1031b，1031c)被接收。
3.根据权利要求1或权利要求2所述的方法，其中，所述解码指标指示直到所述数据段(1010)已完全被接收时的估计时间。
4.根据权利要求1至3中任一项所述的方法，其中，所述解码指标指示直到所述数据段(1010)已被解码时的估计时间。
5.根据权利要求3或权利要求4所述的方法，其中，所述数据段(1010)的媒体内容包括第一数量的符号(1011，1012a，1012b，1013)，所述方法进一步包括：
6.根据权利要求5所述的方法，其中，所述更新过程是泊松过程。
7.根据权利要求5或权利要求6所述的方法，其中，所述预定数量的符号(1011，1012a，1012b，1013)等于所述第一数量的符号(1011，1012a，1012b，1013)与第二数量的符号(1011，1012a，1012b，1013)之和，所述第二数量的符号(1011，101
8.根据前述权利要求中任一项所述的方法，进一步包括：
9.根据权利要求8所述的方法，其中，所述媒体渲染器指标指示存储在所述缓冲区(5061)中的所述经解码的媒体内容的播放时间。
10.根据权利要求9所述的方法，进一步包括：
11.根据权利要求10所述的方法，进一步包括：
12.根据权利要求11所述的方法，其中，所述可能性是百分之X，并且其中，所述可用部分的持续时间是所述数据段(1010)的媒体内容的持续时间的百分之Y。
13.根据前述权利要求中任一项所述的方法，其中，所述解码指标进一步指示所述数据段(1010)的所接收到的媒体内容的量。
14.根据前述权利要求中任一项所述的方法，其中，所述解码指标指示接收所述数据段(1010)的媒体内容的数据速率。
15.根据前述权利要求中任一项所述的方法，其中，所述解码指标指示所述媒体内容的开销量。
16.根据权利要求15所述的方法，其中，所述数据段(1010)的媒体内容包括多个符号(1011，1012a，1012b，1013)，并且其中，所述开销量指示所接收到的线性相关符号的数量。
17.根据当从属于权利要求14时权利要求15或权利要求16所述的方法，进一步包括：
18.根据前述权利要求中任一项所述的方法，进一步包括：
19.根据前述权利要求中任一项所述的方法，进一步包括：
20.一种可变质量媒体系统，包括：
21.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
22.一种可变质量媒体系统，包括：
23.一种包括指令的计算机程序产品，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行如权利要求1至19中任一项所述的方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于选择媒体内容的质量的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述媒体内容通过至少两个不同的网络路径(1031a，1031b，1031c)被接收。
3.根据权利要求1或权利要求2所述的方法，其中，所述解码指标指示直到所述数据段(1010)已完全被接收时的估计时间。
4.根据权利要求1至3中任一项所述的方法，其中，所述解码指标指示直到所述数据段(1010)已被解码时的估计时间。
5.根据权利要求3或权利要求4所述的方法，其中，所述数据段(1010)的媒体内容包括第一数量的符号(1011，1012a，1012b，1013)，所述方法进一步包括：
6.根据权利要求5所述的方法，其中，所述更新过程是泊松过程。
7.根据权利要求5或权利要求6所述的方法，其中，所述预定数量的符号(1011，1012a，1012b，1013)等于所述第一数量的符号(1011，1012a，1012b，1013)与第二数量的符号(1011，1012a，1012b，1013)之和，所述第二数量的符号(1011，1012a，1012b，1013)是所述数据段(1010)的将被接收到的预期数量的线性相关符号。
8.根据前述权利要求中任一项所述的方法，进一步包括：
9.根据权利要求8所述的方法，其中，所述媒体渲染器指标指示存储在所述缓冲区(5061)中的所述经解码的媒体内容的播放时间。
10.根据权利要求9所述的方法，进一步包括：
11.根据权利要求10所述的方法，进一...
【专利技术属性】
技术研发人员：J·M·克劳德，E·奥斯本，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。