用信号表示片段的特性以用于媒体数据的网络流式传输制造技术

从服务器检索视频数据，在所述视频数据的检索期间，客户端装置接收指示多媒体内容的表示的位速率的信息。另外，所述客户端装置接收指示所述表示的片段的优先级值的信息。所述片段对应于所述表示的特定时间区段。所述客户端装置基于所述片段的所述优先级值和所估计通过量请求所述片段中的选定者。在一些例子中，所述客户端装置根据例如经由HTTP的动态自适应流式传输DASH等自适应流式传输网络协议请求所述片段。

【技术实现步骤摘要】
【国外来华专利技术】用信号表示片段的特性以用于媒体数据的网络流式传输本申请案主张2011年9月21日申请的第61／537,407号美国临时专利申请案的权益，所述临时专利申请案的全部内容以引用的方式并入本文中。
本专利技术涉及媒体数据的网络流式传输。
技术介绍
已开发出许多技术来经由通信网络流式传输媒体数据。这些技术包含超文本传送协议流式传输(HTTP流式传输)，例如经由HTTP的动态自适应流式传输(DASH)。在DASH中，多媒体内容以多种不同方式编码，从而产生多媒体内容的不同表示。所述表示的每一者划分为一系列片段。所述片段含有表示多媒体内容的样本的数据。举例来说，片段的每一者可表示多媒体内容的样本的不同三秒序列。片段的每一者可具有不同统一资源定位符(URL)。在DASH中，客户端装置接收描述多媒体内容的各种表示的特性的清单文件(manifestfile)。清单文件可含有指示所述表示的片段的URL的信息。为从服务器装置流式传输多媒体内容的数据，客户端随时间将例如GET或部分GET请求等请求发送到服务器。所述请求指定如清单文件中指示的特定表示的片段的URL。当客户端装置从服务器装置接收片段时，客户端装置处理所述片段(例如，解码并再现片段的经译码视频数据)以呈现所述片段表示的媒体内容的样本。
技术实现思路
大体来说，本专利技术的技术针对当将多媒体内容的数据经由网络从服务器装置流式传输到客户端装置时提供并使用信息来改进用户体验。以各种位速率编码多媒体内容的各个表示。较高位速率表示可提供相对较高回放质量，而较低位速率表示可提供较有效带宽利用率。内容准备装置形成所述表示。另外，内容准备装置可产生信令多媒体内容的片段的优先级的优先级值。在一些实例中，特定片段的优先级值指示客户端装置应向相对较高还是较低位速率表示请求片段的数据。以此方式，客户端装置可获得描述各个表示的优先级的信息，且基于优先级确定从其检索多媒体内容的片段的表示。在一个实例中，本专利技术描述一种用于处理视频数据的方法。所述方法包括确定所估计通过量。所述方法还包括至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。所述方法还包括处理所述一个或一个以上选定片段。在另一实例中，本专利技术描述一种包括一个或一个以上处理器的计算装置，所述一个或一个以上处理器经配置以确定所估计通过量。所述一个或一个以上处理器经配置以至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。所述一个或一个以上处理器还经配置以处理所述一个或一个以上选定片段。在又一实例中，本专利技术描述一种包括用于确定所估计通过量的装置的计算装置。所述计算装置还包括用于至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上的装置。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。另外，所述计算装置还包括用于处理所述一个或一个以上选定片段的装置。在又一实例中，本专利技术描述一种上面存储有指令的计算机可读存储媒体，所述指令当执行时致使处理器确定所估计通过量。所述指令还致使处理器至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上。所述表示包含以不同位速率编码的视频数据，片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段。所述指令还致使处理器处理所述一个或一个以上选定片段。在又一实例中，本专利技术描述一种用于经由自适应流式传输网络协议提供视频数据的方法。所述方法包括发送指示片段的优先级值的信息。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。另外，所述方法包括响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段，所述所请求的片段是所述请求指定的片段中的片段。在又一实例中，本专利技术描述一种包括一个或一个以上处理器的计算装置，所述一个或一个以上处理器经配置以发送指示片段的优先级值的信息。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。所述一个或一个以上处理器还经配置以响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段。所述所请求的片段是所述请求指定的片段中的片段。在又一实例中，本专利技术描述一种包括用于发送指示片段的优先级值的信息的装置的计算装置。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。所述计算装置还包括用于响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段的装置。所述所请求的片段是所述请求指定的片段中的片段。在又一实例中，本专利技术描述一种上面存储有指令的计算机可读存储媒体，所述指令当执行时致使处理器发送指示片段的优先级值的信息。片段的每一者可个别检索。所述片段对应于多媒体内容的表示的特定时间区段。多媒体内容的表示的每一者包含以不同位速率编码的视频数据。指令的执行还致使计算装置响应于来自客户端装置的一个或一个以上请求经由自适应流式传输网络协议发送所请求的片段。所述所请求的片段是所述请求指定的片段中的片段。本专利技术的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本专利技术中所描述的技术的其它特征、目的和优点。附图说明图1是说明实例系统的概念图，其中客户端装置经由网络与服务器装置通信以向用户呈现媒体内容。图2是说明包括帧的实例视频的概念图。图3是说明服务器装置的实例配置的框图。图4是说明用以准备供检索的媒体源的实例操作的流程图。图5是说明客户端装置的实例配置的框图。图6是说明由客户端装置执行以向用户呈现媒体内容的实例操作的流程图。图7是说明由客户端装置执行以选择用于即将到来的时间周期的片段组合的实例操作的流程图。图8是说明由客户端装置执行以选择用于即将到来的时间周期的片段组合的实例操作的流程图。图9是说明实例计算装置的框图。具体实施方式大体来说，本专利技术的技术针对当将多媒体内容的数据经由网络流式传输时提供并使用信息来改进用户体验。内容递送系统的装置可将多媒体内容的各个表示组合以提供客户端装置的各种解码和再现能力。举例来说，内容准备装置可产生具有各种屏幕大小、二维、三维或多视图回放、帧速率、用于屏幕上呈现的隐藏式字幕或其它文本的各种语言、符合各种简档和／或层级的各种标准的解码器或其它特性的装置的表示。此外，内容准备装置可以各种位速率编码具有类似译码和再现特性的表示的集合，以适应网络带宽可用性方面的波动。以此方式，客户端装置可确定适于客户端装置的解码和再现能力的表示的集合，确定网络带宽的可用量，且请求来自所确定集合中的表示的一者的数据。根据本专利技术的技术，内容准备装置可以多媒体内容的各个本文档来自技高网...

【技术保护点】
一种用于处理视频数据的方法，所述方法包括：确定所估计通过量；至少部分基于所述所估计通过量以及多媒体内容的表示的片段的优先级值选择所述片段的一者或一者以上，其中所述表示包含以不同位速率编码的视频数据，所述片段的每一者可个别检索，且所述片段对应于所述表示的特定时间区段；以及处理所述一个或一个以上选定片段。

【技术特征摘要】
【国外来华专利技术】2011.09.21 US 61/537,407;2012.09.20 US 13/623,5891.一种用于处理视频数据的方法，所述方法包括：确定所估计通过量；从服务器装置接收指示多个片段群组中的每一相应片段群组的相应优先级值的信息，其中：对于所述多个片段群组中的每一相应片段群组：所述相应片段群组包含相应的多个片段；所述相应片段群组对应于与其他片段群组不同的媒体内容的相应时间区段；所述相应片段群组中的每一相应片段代表所述媒体内容的相同的相应时间区段，所述每一相应片段可个别检索且来自于所述媒体内容的多个表示中的不同表示，所述表示中的每一者以不同位速率编码，以及所述相应片段群组的所述相应优先级值指示从所述多个表示中的具有比所述多个表示中的其他表示高的位速率的表示选择所述相应时间区段的片段的重要性；执行选择操作，所述选择操作选择所述多个片段群组中的每一相应片段群组中的片段，其中执行所述选择操作包括至少部分基于所述所估计通过量以及所述片段群组的所述优先级值选择每一相应片段群组中的所述片段；以及处理选定片段。2.根据权利要求1所述的方法，其中所述所估计通过量是通信网络的带宽。3.根据权利要求2所述的方法，其进一步包括根据自适应流式传输网络协议请求所述选定片段。4.根据权利要求1所述的方法，其中所述所估计通过量是一个或多个处理器在即将到来的时间周期期间能够解码的媒体数据量的估计值。5.根据权利要求1所述的方法，其中选择所述片段包括基于所述片段群组的所述优先级值、所述所估计通过量以及额外地回放缓冲器中的视频数据的当前回放持续时间选择每一相应片段群组中的所述片段。6.根据权利要求1所述的方法，其中所述所估计通过量是通信网络的所估计带宽，且所述选定片段的所估计传送时间小于或等于所述选定片段的回放持续时间加上回放缓冲器中的视频数据的当前回放持续时间，所述选定片段的所述所估计传送时间至少部分基于所述所估计带宽和所述选定片段中的位的总数目。7.根据权利要求1所述的方法，其进一步包括：再现由所述选定片段表示的帧序列；以及在显示装置上呈现所述帧序列。8.根据权利要求1所述的方法，其进一步包括：存储清单文件，其中，对于所述多个片段群组中的每一相应片段群组，所述清单文件指定所述相应片段群组中的所述片段的URL和指示所述相应片段群组的所述优先级值的信息；以及使用所述选定片段的所述URL来产生对所述选定片段的请求。9.根据权利要求1所述的方法，其中处理所述选定片段包括解码所述选定片段。10.根据权利要求9所述的方法，其中选择每一相应片段群组中的所述片段包括：识别多个候选组合，其中对于所述多个候选组合中的每一相应候选组合：所述相应候选组合包含在即将到来的时间周期内的所述片段群组中的每一者中的一个片段；以及所述相应候选组合中的所述片段的位速率的平均值不显著大于所述所估计通过量；基于在所述即将到来的时间周期内的所述片段群组的所述优先级值计算所述多个候选组合中的每一相应候选组合的相应QoS得分；以及基于所述候选组合的所述QoS得分从所述多个候选组合中识别胜出组合，所述选定片段在所述胜出组合内。11.根据权利要求10所述的方法，其中执行所述选择操作包括使用在所述即将到来的时间周期内的所述片段群组的所述优先级值来计算在所述即将到来的时间周期内的所述片段群组中的每一相应片段的相应优先级值；且计算所述多个候选组合中的每一相应候选组合的所述相应QoS得分包括对于所述多个候选组合中的每一相应候选组合，通过将所述相应候选组合中的所述片段的所述优先级值相加而计算所述相应候选组合的所述相应QoS得分。12.根据权利要求10所述的方法，其中计算所述多个候选组合中的每一相应候选组合的所述相应QoS得分包括对于所述多个候选组合中的每一相应候选组合，基于所述相应候选组合中的所述片段的峰值信噪比值而计算所述相应候选组合的所述相应QoS得分。13.根据权利要求10所述的方法，其中执行所述选择操作包括使用在所述即将到来的时间周期内的所述片段群组的所述优先级值来计算在所述即将到来的时间周期内的所述片段群组中的每一相应片段的相应优先级值；且其中计算所述多个候选组合中的每一相应候选组合的所述相应QoS得分包括对于所述多个候选组合中的每一相应候选组合，通过计算所述相应候选组合中的所述片段的所述优先级值的几何平均数而计算所述相应候选组合的所述相应QoS得分。14.根据权利要求1所述的方法，其中至少部分基于所述所估计通过量以及所述优先级值选择包括选择来自第一表示的第一片段和来自第二不同表示的第二片段，所述第一和第二片段对应于不同时间区段。15.一种包括一个或多个处理器的计算装置，所述一个或多个处理器经配置以：确定所估计通过量；从服务器装置接收指示多个片段群组中的每一相应片段群组的相应优先级值的信息，其中：对于所述多个片段群组中的每一相应片段群组：所述相应片段群组包含相应的多个片段；所述相应片段群组对应于与其他片段群组不同的媒体内容的相应时间区段；所述相应片段群组中的每一相应片段代表所述媒体内容的相同的相应时间区段，所述每一相应片段可个别检索且来自于所述媒体内容的多个表示中的不同表示，所述表示中的每一者以不同位速率编码，以及所述相应片段群组的所述相应优先级值指示从所述多个表示中的具有比所述多个表示中的其他表示高的位速率的表示选择所述相应时间区段的片段的重要性；执行选择操作，所述选择操作选择所述多个片段群组中的每一相应片段群组中的片段，其中执行所述选择操作包括至少部分基于所述所估计通过量以及所述片段群组的所述优先级值选择每一相应片段群组中的所述片段；以及处理选定片段。16.根据权利要求15所述的计算装置，其中所述所估计通过量是通信网络的带宽。17.根据权利要求16所述的计算装置，其中所述一个或多个处理器经配置以根据自适应流式传输网络协议请求所述选定片段。18.根据权利要求15所述的计算装置，其中所述所估计通过量是所述一个或多个处理器在即将到来的时间周期期间能够解码的媒体数据量的估计值。19.根据权利要求15所述的计算装置，其中所述一个或多个处理器经配置以基于所述片段的所述优先级值、所述所估计通过量以及额外地回放缓冲器中的视频数据的当前回放持续时间选择每一相应片段群组中的所述片段。20.根据权利要求15所述的计算装置，其中：所述所估计通过量是通信网络的所估计带宽，且所述选定片段的所估计传送时间小于或等于所述选定片段的回放持续时间加上回放缓冲器中的视频数据的当前回放持续时间，所述选定片段的所述所估计传送时间基于所述所估计带宽和所述选定片段中的位的总数目。21.根据权利要求15所述的计算装置，其中处理所述选定片段，所述一个或多个处理器：再现由所述选定片段表示的帧序列；以及在显示装置上呈现所述帧序列。22.根据权利要求15所述的计算装置，其中：所述计算装置存储清单文件，对于所述多个片段群组中的每一相应片段群组，所述清单文件指定所述相应片段群组中的所述片段的URL和指示所述相应片段群组的所述优先级值的信息；且所述一个或多个处理器经配置以使...

【专利技术属性】
技术研发人员：唐纳德·W·吉利斯，毛忆念，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：