用于网络上视频数据的自适应流处理的方法、装置和系统制造方法及图纸

用于网络上视频数据的自适应流处理的方法、装置和系统。该方法包括：由视频流处理客户端的解码器通过第一复杂度的操作接收视频数据流的第一视频信息；至少部分基于视频流处理客户端的与解码器对第一视频信息的解码有关的解码能力获得与客户端有关的信息；由视频流处理客户端使用与客户端有关的信息使从视频流处理服务器到视频流处理客户端的视频流处理适应于不同的总体比特率；至少部分基于与客户端有关的信息确定第一复杂度的操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息；响应于确定不应继续以解码后续视频信息，由解码器通过第二复杂度的操作接收视频数据流的在第一视频信息之后被接收的第二视频信息。

【技术实现步骤摘要】
用于网络上视频数据的自适应流处理的方法、装置和系统本申请是申请日为2011年1月3日、申请号为“201180005589.9”、专利技术名称为“用于多层视频系统的复杂度自适应可伸缩解码及流处理”的专利技术专利申请的分案申请。相关申请的交叉引用本申请要求于2010年1月6日提交的美国专利临时申请No.61/292,741的优先权，其全部内容通过引用合并到本申请中。
本公开内容涉及多层视频系统。更具体地，本公开内容涉及用于多层视频系统的复杂度自适应可伸缩解码及流处理。
技术介绍
近年来，出现了考虑用于视频媒介的传输的多层方法的若干应用及系统。这些应用及系统可以包括SNR或分辨率、或时间可伸缩系统，并且还可以包括多视点或3D/立体视频、位深与高动态范围(HDR)应用等。这些应用或系统可能需要大量的计算资源来解码，或可能在传输期间受到网络中的带宽变化的影响。立体视频的传输是内容提供商的一贯目标。显示技术的最新创新如具有3D功能的DLP(见参考文献1，其全部内容通过引用合并到本申请中)，和诸如三菱及三星的等离子显示器的等离子显示器，增加了开发用于传输立体视频的有效技术的紧迫性。
技术实现思路
根据一个实施例，一种用于网络上的视频数据的自适应流处理的方法包括：由视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中第一视频信息是由视频流处理服务器使用视频流处理发送至视频流处理客户端的；至少部分基于视频流处理客户端的解码能力来获得与客户端有关的信息，其中解码能力与一个或更多个解码器通过第一复杂度的一个或更多个操作对第一视频信息的解码有关；由视频流处理客户端使用与客户端有关的信息使从视频流处理服务器到视频流处理客户端的视频流处理适应于不同的总体比特率；至少部分基于与客户端有关的信息确定第一复杂度的一个或更多个操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息；响应于确定第一复杂度的一个或更多个操作不应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息，由视频流处理客户端的一个或更多个解码器通过不同于第一复杂度的第二复杂度的一个或更多个操作来接收视频数据流的第二视频信息，其中第二视频信息在第一视频信息之后被接收。根据另一个实施例，提供一种装置，其包括一个或更多个处理器。该装置被配置为执行上述方法。根据有一个实施例，提供一种用于网络上的自适应流处理视频数据的系统，其包括：视频流处理服务器，其被配置为在一个或更多个视频数据流中向一个或更多个视频流处理客户端发送第一视频信息和第二视频信息；视频流处理客户端，其被配置为执行以下操作：由视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中第一视频信息是由视频流处理服务器使用视频流处理发送至视频流处理客户端的；至少部分基于视频流处理客户端的解码能力来获得与客户端有关的信息，其中解码能力与一个或更多个解码器通过第一复杂度的一个或更多个操作对第一视频信息的解码有关；由视频流处理客户端使用与客户端有关的信息使从视频流处理服务器到视频流处理客户端的视频流处理适应于不同的总体比特率；至少部分基于与客户端有关的信息确定第一复杂度的一个或更多个操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息；响应于确定第一复杂度的一个或更多个操作不应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息，由视频流处理客户端的一个或更多个解码器通过不同于第一复杂度的第二复杂度的一个或更多个操作来接收视频数据流的第二视频信息，其中第二视频信息在第一视频信息之后被接收。有关第一复杂度的一个或更多个操作是否应继续以解码要在视频流处理中比第一视频信息更晚接收的后续视频信息的确定至少部分基于影响视频数据流的网络特性。附图说明图1A和图1B示出了3D视频解码框架的系统概况。图2A和图2B示出了根据本公开内容的示教的可伸缩解码架构的框图。图3示出了根据本公开内容的实施方式的完全解码模式(FDM-0)。图4示出了图片的解码依赖性。图5示出了根据本公开内容的另外的解码模式(FDM-1)。图6示出了根据本公开内容的另一解码模式(FDM-2)。图7示出了根据本公开内容的再一解码模式(FDM-3)。图8示出了图7的解码模式的省略简化。图9示出了根据本公开内容的又一解码模式4(FDM-4)。图10示出了图9的解码模式的省略简化。图11示出了根据本公开内容的示教的可伸缩解码算法。图12示出了用于说明本公开内容的示教的操作模式的高级语言程序。图13示出了根据本公开内容的另外的实施方式的可伸缩的打包架构的框图。具体实施方式根据第一实施方式，提供了一种自适应解码多层视频系统，包括：基本层解码器；一个或更多个增强层解码器；以及与所述基本层解码器和所述一个或更多个增强层解码器连接的解码适配器，所述解码适配器控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据第二实施方式，提供了一种用于多层视频系统的自适应解码的方法，包括：读取视频信息；基于先前解码的视频信息的解码时间来针对所述视频信息从多个解码模式中选择解码模式；根据所选择的解码模式对所述多层系统的一个或更多个层的视频信息进行解码；在每次解码后，更新所述先前解码的视频信息的解码时间；以及如果可获得更多的视频信息，则重复上述读取、选择和解码步骤。根据第三实施方式，提供了一种适于通过网络将视频打包发送到客户端的自适应多层视频服务器，包括：基本层视频打包器；一个或更多个增强层视频打包器；以及与所述基本层视频打包器和所述一个或更多个增强层视频打包器连接的打包适配器，所述打包适配器控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。在本申请的说明书、附图和权利要求中提供了本公开内容的其它实施方式。图1A和图1B示出了解码系统的概况，其示出了基本层解码器和增强层解码器。采用图1A的解码系统的示例性架构是MPEG-4AVC/H.264标准的SHP规范(StereoHighProfile)。该规范是在标准规格中添加了立体视频支持的、MPEG-4AVC的多视点视频编码(MVC)扩展的特殊情况。参见，例如参考文献2，其全部内容通过引用合并到本申请中。采用图1B的解码系统的示例性架构是杜比的帧兼容全分辨率(FCFR)系统。参见，例如，于2009年4月20日提交的题为“DirectedInterpolationandDataPostprocessing”的美国临时专利申请No.61/170,995，以及于2009年7月4日提交的题为“EncodingandDecodingArchitecturesforFormatCompatible3DVideoDelivery”的美国临时专利申请No.61/223,027，两者的全部内容通过引用合并到本申请中。在MPEG-4AVCSHP中，每个视点被存储在单独的层中。杜比FCFR的基本层存储来自每个视点的一半数量的样本，并且可以通过不同的交叉存取方法来构造，如棋盘和并排交叉存储等。增强层提供两个视点的残余信息(针对每个视点的另一半样本)。该解码系统将组合来自两个层的图片输出以生成全分辨率的两个视本文档来自技高网...

【技术保护点】
一种自适应解码多层视频系统，包括：基本层解码器；一个或更多个增强层解码器；以及解码适配器，所述解码适配器与所述基本层解码器和所述一个或更多个增强层解码器连接，所述解码适配器控制所述基本层解码器和所述一个或更多个增强层解码器的操作。

【技术特征摘要】
2010.01.06 US 61/292,7411.一种用于网络上的视频数据的自适应流处理的方法，包括：由视频流处理客户端的一个或更多个解码器通过第一复杂度的一个或更多个操作来接收视频数据流的第一视频信息，其中所述第一视频信息是由视频流处理服务器使用视频流处理发送至所述视频流处理客户端的；至少部分基于所述视频流处理客户端的解码能力来获得与客户端有关的信息，其中所述解码能力与所述一个或更多个解码器通过所述第一复杂度的所述一个或更多个操作对所述第一视频信息的解码有关；由所述视频流处理客户端使用所述与客户端有关的信息使从所述视频流处理服务器到所述视频流处理客户端的所述视频流处理适应于不同的总体比特率；至少部分基于所述与客户端有关的信息确定所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息；以及响应于确定所述第一复杂度的所述一个或更多个操作不应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息，由所述视频流处理客户端的所述一个或更多个解码器通过不同于所述第一复杂度的第二复杂度的一个或更多个操作来接收所述视频数据流的第二视频信息，其中所述第二视频信息在所述第一视频信息之后被接收，其中，有关所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息的确定至少部分基于影响所述视频数据流的网络特性。2.根据权利要求1所述的方法，还包括：在图片等级、图片组(GOP)等级或视频切片等级之一方面从所述第一复杂度的所述一个或更多个操作转换至所述第二复杂度的所述一个或更多个操作。3.根据权利要求1所述的方法，其中，所述第一复杂度的所述一个或更多个操作生成第一视频质量的第一视频切片，并且其中所述第二复杂度的所述一个或更多个操作生成不同于所述第一视频质量的第二视频质量的第二视频切片。4.根据权利要求1所述的方法，还包括：由所述视频流处理客户端向所述视频流处理服务器发送客户端信息，以使所述视频流处理服务器只传输基本层视频信息。5.根据权利要求1所述的方法，还包括：由所述视频流处理客户端向所述视频流处理服务器发送客户端信息，以使所述视频流处理服务器传输基本层视频信息和增强层视频信息两者。6.根据权利要求1所述的方法，其中，所述第一视频信息包括多个视频信息部分，所述多个视频信息部分包括基本层部分和一个或更多个增强层部分，其中所述基本层部分被用第一视频质量的图片编码，并且其中所述基本层部分和所述一个或更多个增强层部分的组合共同被用高于所述第一视频质量的第二视频质量的图片编码。7.根据权利要求1所述的方法，其中，所述第一视频信息包括多个视频信息部分，所述多个视频信息部分包括基本层部分和一个或更多个增强层部分，其中所述基本层部分用于产生第一视点的图片，并且其中所述一个或更多个增强层部分用于产生第二视点的图片。8.根据权利要求1所述的方法，其中，所述第一视频信息包括多个视频信息部分，所述多个视频信息部分包括基本层部分和一个或更多个增强层部分，其中所述基本层部分用于产生第一视点的图片，并且其中所述一个或更多个增强层部分共同用于产生第二视点的图片。9.根据权利要求1所述的方法，其中，所述一个或更多个解码器执行操作以支持MPEG-4AVC/H.264标准规范。10.根据权利要求1所述的方法，其中，所述一个或更多个解码器执行与三维分辨率或高动态范围分辨率中的一个或更多个有关的操作。11.根据权利要求1所述的方法，其中，有关所述第一复杂度的所述一个或更多个操作是否应继续以解码要在所述视频流处理中比所述第一视频信息更晚接收的后续视频信息的确定还基于编码器生成的元数据。12.根据权利要求11所述的方法，其中，由所述视频流处理客户端作为边信息接收所述编码器生成的元数据；并且其中所述编码器生成的元数据包括与所述边信息一起由所述视频流处理服务器传输的视频信息的质量测量。13....

【专利技术属性】
技术研发人员：贺玉文，亚历山德罗斯·图拉皮斯，佩沙拉·V·帕哈拉瓦达，阿萨纳西奥斯·莱昂塔里斯，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US