用于简化视频随机访问的约束和单元类型的方法技术

本文所公开的是对于具有完全随机访问（CRA）图片和/或其它类型的随机访问点（RAP）图片的比特流的创新。对于RAP图片类型的新的类型定义和策略约束可以简化基本视频流数据的单元到容器格式的映射。这样的创新可有助于改进视频编码系统的能力，以便更灵活地执行自适应视频递送、制作编辑、商业插入等等。

【技术实现步骤摘要】
【国外来华专利技术】用于简化视频随机访问的约束和单元类型的方法
技术介绍
本申请涉及视频编码和解码，并且特别地涉及与随机访问点图片（picture）有关的改进。工程师使用压缩（也称为源编码）来减小数字视频的比特率。压缩通过将信息转换成较低比特率形式来降低存储和传输视频信息的成本。解压缩（也称为解码）从压缩形式重建原始信息版本。“编解码器”是编码器/解码器系统。在过去的二十年里，已经采用各种视频编解码器标准，包括H.261、H.262（MPEG-2或者ISO/IEC13818-2）、H.263和H.264（AVC或者ISO/IEC14496-10）标准和MPEG-1（ISO/IEC11172-2）、MPEG-4视觉（ISO/IEC14496-2）和SMPTE421M标准。最近，HEVC标准正处于开发中。视频编解码器标准典型地定义了用于编码的视频比特流的语法的选项，当在编码和解码中使用特定特征时在该比特流中详述参数。在许多情况下，视频编解码器标准也提供关于解码器应该执行的解码操作的细节，以在解码中达到正确的结果。在广播和流播应用中，让解码器随机访问已编码比特流中的点并对来自随机访问点的图片进行解码的能力是令人想要的特性。例如当观看者在广播或者流之间切换时、或者当执行比特流拼接（splice）时，发生这样的随机访问。
技术实现思路
概括而言，详细说明介绍了对于具有完全随机访问（CRA，cleanrandomaccess）图片和/或其它类型随机访问点（RAP）图片的比特流的创新。对于RAP图片的类型的新类型定义和策略约束可以简化基本视频流数据的单元到容器格式的映射。这样的创新可有助于改进视频编码系统的能力，以便更灵活地执行自适应视频递送、制作编辑、商业插入等等。本文描述的创新包括，但不受限于，允许处在比特流中间而不仅仅是在比特流开始处的CRA图片具有一个或者多个潜在地不可解码的图片，其在比特流中在CRA图片后出现。在一些使用中，这些潜在地不可解码的图片在以下的意义上是相关于CRA图片的前导图片（leadingpicture），即：虽然在比特流中它们是在CRA图片之后出现，但是它们具有先于CRA图片的显示输出顺序的被识别的显示输出顺序。换言之，除了允许在比特流开始处的CRA图片具有不可解码的前导图片之外，也允许比特流具有这样的CRA图片，即：其不在比特流开始处，且其具有在比特流中跟随在它之后的潜在不可解码的图片。关于这一点，前导图片是按比特流顺序（也称为编码顺序、解码顺序等等）跟随在某个CRA图片之后、但按显示顺序（也称为输出顺序）先于该CRA图片的图片。允许在作为比特流开始部分的CRA图片后面（按比特流顺序）跟随由于缺失之前的参考图片而不能被解码的前导图片。现在，也允许在比特流中在落入比特流中间的CRA图片后面跟随这样的不可解码的图片。按照本公开技术的实施例，已经移除了针对在比特流中部CRA图片之后不可解码前导图片的存在的约束。在某些示例性实现中，添加标记或者其它指示符（例如，作为条带（slice）头中的图片级的信息等等），其指示这样的对于CRA图片的不可解码前导图片的潜在存在。指示符可以被使用来（例如通过解码器）确定如何处理前导图片（例如，解码器是否应该对前导图片进行解码）。例如，当使用本文描述的断链（brokenlink）功能性时，不同的网络抽象层（NAL）单元类型被用来指示前导图片是否存在以及存在什么类型的前导图片。进一步地，这些NAL单元类型不同于用于CRA的常规NAL单元类型。同样，在某些示例性实现中，添加标记或者其它指示符（例如，作为在图片级用于潜在不可解码的图片的语法元素、作为对于潜在不可解码的图片而用信号告知的NAL单元类型等等）以明确地标识潜在不可解码的图片，而不是使用图片分成前导图片的分类作为识别潜在不可解码的图片的规则。本文描述的其它创新包括但不受限于：（a）用于RAP图片的单元类型的新定义，其简化视频基本流数据的单元到容器格式的映射，（b）对RAP图片的策略约束，其简化了这样的映射操作，以及（c）冗余单元类型的移除。本文引进的新CRA图片类型和它们相关联的标记或者其它指示符的实施例有时被称作“断链访问”（BLA）图片。对这样的BLA图片和它们相关联的指示符的使用可以使解码器可以从其开始解码的访问点的数量增加，从而改进视频编码系统可用以执行多种多样的操作的速度和无缝性，所述操作是诸如快进操作、倒回操作、扫描操作、拼接操作、或者在视频流之间的切换操作。此外，对这样的BLA图片和它们相关联的指示符的使用可以允许视频编码或者视频解码系统更灵活地执行自适应视频递送、制作编辑、商业插入等等。从以下参考附图进行的详细说明中，本专利技术的前述的和其它的目的、特征和优点将变得更明显。附图说明图1是在其中可以实现一些所描述的实施例的示例性计算系统的图。图2a和2b是在其中可以实现一些所描述的实施例的示例性网络环境的图。图3是与其结合可以实现一些所描述的实施例的示例性编码器系统的图。图4是与其结合可以实现一些所描述的实施例的示例性解码器系统的图。图5是图示包括CRA图片的示例性已编码图片的序列的图。图6是示出用于生成比特流的第一示范性方法的流程图。图7是示出用于解码比特流的第一示范性方法的流程图。图8是示出用于生成比特流的第二示范性方法的流程图。图9是示出用于解码比特流的第二示范性方法的流程图。图10是示出用于生成比特流的第三示范性方法的流程图。图11是示出用于解码比特流的第三示范性方法的流程图。图12是示出用于处理比特流部分的第一示范性方法的流程图。图13是示出用于处理比特流部分的第二示范性方法的流程图。图14是示出用于生成比特流的第四示范性方法的流程图。图15是示出用于解码比特流的第四示范性方法的流程图。具体实施方式本详细说明介绍了用于编码和解码具有完全随机访问（CRA）图片和其它随机访问点（RAP）图片的比特流的创新。特别地，本详细说明描述了在其中允许比特流具有在比特流开始处的CRA图片、并且也允许比特流具有不在比特流开始处的CRA图片的实施例，其中允许这样的CRA图片的任一个具有一个或者多个不可解码的前导图片。这样的CRA图片在本文中有时被称作“断链访问”（BLA）图片。本详细说明进一步描述了如下的实施例，即其中用于RAP图片的单元类型的新定义和对于RAP图片的策略约束简化了视频基本流数据的单元到容器格式的映射，并且消除了冗余单元类型。本文描述的创新中的一些是参考特定于HEVC标准的语法元素和操作来举例说明的。例如，参考HEVC标准的某些草案版本，包括HEVC标准的JCTVC-I1003-“Highefficiencyvideocoding(HEVC)textspecificationdraft7”，JCTVC-11003_d5，9thmeeting,日内瓦，2012年4月（下文称为“JCTVC-I1003_d5”）。本文所描述的创新也可以对于其它标准或者格式实现。更一般而言，对于本文描述的示例的各种替换方案是可能的。例如，本文描述的方法的任一个可以通过改变所描述的方法动作的顺序、通过分割、重复或者省略某些方法动作等等而被更改。本公开技术的各个方面可以组合使用或者单独使用。不同的实施例使用所描述的创新中的一个或者多个。本文档来自技高网...

【技术保护点】
一种方法，包括：接收比特流的至少一部分，所述比特流的至少一部分包括已编码图片和为所述已编码图片指定的图片类型，所述图片类型是多种图片类型中的一种，所述多种图片类型包括第一类型，其指示已编码图片是能够被用作随机访问点（RAP）图片的断链访问（BLA）图片，并且进一步指示已编码图片可以具有一个或者多个相关联的可解码或者不可解码的前导图片；并且对所述已编码图片进行解码。

【技术特征摘要】
【国外来华专利技术】2012.04.16 US 61/624,984;2012.04.27 US 61/639,663;1.一种用于解码比特流的方法，包括：接收比特流的至少一部分，所述比特流的至少一部分包括已编码图片和为所述已编码图片指定的图片类型，所述图片类型是多种图片类型中的一种，所述多种图片类型包括第一类型，其指示所述已编码图片是能够被用作随机访问点RAP图片的断链访问BLA图片，并且进一步指示所述已编码图片可以具有一个或者多个相关联的可解码或者不可解码的前导图片；并且对所述已编码图片进行解码；其中所述已编码图片是第一已编码图片，其中所述第一已编码图片被指定为第一类型的图片，其中所述比特流的至少一部分包括与所述第一已编码图片相关联的第二已编码图片和用于所述第二已编码图片的图片类型，所述用于第二已编码图片的图片类型指示第二已编码图片是随机访问跳过的前导RASL图片或者随机访问可解码前导RADL图片，并且其中所述方法进一步包括：如果所述第二已编码图片被指定为RADL图片，则对所述第二已编码图片进行解码；并且如果所述第二已编码图片被指定为RASL，则跳过对所述第二已编码图片的解码。2.如权利要求1所述的方法，其中所述多种图片类型进一步包括：第二类型，其指示已编码图片是能够被用作RAP图片的BLA图片，并且所述已编码图片不具有任何相关联的不可解码的前导图片，但是可具有一个或者多个相关联的可解码的前导图片，以及第三类型，其指示已编码图片是能够被用作RAP图片的BLA图片，并且所述已编码图片不具有任何相关联的前导图片。3.一种用于生成比特流的方法，包括：将图片指定为多种图片类型中的一种，其中所述图片类型包括第一类型，其指示所述图片是能够被用作随机访问点RAP图片的断链访问BLA图片，并且进一步指示所述图片可以具有一个或者多个相关联的可解码或者不可解码的前导图片；并且生成比特流的至少一部分，所述比特流的至少一部分包括为该图片指定的图片类型；其中该图片被指定为第一类型的图片，以及其中该方法还包括指定与该图片...

【专利技术属性】
技术研发人员：GJ萨利文，S卡努穆里，
申请(专利权)人：微软公司，
类型：发明
国别省市：美国;US