高效可伸缩编码概念制造技术

本公开描述高效可伸缩编码概念。视频解码器，解码情景在层的层级中编码成的多层视频数据流，根据通过细分所述层的图片而得到的空间区段对多层视频数据流解码，包括：熵解码器，从多层视频数据流熵解码数据获得空间区段的残差数据和编码参数；预测器，至少基于编码参数生成与空间区段相关的预测信号；组合器，将预测信号和残差数据组合以重构图片的一部分，通过从多层视频数据流解码长期和短期语法元素确定第一层和第二层的图片的细分，长期语法元素有指示第二层图片按第二层图片一个空间区段与第一层图片的相应空间区段空间对齐方式细分的第一值，短期语法元素包括指示第二层的至少一个图片与第一层的图片的相应空间区段空间上对齐的第二值。

The concept of efficient scalable coding

【技术实现步骤摘要】
高效可伸缩编码概念本申请是分案申请，其母案申请的申请号为201480012232.7，申请日为2014年1月4日，专利技术名称为“高效可伸缩编码概念”。
本申请涉及诸如可伸缩视频编码等可伸缩编码概念。
技术介绍
在本领域中，已知可伸缩编码概念。例如，在视频编码中，H.264涉及SVC扩展(可伸缩视频编码)，从而允许基础层编码视频数据流附加有额外的增强层数据，以使得从诸如空间分辨率、信噪比(SNR)等不同的方面提升基础层视频质量的重构品质。通过SVC配置文件也可扩展最近定稿的HEVC标准。HEVC在许多方面不同与其前期H.264，诸如，用于并行解码/编码的适用性和低延迟传输等。至于涉及的并行编码/解码，HEVC支持WPP(波前并行处理)编码/解码以及片(tile)并行处理概念。根据WPP概念，以行式方式将各个图片分割成子流。自左至右指导每个子流内的编码顺序。子流具有其中限定的解码顺序，即，从顶部子流引导至底部子流。使用概率自适应性执行子流的熵编码。针对各个子流独立完成概率初始化，或者基于熵编码时使用的概率的初始自适配状态，使紧随的前一子流在第二CTB(编码树块)结束时从前一子流的左手边缘相应地到达特定位置。空间预测不需要受限制。即，空间预测可跨越中间连续子流之间的边界。通过这种方式，可将子流与形成波前的当前编码/解码的位置并行编码/解码，波前通过自左下方至右上方、自左至右的倾斜方式前行。根据片概念，将图片分段成片并且为了使这些片的编码/解码可能经过并行处理，抑制跨边界线的空间预测。仅可允许跨片边界线的环内滤波。为了支持低延迟处理，切片概念被延伸为：允许切片可切换，以将熵概率重新初始化，采用在处理之前子流过程中保存的熵概率，即，当前切片开始属于的子流之前的子流，并且采用连续被更新的熵概率，直至紧随的前一切片结束。通过这种措施，使得WPP和片概念更适用于低延迟处理。然而，更有利于具有进一步改善可伸缩编码概率的正在讨论的概念。因此，本专利技术的目标是提供进一步改善可伸缩编码概念的概念。通过未决独立权利要求的主题实现本目标。
技术实现思路
本申请的第一方面涉及结合并行处理概念的可伸缩视频编码。诸如WPP和片区段等并行处理概念允许以将图片细分而成的空间区段(例如以子流、片、或者切片的形式)将视频的图片并行解码。正如空间帧内图片预测，该层间预测通过层间预测限制彼此相互依赖的解码层的并行程度。更精确地，空间帧内层预测限制单层的图片解码时的并行程度，通过不同方式解决这种问题。例如，当使用片作为空间区段时，空间帧内层预测受限于不能跨越边界线。在WPP子流的情况下，通过交错方式执行其并行处理以产生适当的倾斜处理波阵面。在层间预测的情况下，根据参考层的共置部分执行依赖层的解码。因此，依赖层的空间区段的解码可最先开始，此时，已经将参考层的共置部分处理/解码。如同不同视图作为不同层的层间预测的情况，或者归因于自低层至高层的上采样，在允许“运动补偿”的情况下，放大了“共置部分”的区域。即，易于使使用层间预测的可伸缩解码与并行解码的视频解码器从关于这些相关依赖层的短期语法元素推导相互依赖层的并行处理的并行程度，短期语法元素限定将这些相互依赖层的图片细分成其空间区段。然而，稳定地完成该操作是比较繁琐并且在计算上比较复杂。除此之外，当执行该操作时，视频解码器不能够适当地调度并行运行的解码线程以将多层视频数据流解码。因此，根据本专利技术的第一方面，通过引入长期语法元素结构改善了多层视频数据流的相互依赖层的并行解码，当长期语法元素结构假设特定值时，保证了视频解码器在比短期语法元素的时间间隔更大的预定时间段内，将依赖层的图片细分成使得第二层的图片的空间区段之间的边界与第一层的空间区段的每个边界重叠。通过这种措施，视频解码器能够依赖于多层视频数据流被适当地编码的事实，以使得将相互依赖层的图片细分成空间区段，而不疏忽地降低这些相互依赖层之间可行的并行程度。更确切地，在预定时间段内，通过开发不同层中的空间区段的边界通过信号方式彼此重叠的约束，解码器可提前将空间区段的分布调度到视频解码器的并行处理线程中。尽管如此，长期语法元素结构允许关闭该保证，从而允许在其他应用情景或者使高端视频解码器基于短期仅根据短期语法元素执行并行处理调度，即，不开发关于相互依赖层的空间区段的边界之间的相对定位的任何保证。出于决定机会主义解码之目的还可使用长期语法元素。本申请的另一方面关于可伸缩性编码，根据其相互依赖层的图片结合相互依赖层的并行处理利用自基础层至增强层的上采样而经历层间预测。具体地，该方面关于用于执行自基础层至增强层的上采样的内插法。自然，该内插法可使基础层图片的相邻分区变得彼此依赖。即，内插法使上采样的基础层参考图片的各部分的外圆周处的内插结果与基础层图片的共置分区内的两个像素/像元以及相邻分区的像素/像元相互依赖。换言之，在被“涂黑”或者拓宽的增强层图片中预测到用作共置部分的层间预测的参考的基础层图片的区域。顺便提及，通过层间预测的内插法而导致的相互依赖性对相互依赖层的并行处理时可实现的并行程度产生不利影响。例如，根据本专利技术的第二方面，引入了语法元素，语法元素通知解码器：沿着基础层的分区修改内插以不混合基础层图片的相邻分区的像素/像元，基础层图片的分区及其上采样型式取决于增强层图片的空间区段或者基础层与增强层的空间区段。通过引入该语法元素，编码器能够在两种模式之间切换：如果内插法受限于使基础层图片的部分自包含，即，启动限制，则随着沿着基础层图片的分区边缘的内插质量轻微地降低，在相互依赖层的并行解码时将最大程度地增加所获得的并行程度，然而，在不限制内插法的情况下，并行程度降低且分区边缘处的内插质量增加。本申请的第三方面关于具有相互依赖层的并行解码的可伸缩视频编码并且通过引起长期语法元素结构试图减轻解码器执行并行处理调度的负担，即，将空间区段分布到并行处理线程中，长期语法元素结构允许解码器在比该时间间隔更大的预定时间段内确定层间偏移量或者层间延迟，在该时间间隔内，短期语法元素发出相互依赖层的图片的空间区段的大小和定位、以及这些图片的空间采样分辨率的信号。通过引入发出层间偏移量的信令的上期语法元素，视频编码器能够在两种模式之间切换：根据第一模式，编码器向解码器保证了与相互依赖层的解码之间的特定并行程度对应的特定的层间偏移量并且在该预定时间段内相应地设置短期语法元素，以使得实际层间偏移量等于保证的一或者甚至更低。根据另一模式，不向解码器提供该保证，因此，编码器无需设置短期语法元素以满足另一白哦准，诸如，可选地，将短期语法元素适配成该预定时间段内的视频内容。因此，当服从整个预定时间段内的该计数时，在时间上共置对其的增强层图片的第一空间区段开始不面临任何冲突时，至少相对于增强层图片的第一空间区段该预定时间段内的解码，在数据流中明确发出信号的层间偏移量可以是不得不被解码的最小化的基础层空间区段的计数。本申请的第四方面关于可伸缩的视频编码和多层视频数据流所属的各个NAL单元的各层的信令、以及可伸缩空间内的这些层的定位、以及跨可伸缩空间的可伸缩维度的含义。为了易于通过涉及传输多层视频数据流的中间网络实体执行任务，该信息对于这些中间网络实体易于访问并且能够被容易地管理。本申请的第本文档来自技高网...

【技术保护点】
1.一种视频解码器，用于解码情景在层的层级中被编码成的多层视频数据流，其中，所述视频解码器被配置为根据通过细分所述层的图片而得到的空间区段对所述多层视频数据流解码，所述视频解码器包括：熵解码器，被配置用于从所述多层视频数据流熵解码数据以获得关于所述层的第一层的图片或第二层的图片的各个空间区段的残差数据和编码参数；预测器，被配置用于至少基于所述编码参数生成与所述空间区段相关的预测信号；组合器，被配置用于将所述预测信号和所述残差数据组合以重构所述图片的一部分，其中，所述视频解码器被配置用于通过从所述多层视频数据流解码长期语法元素和短期语法元素来确定所述第一层和所述第二层的图片的细分，其中，所述长期语法元素具有指示所述第二层的图片按照所述第二层的所述图片的至少一个所述空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的方式被细分的第一值，以及基于所述短期语法元素确定所述第一层和所述第二层的图片至所述第一层和所述第二层各自的空间区段的细分，所述短期语法元素包括指示所述第二层的图片的空间区段不与所述第一层的图片的空间区段空间上对齐的第一值，以及指示所述第二层的图片的图片的至少一个空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的第二值。...

【技术特征摘要】
2013.01.04 US 61/749,042;2013.04.08 US 61/809,6051.一种视频解码器，用于解码情景在层的层级中被编码成的多层视频数据流，其中，所述视频解码器被配置为根据通过细分所述层的图片而得到的空间区段对所述多层视频数据流解码，所述视频解码器包括：熵解码器，被配置用于从所述多层视频数据流熵解码数据以获得关于所述层的第一层的图片或第二层的图片的各个空间区段的残差数据和编码参数；预测器，被配置用于至少基于所述编码参数生成与所述空间区段相关的预测信号；组合器，被配置用于将所述预测信号和所述残差数据组合以重构所述图片的一部分，其中，所述视频解码器被配置用于通过从所述多层视频数据流解码长期语法元素和短期语法元素来确定所述第一层和所述第二层的图片的细分，其中，所述长期语法元素具有指示所述第二层的图片按照所述第二层的所述图片的至少一个所述空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的方式被细分的第一值，以及基于所述短期语法元素确定所述第一层和所述第二层的图片至所述第一层和所述第二层各自的空间区段的细分，所述短期语法元素包括指示所述第二层的图片的空间区段不与所述第一层的图片的空间区段空间上对齐的第一值，以及指示所述第二层的图片的图片的至少一个空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的第二值。2.根据权利要求1所述的视频解码器，其中，所述视频解码器被配置用于：使用帧内图片空间预测对所述第一层的图片或第二层的图片进行解码，并且用于各个空间区段的所述帧内图片空间预测在相应空间区段的边界线处中断；或者通过将所述第一层的图片的空间区段并行解码且支持跨所述第一层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第一层的图片的空间区段的解码之间的解码延迟；以及通过将所述第二层的图片的空间区段并行解码且支持跨所述第二层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第二层的图片的空间区段的解码之间的解码延迟，来使用所述帧内图片空间预测对所述层的图片进行解码。3.根据权利要求1所述的视频解码器，其中，所述图片被细分成的所述空间区段包括片。4.根据权利要求3所述的视频解码器，其中，所述视频解码器被配置用于：使用帧内图片空间预测对所述层的图片进行解码，且用于各个片的所述帧内图片空间预测在相应片的边界线处中断。5.根据权利要求1所述的视频解码器，其中，所述第一层的图片的各个空间区段精确地由第二层的图片的n个空间区段构成，n取决于所述长期语法元素的值，以及如果所述长期语法元素具有第二值，则所述视频解码器被配置用于在比预定时间段短的时间间隔内基于所述短期语法元素确定所述预定时间段内的层间偏移量。6.根据权利要求1所述的视频解码器，其中，所述视频解码器被配置为根据所述长期语法元素的所述值来决定开始或者不开始尝试对所述多层视频数据流的所述第二层进行解码。7.根据权利要求1所述的视频解码器，其中，所述视频解码器是混合式视频解码器。8.根据权利要求1所述的视频解码器，其中，所述长期语法元素具有指示在预定时间段期间所述第二层的所述图片被细分使得所述第二层的图片的空间区段之间的边界与所述第一层的图片的空间区段的每一个边界重叠的第一值。9.一种视频编码器，用于将场景编码成层的层级中的多层视频数据流，使得所述多层视频数据流能够根据通过细分所述层的图片而得到的空间区段进行解码，其中，所述视频编码器包括：预测器，被配置用于基于编码参数生成关于所述层的第一层的图片或第二层的图片的各个空间区段的预测信号；残差确定器，被配置用于确定与所述图片的空间区段有关的残差数据；以及熵解码器，被配置用于将所述编码参数和所述残差数据解码为所述多层视频数据流，其中，所述视频编码器被配置用于通过将长期语法元素和短期语法元素插入所述多层视频数据流来信号通知所述第一层和所述第二层的图片的细分，所述短期语法元素定义所述第一层和所述第二层的图片至所述第一层和所述第二层各自的空间区段的细分，所述短期语法元素包括指示所述第二层的图片的空间区段不与所述第一层的图片的空间区段空间上对齐的第一值，以及指示所述第二层的图片的至少一个空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的第二值，以及所述长期语法元素具有指示所述第二层的图片按照所述第二层的所述图片的至少一个所述空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的方式被细分的第一值。10.根据权利要求9所述的视频编码器，其中，所述视频编码器被配置用于：使用帧内图片空间预测对所述第一层的图片或第二层的图片进行编码，且用于各个空间区段的所述帧内图片空间预测在相应空间区段的边界线处中断；或者通过支持跨所述第一层的图片的空间区段的边界线的所述帧内图片空间预测并且对用于将所述第一层的图片的空间区段的子集单独地进行熵编码的熵上下文概率进行初始化，或者根据该子集之间的顺序在采用处于中间适配状态的所述第一层的图片的空间区段的之前子集的所述熵上下文概率的基础上；以及通过支持跨所述第二层的图片的空间区段的边界线的所述帧内图片空间预测并且对用于将所述第二层的图片的空间区段中的子集单独地进行熵编码的所述熵上下文概率初始化，或者根据该子集之间的顺序在采用处于中间适配状态的所述第二层的图片的空间区段的之前子集的所述熵上下文概率的基础上，使用所述帧内图片空间预测并利用适配所述熵上下文概率的熵编码对所述层的图片进行编码。11.根据权利要求9所述的视频编码器，其中，所述空间区段包括片。12.根据权利要求11所述的视频编码器，其中，所述视频编码器被配置用于利用帧内图片空间预测对所述层的图片进行编码，且用于各个片的所述帧内图片空间预测在相应片的边界线处中断。13.根据权利要求9所述的视频编码器，其中，如果所述长期语法元素被设置为所述第一值，则所述第一层的图片的各个空间区段精确地由第二层的图片的n个空间区段构成，n取决于所述长期语法元素的值。14.根据权利要求9所述的视频编码器，其中，所述长期语法元素具有指示在预定时间段期间所述第二层的所述图片被细分使得所述第二层的图片的空间区段之间的边界与所述第一层的空间区段的每一个边界重叠的第一值。15.一种用于存储视频数据的非临时性计算机可读介质，包括：数据流，存储在所述非临时性计算机可读介质中并且包括情景在层的层级中被编码的多层视频数据流，使用处理器通过执行操作来根据通过细分所述层的图片而得到的空间区段执行对所述多层视频数据流的解码，所述操作包括：从所述多层视频数据流熵解码数据以获得关于所述层的第一层的图片或第二层的图片的各个空间区段的残差数据和编码参数；至少基于所述编码参数生成与所述空间区段相关的预测信号；将所述预测信号和所述残差数据组合以重构所述图片的一部分，以及通过从所述多层视频数据流解码长期语法元素和短期语法元素来确定所述第一层和所述第二层的图片的细分，其中，所述长期语法元素具有指示所述第二层的图片按照所述第二层的所述图片的至少一个所述空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的方式被细分的第一值，以及基于所述短期语法元素确定所述第一层和所述第二层的图片至所述第一层和所述第二层各自的空间区段的细分，所述短期语法元素包括指示所述第二层的图片的空间区段不与所述第一层的图片的空间区段空间上对齐的第一值，以及指示所述第二层的图片的至少一个空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的第二值。16.根据权利要求15所述的非临时性计算机可读介质，其中，所述操作进一步包括：使用帧内图片空间预测对所述第一层的图片或第二层的图片进行解码，并且用于各个空间区段的所述帧内图片空间预测在相应空间区段的边界线处中断；或者通过将所述第一层的图片的空间区段并行解码且支持跨所述第一层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第一层的图片的空间区段的解码之间的解码延迟；以及通过将所述第二层的图片的空间区段并行解码且支持跨所述第二层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第二层的图片的空间区段的解码之间的解码延迟，来使用所述帧内图片空间预测对所述层的图片进行解码。17.根据权利要求15所述的非临时性计算机可读介质，其中，所述图片被细分成的所述空间区段包括片。18.根据权利要求17所述的非临时性计算机可读介质，其中，所述操作进一步包括：使用帧内图片空间预测对所述层的图片进行解码，且用于各个片的所述帧内图片空间预测在相应片的边界线处中断。19.根据权利要求15所述的非临时性计算机可读介质，其中，所述第一层的图片的各个空间区段精确地由第二层的图片的n个空间区段构成，n取决于所述长期语法元素的值。20.根据权利要求15所述的非临时性计算机可读介质，其中，所述长期语法元素具有指示在预定时间段期间所述第二层的所述图片被细分使得所述第二层的图片的空间区段之间的边界与所述第一层的图片的空间区段的每一个边界重叠的第一值。21.一种数字存储介质，存储多层视频数据流，所述多层视频数据流是利用从第一层至第二层的层间预测在层的层级中将场景编码而成的，使得所述多层视频数据流能够在将所述层的图片细分而成的空间区段中被并行解码，其中，所述多层视频数据流包括：长期语法元素结构(606)和短期语法元素(602)，所述短期语法元素限定在时间间隔内将所述第一层的图片和所述第二层的图片细分成空间区段；并且其中，如果将所述长期语法元素结构设定为以下的值：所述长期语法元素结构的第一可能值集合之外的值，且在比所述时间间隔大的预定时间段(608)内将所述短期语法元素设置成可能设置的集合之外的适当子集，所述适当子集被选择使得在所述预定时间段内将所述第二层的图片细分，使得所述第二层的图片的空间区段之间的边界与所述第一层的空间区段的每一个边界重叠；以及所述长期语法元素结构的第二可能值集合之外的值，且在所述预定时间段内将所述短期语法元素设置成所述可能设置的集合中的任一个，所述可能设置的集合包含至少一种设置和至少另一种设置，根据所述至少一种设置，所述第二层的图片的空间区段之间存在不与所述第一层的空间区段的边界中的任一个重叠的边界，并且根据所述至少另一种设置，所述第二层的图片的空间区段之间存在与所述第一层的空间区段的每一个边界重叠的边界。22.一种用于存储场景的方法，包括：在数字存储介质上存储多层视频数据流，所述多层视频数据流利用从第一层至第二层的层间预测在层的层级中将场景编码而成的，使得所述多层视频数据流能够在将所述层的图片细分而成的空间区段中被并行解码，其中，所述多层视频数据流包括：长期语法元素结构(606)和短期语法元素(602)，所述短期语法元素限定在时间间隔内将所述第一层的图片和所述第二层的图片细分成空间区段；并且其中，如果将所述长期语法元素结构设定为以下的值：所述长期语法元素结构的第一可能值集合之外的值，且在比所述时间间隔大的预定时间段(608)内将所述短期语法元素设置成可能设置的集合之外的适当子集，所述适当子集被选择使得在所述预定时间段内将所述第二层的图片细分，使得所述第二层的图片的空间区段之间的边界与所述第一层的空间区段的每一个边界重叠；以及所述长期语法元素结构的第二可能值集合之外的值，且在所述预定时间段内将所述短期语法元素设置成所述可能设置的集合中的任一个，所述可能设置的集合包含至少一种设置和至少另一种设置，根据所述至少一种设置，所述第二层的图片的空间区段之间存在不与所述第一层的空间区段的边界中的任一个重叠的边界，并且根据所述至少另一种设置，所述第二层的图片的空间区段之间存在与所述第一层的空间区段的每一个边界重叠的边界。23.一种用于呈现场景的方法，包括：接收多层视频数据流，所述多层视频数据流是利用从第一层至第二层的层间预测在层的层级中将场景编码而成的，使得所述多层视频数据流能够在将所述层的图片细分而成的空间区段中被并行解码，其中，所述多层视频数据流包括：长期语法元素结构(606)和短期语法元素(602)，所述短期语法元素限定在时间间隔内将所述第一层的图片和所述第二层的图片细分成空间区段；并且其中，如果将所述长期语法元素结构设定为以下的值：所述长期语法元素结构的第一可能值集合之外的值，且在比所述时间间隔大的预定时间段(608)内将所述短期语法元素设置成可能设置的集合之外的适当子集，所述适当子集被选择使得在所述预定时间段内将所述第二层的图片细分，使得所述第二层的图片的空间区段之间的边界与所述第一层的空间区段的每一个边界重叠；以及所述长期语法元素结构的第二可能值集合之外的值，且在所述预定时间段内将所述短期语法元素设置成所述可能设置的集合中的任一个，所述可能设置的集合包含至少一种设置和至少另一种设置，根据所述至少一种设置，所述第二层的图片的空间区段之间存在不与所述第一层的空间区段的边界中的任一个重叠的边界，并且根据所述至少另一种设置，所述第二层的图片的空间区段之间存在与所述第一层的空间区段的每一个边界重叠的边界，以及将所述多层视频数据流输入编码器。24.一种用于将空间可伸缩位流(40)解码成图片的解码器，所述图片被编码在不同的空间层中，并且对于所述空间层中的至少一个来说所述图片被编码在第一空间区段中，其中，所述解码器被配置为：对第一空间层的图片(12)进行上采样以获得上采样参考图片，并且使用所述上采样参考图片预测第二空间层的图片(15)，其中，所述解码器响应于所述空间可伸缩位流中的语法元素(616；例如，independent_tile_upsampling_idc)以根据所述语法元素插入(620)所述第一空间层的图片，使得依赖于所述第一空间区段的所述上采样参考图片的分区(622)的任一部分独立于与由所述分区的其他部分中的任一个覆盖的所述第一空间层的图片的部分；或者使得所述上采样参考图片的所述分区(622)的任一部分依赖于由空间上与相应部分相邻的所述分区的另一部分覆盖的所述第一空间层的图片的部分。25.根据权利要求24所述的解码器，其中，所述解码器被配置为并行解码所述不同的空间层。26.根据权利要求24所述的解码器，其中，所述解码器响应于所述空间可伸缩位流中的所述语法元素(616)以根据所述语法元素插入(620)所述第一空间层的图片，使得由所述第一空间区段中的任一个在空间上覆盖的所述上采样参考图片中的任一部分独立于与由所述第一空间区段中的另一个覆盖的所述第一空间层的图片中的部分；或者使得由所述第一空间区段中的任一个在空间上覆盖的所述上采样参考图片的任一部分依赖于由所述第一空间区段中与相应空间区段相邻的另一空间区段覆盖的所述第一空间区段的图片的部分。27.根据权利要求24所述的解码器，其中，所述空间可伸缩位流具有在所述第一空间区段中被编码成所述空间可伸缩位流的所述第二空间层的图片。28.根据权利要求24所述的解码器，其中，所述解码器被配置为使用帧内图片空间预测执行解码，并且用于各个第一空间区段的所述帧内图片空间预测在相应的第一空间区段的边界线处中断；或者并且支持跨所述第一空间区段的边界线的所述帧内图片空间预测，使用熵上下文概率的自适应性将各个第一空间区段熵解码并且将所述第一空间区段的所述熵上下文概率初始化，所述第一空间区段的所述熵上下文概率独立于任一其他的第一空间区段，或者根据所述第一空间区段之中的顺序适配之前的第一空间区段的所述熵上下文概率以适配达到所述之前的第一空间区段的中间位置。29.根据权利要求24所述的解码器，其中，所述空间可伸缩位流具有在所述第一空间区段中被编码成所述空间可伸缩位流的所述第一空间层的图片，其中，所述空间可伸缩位流具有在第二空间区段中被编码成所述空间可伸缩位流的所述第二空间层的图片，其中，所述解码器响应于所述空间可伸缩位流中的所述语法元素(606)以根据所述语法元素内插所述第一空间层的图片(例如，independent_tile_upsampling_idc＝2)，使得由第二片中的任一个在空间上覆盖的所述上采样参考图片的任一部分独立于由所述第二片中的另一个在空间上覆盖的所述第一空间层的图片中的部分；或者(例如，independent_tile_upsampling_idc＝1)，使得由第一片和所述第二片的空间共置边界线在空间上限定的所述上采样参考图片的任一部分独立于与由所述第一片和所述第二片的空间共置边界线在空间上限定的由所述上采样参考图片的另一部分覆盖的所述第一空间层的图片的部分；或者(例如，independent_tile_upsampling_idc＝0)，使得由所述第二片中的任一个在空间上覆盖的所述上采样参考图片中的任一部分依赖于与由与相应片相邻的另一第二片覆盖的所述第一空间层的图片中的部分。30.根据权利要求24所述的解码器，其中，所述解码器被配置为使用回退规则填充在内插所述第一空间层的图片中使用的滤波核的片段，所述滤波核伸出至所述第一空间层的图片的任一部分中、被所述分区的其他分区中的任一个覆盖，根据所述回退规则，独立于所述滤波核伸出至其中的所述第一空间层的所述图片的所述相应部分填充所述片段，以实现独立性。31.根据权利要求30所述的解码器，其中，所述解码器被配置为还在填充伸出所述第一空间层的图片的外边界线的所述滤波核的片段时使用所述回退规则。32.根据权利要求24所述的解码器，其中，所述解码器是视频解码器并且所述解码器被配置为以每个图片或者每个图片序列为基础响应于所述空间可伸缩位流中的所述语法元素(606)。33.根据权利要求24所述的解码器，其中，所述空间可伸缩位流具有在所述第一空间区段中被编码成所述空间可伸缩位流的所述第一空间层的图片，其中，所述空间可伸缩位流具有在第二空间区段中被编码成所述空间可伸缩位流的所述第二空间层的图片，其中，所述分区的边界对应于所述第一空间区段与所述第二空间区段的边界或者所述第二空间区段的边界的空间重叠的逻辑与，其中，所述解码器根据所述语法元素响应于所述空间可伸缩位流中的所述语法元素(606)以填充在所述第一空间层的图片的内插中使用的滤波核的片段，所述滤波核使用回退规则从一个分区伸出至所述分区的相邻分区中，根据所述回退规则独立于所述滤波核伸出至其中的所述第一空间层的图片的相应部分、或者使用所述滤波核伸出至其中的所述第一空间层的图片的相应部分填充所述片段。34.根据权利要求24所述的解码器，其中，所述解码器被配置为使用依赖于所述语法元素(606)的层间偏移量将所述第一层和所述第二层并行解码。35.根据权利要求24所述的解码器，其中，所述解码器被配置为根据所述语法元素放置所述分区的边界，以对应于所述第一空间区段和所述第二空间区段的边界或者所述第二空间区段的边界的空间重叠的逻辑与。36.一种编码器，用于在不同空间层中将图片编码成空间可伸缩位流并且对于所述空间层中的至少一个在第一空间区段中对所述图片进行编码，其中，所述编码器被配置为：对第一空间层的图片进行上采样以获得上采样参考图片并且使用所述上采样参考图片预测第二空间层的图片，其中，所述编码器被配置为根据语法元素设置并且将语法元素(606)插入到所述空间可伸缩位流中并且内插所述第一空间层的图片，使得依赖于所述第一空间区段的所述上采样参考图片的分区的任一部分独立于由所述分区的其他部分中的任一个覆盖的所述第一空间层的图片的部分；或者使得所述上采样参考图片的所述分区的任一部分依赖于由在空间上与相应部分相邻的所述分区的另一部分覆盖的所述第一空间层的图片的部分。37.根据权利要求36所述的解码器，其中，所述编码器被配置为根据所述语法元素设置并且将所述语法元素插入到所述空间可伸缩位流中并且内插所述第一空间层的图片，使得由所述第一空间区段中的任一个空间覆盖的所述上采样参考图片的任一部分独立于由所述第一空间区段的任意其它部分覆盖的所述第一空间层的图片的部分；或者使得由所述第一空间区段中的任一个空间覆盖的所述上采样参考图片的任一部分依赖于由与相应的第一空间区段相邻的所述第一空间区段中的另一空间区段覆盖的所述第一空间层的图片的部分。38.根据权利要求36所述的编码器，其中，所述编码器被配置为将所述第一空间层的图片编码成所述第一空间区段中的所述空间可伸缩位流。39.根据权利要求38所述的编码器，其中，所述编码器被配置为使用帧内图片空间预测对所述第一空间层的图片进行编码，且用于各个第一空间区段的所述帧内图片空间预测在相应第一空间区段的边界线处中断。40.根据权利要求38所述的编码器，其中，所述编码器被配置为将所述第二空间层的图片在第二空间区段中编码成所述空间可伸缩位流，其中，所述编码器被配置为根据所述语法元素设置并且将所述语法元素插入到所述空间可伸缩位流中并且内插所述第一空间层的图片，使得由所述第二空间区段中的任一个在空间上覆盖的所述上采样参考图片的任一部分独立于由所述第二空间区段中的另一个在空间上覆盖的所述第一空间层的图片的部分；或者使得由所述第一空间区段和所述第二空间区段的空间共置边界线在空间上限定的所述上采样参考图片的任一部分独立于由所述第一空间区段和所述第二空间区段的空间共置边界线在空间上限定的、由所述上采样参考图片的另一分区覆盖的所述第一空间层的图片的部分；或者使得由所述第二空间区段中的任一个在空间上覆盖的所述上采样参考图片的任一部分依赖于由与相应空间区段相邻的另一第二空间区段覆盖的所述第一空间层的图片的部分。41.根据权利要求40所述的编码器，其中，所述编码器被配置为使用帧内图片空间预测对所述第二空间层的图片编码，且用于各个第二空间区段的所述帧内图片空间预测在相应第二空间区段的边界线处中断。42.根据权利要求36所述的编码器，其中，所述编码器被配置为在内插所述第一空间层的图片时使用滤波核的填充片段以实现与所述第一空间层的图片中的任一部分的独立性，所述滤波核使用回退规则伸出至所述第一空间层的图片的任一部分中，根据所述回退规则，独立于所述滤波核伸出至其中的所述第一空间层的图片的相应部分填充所述片段。43.根据权利要求42所述的编码器，其中，所述编码器被配置为还在填充伸出所述第一空间层的图片的外边界线的所述滤波核的片段时使用所述回退规则。44.根据权利要求36所述的编码器，其中，所述编码器是视频编码器并且所述编码器被配置为以每个图片或者每个图片序列为基础设置并且将所述语法元素插入到所述空间可伸缩位流中。45.一种视频解码器，用于将多层视频数据流解码成使用从第一层至第二层的层间预测而被编码在层的层级中的情景，所述视频解码器利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历之间的层间延迟，以时间重叠方式顺次遍历空间区段支持在将所述层的图片分区而成的空间区段中并行解码所述多层视频数据流，所述视频解码器被配置为：检测所述多层视频数据流的长期语法元素结构(642；例如，min_spatial_segment_delay)使得：如果将所述长期语法元素结构(例如，min_spatial_segment_delay≠0)设置成可能值的第一集合中的值，则使用所述长期语法元素的值预先确定预定时间段内的层间偏移量，并且在比所述预定时间段短的时间间隔内基于所述多层视频数据流的所述短期语法元素(602)分别周期性地确定所述第一层的图片的空间区段和所述第二层的图片的空间区段的大小和定位以及所述第一层的图片与所述第二层的图片的空间采样分辨率；如果将所述长期语法元素设置成与可能值的所述第一集合不相交的可能值的第二集合(例如，min_spatial_segment_delay＝0)中的值，则基于所述多层视频数据流的所述短期语法元素在比所述预定时间段短的时间间隔内周期性地确定所述预定时间段内的层间偏移量。46.根据权利要求45所述的视频解码器，其中，所述视频解码器被配置为利用相同图片的紧随的连续子流的遍历之间的帧内图片子流间延迟以及所述第一层的图片的子流的遍历相对于所述第二层的图片的子流的遍历的层间偏移量，通过以时间重叠方式顺次遍历子流的波前并行处理将所述多层视频数据流并行解码成将所述层的图片分区而成的并且由所述层的图片被规则细分而成的块的行构成的子流。47.根据权利要求46所述的视频解码器，其中，所述视频解码器被配置为：将所述子流并行解码且支持跨所述子流的边界线的所述帧内图片空间预测。48.根据权利要求45所述的视频解码器，其中，所述视频解码器被配置为将所述多层视频数据流解码成将层的图片分区而成的片，且在所述第一层和所述第二层的图片的每一个内以所述片之间的片顺序对所述片进行遍历，并且利用所述第一层的图片的片的遍历相对于所述第二层的图片的片的遍历的层间偏移量将所述第一层的图片的紧随的连续片和所述第二层的图片的的紧随的连续片来对所述层的图片分区而成的连续片并行解码。49.根据权利要求48所述的视频解码器，其中，所述视频解码器被配置为：使用帧内图片空间预测将所述第一层的图片和所述第二层的图片解码，且用于各个片的所述帧内图片空间预测在相应片的边界线处中断。50.根据权利要求45所述的视频解码器，其中，所述视频解码器被配置为在通过使用所述长期语法元素的值作为用于在所述第一层的图片的空间区段的单元中的所述层间偏移量的测量值来确定所述层间偏移量时使用所述长期语法元素的值。51.根据权利要求45所述的视频解码器，其中，所述视频解码器被配置为在通过使用所述长期语法元素的值作为所述第一层的图片的空间区段的数目来确定所述层间偏移量时使用所述长期语法元素的值，通过该值解码所述第二层的图片的第一空间区段相对于开始所述第一层的图片的解码和遍历被延迟。52.一种视频编码器，用于使用从第一层至第二层的层间预测在层的层级中被编码的情景编码成多层视频数据流，使得能够利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历之间的层间偏移量，通过以时间重叠方式顺次遍历空间区段在将所述层的图片分区而成的空间区段中对所述多层视频数据流并行解码，所述视频编码器被配置为：设置长期语法元素结构(min_spatial_segment_delay)和短期语法元素并且将所述长期语法元素结构和所述短期语法元素插入到所述多层视频数据流中，所述多层视频数据流的所述短期语法元素分别周期性地限定所述第一层的图片的空间区段和所述第二层的图片的空间区段在时间间隔内的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率；其中，所述编码器被配置为在下列设置之间切换：将所述长期语法元素结构(min_spatial_segment_delay≠0)设置为可能值的第一集合中的值，且该值在比所述时间间隔大的预定时间段内发出所述层间偏移量的信令，且在所述预定时间段内将所述短期语法元素设置成可能设置的集合之外的适当子集，所述...

【专利技术属性】
技术研发人员：卡斯滕·聚林，托马斯·席尔，瓦莱里·乔治，德特勒夫·马佩，罗伯特·斯库平，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：美国,US