高效可伸缩编码概念制造技术

本公开描述高效可伸缩编码概念。视频解码器，解码情景在层的层级中编码成的多层视频数据流，根据通过细分所述层的图片而得到的空间区段对多层视频数据流解码，包括：熵解码器，从多层视频数据流熵解码数据获得空间区段的残差数据和编码参数；预测器，至少基于编码参数生成与空间区段相关的预测信号；组合器，将预测信号和残差数据组合以重构图片的一部分，通过从多层视频数据流解码长期和短期语法元素确定第一层和第二层的图片的细分，长期语法元素有指示第二层图片按第二层图片一个空间区段与第一层图片的相应空间区段空间对齐方式细分的第一值，短期语法元素包括指示第二层的至少一个图片与第一层的图片的相应空间区段空间上对齐的第二值。空间上对齐的第二值。空间上对齐的第二值。

【技术实现步骤摘要】
高效可伸缩编码概念
[0001]本申请是分案申请，其母案申请的申请号为201811477939.1，申请日为2014年1月4日，专利技术名称为“高效可伸缩编码概念”。


[0002]本申请涉及诸如可伸缩视频编码等可伸缩编码概念。

技术介绍

[0003]在本领域中，已知可伸缩编码概念。例如，在视频编码中，H.264涉及SVC扩展(可伸缩视频编码)，从而允许基础层编码视频数据流附加有额外的增强层数据，以使得从诸如空间分辨率、信噪比(SNR)等不同的方面提升基础层视频质量的重构品质。通过SVC配置文件也可扩展最近定稿的HEVC标准。HEVC在许多方面不同与其前期H.264，诸如，用于并行解码/编码的适用性和低延迟传输等。至于涉及的并行编码/解码，HEVC支持WPP(波前并行处理)编码/解码以及片(tile)并行处理概念。根据WPP概念，以行式方式将各个图片分割成子流。自左至右指导每个子流内的编码顺序。子流具有其中限定的解码顺序，即，从顶部子流引导至底部子流。使用概率自适应性执行子流的熵编码。针对各个子流独立完成概率初始化，或者基于熵编码时使用的概率的初始自适配状态，使紧随的前一子流在第二CTB(编码树块)结束时从前一子流的左手边缘相应地到达特定位置。空间预测不需要受限制。即，空间预测可跨越中间连续子流之间的边界。通过这种方式，可将子流与形成波前的当前编码/解码的位置并行编码/解码，波前通过自左下方至右上方、自左至右的倾斜方式前行。根据片概念，将图片分段成片并且为了使这些片的编码/解码可能经过并行处理，抑制跨边界线的空间预测。仅可允许跨片边界线的环内滤波。为了支持低延迟处理，切片概念被延伸为：允许切片可切换，以将熵概率重新初始化，采用在处理之前子流过程中保存的熵概率，即，当前切片开始属于的子流之前的子流，并且采用连续被更新的熵概率，直至紧随的前一切片结束。通过这种措施，使得WPP和片概念更适用于低延迟处理。
[0004]然而，更有利于具有进一步改善可伸缩编码概率的正在讨论的概念。
[0005]因此，本专利技术的目标是提供进一步改善可伸缩编码概念的概念。
[0006]通过未决独立权利要求的主题实现本目标。

技术实现思路

[0007]本申请的第一方面涉及结合并行处理概念的可伸缩视频编码。诸如WPP和片区段等并行处理概念允许以将图片细分而成的空间区段(例如以子流、片、或者切片的形式)将视频的图片并行解码。正如空间帧内图片预测，该层间预测通过层间预测限制彼此相互依赖的解码层的并行程度。更精确地，空间帧内层预测限制单层的图片解码时的并行程度，通过不同方式解决这种问题。例如，当使用片作为空间区段时，空间帧内层预测受限于不能跨越边界线。在WPP子流的情况下，通过交错方式执行其并行处理以产生适当的倾斜处理波阵面。在层间预测的情况下，根据参考层的共置部分执行依赖层的解码。因此，依赖层的空间
区段的解码可最先开始，此时，已经将参考层的共置部分处理/解码。如同不同视图作为不同层的层间预测的情况，或者归因于自低层至高层的上采样，在允许“运动补偿”的情况下，放大了“共置部分”的区域。即，易于使使用层间预测的可伸缩解码与并行解码的视频解码器从关于这些相关依赖层的短期语法元素推导相互依赖层的并行处理的并行程度，短期语法元素限定将这些相互依赖层的图片细分成其空间区段。然而，稳定地完成该操作是比较繁琐并且在计算上比较复杂。除此之外，当执行该操作时，视频解码器不能够适当地调度并行运行的解码线程以将多层视频数据流解码。因此，根据本专利技术的第一方面，通过引入长期语法元素结构改善了多层视频数据流的相互依赖层的并行解码，当长期语法元素结构假设特定值时，保证了视频解码器在比短期语法元素的时间间隔更大的预定时间段内，将依赖层的图片细分成使得第二层的图片的空间区段之间的边界与第一层的空间区段的每个边界重叠。通过这种措施，视频解码器能够依赖于多层视频数据流被适当地编码的事实，以使得将相互依赖层的图片细分成空间区段，而不疏忽地降低这些相互依赖层之间可行的并行程度。更确切地，在预定时间段内，通过开发不同层中的空间区段的边界通过信号方式彼此重叠的约束，解码器可提前将空间区段的分布调度到视频解码器的并行处理线程中。尽管如此，长期语法元素结构允许关闭该保证，从而允许在其他应用情景或者使高端视频解码器基于短期仅根据短期语法元素执行并行处理调度，即，不开发关于相互依赖层的空间区段的边界之间的相对定位的任何保证。出于决定机会主义解码之目的还可使用长期语法元素。
[0008]本申请的另一方面关于可伸缩性编码，根据其相互依赖层的图片结合相互依赖层的并行处理利用自基础层至增强层的上采样而经历层间预测。具体地，该方面关于用于执行自基础层至增强层的上采样的内插法。自然，该内插法可使基础层图片的相邻分区变得彼此依赖。即，内插法使上采样的基础层参考图片的各部分的外圆周处的内插结果与基础层图片的共置分区内的两个像素/像元以及相邻分区的像素/像元相互依赖。换言之，在被“涂黑”或者拓宽的增强层图片中预测到用作共置部分的层间预测的参考的基础层图片的区域。顺便提及，通过层间预测的内插法而导致的相互依赖性对相互依赖层的并行处理时可实现的并行程度产生不利影响。例如，根据本专利技术的第二方面，引入了语法元素，语法元素通知解码器：沿着基础层的分区修改内插以不混合基础层图片的相邻分区的像素/像元，基础层图片的分区及其上采样型式取决于增强层图片的空间区段或者基础层与增强层的空间区段。通过引入该语法元素，编码器能够在两种模式之间切换：如果内插法受限于使基础层图片的部分自包含，即，启动限制，则随着沿着基础层图片的分区边缘的内插质量轻微地降低，在相互依赖层的并行解码时将最大程度地增加所获得的并行程度，然而，在不限制内插法的情况下，并行程度降低且分区边缘处的内插质量增加。
[0009]本申请的第三方面关于具有相互依赖层的并行解码的可伸缩视频编码并且通过引起长期语法元素结构试图减轻解码器执行并行处理调度的负担，即，将空间区段分布到并行处理线程中，长期语法元素结构允许解码器在比该时间间隔更大的预定时间段内确定层间偏移量或者层间延迟，在该时间间隔内，短期语法元素发出相互依赖层的图片的空间区段的大小和定位、以及这些图片的空间采样分辨率的信号。通过引入发出层间偏移量的信令的上期语法元素，视频编码器能够在两种模式之间切换：根据第一模式，编码器向解码器保证了与相互依赖层的解码之间的特定并行程度对应的特定的层间偏移量并且在该预
定时间段内相应地设置短期语法元素，以使得实际层间偏移量等于保证的一或者甚至更低。根据另一模式，不向解码器提供该保证，因此，编码器无需设置短期语法元素以满足另一白哦准，诸如，可选地，将短期语法元素适配成该预定时间段内的视频内容。因此，当服从整个预定时间段内的该计数时，在时间上共置对其的增强层图片的第一空间区段开始不面临任何冲突时，至少相对于增强层图片的第一空间区段该预定时间段内的解码，在数据流中明确发出信号的层间偏移量可以是不得不被解码的最小化的基础层空间区段的计数。
[0010]本申请的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频解码器，用于解码情景在层的层级中被编码成的多层视频数据流，其中，所述视频解码器被配置为根据通过细分所述层的图片而得到的空间区段对所述多层视频数据流解码，所述视频解码器包括：熵解码器，被配置用于从所述多层视频数据流熵解码数据以获得关于所述层的第一层的图片或第二层的图片的各个空间区段的残差数据和编码参数；预测器，被配置用于至少基于所述编码参数生成与所述空间区段相关的预测信号；组合器，被配置用于将所述预测信号和所述残差数据组合以重构所述图片的一部分，其中，所述视频解码器被配置用于通过从所述多层视频数据流解码长期语法元素和短期语法元素来确定所述第一层和所述第二层的图片的细分，其中，所述长期语法元素具有指示所述第二层的图片按照所述第二层的所述图片的至少一个所述空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的方式被细分的第一值，以及基于所述短期语法元素确定所述第一层和所述第二层的图片至所述第一层和所述第二层各自的空间区段的细分，所述短期语法元素包括指示所述第二层的图片的空间区段不与所述第一层的图片的空间区段空间上对齐的第一值，以及指示所述第二层的图片的图片的至少一个空间区段与所述第一层的图片的相应的一个所述空间区段空间上对齐的第二值。2.根据权利要求1所述的视频解码器，其中，所述视频解码器被配置用于：使用帧内图片空间预测对所述第一层的图片或第二层的图片进行解码，并且用于各个空间区段的所述帧内图片空间预测在相应空间区段的边界线处中断；或者通过将所述第一层的图片的空间区段并行解码且支持跨所述第一层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第一层的图片的空间区段的解码之间的解码延迟；以及通过将所述第二层的图片的空间区段并行解码且支持跨所述第二层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第二层的图片的空间区段的解码之间的解码延迟，来使用所述帧内图片空间预测对所述层的图片进行解码。3.根据权利要求1所述的视频解码器，其中，所述图片被细分成的所述空间区段包括片。4.根据权利要求3所述的视频解码器，其中，所述视频解码器被配置用于：使用帧内图片空间预测对所述层的图片进行解码，且用于各个片的所述帧内图片空间预测在相应片的边界线处中断。5.根据权利要求1所述的视频解码器，其中，所述第一层的图片的各个空间区段精确地由第二层的图片的n个空间区段构成，n取决于所述长期语法元素的值，以及如果所述长期语法元素具有第二值，则所述视频解码器被配置用于在比预定时间段短的时间间隔内基于所述短期语法元素确定所述预定时间段内的层间偏移量。6.根据权利要求1所述的视频解码器，其中，所述视频...

【专利技术属性】
技术研发人员：卡斯滕，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：