用于局部双树结构下的基于调色板的编解码模式的方法和装置制造方法及图纸

本公开的各方面提供用于视频编码/解码的方法和装置。在一些示例中，一种用于视频解码的装置包括接收电路和处理电路。例如，处理电路从已编码视频码流中解码出块的预测信息，且基于所述块的尺寸与阈值的比较确定是否允许基于调色板的编解码模式用于所述块，且基于所述预测信息，确定所述块是否处于局部双树结构下。此外，处理电路基于对是否允许所述基于调色板的编解码模式用于所述块的确定和对所述块是否处于所述局部双树结构下的确定，对所述块进行解码。块进行解码。块进行解码。

【技术实现步骤摘要】
【国外来华专利技术】用于局部双树结构下的基于调色板的编解码模式的方法和装置
[0001]引用并入
[0002]本申请要求于2020年11月13日提交的美国专利申请第17/097,415号“用于局部双树结构下的基于调色板的编解码模式的方法和装置(METHOD AND APPARATUS FOR PALETTE BASED CODING MODE UNDER LOCAL DUAL TREE STRUCTURE)”的优先权，该专利申请要求于2020年1月20日提交的美国临时申请第62/963,216号“具有局部双树编解码结构的简化的调色板模式编解码(SIMPLIFIED PALETTE MODE CODING WITH LOCAL DUAL TREE CODING STRUCTURE)”的优先权。这些先前申请的全部公开内容在此通过引用整体并入本文。


[0003]本申请描述总体上涉及视频编解码的实施例。

技术介绍

[0004]本文所提供的背景描述旨在整体呈现本申请的背景。在
技术介绍
部分以及本说明书的各个方面中所描述的目前已署名的专利技术人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。
[0005]通过具有运动补偿的帧间图片预测技术，可以进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920
×
1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60个图片或60Hz。未压缩的视频具有特定的比特率要求。例如，每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60Hz帧率)要求接近1.5Gbit/s带宽。一小时这样的视频就需要超过600GB的存储空间。
[0006]视频编码和解码的一个目的，是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽和/或存储空间的要求，在某些情况下可降低两个或更多数量级。无损压缩和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视分发应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：更高的允许/容许失真可产生更高的压缩比。
[0007]视频编码器和解码器可利用几大类技术，例如包括：运动补偿、变换、量化和熵编解码。
[0008]视频编解码器技术可包括称作帧内编码的技术。在帧内编码中，在不参考先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以为帧内图片。帧内图片及其衍生(例如独立解码器刷新图片)可用于复位解码器状态，并且因此可用作已编码
的视频比特流和视频会话中的第一图片，或用作静态图像。帧内块的样本可用于变换，且可在熵编解码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小化的技术。在某些情形下，变换后的DC值越小，且AC系数越小，则在给定的量化步长尺寸下需要越少的比特来表示熵编解码之后的块。
[0009]如同从诸如MPEG
‑
2代编解码技术中所获知的，传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括：试图从例如周围样本数据和/或元数据中得到数据块的技术，其中周围样本数据和/或元数据是在空间相邻的编码/解码期间、且在解码顺序之前获得的。种技术后来被称为"帧内预测"技术。需要注意的是，至少在某些情形下，帧内预测仅使用当前正在重建的图片中的参考数据，而不使用参考图片的参考数据。
[0010]帧内预测可以有很多不同的形式。当在给定的视频编码技术中可以使用超过一种这样的技术时，所使用的技术可以按帧内预测模式进行编码。在某些情形下，模式可具有子模式和/或参数，且这些模式可单独编码或包含在模式码字中。针对给定模式/子模式/参数组合，使用哪个码字可通过帧内预测影响编码效率增益，因此用于将码字转换成比特流的熵编解码技术也会出现这种情况。
[0011]H.264引入了某种帧内预测模式，其在H.265中进行了改进，且在诸如联合探索模型(JEM)，通用视频编码(VVC)和基准集(BMS)的更新的编解码技术中进一步被改进。通过使用属于已经可用的样本的相邻样本值可以形成预测块。将相邻样本的样本值按照某一方向复制到预测块中。对所使用方向的引用可以被编码在比特流中，或者本身可以被预测。
[0012]参照图1，右下方示出了来自H.265的33个可能的预测方向(对应35个内部模式中的33个角度模式)中已知的八个预测方向的集合。箭头会聚的点(101)表示正在被预测的样本。箭头表示预测样本所根据的方向。例如，箭头(102)表示根据右上方与水平方向成45度角的一个或多个样本，预测样本(101)。类似地，箭头(103)表示根据左下方与水平方向成22.5度角的一个或多个样本，预测样本(101)。
[0013]仍然参考图1，在左上方示出了一个包括4
×
4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)包括16个样本，每个样本由“S”、以及其在Y维度上的位置(例如，行索引)和在X维度上的位置(例如，列索引)来标记。例如，样本S21是Y维度上的第二个样本(从顶部开始)和X维度上的第一个(从左开始)样本。类似地，在块(104)中，样本S44在X维度和Y维度上都是第四个样本。由于该块为4
×
4尺寸的样本，因此S44位于右下角。进一步，示出了遵循类似编号方案的参考样本。参考样本用"R"、以及其相对于块(104)的Y位置(例如，行索引)和X位置(例如，列索引)来标记。在H.264与H.265中，预测样本与正在重建的块相邻，因此不需要使用负值。
[0014]帧内图片预测可以通过从用信号表示的预测方向所占用的相邻样本中复制参考样本值来实现。例如，假设已编码视频比特流包括针对这个块的信令，该信令指示与箭头(102)一致的预测方向，即，根据右上方与水平方向成45度角的一个或多个预测样本来预测样本。在这种情况下，根据同一R05，预测样本S41、S32、S23和S14。然后，根据参考样本R08，预测样本S44。
[0015]在某些情况下，为了计算参考样本，尤其是当方向不能被45度整除时，多个参考样本的值可以通过例如内插进行合并。
[0016]随着视频编码技术的发展，可能的方向的数量已经增加了。在H.264(2003年)中，
可以表示九种不同的方向。在H.265(2013年)中数据增加到了33个。以及，JEM/VVC/BMS在公开时，可以支持多达65个方向。已经进行了实验来识别最可能的方向，并且熵编解码中的某些技术用于以少量比特来表示那些可能的方向，对于较不可能的方向本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在解码器中进行视频解码的方法，其特征在于，包括：由处理器从已编码视频码流中，解码出块的预测信息；由所述处理器基于所述块的尺寸与阈值的比较，确定是否允许基于调色板的编解码模式用于所述块；由所述处理器基于所述预测信息，确定所述块是否处于局部双树结构下；以及由所述处理器基于对是否允许所述基于调色板的所述编解码模式用于所述块的确定和对所述块是否处于所述局部双树结构下的确定，对所述块进行解码。2.根据权利要求1所述的方法，进一步包括：响应于所述块的所述尺寸小于所述阈值，不允许所述基于调色板的所述编解码模式用于所述块。3.根据权利要求1所述的方法，其中，所述阈值被定义为使得响应于所述块大于所述阈值而不允许所述局部双树结构。4.根据权利要求1所述的方法，进一步包括：响应于所述块是色度块且所述色度块的尺寸小于所述阈值，不允许所述基于调色板的所述编解码模式用于所述块。5.根据权利要求1所述的方法，进一步包括：基于所述块的模式类型和所述块的树类型的组合，不允许所述基于调色板的所述编解码模式用于所述块，所述组合指示所述块为所述局部双树结构下的色度块。6.根据权利要求1所述的方法，进一步包括：响应于允许所述基于调色板的所述编解码模式，从所述已编码视频码流中，解码出标志，所述标志指示所述基于调色板的所述编解码模式是否用于所述块；响应于所述标志指示所述基于调色板的所述编解码模式用于所述块，使用所述基于调色板的所述编解码模式对所述块进行解码；以及响应于所述块处于所述局部双树结构下，绕过对调色板预测器列表的更新。7.根据权利要求6所述的方法，进一步包括：响应于不触发所述局部双树结构，基于在所述块的所述解码中使用的调色板更新所述调色板预测器列表。8.根据权利要求1所述的方法，进一步包括：响应于允许所述基于调色板的所述编解码模式，从所述已编码视频码流中，解码出标志，所述标志指示所述基于调色板的所述编解码模式是否用于所述块；以及响应于所述标志指示所述基于调色板的所述编解码模式用于所述块，且所述块处于所述局部双树结构下，基于具有已减小的最大尺寸的调色板对所述块进行解码。9.根据权利要求8所述的方法，进一步包括：基于在所述块的所述解码中使用的所述调色板，更新调色板预测器列表，所述调色板预测器列表的尺寸受到已减小的最大尺寸的限制。10.一种用于视频解码的装置，其特征在于，包括：处理电路，被配置为：从已编码视频码流中，解码出块的预测信息；基于所述块的尺寸与阈值的比较，确定是否允许基于调色板的编解码模式用于所述
块；基于所述预测信息，确定所述块是否处于局部双树结构下；以及基于对是否允许所述基于调色板的编解码模式用于所述块的确定和对所述块是否处于所述局部双树结构下的确定，对所述块进行解码...

【专利技术属性】
技术研发人员：许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：