具有参考图片重采样(RPR)的用于亮度和色度的自适应上采样滤波器制造技术

已编码信息指示将自适应上采样滤波器应用于当前图片中的当前块。确定当前块的多个子块中每一个子块的相应类别。从自适应上采样滤波器的多个滤波器系数集中确定多个子块中每一个子块的相应滤波器系数集。该相应滤波器系数集是基于各个子块对应的至少一个类别和应用于当前图片的参考图片的参考像素重采样(RPR)的相应采样率而确定的。相应采样率与RPR的多个相位中的一个相位相关联。将自适应上采样滤波器应用于当前块，以基于确定的相应的滤波器系数集，生成当前块的经滤波的已重建样本，而不应用次级自适应环路滤波器(ALF)。而不应用次级自适应环路滤波器(ALF)。而不应用次级自适应环路滤波器(ALF)。

【技术实现步骤摘要】
【国外来华专利技术】具有参考图片重采样(RPR)的用于亮度和色度的自适应上采样滤波器
[0001]引用并入
[0002]本申请要求于2022年7月29日提交的美国专利申请17/877,818、“具有参考图片重采样(RPR)的用于亮度和色度的自适应上采样滤波器(ADAPTIVE UP
‑
SAMPLING FILTER FOR LUMA AND CHROMA WITH REFERENCE PICTURE RESAMPLING(RPR))”的优先权，该美国专利申请要求于2021年8月2日提交的美国临时专利申请63/228,560、“具有参考图片重采样(RPR)的用于亮度和色度的自适应上采样滤波器(Adaptive Up
‑
Sampling Filter For Luma and Chroma With Reference Picture Resampling(RPR))”的优先权。在先申请的公开内容通过引用整体并入本申请中。


[0003]本公开描述了大体上涉及视频编解码的实施例。

技术介绍

[0004]本文中提供的
技术介绍
描述是为了大体上呈现本申请的上下文。在此
技术介绍
部分描述的程度上，当前署名的专利技术人的工作，以及在本申请提交时可能不具有作为现有技术的资格的描述的各方面，既不明确认为也不隐含认为是本申请的现有技术。
[0005]未压缩的数字视频可包括一系列的图片，每个图片具有一定的空间维度，例如，具有1920
×
1080的亮度样本和相关的色度样本。所述一系列的图片可以具有固定的或可变的图片速率(也通俗地称为帧率)，例如，每秒60个图片或60赫兹(Hz)。未压缩的视频对比特率有着特定的要求。例如，每个样本8比特的1080p60 4:2:0视频(60Hz帧率下的1920
×
1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。这样的视频一小时需要超过600GB的存储空间。
[0006]视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于降低上述带宽和/或存储空间的要求，在一些情况下，可降低两个或更多的数量级。无损压缩和有损压缩以及其组合均可以用于视频编码和解码。无损压缩是指可以由压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建的信号可能与原始信号不完全一致，但是原始信号与重建的信号之间的失真小得足以使重建的信号可以用于预期应用。有损压缩广泛应用于视频中。有损压缩容许的失真量取决于应用；例如，与电视分发应用的用户相比，某些流式传输应用的消费者用户可以容忍较高的失真。可实现的压缩比可以反映的是：可允许的/可容许的失真越高，可产生的压缩比越高。
[0007]视频编码器和解码器可以使用几大类技术，包括例如运动补偿、变换、量化和熵编码。
[0008]视频编解码技术可以包括帧内编码技术。在帧内编码技术中，样本值的表示不参考先前已重建的参考图片中的样本或其它数据。在一些视频编解码技术中，将图片从空间上划分为样本块。当所有的样本块都是通过帧内模式进行编码时，该图片可以是一个帧内图片。帧内图片以及他们的衍生图片，例如，独立解码器刷新的图片，可以用于对解码器的
状态进行重置，因此可以用作已编码视频码流和视频会话中的第一幅图片，或者作为一副静止图片。可以对帧内块的样本进行变换，并且可以在进行熵编码之前，对变换系数进行量化。帧内预测可以是一种将样本值在预变换域最小化的技术。在一些情况下，变换后的DC值越小以及AC系数越小，给定量化步长大小的情况下，表示熵编码后的块所需的比特数目越少。
[0009]传统的帧内编码技术，例如，已知的MPEG
‑
2编码技术并不使用帧内预测。然而，一些较新的视频压缩技术包括尝试使用例如邻近的样本数据和/或元数据的技术，所述邻近的样本数据和/或元数据是在对空间上相邻且解码顺序上在先的数据块进行编码和/或解码的过程中获得的。因此，这种技术称为“帧内预测”技术。请注意，至少在一些情况下，帧内预测仅使用正在重建的当前图片中的参考数据，而不使用参考图片中的参考数据。
[0010]帧内预测可以有很多种形式。当给定的视频编码技术中可以使用一个以上的这种技术时，可以使用帧内预测模式对所使用的技术进行编码。在某些情况下，一些模式具有子模式和/或参数，这些可以单独进行编码，或者可以包含在模式码字中。某个给定模式/子模式和/或参数的组合使用何种码字，会通过帧内预测影响到编码效率增益，将码字转译为码流所用的熵编码技术同样对其也会产生影响。
[0011]H.264标准引入了某个模式的帧内预测，H.265标准对其进行了改进，在较新的编码技术中，例如，联合探索模型(JEM)、通用视频编码(VVC)、基准集合(BMS)等等，对其进一步进行了改进。预测子(predictor)块可以使用属于已经可用的样本的相邻样本值来形成。将相邻样本的样本值按照一个方向复制到预测子块中。所使用的方向的参考可以编码到码流中，或者其本身可以预测。
[0012]参考图1A，在其右下方描绘的是H.265标准的33个可能的预测子方向(predictor direction)(对应于35个帧内模式的33个角度模式)中已知的一个具有9个预测子方向的子集。其中，各箭头的汇聚点(101)表示正在预测中的样本。箭头表示对样本进行预测的方向。例如，箭头(102)表示根据与水平轴成45度角度的右上角的一个或多个样本，对样本(101)进行预测。类似地，箭头(103)表示根据与水平轴成22.5度角度的左下角的一个或多个样本，对样本(101)进行预测。
[0013]仍参考图1A所示，图1A的左上方描绘的是一个具有4
×
4个样本的正方形块(104)(用加粗的虚线表示)。正方形块(104)包括16个样本，每个样本标记有“S”、其在Y维度上的位置(例如，行索引)以及其在X维度上的位置(例如，列索引)。例如，样本S21是在Y维度上的第二个(从上往下数)、X维度上的第一个(从左往右数)样本。类似地，样本S44是在块(104)中X维度和Y维度上都是第四的样本。因为该块的大小是4
×
4个样本，所以S44是在其右下角。图1A进一步示出了参考样本，参考样本遵循类似的编号方法。参考样本标记有R、其相对于所述块(104)的Y位置(例如，行索引)和X位置(例如，列索引)。在H.264标准和H.265标准中，预测样本与重建中的块相邻；因此，不需要使用负值。
[0014]帧内图片预测可以根据信号表示的预测方向，通过适当地复制相邻样本的参考样本值来进行。例如，假设已编码视频码流中包含有信令，对于所述块，该信令表示了与箭头(102)一致的预测方向，即，根据与水平方向成45度角度的右上角的一个或多个参考样本对所述块中的样本进行预测。在这种情况下，样本S41、S32、S23、S14是根据同一个参考样本R05进行预测的。样本S44是根据参考样本R08进行预测的。
[0015]在某些情况下，可以例如通过插值，组本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在视频解码器中执行的视频解码方法，其特征在于，所述方法包括：从已编码视频码流中接收当前图片中当前块的已编码信息，所述已编码信息指示将自适应上采样滤波器应用于所述当前块；确定所述当前块的多个子块中每一个子块的相应类别；基于所述多个子块中每一个子块对应的至少一个类别和应用于所述当前图片的参考图片的参考像素重采样(RPR)的相应采样率，从所述自适应上采样滤波器的多个滤波器系数集中确定各个子块的相应滤波器系数集，所述相应采样率与所述RPR的多个相位中的一个相位相关联；以及将所述自适应上采样滤波器应用于所述当前块，以基于确定的用于所述多个子块的相应滤波器系数集，生成所述当前块的经滤波的已重建样本，而不应用次级自适应环路滤波器(ALF)。2.根据权利要求1所述的方法，其特征在于，所述确定相应类别进一步包括：基于所述多个子块中每一个子块的亮度样本的局部梯度的方向性和活动性，确定各个子块的相应类别索引，以及基于所述多个子块中每一个子块对应的类别索引，确定各个子块的相应类别。3.根据权利要求1所述的方法，其特征在于，用于所述当前块的亮度样本的多个滤波器系数集的数目等于N和M的乘积，N是与所述当前块相关联的类别的数目，M是与所述当前块的所述亮度样本相关联的RPR的多个相位的数目。4.根据权利要求1所述的方法，其特征在于，用于所述当前块的色度样本的滤波器系数集的数目等于L，L是与所述当前块的所述色度样本相关联的RPR的多个相位的数目。5.根据权利要求1所述的方法，其特征在于，进一步包括：确定所述多个滤波器系数集中的第一滤波器系数集的第一成本值，所述第一成本值指示所述当前块与基于所述第一滤波器系数集滤波的所述当前块的已重建样本之间的失真；确定所述多个滤波器系数集中的第二滤波器系数集的第二成本值，所述第二成本值指示所述当前块与基于所述第二滤波器系数集滤波的所述当前块的已重建样本之间的失真；以及基于所述第一成本值和所述第二成本值中较小的一个，选择所述第一滤波器系数集和所述第二滤波器系数集中的一个。6.根据权利要求5所述的方法，其特征在于：所述第一滤波器系数集与第一类别索引相关联，所述第二滤波器系数集与第二类别索引相关联，所述第二类别索引与所述第一类别索引连续。7.根据权利要求5所述的方法，其特征在于：所述第一滤波器系数集与所述RPR的多个相位中的第一相位相关联，并且所述第二滤波器系数集与所述RPR的多个相位中的第二相位相关联，所述第二相位与所述RPR的所述第一相位连续。8.根据权利要求5所述的方法，其特征在于，用于所述当前块的亮度样本的多个滤波器系数集的数目等于N和P的乘积，N是与所述当前块相关联的类别的数目，P是从所述当前图片中分区的区域的数目。
9.根据权利要求8所述的方法，其特征在于：所述第一滤波器系数集与所述当前图片的第一区域相关联，所述第二滤波器系数集与所述当前图片的第二区域相关联。10.根据权利要求1所述的方法，其特征在于，所述多个滤波器系数集包括在所述已编码信息的自适应参数集中。11.根据权利要求1所述的方法，其特征在于：所述自适应上采样滤波器进一步包括亮度自适应上采样滤波器和色度自适应上采样滤波器；基于作为所述亮度自适应上采样滤波器的输入的所述当前块的已重建样本的较低分辨率的亮度分量，生成所述当前块的经滤波的已重建样本的高分辨率的亮度分量；基于作为所述色度自适应上采样滤波器的输入的所述当前块的已重建样本的较低分辨率的亮度分量和较低分辨率的色度分量，生成所述当前块的经滤波的已重建样本的高分辨率的色度分量。12.一种装置，其特征在于，包括：处理电路，被配置为：从已编码视频码流中接收当前图片中当前块的已编码信息，所述已编码信息指示将自适应上采样滤波器应用于所述当前块；确定所述当前块的多个子块中每一个子块的相应类别；基于...

【专利技术属性】
技术研发人员：陈联霏，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：