视频编码和视频解码制造技术

帧内预测模式被限定在于，根据那些模式所获取的预测基于依赖于参考样本组的第一分量和不依赖于参考样本的第二分量的和。和不依赖于参考样本的第二分量的和。和不依赖于参考样本的第二分量的和。

【技术实现步骤摘要】
【国外来华专利技术】视频编码和视频解码


[0001]本公开涉及视频编解码器。更具体地，它涉及视频编解码器中的帧内预测。

技术介绍

[0002]帧内预测包括通过使用从同一帧内提取的参考样本在视频帧的样本块中执行预测。这样的预测可以通过不同的技术来获取，在传统的编解码器架构中被称为“模式”。
[0003]视频压缩标准目前正在由国际标准组织(ISO)和国际电工委员会(IEC)共同建立的运动图像专家组(MPEG)工作组的联合视频专家组(JVET)进行开发。该标准草案被称为通用视频编码(Versatile Video Coding)(VVC)。在VVC的上下文中，样本的帧被细分成多个块，被称为编码单元(CU)。
[0004]在目前的VVC草案规范中，帧内预测可以使用各种不同的模式来执行。传统的帧内预测模式包括角度帧内预测或者通过诸如平面预测或者DC预测的公知技术执行的预测。角度预测模式可以通过多种不同模式中的一种来执行(这依赖于CU形状，其可以包括广角扩展)。除此之外，当对样本块进行帧内预测时，可以使用多种工具。交叉分量线性模型(CCLM)可以用于从同一CU的重建亮度样本来预测色度样本。位置相关的帧内预测组合(PDPC)可用于将未滤波的边界参考样本与使用滤波样本获取的预测进行组合。帧内子分区(ISP)对CU的较小子分区独立执行预测和变换。
[0005]进一步，在最新的VVC草案规范中，提议使用基于矩阵的帧内预测(MIP)来预测亮度样本块。MIP在于将参考样本乘以固定矩阵，以获取当前块的预测。这样的矩阵基于预先训练来获取，以确保可以获取有意义的预测。与使用不同的矩阵相对应，可以采用多种不同模式。这些矩阵的推导通过基于神经网络(NN)的方法的训练来产生，其中网络中的系数使用由不同分辨率下的不同内容的各种序列所形成的训练集来训练。
附图说明
[0006]图1是概括地图示出根据本文中描述的实施例的编码方法的示意图；
[0007]图2是图示出根据实施例的帧内预测所基于的数学运算的示意图；
[0008]图3是根据实施例的通信网络的示意图；
[0009]图4是图3的通信网络的发射器的示意图；
[0010]图5是图示出在图4的发射器上实现的编码器的示意图；
[0011]图6是在图5的编码器的预测模块处执行的预测过程的流程图；
[0012]图7是图3的通信网络的接收器的示意图；
[0013]图8是图示出在图6的接收器上实现的解码器的示意图；并且
[0014]图9是在图8的解码器的预测模块处执行的预测过程的流程图。
具体实施方式
[0015]本公开的方面可以与所附权利要求的主题相对应。
[0016]神经网络(NN)和其他复杂的基于学习的技术可以被视为黑盒，因为学习的模型通常难以解释。在本文公开的方面中，应用了一种方法，由此分析基于NN的帧内预测方法以确定对黑盒的操作的理解。该分析的目的是获取简化且清晰的方法，该方法可以实现与基于NN的方法相似的结果。
[0017]图1概念性地图示出可以根据本文中公开的实施例采取的方法。
[0018]具体地，可以通过操纵参考样本来获取预测。不同的“模式”可用于产生块的预测，其中每个模式使用不同的参数。
[0019]在本公开的一个方面，对给定模式的这样的操纵包括将两个分量相加，一个分量依赖于参考样本，而一个分量不依赖于参考样本。
[0020]样本式预测(m是参考样本的数量)可以表示为：
[0021][0022]其中和在[
‑
1，1]范围中，即：
[0023][0024]和
[0025][0026]因此，范围[0，1023]中的样本式预测可以表示为：
[0027][0028]第二项可以认为是“偏置”项。在这种情况下，如果则“偏置”项主要依赖于β。否则，“偏置”项主要依赖于α。
[0029]在以上表达式中，k表示各种可能模式当中的一组可能的参数，每个模式标识一组可能的参数。数值512仅仅是示例，它可以依赖于输入信号的比特深度。也可以使用其他值。
[0030]以上是可用于预测预测块中的样本的函数的示例。通常，给定样本的预测可以获取为如下所示的两个分量的总和：
[0031]p
(k)
＝f(r，α
(k)
)+g(α
(k)
，β
(k)
)
[0032]同样，在该表达式中，k表示各种可能模式中的一组可能的参数，每个模式标识一组可能的参数。以上表示了被计算为依赖于参考样本r的分量和不依赖于参考样本的分量之和的预测。
[0033]图2将该数学运算图示出为数据过程。
[0034]作为示例，每个样本的预测的依赖于参考样本的分量可以通过限定一组权重来获取。给定的权重与给定的参考样本相乘；然后将这些乘法的结果加在一起，以形成预测的依赖于参考样本的第一分量。
[0035]作为示例，权重的特性可以由在预测块中的样本的位置来控制。作为示例，权重的和可以依赖于每个预测样本到参考样本的距离。作为示例，关于在预测块中的样本的位置
的信息可以用于导出权重。
[0036]作为示例，每个样本的预测的不依赖于参考样本的分量可以依赖于各种参数。它可以依赖于用于计算预测的依赖于参考样本的第一分量的权重。它也可以依赖于独立于用于计算预测的依赖于参考样本的第一分量的权重的固定参数。它可以通过这两者的组合来获取。
[0037]作为另一示例，每个样本的预测的不依赖于参考样本的分量可以基于用于预测块的当前模式来获取，或者它可以依赖于当前块的其它特性(诸如它的权重或者高度)，和/或它可以依赖于先前解码的块的特性，诸如它们的预测模式或者它们的大小。
[0038]作为另一示例，可以从查找表(LUT)中提取固定参数，其中可以限定各种LUT。索引可以在比特流中以信号传递，以引用LUT中的特定项。作为另一示例，LUT中的正确元素可以依赖于用于预测块的当前模式，或者它可以依赖于当前块的其它特性(诸如它的权重或者高度)，和/或它可以依赖于先前解码的块的特性，诸如它们的预测模式或者它们的大小。
[0039]作为另一示例，可以基于在解码期间发生的学习机制来获取每个样本的预测的不依赖于参考样本的分量。
[0040]作为另一示例，可以基于从比特流中提取的参数来获取每个样本的预测的不依赖于参考样本的分量。作为示例，它可以依赖于用于计算预测的依赖于参考样本的第一分量的权重，其中这样的权重可以从比特流中提取。它还可以依赖于独立于用于计算预测的依赖于参考样本的第一分量的权重的固定参数，其中这样的固定参数可以从比特流中提取。它可以通过这两者的组合来获取。
[0041]作为示例，权重或者固定参数可以基于在解码器处执行的推导过程来获取。可替换地，它们可以基于从比特流中提取的信息和基于在解码器处执行的推导过程来计算。
[0042]作为另一示例，推导过程可以依赖于分析权本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频编码器，所述视频编码器可操作为相对于参考样本的块对视频样本数据的块进行编码，所述视频样本数据的块包括多个样本，所述视频编码器包括：帧内预测装置，用于使用帧内预测对所述块进行编码；模式选择装置，可操作为从多个可用的预定帧内预测模式中选择供所述帧内预测装置使用的选择的帧内预测模式，所述多个可用的预定帧内预测模式中的至少一种使得被配置成在该模式下操作的所述帧内预测装置可操作为将所述块中的样本的预测获取为依赖于所述参考样本的第一分量和不依赖于所述参考样本的第二分量的组合。2.根据权利要求1所述的视频编码器，其中，所述组合包括所述第一分量和所述第二分量的和。3.根据权利要求1或者权利要求2所述的视频编码器，其中，每个帧内预测模式具有与其相关联的一组参数，所述参数控制所述样本预测的所述第一分量和/或所述第二分量，其中，所述参数包括一组权重，所述权重被用作参考样本的乘数以产生所述预测的所述第一分量。4.根据权利要求3所述的视频编码器，其中，所述权重进一步被用于产生所述预测的所述第二分量。5.根据前述权利要求中任一项所述的视频编码器，其中，每个帧内预测模式具有与其相关联的一组参数，所述参数控制所述样本预测的所述第一分量和/或所述第二分量，其中，所述参数包括固定参数，所述第二分量基于所述固定参数而产生。6.根据前述权利要求中任一项所述的视频编码器，其中，计算所述第二分量的方式依赖于先前已经被编码的所述块和/或邻近块的特性。7.根据前述权利要求中任一项所述的视频编码器，所述视频编码器包括模式信号传递器，所述模式信号传递器可操作为在输出比特流上放置模式信息元，以使得能够在接收器处识别用于特定编码的所述帧内预测模式。8.一种相对于参考样本的块对视频样本数据的块进行编码的方法，所述视频样本数据的块包括多个样本，所述方法包括使用帧内预测对所述块进行编码，所述方法进一步包括从多个可用的预定帧内预测模式中选择供所述帧内预测装置使用的选择的帧内预测模式，所述多个可用的预定帧内预测模式中的至少一种使得使用帧内预测进行的编码将所述块中的样本的预测获取为依赖于所述参考样本的第一分量和不依赖于所述参考样本的第二分量的组合。9.一种可操作为对编码视频数据进行解码的视频解码器，所述解码器包括帧内预测重建装置，所述帧内预测重建装置可操作为从输入帧内预测数据重建视频样本数据的块的样本，所述帧内预测重建装置在多个预定帧内预测模式中的一种下可操作，所述多个可用的预定帧内预测模式中的至少一种使得被配置成在该模式下操作的对应帧内预测装置可操作为将所述块中的样本的预测获取为依赖于所述参考样本的第一分量和不依赖于所述参考样本的第二分量的组合。10.根据权利要求9所述的视频解码器，包括模式解析器，所述模式解析器可操作为计算指示已经采用了哪些所述帧内预测模式的候选的最可能模式MPM、最可能模式的列表，并且从输入比特流解码指示对所接收的编码视频数据进行编码所采用的模式是否被包括在所述MPM列表中的标志，并且如果所述标志指示所采用的模式被包括在所述MPM列表中，则
从输入比特流解码索引，以确定已经采用了所述MPM列表中的哪种模式，并且如果所述标志指示所采用的模式不被包括在所述MPM列表中，则从输入比特流解码信息元，以使得能够识别在将所接收的编码视频数据解码成视频样本数据的重建块时要采用剩余模式中的哪种模式。11.根据权利要求9或者权利要求10所述的视频解码器，其中，所述第一分量根据包括平面帧内预测模式、DC帧内预测模式或方向角度帧内预测模式的一组帧内预测模式中的一种来...

【专利技术属性】
技术研发人员：玛丽亚，
申请(专利权)人：英国广播公司，
类型：发明
国别省市：