用于基于矩阵的帧内预测的简化下采样制造技术

一种用于编码器(24)或解码器(44)的预测单元(60)，实现了基于矩阵的帧内预测。对当前块的输入边界样本进行下采样，以获得用于矩阵乘法和/或线性插值或者二者的经缩减边界样本。在一个实施例中，以将经缩减边界样本与预测单元的矩阵乘法单元的输出对齐的方式执行下采样。在其他实施例中，在不进行平均的情况下执行下采样。实施例降低了预测单元的复杂度和编码器(24)或解码器(44)的时延。和编码器(24)或解码器(44)的时延。和编码器(24)或解码器(44)的时延。

【技术实现步骤摘要】
【国外来华专利技术】用于基于矩阵的帧内预测的简化下采样


[0001]本公开总体上涉及基于块的视频编码，并且更具体地，涉及在基于块的视频编码中使用的降低复杂度的基于矩阵的帧内预测。

技术介绍

[0002]高效率视频编码(HEVC)是由国际电信联盟
‑
电信(ITU
‑
T)和运动图像专家组(MPEG)标准化的基于块的视频编解码，利用时间预测和空间预测二者。使用来自当前图片内的帧内(I)预测来实现空间预测。根据先前解码的参考图片，在块级别上使用单向(P)或双向(B)帧间预测来实现时间预测。在编码器中，原始像素数据与预测像素数据之间的差(称为残差)在与也被熵编码的必要的预测参数(例如预测模式和运动矢量)一起发送之前，被变换到频域、被量化、然后被熵编码。解码器执行熵解码、逆量化和逆变换以获得残差，然后将残差与帧内预测或帧间预测相加，以重构图片。
[0003]MPEG和ITU
‑
T正在联合视频探索小组(JVET)内开发HEVC的后继者。该开发中的视频编解码的名称为多功能视频编码(VVC)。在本提交时，当前版本的VVC草案规范是“多功能视频编码(草案5)”，JVET
‑
N1001
‑
v3。
[0004]基于矩阵的帧内预测是包括在当前版本的VVC草案中的一种编码工具。为了对宽度为W、高度为H的当前块的样本进行预测，基于矩阵的帧内预测(MIP)取当前块左侧的一列H个重构相邻边界样本和当前块上方的一行W个重构相邻样本作为输入。通过对原始边界样本进行下采样以获得经缩减边界样本的集合，对经缩减边界样本进行矩阵乘法以获得预测块中的预测样本的子集，以及进行线性插值以获得预测块中的剩余预测样本，来导出经预测的样本。
[0005]通过对来自原始边界的样本进行平均来导出经缩减边界样本。导出平均值的过程需要加法和移位操作，这增加了解码器和编码器计算复杂度和时延，尤其是对于硬件实现。在当前版本的VVC中，由MIP预测的块的最大尺寸为64
×
64。为了导出经缩减边界的一个样本，平均操作中使用的原始样本的最大数量为64/4＝16。该平均操作的计算复杂度是16次加法和1次移位。
[0006]此外，当矩阵乘法产生经缩减预测块时，使用线性插值来获得剩余预测样本，该经缩减预测块包括最终预测块中的预测样本的子集。在这种情况下，中间经缩减边界用于对预测块的第一行和/或第一列中的预测样本进行插值。在这种情况下，从中间经缩减边界中导出上边界和/或左边界的经缩减边界样本。针对经缩减边界的该两步导出过程增加了编码器和解码器时延。
[0007]使用MIP的另一缺点是经缩减边界中用作矩阵乘法单元(MMU)输入的边界样本未与MMU输出对齐。对边界样本进行平均的过程产生集中于两个原始边界样本之间并偏向某些MIP输出的值。用于线性插值的边界样本也存在类似的问题。

技术实现思路

[0008]一种用于预编码器或解码器的预测单元实现了用于对视频或静止图像进行编码或解码的MIP。对当前块的输入边界样本进行下采样，以获得用于矩阵乘法和/或线性插值或二者的经缩减边界样本。在一个实施例中，以将经缩减边界样本与预测单元的矩阵乘法单元的输出对齐的方式执行下采样。在其他实施例中，通过在不进行平均的情况下从输入边界样本中选择样本来执行下采样，其将经缩减边界样本与预测单元的矩阵乘法单元的输出对齐，以降低编码器或解码器中的预测单元的复杂度和时延。
[0009]本公开的一个方面是提供使用于矩阵乘法或插值的经缩减边界样本能够与预测中的MMU的输出对齐，同时保持编码效率的技术。描述了用于对输入边界样本的集合进行下采样以产生在至少一个方向上与MMU输出对齐的经缩减边界样本的集合的各种技术。在一个实施例中，通过使用在垂直方向或水平方向上以MMU的输出为中心的滤波器对输入边界样本进行下采样，或者通过对以MMU的输出为中心的边界样本进行平均，来导出经缩减边界样本。在其他实施例中，通过选择与MMU的对应输出对齐的输入边界样本，在不进行平均的情况下导出经缩减边界样本。在一些实施例中，在进行平均或不进行平均的情况下生成的经缩减边界样本的一个集合可以用作MMU的输入，并且在进行平均或不进行平均的情况下生成的经缩减边界样本的第二不同的集合可以用于线性插值。
[0010]本公开的另一方面是通过减少用于导出一个经缩减边界样本的原始边界样本的数量来降低用于导出经缩减边界样本的计算复杂度。在一些实施例中，通过减少被平均以生成一个经缩减边界样本的输入边界样本的数量来实现计算复杂度的降低。例如，最坏的情况需要对16个输入边界样本进行读取和平均，以导出一个经缩减边界样本。该过程需要16次读取、15次加法(n
‑
1)和1次移位。在该示例中，可以通过选择16个边界样本中的2个进行平均来降低计算复杂度，这需要2次读取、1次加法和1次移位。在另一实施例中，通过在不进行平均的情况下进行下采样来实现计算复杂度的降低。继续相同的示例，MIP可以被配置为选择16个原始输入边界样本之一。在这种情况下，仅需要1次读取，无需加法或移位操作。
[0011]本公开的另一方面是通过避免针对用作MMU输入的经缩减边界样本的两步导出过程来降低时延。当矩阵乘法产生包括最终预测块中的预测样本的子集的经缩减预测块时，使用线性插值来获得剩余预测样本。在这种情况下，中间经缩减边界用于在经缩减预测块的第一行和/或第一列与上边界或左边界之间分别对预测样本进行插值。从中间经缩减边界中导出上边界和/或左边界的经缩减边界样本。针对经缩减边界的该两步导出过程增加了编码器和解码器时延。在本公开的实施例中，分别用于矩阵乘法和插值的经缩减边界样本在单个步骤中并行导出。
[0012]本公开的一个方面包括由基于矩阵的帧内预测的编码器或解码器实现的方法。该方法包括对输入边界样本的集合进行下采样以生成经缩减边界样本的集合，以及通过在乘法单元中对经缩减边界样本进行乘法来生成经缩减预测块。经缩减预测块包括预测块中的预测样本的子集。该方法还包括生成与乘法单元的相应输出对齐的插值边界样本的集合。该方法还包括通过使用插值边界样本的集合中的一个或多个边界样本和预测样本的经缩减集合进行线性插值，来生成预测块的一个或多个剩余预测样本。
[0013]本公开的另一方面包括被配置为执行基于矩阵的帧内预测的编码器或解码器。编码器/解码器被配置为对输入边界样本的集合进行下采样以生成经缩减边界样本的集合，
以及通过在乘法单元中对经缩减边界样本进行乘法来生成经缩减预测块。经缩减预测块包括预测块中的预测样本的子集。编码器/解码器还被配置为生成与乘法单元的相应输出对齐的插值边界样本的集合。编码器/解码器还被配置为通过使用插值边界样本的集合中的一个或多个边界样本和预测样本的经缩减集合进行线性插值，来生成预测块的一个或多个剩余预测样本。
[0014]本公开的另一方面包括被配置为执行基于矩阵的帧内预测的编码器或解码器。编码器/解码器包括下采样单元和块预测单元。下采样单元被配置本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种帧内块预测的方法(400)，所述方法包括：对输入边界样本的集合进行下采样(410)，以生成经缩减边界样本的集合；通过在乘法单元(64)中对经缩减边界样本进行乘法，来生成(420)经缩减预测块，所述经缩减预测块包括预测块中的预测样本的子集；生成(430)与所述乘法单元(64)的相应输出对齐的插值边界样本的集合；以及通过使用插值边界样本的集合中的一个或多个边界样本和预测样本的经缩减集合进行线性插值，来生成(440)所述预测块的一个或多个剩余预测样本。2.根据权利要求1所述的方法(400)，其中，生成所述插值边界样本的集合包括：对当前块的所述输入边界样本的集合进行下采样，以获得所述插值边界样本的集合。3.根据权利要求2所述的方法(400)，其中，对当前块的所述输入边界样本的集合进行下采样以获得所述插值边界样本的集合包括：针对所述插值边界样本的集合中的一个或多个边界样本中的每个边界样本，从所述输入边界样本的集合中选择输入边界样本中与所述乘法单元(64)的输出之一对齐的一个输入边界样本。4.根据权利要求2所述的方法(400)，其中，对当前块的所述输入边界样本的集合进行下采样以获得所述插值边界样本的集合包括：针对所述插值边界样本的集合中的一个或多个边界样本中的每个边界样本，对以所述乘法单元(64)的相应输出为中心的奇数个输入边界样本进行平均，以获得所述边界样本。5.根据权利要求1至4中任一项所述的方法(400)，其中，对当前块的所述输入边界样本的集合进行下采样包括：针对所述经缩减边界样本的集合中的一个或多个经缩减边界样本中的每个经缩减边界样本，使用以所述乘法单元(64)的相应输出为中心的滤波器对输入边界样本进行下采样，以获得所述经缩减边界样本。6.根据权利要求1至4中任一项所述的方法(400)，其中，对当前块的所述输入边界样本的集合进行下采样包括：针对所述经缩减边界样本的集合中的一个或多个经缩减边界样本中的每个经缩减边界样本，对以所述乘法单元(64)的相应输出为中心的多个输入边界样本进行平均，以获得所述经缩减边界样本。7.根据权利要求6所述的方法(400)，其中，对当前块的所述输入边界样本的集合进行下采样包括：针对所述经缩减边界样本的集合中的一个或多个经缩减边界样本中的每个经缩减边界样本，对来自每M个输入边界样本的N个输入边界样本进行平均，以获得所述经缩减边界样本，其中M>N>1且M是下采样因子。8.根据权利要求2至4中任一项所述的方法(400)，其中，对当前块的所述输入边界样本的集合进行下采样包括：针对经缩减边界样本的集合中的端样本，从所述输入边界样本的集合中选择输入边界样本中在水平方向或垂直方向上与所述乘法单元(64)的端输出对齐的一个输入边界样本。9.根据权利要求1至4中任一项所述的方法(400)，其中，对当前块的所述输入边界样本的集合进行下采样包括：针对经缩减边界样本的集合中的一个或多个经缩减边界样本中的每个经缩减边界样本，选择输入边界样本中与所述乘法单元(64)的输出中的相应一个输出对齐的一个输入边界样本作为所述经缩减边界样本。10.根据权利要求1至9中任一项所述的方法(400)，其中，对图像中的当前块的所述输入边界样本的集合进行下采样包括：使用单步导出过程将所述输入边界样本的集合中的边
界样本的数量减少到原数量的1/2
N
，以获得边界样本的经缩减集合。11.根据权利要求10所述的方法(400)，其中，所述单步导出过程包括：针对经缩减边界样本的集合中的每个经缩减边界样本，将2
N
个边界样本的值加上2
N
‑1以获得总和；以及将所述总和右移N位。12.根据权利要求1至11中任一项所述的方法(400)，还包括：通过从所述当前块中减去所述预测块，来生成残差块；以及对所述残差块进行编码以用于传输到目的设备。13.根据权利要求1至12中任一项所述的方法(400)，其中，所述插值边界样本包括在垂直方向上与所述乘法单元(64)的输出对齐的经缩减上边界样本。14.根据权利要求1至12中任一项所述的方法(400)，其中，所述插值边界样本包括在水平方向上与所述乘法单元(64)的输出对齐的经缩减左边界样本。15.根据权利要求1至14中任一项所述的方法(400)，还包括：对图像信号进行解码，以获得当前块的残差块；以及将所述预测块与所述残差块组合，以生成所述当前块。16.一种用于对图像进行编码和/或解码的基于矩阵的帧内预测单元(60)，所述预测单元(60)被配置为：对输入边界样本的集合进行下采样，以生成经缩减边界样本的集合；通过在乘法单元(64)中对经缩减边界样本进行乘法，来生成经缩减预测块，所述经缩减预测块包括预测块中的预测样本的子集；生成与所述乘法单元(64)的相应输出对齐的插值边界样本的集合；以及通过使用插值边界样本的集合中的一个或多个边界样本和预测样本的经缩减集合进行线性插值，来生成所述预测块的一个或多个剩余预测样本。17.根据权利要求16所述的基于矩阵的帧内预测单元(60)，被配置为执行根据权利要求2至15中任一项所述的方法。18.一种用于对图像进行编码和/或解码的基于矩阵的帧内预测单元(60)，所述预测单元(60)包括：下采样单元(62)，被配置为对图像中的当前块的输入边界样本的集合进行下采样，以生成...

【专利技术属性】
技术研发人员：张智，肯尼思，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：