利用基于矩阵的交叉分量预测的视频编解码方法和装置制造方法及图纸

公开了利用基于矩阵的交叉分量预测的视频编解码方法和装置。本实施方案提供了一种视频编解码方法和装置，用于通过利用亮度分量来预测当前块的色度分量，其中，利用基于深度学习的矩阵运算，根据在空间上邻近于当前块的色度块的色度分量和在空间上邻近于与色度块相对应的亮度块的亮度分量来预测当前块的色度分量。分量。分量。

【技术实现步骤摘要】
【国外来华专利技术】利用基于矩阵的交叉分量预测的视频编解码方法和装置


[0001]本专利技术涉及利用基于矩阵的交叉分量预测的视频编解码方法和装置。

技术介绍

[0002]本部分中的陈述仅提供与本专利技术有关的
技术介绍
信息，并不一定构成现有技术。
[0003]由于视频数据与音频数据或静止影像数据相比具有较大的数据量，视频数据需要大量的硬件资源(包括存储器)来存储或发送未经压缩处理的视频数据。
[0004]相应地，编码器通常用于压缩并存储或发送视频数据。解码器接收压缩的视频数据，解压接收到的压缩的视频数据，并且播放解压的视频数据。视频压缩技术包括H.264/AVC、高效率视频编解码(High Efficiency Video Coding，HEVC)和多功能视频编解码(Versatile Video Coding，VVC)，所述多功能视频编解码(VVC)比HEVC的编解码效率提高了大约30％或更多。
[0005]然而，由于影像大小、分辨率和帧速率逐渐增加，要编码的数据量也在增多。相应地，需要一种与现有的压缩技术相比提供更高的编解码效率和改善的影像增强效果的新的压缩技术。
[0006]近年来，基于深度学习的图像处理技术已经应用于现有的编码基本技术。通过将基于深度学习的图像处理技术应用于现有的编码技术(特别是，诸如帧间预测、帧内预测、环内滤波、变换等的压缩技术)，可以提高编解码效率。代表性的应用示例包括基于由深度学习模型生成的虚拟参考帧的帧间预测，并且包括基于去噪模型的环内滤波。因此，需要进一步采用基于深度学习的图像处理技术来提高图像编码/解码的编解码效率。

技术实现思路

[0007]技术问题
[0008]在一些实施方案中，本专利技术试图提供利用亮度分量预测当前块的色度分量的视频编解码方法和装置。该视频编解码方法和装置通过利用基于深度学习的矩阵运算，根据在空间上邻近于当前块的色度块的色度分量并且从空间上邻近于与色度块相对应的亮度块的亮度分量来预测当前块的色度分量。
[0009]技术方案
[0010]本专利技术的至少一个方面提供了由计算装置执行的用于利用亮度分量来预测当前块的色度分量的方法。该方法包括获得参考像素，所述参考像素包括在空间上邻近于当前块的色度块的色度参考像素，并且包括邻近于与色度块相对应的亮度块的亮度参考像素。该方法还包括通过对参考像素进行重排来生成输入块，所述输入块形成为一维(1D)矢量或二维(2D)矢量。该方法还包括通过将输入块输入到基于深度学习的模型的估计模型中来生成当前块的色度预测块。
[0011]本专利技术的另一个方面提供了一种交叉分量预测装置，用于通过利用亮度分量来预测当前块的色度分量。该装置包括输入单元，所述输入单元配置为获得参考像素，所述参考
像素包括在空间上邻近于当前块的色度块的色度参考像素，并且包括邻近于与色度块相对应的亮度块的亮度参考像素。该装置还包括预处理器，所述预处理器配置为通过对参考像素进行重排来生成输入块，所述输入块形成为一维(1D)矢量或二维(2D)矢量。该装置还包括估计器，所述估计器包括基于深度学习的模型的估计模型，并且配置为通过将输入块输入到估计模型中来生成当前块的色度预测块。
[0012]本专利技术的又一个方面提供了由计算装置执行的用于利用亮度分量来预测当前块的色度分量的方法。该方法包括获得参考像素和重构的像素。参考像素包括在空间上邻近于当前块的色度块的色度参考像素，并且包括邻近于与色度块相对应的亮度块的亮度参考像素。重构的像素代表亮度块的重构的像素。该方法还包括通过对参考像素和重构的像素进行重排来生成输入块，所述输入块形成为一维(1D)矢量或二维(2D)矢量。该方法还包括通过将输入块输入到基于深度学习的模型的估计模型中来生成当前块的色度预测块。
[0013]有益效果
[0014]如上所述，本专利技术提供了一种视频编解码方法和装置，用于通过利用基于深度学习的矩阵运算，根据在空间上邻近于当前块的色度块的色度分量并且从在空间上邻近于与色度块相对应的亮度块的亮度分量来预测当前块的色度分量，以提高当前块的色度分量的编解码效率。
附图说明
[0015]图1是可以实现本专利技术技术的视频编码装置的框图。
[0016]图2示出利用四叉树加二叉树三叉树(QTBTTT)结构来对块进行分区的方法。
[0017]图3a和图3b示出包括宽角度帧内预测模式的多个帧内预测模式。
[0018]图4示出当前块的相邻块。
[0019]图5是可以实现本专利技术技术的视频解码装置的框图。
[0020]图6是示出交叉分量预测所参考的相邻像素的示意图。
[0021]图7是概念性地示出用于交叉分量预测的线性模型的推导的示例图。
[0022]图8是概念性地示出根据本专利技术的至少一个实施方案的基于矩阵的交叉分量预测装置的示例图。
[0023]图9是示出根据本专利技术的至少一个实施方案的预处理参考像素的示例图。
[0024]图10是概念性地示出根据本专利技术的另一个实施方案的基于矩阵的交叉分量预测装置的示例图。
[0025]图11是示出根据本专利技术的至少一个实施方案的缩小的色度预测块的示例。
[0026]图12是概念性地示出根据本专利技术的另一个实施方案的进一步利用重构的亮度像素的交叉分量预测装置的示例图。
[0027]图13是概念性地示出根据本专利技术的又一个实施方案的进一步利用重构的亮度像素的交叉分量预测装置的示例图。
[0028]图14是根据本专利技术的至少一个实施方案的交叉分量预测方法的流程图。
[0029]图15是根据本专利技术的另一个实施方案的交叉分量预测方法的流程图。
[0030]图16是根据本专利技术的至少一个实施方案的进一步利用亮度块中的重构的像素的交叉分量预测方法的流程图。
ternarytree，QTBTTT)结构。这里，BTTT被添加到树结构以称为多类型树(multiple
‑
type tree，MTT)。
[0040]图2是用于描述通过利用QTBTTT结构来对块进行分割的方法的示意图。
[0041]如图2所示，CTU可以首先分割为QT结构。四叉树分割可以是递归的，直到分割块的大小达到QT中允许的叶节点的最小块大小(MinQTSize)。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码，并将其用信号通知视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时，可以将叶节点进一步分割为BT结构或TT结构的至少一个。在BT结构和/或TT结构中可以存在多个分割方向。例如，可以存在两个方向，即，水平地分割相应节点的块的方向以及竖直地分割相应节点的块的方向。如图2所示，当MTT分割开始时，由熵编码器155对指示节点是否被分割的第二标志(mtt_split_flag)、以及在节点被分割的情况下额外指示分割方向(竖直或水平)的标志和/或指示分割类型(二本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由计算装置执行的用于利用亮度分量预测当前块的色度分量的方法，所述方法包括：获得参考像素，所述参考像素包括在空间上邻近于当前块的色度块的色度参考像素，并且包括邻近于与色度块相对应的亮度块的亮度参考像素；通过对参考像素进行重排来生成输入块，所述输入块形成为一维1D矢量或二维2D矢量；以及通过将输入块输入到基于深度学习的模型的估计模型中来生成当前块的色度预测块。2.根据权利要求1所述的方法，其中，获得参考像素包括：获得色度块的左侧相邻像素和顶部相邻像素的全部或一些作为色度参考像素。3.根据权利要求1所述的方法，其中，获得参考像素包括：获得亮度块的左侧相邻像素和顶部相邻像素的全部或一些作为亮度参考像素。4.根据权利要求3所述的方法，其中，获得参考像素包括：根据包括当前块的当前图像的颜色格式来确定亮度参考像素的位置和值。5.根据权利要求1所述的方法，其中，获得参考像素包括：根据邻近于色度块的左侧和亮度块的左侧的一个或更多个列，以及邻近于色度块的顶部和亮度块的顶部的一个或更多个行来获得参考像素。6.根据权利要求1所述的方法，其中，生成输入块包括：基于参考像素的位置对参考像素的色度分量和亮度分量进行单独地和分别地重排。7.根据权利要求1所述的方法，其中，所述估计模型实现为包括至少一个或更多个神经层的深度神经网络，并且所述估计模型配置为对输入块执行基于矩阵的运算。8.根据权利要求1所述的方法，其中，生成色度预测块包括：使估计模型生成色度预测块以包括等于色度块的像素数量的像素。9.根据权利要求1所述的方法，其中，生成色度预测块包括：使估计模型生成缩小的色度预测块以包括比色度块的像素更少的像素。10.根据权利要求9所述的方法，其中，缩小的色度预测块的像素存在于色度块中在行或列方向上被子采样的位置处。11.根据权利要求9所述的方法，进一步包括：将预定义的插值滤波应用于缩小的色度预测块的像素，以生成具有等于色度块的像素数量的像素的插值的色度预测块。12.一种交叉分量预测装...

【专利技术属性】
技术研发人员：安镕照，李钟石，朴胜煜，
申请(专利权)人：起亚株式会社数字洞察力有限公司，
类型：发明
国别省市：