用于视频编码和解码中的自适应变换的方法和装置制造方法及图纸

对于具有两个或更多个颜色分量的图片，要编码的块的第一颜色分量的预测残差可以用第一变换进行变换。第一颜色分量的变换系数可以经历量化、去量化和逆变换，以获得重构的预测残差。基于第一颜色分量的重构的预测残差，可以调整第一变换的变换基函数的相位，以改善变换后的信号的稀疏度。然后，剩余颜色分量的预测残差可以用调整后的变换进行变换。为了确定相移因子，第一颜色分量的重构的预测残差可以用第一变换进行变换，通过不同的候选相移因子来调整，并且可以为该块选择提供最小稀疏度量度的候选相移因子。

Method and device of adaptive transformation for video coding and decoding

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码和解码中的自适应变换的方法和装置
本实施例总体上涉及一种用于视频编码和解码的方法和装置，并且更具体地，涉及一种用于利用自适应变换进行编码和解码的方法和装置。
技术介绍
为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空域和时域冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始块和预测块之间的差(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过与预测、变换、量化和熵编码相对应的逆过程来解码压缩数据。
技术实现思路
根据一般方面，提出了一种用于视频解码的方法，包括：访问图片的块的变换系数，所述块至少包括第一颜色分量和第二颜色分量；基于(1)所述块的所述第一颜色分量的所访问的变换系数和(2)第一变换，生成所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所生成的预测残差，确定相位因子；以及基于(1)所述块的所述第二颜色分量的所访问的变换系数和(2)第二变换，生成所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数。根据另一个一般方面，提供了一种用于视频编码的方法，包括：访问图片的块的预测残差，所述图片至少包括第一颜色分量和第二颜色分量；基于第一变换，对所述块的所述第一颜色分量的所述预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所述变换系数，确定所述块的所述第一颜色分量的重构的预测残差；基于所述块的所述第一颜色分量的所述重构的预测残差，确定相位因子；基于第二变换，对所述块的所述第二颜色分量的所述预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数；以及对所述块的第一颜色分量和第二颜色分量的变换系数进行编码。根据另一个一般方面，提供了一种用于视频解码的装置，至少包括一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：访问图片的块的变换系数，所述块至少包括第一颜色分量和第二颜色分量；基于(1)所述块的所述第一颜色分量的所访问的变换系数和(2)第一变换，生成所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所生成的预测残差，确定相位因子；以及基于(1)所述块的所述第二颜色分量的所访问的变换系数和(2)第二变换，生成所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数。根据另一个一般方面，一种用于视频编码的装置，至少包括一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：访问图片的块的预测残差，所述图片至少包括第一颜色分量和第二颜色分量；基于第一变换，对所述块的所述第一颜色分量的所述预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；基于所述块的所述第一颜色分量的所述变换系数，确定所述块的所述第一颜色分量的重构的预测残差；基于所述块的所述第一颜色分量的所述重构的预测残差，确定相位因子；基于第二变换，对所述块的所述第二颜色分量的所述预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数；以及对所述块的第一颜色分量和第二颜色分量的变换系数进行编码。根据另一个一般方面，一种视频信号被格式化以包括图片的块的编码后的变换系数，所述块至少包括第一颜色分量和第二颜色分量，其中基于第一变换，对所述块的所述第一颜色分量的预测残差进行变换，以形成所述块的所述第一颜色分量的所述变换系数，所述第一变换至少对应于第一组变换基函数，其中，基于所述块的所述第一颜色分量的所述变换系数，形成所述块的所述第一颜色分量的重构的预测残差，其中，基于第二变换，对所述块的所述第二颜色分量的预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数，所述相位因子是基于所述块的所述第一颜色分量的所述重构的预测残差的。所述相位因子可以基于稀疏度来确定，其中，所述稀疏度可以根据所述第一颜色分量的所述重构的预测残差来确定。在一个示例性实施例中，用多个候选变换对所述第一颜色分量的所述重构的预测残差进行变换，其中每个候选变换基于所述第一变换和多个候选相位因子中的候选相位因子，并且所确定的相位因子是从所述多个候选相位因子中选择的。具体地，基于来自所述多个候选变换中相应一个变换的变换系数来确定稀疏度，并且其中，与具有最小稀疏度的候选变换相对应的候选相位因子被确定为所述相位因子。虽然稀疏度通常是基于非零系数的数量来量度的，但是这里，候选变换的稀疏度可以基于来自所述候选变换的超过阈值的变换系数的数量来量度。阈值可以基于对所述块进行量化的量化步长。当亮度和色度分量对于所述块具有不同的尺寸时，在基于所述第一颜色分量确定所述相位因子之后，通过所述第一颜色分量和第二颜色分量之间的子采样率来缩放所确定的相位因子，以便用于所述第二颜色分量的变换。当使用2D可分离变换时，所述第一变换可以对应于所述第一组变换基函数和第三组变换基函数，所述第二变换可以对应于所述第二组变换基函数和第四组变换基函数，其中，所确定的相位因子被用于调整所述第一组变换基函数中的所有基函数，以形成所述第二组变换基函数，并且，确定另一个相位因子并将其用于调整所述第三组变换基函数中的所有基函数，以形成所述第四组变换基函数。所述第一变换可以是DCT、DST、基于DCT的变换、基于DST的变换或KLT(Karhunen-Loeve变换)。至少考虑计算复杂性，对应于所述第二变换的变换矩阵的元素可以被转换成整数或者受到其他约束。本实施例还提供了一种其上存储有用于根据上述方法编码或解码视频数据的指令的计算机可读存储介质。本实施例还提供了一种其上存储有根据上述方法生成的比特流的计算机可读存储介质。本实施例还提供了一种用于发送根据上述方法生成的比特流的方法和装置。本实施例还提供了一种计算机程序产品，包括用于执行上述方法的软件代码指令。附图说明图1示出了示例性HEVC(HighEfficiencyVideoCoding，高效视频编码)视频编码器的框图。图2示出了示例性HEVC视频解码器的框图。图3示出了根据实施例的在编码器侧对变换基函数进行相位调整的示例性方法。图本文档来自技高网...

【技术保护点】
1.一种用于视频解码的方法，包括：/n访问图片的块的变换系数，所述块至少包括第一颜色分量和第二颜色分量；/n基于(1)所述块的所述第一颜色分量的所访问的变换系数和(2)第一变换，生成所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；/n基于所述块的所述第一颜色分量的所生成的预测残差，确定相位因子；以及/n基于(1)所述块的所述第二颜色分量的所访问的变换系数和(2)第二变换，生成所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数。/n

【技术特征摘要】
【国外来华专利技术】20171012 EP 17306382.71.一种用于视频解码的方法，包括：
访问图片的块的变换系数，所述块至少包括第一颜色分量和第二颜色分量；
基于(1)所述块的所述第一颜色分量的所访问的变换系数和(2)第一变换，生成所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的所生成的预测残差，确定相位因子；以及
基于(1)所述块的所述第二颜色分量的所访问的变换系数和(2)第二变换，生成所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数。


2.一种用于视频编码的方法，包括：
访问图片的块的预测残差，所述块至少包括第一颜色分量和第二颜色分量；
基于第一变换，对所述块的所述第一颜色分量的预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的变换系数，确定所述块的所述第一颜色分量的重构的预测残差；
基于所述块的所述第一颜色分量的重构的预测残差，确定相位因子；
基于第二变换，对所述块的所述第二颜色分量的预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数；以及
对所述块的第一颜色分量和第二颜色分量的变换系数进行编码。


3.一种用于视频解码的装置，包括：
一个或多个处理器，其中，所述一个或多个处理器被配置为：
访问图片的块的变换系数，所述块至少包括第一颜色分量和第二颜色分量；
基于(1)所述块的所述第一颜色分量的所访问的变换系数和(2)第一变换，生成所述块的所述第一颜色分量的预测残差，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的所生成的预测残差，确定相位因子；以及
基于(1)所述块的所述第二颜色分量的所访问的变换系数和(2)第二变换，生成所述块的所述第二颜色分量的预测残差，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数。


4.一种用于视频编码的装置，包括：
一个或多个处理器，其中，所述一个或多个处理器被配置为：
访问图片的块的预测残差，所述块至少包括第一颜色分量和第二颜色分量；
基于第一变换，对所述块的所述第一颜色分量的预测残差进行变换，以形成所述块的所述第一颜色分量的变换系数，所述第一变换至少对应于第一组变换基函数；
基于所述块的所述第一颜色分量的所述变换系数，确定所述块的所述第一颜色分量的重构的预测残差；
基于所述块的所述第一颜色分量的重构的预测残差，确定相位因子；
基于第二变换，对所述块的所述第二颜色分量的预测残差进行变换，以形成所述块的所述第二颜色分量的变换系数，所述第二变换至少对应于第二组变换基函数，其中，基于所确定的相位因子来调整所述第一组变换基函数中的函数，以形成所述第二组变换基函数中的相应函数；以及
对所述块的第一...

【专利技术属性】
技术研发人员：D梭罗，J贝盖恩特，F哈瓦里，F拉卡普，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US