使变换过程自适应于基于神经网络的帧内预测模式制造技术

本发明专利技术提出了用于高效地编码或解码视频的方法和装置。例如，确定使用至少一个神经网络从包括围绕图像块的像素的上下文对该图像块进行的帧内预测，并且还确定与要应用于对该图像块进行解码的变换方法相关的信息。该变换方法自适应于要编码或解码的该块的神经网络帧内预测模式。与该变换方法相关的该信息是在编码时由在该图像块的帧内预测中使用的该至少一个神经网络推断的，并且在解码时用信号发送或也是在解码时推断的。送或也是在解码时推断的。送或也是在解码时推断的。

【技术实现步骤摘要】
【国外来华专利技术】使变换过程自适应于基于神经网络的帧内预测模式


[0001]本实施方案中的至少一个实施方案整体涉及一种用于视频编码或解码的方法或装置，并且更具体地，涉及一种以新信息为特征的方法或装置，该新信息表示当通过基于神经网络的帧内预测模式来预测图像块时要应用于该图像块的残差的至少一个变换。

技术介绍

[0002]为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关，然后对在原始图像块与其预测之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
[0003]对视频压缩技术的最近添加包括各种行业标准、参考软件的版本和/或文档，诸如由JVET(联合视频探索团队)组开发的联合探索模型(JEM)和后续的VTM(多功能视频编码(VVC)测试模型)。其目的是进一步改进现有HEVC(高效视频编码)标准。
[0004]用于编码和解码的现有方法在选择例如当通过基于神经网络的帧内预测模式来预测图像块时要应用于该块的残差的一个或多个变换方面表现出了一些限制。因此，需要改进现有技术。

技术实现思路

[0005]通过本文所述的一般方面解决和处理现有技术的缺点和不足。
[0006]根据第一方面，提供了一种方法。该方法包括：通过确定使用至少一个神经网络从包括围绕图像块的像素的上下文对该图像块进行的帧内预测来进行视频解码；获得与要应用于对该图像块进行解码的变换方法相关的信息，该变换方法自适应于基于神经网络的帧内预测模式；通过根据与该变换方法相关的信息将至少一个逆变换应用于变换系数块来获得该图像块的残差块；以及基于该帧内预测和该残差块对该图像块进行解码。
[0007]根据另一方面，提供了第二方法。该方法包括：通过确定使用至少一个神经网络从包括围绕图像块的像素的上下文对该图像块进行的帧内预测来进行视频编码；获得与要应用于对该图像块进行编码的变换方法相关的信息，所述变换方法自适应于基于神经网络的帧内预测模式；从该图像块和所述帧内预测获得残差块；通过根据与该变换方法相关的信息将至少一个变换应用于该残差块来获得变换系数块；以及对该变换系数块进行编码。
[0008]根据另一方面，提供了一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频解码的方法。根据另一方面，用于视频解码的装置包括：用于通过确定使用至少一个神经网络从包括围绕图像块的像素的上下文对该图像块进行的帧内预测来进行视频解码的装置；用于获得与要应用于对该图像块进行解码的变换方法相关的信息的装置，该变换方法自适应于基于神经网络的帧内预测模式；用于通过根据与该变换方法相关的信息将至少一个逆变换应用于变换系数块来获
得该图像块的残差块的装置；和用于基于该帧内预测和该残差块对该图像块进行解码的装置。
[0009]根据另一方面，提供了另一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频编码的方法。根据另一方面，用于视频编码的装置包括：用于通过确定使用至少一个神经网络从包括围绕图像块的像素的上下文对该图像块进行的帧内预测来进行视频解码的装置；用于获得与要应用于对该图像块进行编码的变换方法相关的信息的装置，所述变换方法自适应于基于神经网络的帧内预测模式；用于从该图像块和所述帧内预测获得残差块的装置；用于通过根据与该变换方法相关的信息将至少一个变换应用于该残差块来获得变换系数块的装置；和用于对该变换系数块进行编码的装置。
[0010]根据至少一个实施方案的另一个一般方面，该信息由在从包括围绕所述图像块的像素的上下文对该图像块进行的帧内预测中使用的该至少一个神经网络来推断。
[0011]根据至少一个实施方案的另一个一般方面，在比特流中对与变换方法相关的信息进行解码/编码。
[0012]根据至少一个实施方案的另一个一般方面，该信息包括表示神经网络帧内预测模式与多个变换组中的变换组之间的映射的变换组索引(trGrpIdx)。
[0013]根据至少一个实施方案的另一个一般方面，该信息包括表示神经网络帧内预测模式与多个变换中的变换之间的映射的变换索引(trIdx)。
[0014]根据至少一个实施方案的另一个一般方面，该信息信息包括表示神经网络帧内预测模式与分层变换组之间的映射的变换宏组索引(trMacroGrpIdx)。
[0015]根据至少一个实施方案的另一个一般方面，推断与应用于对图像块进行编码(或对图像块进行解码)的变换方法相关的信息的一个神经网络还包括一个或多个输出数据，该一个或多个输出数据为标量、向量、张量中的任一者，根据该一个或多个输出信息确定变换组索引(trGrpIdx)、变换索引(trIdx)、变换宏组索引(trMacroGrpIdx)中的至少一者。
[0016]根据至少一个实施方案的另一个一般方面，学习变换方法的多个变换当中的至少一个变换，并且在比特流中用信号发送学到的变换的参数(φ)。
[0017]根据至少一个实施方案的另一个一般方面，学习推断与要应用于对图像块进行编码(或对图像块进行解码)的变换方法相关的信息的至少一个神经网络，并且在比特流中用信号发送推断与要应用的变换方法相关的信息的该至少一个神经网络的参数。
[0018]根据至少一个实施方案的另一个一般方面，确定与要应用于对图像块进行编码(或对图像块进行解码)的变换方法相关的信息的预测，并且基于该预测来对与要应用的变换方法相关的信息进行预测性地编码/解码。
[0019]根据至少一个实施方案的另一个一般方面，对于给定图像块的编码参数的迭代测试，在第一次计算由基于神经网络的帧内预测模式确定的图像块的帧内预测时，将该帧内预测保存到存储器中，并且在每个后续测试期间加载该图像块的帧内预测。
[0020]根据至少一个实施方案的另一个一般方面，推断与要应用于对图像块进行编码(或对图像块进行解码)的变换方法相关的信息的至少一个神经网络自适应于利用单独的亮度和色度树进行编码。
[0021]根据至少一个实施方案的另一个一般方面，对于给定图像块的编码参数的迭代测
试，在第一次计算由于将主变换应用于神经网络帧内预测的残差块而产生的主变换系数块时，将该主变换系数块保存到存储器中，并且在需要该主变换系数块的每个后续测试期间加载该主变换系数块。
[0022]根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收到的信号限制为包括该视频块的频带；或(iii)显示器，该显示器被配置为显示表示视频块的输出。
[0023]根据至少一个实施方案的另一个一般方面，提供了一种非暂本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括对图像块进行解码，其中所述解码包括：
‑
确定(260)使用至少一个神经网络从包括围绕所述图像块的像素的上下文对所述图像块进行的帧内预测
‑
获得与要应用于对所述图像块进行解码的变换方法相关的信息(TrInfo)，所述变换方法自适应于基于神经网络的帧内预测模式；
‑
通过根据与所述变换方法相关的所述信息将至少一个逆变换应用于变换系数块来获得(250)所述图像块的残差块；以及
‑
基于所述帧内预测和所述残差块对所述图像块进行解码。2.一种装置，所述装置包括存储器和一个或多个处理器，其中所述一个或多个处理器被配置为：
‑
确定(260)使用至少一个神经网络从包括围绕所述图像块的像素的上下文对所述图像块进行的帧内预测
‑
获得与要应用于对所述图像块进行解码的变换方法相关的信息(TrInfo)，所述变换方法自适应于基于神经网络的帧内预测模式；
‑
通过根据与所述变换方法相关的所述信息将至少一个逆变换应用于变换系数块来获得(250)所述图像块的残差块；以及
‑
基于所述帧内预测和所述残差块对所述图像块进行解码。3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中从比特流解码所述与变换方法相关的信息。4.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述信息由在从包括围绕所述图像块的像素的上下文对所述图像块进行的帧内预测中使用的所述至少一个神经网络来推断。5.根据权利要求1、3至4中任一项所述的方法或根据权利要求2至4中任一项所述的装置，其中要应用于所述图像块的变换方法包括从多个变换中选择至少一个变换，所述多个变换包括以下中的任一者：
‑
可分离变换或不可分离变换；
‑
水平变换或垂直变换；
‑
线性变换或非线性变换；
‑
在所述变换方法中连续应用的主变换、二次变换或三次变换；
‑
学到的变换。6.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中所述信息包括表示基于神经网络的帧内预测模式与多个变换组中的变换组之间的映射的变换组索引(trGrpIdx)。7.根据权利要求6所述的方法或根据权利要求6所述的装置，其中所述信息还包括表示属于所述变换组的多个变换中要应用的变换的索引。8.根据权利要求1、3至7中任一项所述的方法或根据权利要求2至7中任一项所述的装置，其中所述信息包括表示基于神经网络的帧内预测模式与多个变换中的变换之间的映射的变换索引(trIdx)。
9.根据权利要求1、3至8中任一项所述的方法或根据权利要求2至8中任一项所述的装置，其中所述信息包括表示基于神经网络的帧内预测模式与分层变换组之间的映射的变换宏组索引(trMacroGrpIdx)。10.根据权利要求9所述的方法或根据权利要求9所述的装置，其中所述信息还包括表示属于所述分层变换组的多个变换中要应用的变换的索引。11.根据权利要求4至10中任一项所述的方法或根据权利要求4至10中任一项所述的装置，其中推断所述与要应用的变换方法相关的信息的所述至少一个神经网络还包括以下中的一个或多个输入数据：
‑
用于对部分地或完全地属于包括围绕所述图像块的像素的所述上下文的块进行解码的量化参数；
‑
如果在帧内预测在包括围绕所述图像块的像素的所述上下文的右上方的块，则用于预测位于所述上下文的所述右上方的所述块的所述帧内预测模式的索引；
‑
如果在帧内预测在包括围绕所述图像块的像素的所述上下文的左下方的块，则用于预测位于所述上下文的所述左下方的所述块的所述帧内预测模式的索引。12.根据权利要求4至11中任一项所述的方法或根据权利要求4至11中任一项所述的装置，其中推断所述与要应用的至少一个变换相关的信息的所述至少一个神经网络还包括以下中的一个或多个输出数据：
‑
用于对所述图像块进行解码的量化参数；
‑
用于对所述图像块进行解码的量化参数的预测。13.根据权利要求4至12中任一项所述的方法或根据权利要求4至12中任一项所述的装置，其中推断所述与要应用的变换方法相关的信息的所述至少一个神经网络还包括一个或多个输出数据，所述输出数据为标量、向量、张量中的任一者，根据所述一个或多个输出数据确定变换组索引(trGrpIdx)、变换索引(trIdx)、变换宏组索引(trMacroGrpIdx)中的至少一者。14.根据权利要求4至13中任一项所述的方法或根据权利要求4至13中任一项所述的装置，其中所述变换方法包括应用于所述经解码的量化变换系数的逆二次低频不可分离变换(LFNST)和应用于所述经解码的主变换系数的逆主变换；并且其中推断所述与变换方法相关的信息的所述至少一个神经网络推断表示具有转置所述主变换系数的决策的一组2个LFNST矩阵的索引(trGrpIdx)，以及作为逆主变换应用于所述经解码的主变换系数的多变换选择的索引(mtsIdx)。15.根据权利要求14所述的方法或根据权利要求14所述的装置，其中在所述一组2个LFNST矩阵中从所述比特流对低频不可分离变换的索引(lfnstIdx)进行进一步解码。16.根据权利要求4至15中任一项所述的方法或根据权利要求4至15中任一项所述的装置，其中学习变换方法的多个变换中的至少一个变换，并且其中接收所述学到的变换的参数(φ)。17.根据权利要求4至15中任一项所述的方法或根据权利要求4至15中任一项所述的装置，其中学习推断所述与要应用的变换方法相关的信息的所述至少一个神经网络，并且其中接收推断所述与要应用的变换方法相关的信息的所述至少一个神经网络的参数(ψ)。18.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装
置，其中所述信息包括表示基于神经网络的帧内预测模式与多个变换组中的变换组之间的映射的变换组索引(trGrpIdx)的预测。19.根据权利要求1、3至5、18中任一项所述的方法或根据权利要求2至5、18中任一项所述的装置，其中所述信息包括表示基于神经网络的帧内预测模式与多个变换中的变换之间的映射的变换索引(trIdx)的预测。20.根据权利要求1、3至5、18、19中任一项所述的方法或根据权利要求2至5、18、19中任一项所述的装置，其中所述信息包括表示基于神经网络的帧内预测模式与分层变换组之间的映射的索引(trMacroGrpIdx)的预测。21.根据权利要求17至20中任一项所述的方法或根据权利要求17至20中任一项所述的装置，其中基于所述预测来对所述信息进行预测性地解码。22.根据权利要求14或15中任一项所述的方法或根据权利要求14或15中任一项所述的装置，其中响应于确定单独的编码树被用于所述图像块的亮度分量和色度分量以及响应于确定所述图像块的色度分量是根据交叉分量线性建模确定的，推断所述与变换方法相关的信息的所述至少一个神经网络推断表示具有转置亮度分量的所述主变换系数的决策的一组2个LFNST矩阵的索引(trGrpIdx
Y
)，并且其中根据表示具有转置并置的亮度分量的所述主变换系数的决策的一组2个LFNST矩阵的所述索引(trGrpIdx
Y
)确定要应用于对所述图像块的所述色度分量进行解码的变换方法。23.根据权利要求14和18所述的方法或根据权利要求14和18所述的装置，其中响应于确定单独的编码树被用于所述图像块的亮度分量和色度分量，推断所述与变换方法的预测相关的信息的所述至少一个神经网络推断表示具有转置亮度分量的所述主变换系数的决策的一组2个LFNST矩阵的索引的预测(predTrGrpIdx
Y
)，以及推断所述与变换方法的预测相关的信息的所述至少一个神经网络推断表示具有转置所述色度分量中的至少一个色度分量的所述主变换系数的决策的一组2个LFNST矩阵的索引的预测(predTrGrpIdx
C
)。24.根据权利要求14和18所述的方法或根据权利要求14和18所述的装置，其中响应于确定单独的编码树被用于所述图像块的亮度分量和色度分量以及响应于确定所述图像块的色度分量是根据交叉分量线性建模确定的，推断所述与变换方法的预测相关的信息的所述至少一个神经网络推断表示具有转置亮度分量的所述主变换系数的决策的一组2个LFNST矩阵的索引的预测(predTrGrpIdx
Y
)，以及根据表示具有转置并置的亮度分量的所述主变换系数的决策的一组2个LFNST矩阵的索引的所述预测(predTrGrpIdx
Y
)确定要应用于对所述图像块的所述色度分量进行解码的变换方法。25.根据权利要求14和18所述的方法或根据权利要求14和18所述的装置，其中推断所述与变换方法的预测相关的信息的所述至少一个神经网络推断帧内预测模式索引，并且其中使用映射表和所述帧内预测模式索引来导出表示具有转置所述主变换系数的决策的一组2个LFNST矩阵的索引的预测(predTrGrpIdx)。26.一种方法，包括对图像块进行编码，其中所述编码包括：
‑
确定(160)使用至少一个神经网络从包括围绕所述图像块的像素的上下文对所述图像块进行的帧内预测
‑
获得与要应用于对所述图像块进行编码的变换方法相关的信息(TrInfo)，所述变换方法自适应于基于神经网络的帧内预测模式；
‑
从所述图像块(Y)和所述帧内预测获得残差块
‑
通过根据与所述变换方法相关的所述信息将至少一个变换应用于所述残差块来获得(125)变换系数块；以及
...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：交互数字VC控股法国有限公司，
类型：发明
国别省市：