编码、解码方法和相关设备技术

本申请提供了编码、解码方法和相关设备。涉及基于人工智能的视频或图像压缩技术领域领域，具体涉及基于神经网络的视频压缩技术领域。该方法包括：对原始图像进行编码以得到第一码流，对保真度图进行编码以得到第二码流；解码端对第一码流进行解码可以得到原始图像的重建图像，解码端对第二码流进行解码后得到保真度图的重建图，而保真度图的重建图用于表示原始图像的至少部分区域与重建图像的至少部分区域之间的失真。本申请实施例能够在解码端获得编码图像的失真强度信息。端获得编码图像的失真强度信息。端获得编码图像的失真强度信息。

【技术实现步骤摘要】
编码、解码方法和相关设备


[0001]本申请实施例设计基于人工智能(AI)的视频或图像压缩
，尤其涉及一种编码、解码方法和相关设备。

技术介绍

[0002]视频编码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、互联网和移动网络上的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及可携式摄像机的安全应用。
[0003]即使在影片较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受限的网络中发送或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩然后在现代电信网络中传输。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件，以在传输或存储之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。然后，压缩的数据在目的地侧由视频解压缩设备接收。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够提高压缩率而几乎不影响图像质量。
[0004]近年来，将深度学习应用于在图像和视频编解码领域逐渐成为一种趋势。然而，现有的各种基于神经网络的视频或图像编解码方案，都不能在解码端获得编码图像的失真强度信息，例如不能在解码端获得一张编码图像中各个区域的失真强度信息以及一张编码图像的总体失真强度信息。

技术实现思路

[0005]本申请提供一种编码、解码方法和相关设备，能够在解码端获得编码图像的失真强度信息。
[0006]上述和其它目标通过独立权利要求的主体实现。其它实现方式在从属权利要求、具体实施方式和附图中显而易见。
[0007]具体实施例在所附独立权利要求中概述，其它实施例在从属权利要求中概述。
[0008]根据第一方面，本申请涉及一种编码方法。所述方法由编码设备执行。所述方法包括：对原始图像进行编码以得到第一码流；对保真度图进行编码以得到第二码流，其中，所述保真度图用于表示所述原始图像的至少部分区域与重建图像的至少部分区域之间的失真，所述重建图像是对所述第一码流进行解码后得到的。在本申请实施例中，对原始图像进行编码以得到第一码流，对保真度图进行编码以得到第二码流，保真度图用于表示原始图像的至少部分区域与重建图像的至少部分区域之间的失真，其中，失真包括差异；解码端对第一码流进行解码可以得到原始图像的重建图像，解码端对第二码流进行解码后得到保真度图的重建图(也可简称为重建保真度图)；而若编码为无损编码，则保真度图的重建图和保真度图相同；若编码为有损编码，则保真度图的重建图包括对保真度图进行编码而生成
的编码失真；故保真度图可以用于表示原始图像的至少部分区域与重建图像的至少部分区域之间的失真；因此，本申请实施例能够在解码端获得编码图像的失真强度信息。
[0009]在一种可能的设计中，所述方法还包括：将所述原始图像划分为多个第一图像块，以及将所述重建图像划分为多个第二图像块，其中，划分所述原始图像的划分策略与划分所述重建图像的划分策略相同，所述多个第一图像块与所述多个第二图像块一一对应；或将所述原始图像的预设区域划分为多个第一图像块，以及将所述重建图像的预设区域划分为多个第二图像块，其中，划分所述原始图像的预设区域的划分策略与划分所述重建图像的预设区域的划分策略相同，所述多个第一图像块与所述多个第二图像块一一对应；根据所述多个第二图像块中的任一第二图像块与所述任一第二图像块对应的第一图像块计算得到所述任一第二图像块的保真度值，所述保真度图包括所述任一第二图像块的保真度值，所述任一第二图像块的保真度值用于表示所述任一第二图像块与所述任一第二图像块对应的第一图像块之间的失真。其中，所述多个第二图像块中的任一第二图像块在所述重建图像中的位置与所述任一第二图像块对应的第一图像块在所述原始图像中的位置相同；所述原始图像的预设区域在所述原始图像中的位置与所述重建图像的预设区域在所述重建图像中的位置相同，所述多个第二图像块中的任一第二图像块在所述重建图像的预设区域中的位置与所述任一第二图像块对应的第一图像块在所述原始图像的预设区域中的位置相同。在本申请实施例中，原始图像的尺寸和重建图像的尺寸是一样的，预设区域在原始图像中的位置和在重建图像中的尺寸、位置是一样的；根据相同的划分策略将原始图像划分为多个第一图像块，以及将重建图像划分为多个第二图像块；或者根据相同的划分策略将原始图像的预设区域划分为多个第一图像块，以及将重建图像的预设区域划分为多个第二图像块；划分得到的多个第一图像块和划分得到的第二图像块是存在一一对应的关系的，其中，任一第一图像块的尺寸相同，任一第二图像块的尺寸也相同，且第一图像块与第二图像块的尺寸也相同；故可以将第一图像块和第二图像块作为保真度计算的基本单元，也即根据这多个第二图像块中的任一第二图像块与其对应的第一图像块可以计算得到任一第二图像块的保真度值，而这多个第二图像块的保真度值也即重建图像的各个区域的保真度值，根据多个第二图像块的保真度值可以得到保真度图；其中，当第一图像块是原始图像划分得到、第二图像块是重建图像划分得到时，保真度图用于表征重建图像的保真度；当第一图像块是原始图像的预设区域划分得到、第二图像块是重建图像的预设区域划分得到时，保真度图用于表征重建图像的预设区域的保真度；从而有利于得到用于表征编码图像的失真强度信息的保真度图。
[0010]在一种可能的设计中，所述保真度图包括多个第一元素，所述多个第二图像块与所述多个第一元素一一对应，所述多个第一元素中的任一第一元素的值为与所述任一第一元素对应的第二图像块的保真度值，所述任一第一元素在所述保真度图中的位置根据与所述任一第一元素对应的第二图像块在所述重建图像中的位置确定，或所述任一第一元素在所述保真度图中的位置根据与所述任一第一元素对应的第二图像块在所述重建图像的预设区域中的位置确定。其中，第一元素也可以称为保真图的像素点。在计算保真度图时，是将图像划分得到基本单元进行保真度计算的，故有多少个基本单元，保真度图中就有多少个第一元素；其中，任一第一元素有两个属性，分别为保真度值与该保真度值在保真度图中的位置。在本申请实施例中，保真度图为二维阵列，将重建图像划分得到多个第二图像块，
可以根据多个第二图像块的保真度值得到保真度图，也即根据多个第二图像块可以确定多个第一元素，多个第二图像块与多个第一元素一一对应，多个第一元素中的任一第一元素的值为与其对应的第二图像块的保真度值；且多个第一元素中的任一第一元素在保真度图中的位置根据与其对应的第二图像块在重建图像中的位置确定，具体地，多个第一元素中的任一第一元素在保真度图中的位置与其对应的第二图像块在重建图像或在重建图像的预设区域中的位置相同，从而保真度图各位置上的元素表征的是重建图像或重建图像的预设区域中与其位置对应的区域的保真度，因此有利于保真度图用于表征编码图像的失真强度信息。
[0011]在一种可能的设计中，所述第二图像块包括三个色彩分量，所述保真度图为包括色彩分量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种编码方法，其特征在于，包括：对原始图像进行编码以得到第一码流；对保真度图进行编码以得到第二码流，其中，所述保真度图用于表示所述原始图像的至少部分区域与重建图像的至少部分区域之间的失真，所述重建图像是对所述第一码流进行解码后得到的。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述原始图像划分为多个第一图像块，以及将所述重建图像划分为多个第二图像块，其中，划分所述原始图像的划分策略与划分所述重建图像的划分策略相同，所述多个第一图像块与所述多个第二图像块一一对应；或将所述原始图像的预设区域划分为多个第一图像块，以及将所述重建图像的预设区域划分为多个第二图像块，其中，划分所述原始图像的预设区域的划分策略与划分所述重建图像的预设区域的划分策略相同，所述多个第一图像块与所述多个第二图像块一一对应；根据所述多个第二图像块中的任一第二图像块与所述任一第二图像块对应的第一图像块计算得到所述任一第二图像块的保真度值，所述保真度图包括所述任一第二图像块的保真度值，所述任一第二图像块的保真度值用于表示所述任一第二图像块与所述任一第二图像块对应的第一图像块之间的失真。3.根据权利要求2所述的方法，其特征在于，所述保真度图包括多个第一元素，所述多个第二图像块与所述多个第一元素一一对应，所述多个第一元素中的任一第一元素的值为与所述任一第一元素对应的第二图像块的保真度值，所述任一第一元素在所述保真度图中的位置根据与所述任一第一元素对应的第二图像块在所述重建图像中的位置确定，或所述任一第一元素在所述保真度图中的位置根据与所述任一第一元素对应的第二图像块在所述重建图像的预设区域中的位置确定。4.根据权利要求2所述的方法，其特征在于，所述第二图像块包括三个色彩分量，所述保真度图为包括色彩分量、宽和高三个维度的三维阵列，所述保真度图中的任一色彩分量A下的二维阵列包括多个第一元素，所述多个第一元素中的任一第一元素的值为与所述任一第一元素对应的第二图像块的色彩分量A的保真度值，所述任一第一元素在所述保真度图中的任一色彩分量A下的二维阵列的位置根据与所述任一第一元素对应的第二图像块在所述重建图像中的位置确定，或所述任一第一元素在所述保真度图中的任一色彩分量A下的二维阵列的位置根据与所述任一第一元素对应的第二图像块在所述重建图像的预设区域中的位置确定。5.根据权利要求3或4所述的方法，其特征在于，所述对保真度图进行编码以得到第二码流，包括：对所述任一第一元素进行熵编码以得到所述第二码流，对所述任一第一元素的熵编码独立于其他第一元素的熵编码；或者，根据所述已编码的第一元素中的至少一个第一元素的值确定所述任一第一元素的值的概率分布或所述任一第一元素的预测值，并根据所述任一第一元素的值的概率分布或所述任一第一元素的预测值对所述任一第一元素进行熵编码，以得到所述第二码流；其中，所述第二码流包括所述多个第一元素的码流。
6.根据权利要求3或4所述的方法，其特征在于，所述对保真度图进行编码以得到第二码流，包括：对所述任一第一元素进行量化，以得到量化后的第一元素；对所述量化后的第一元素进行编码，以得到所述第二码流；其中，所述第二码流包括所述多个第一元素的码流。7.一种解码方法，其特征在于，包括：对第一码流进行解码以得到原始图像的重建图像；对第二码流进行解码以得到保真度图的重建图，其中，所述第二码流是对所述保真度图进行编码得到的，所述保真度图的重建图用于表示所述原始图像的至少部分区域与所述重建图像的至少部分区域之间的失真。8.根据权利要求7所述的方法，其特征在于，所述保真度图包括多个第二图像块中的任一第二图像块的保真度值，所述任一第二图像块的保真度值用于表示所述任一第二图像块与所述任一第二图像块对应的原始图像块之间的失真。9.根据权利要求8所述的方法，其特征在于，所述保真度图包括多个第一元素，所述多个第二图像块与所述多个第一元素一一对应，所述多个第一元素中的任一第一元素的值为与所述任一第一元素对应的第二图像块的保真度值，所述任一第一元素在所述保真度图中的位置根据与所述任一第一元素对应的第二图像块在所述重建图像中的位置确定，或所述任一第一元素在所述保真度图中的位置根据与所述任一第一元素对应的第二图像块在所述重建图像的预设区域中的位置确定。10.根据权利要求8所述的方法，其特征在于，所述第二图像块包括三个色彩分量，所述保真度图为包括色彩分量、宽和高三个维度的三维阵列，所述保真度图中的任一色彩分量A下的二维阵列包括多个第一元素，所述多个第一元素中的任一第一元素的值为与所述任一第一元素对应的第二图像块的色彩分量A的保真度值，所述任一第一元素在所述保真度图中的任一色彩分量A下的二维阵列的位置根据与所述任一第一元素对应的第二图像块在所述重建图像中的位置确定，或所述任一第一元素在所述保真度图中的任一色彩分量A下的二维阵列的位置根据与所述任一第一元素对应的第二图像块在所述重建图像的预设区域中的位置确定。11.根据权利要求9或10所述的方法，其特征在于，所述对第二码流进行解码以得到保真度图的重建图，包括：对所述第二码流进行解码，以得到所述任一第一元素的重建保真度值；根据所述任一第一元素的重建保真度值得到所述保真度图的重建图。12.根据权利要求9或10所述的方法，其特征在于，所述第二码流是对量化后的第一元素进行编码得到的；所述对第二码流进行解码以得到保真度图的重建图，包括：对所述第二码流进行解码，以得到所述量化后的第一元素的重建保真度值；对所述量化后的第一元素的重建保真度值进行反量化，以得到所述任一第一元素的重建保真度值；根据所述任一第一元素的重建保真度值得到所述保真度图的重建图。13.一种解码方法，其特征在于，包括：
对第一码流进行解码以得到原始图像的重建图像和目标量化参数信息，所述目标量化参数信息包括所述重建图像的多个第二图像块中的全部或部分第二图像块的量化参数值；根据所述目标量化参数信息构建所述重建图像的量化参数图，其中，所述重建图像的量化参数图用于表示所述原始图像的至少部分区域与所述重建图像的至少部分区域之间的失真。14.根据权利要求13所述的方法，其特征在于，所述第二图像块为编码单元。15.根据权利要求13或14所述的方法，其特征在于，所述重建图像的量化参数图包括多个第二元素，所述多个第二图像块与所述多个第二元素一一对应，所述多个第二元素中的任一第二元素的值为与所述任一第二元素对应的第二图像块的量化参数值，所述任一第二元素在所述重建图像的量化参数图中的位置根据与所述任一第二元素对应的第二图像块在所述重建图像中的位置确定，或所述任一第二元素在所述重建图像的量化参数图中的位置根据与所述任一第二元素对应的第二图像块在所述重建图像的预设区域中的位置确定。16.根据权利要求13或14所述的方法，其特征在于，所述第二图像块包括三个色彩分量，所述重建图像的量化参数图为包括色彩分量、宽和高三个维度的三维阵列，所述重建图像的量化参数图中的任一色彩分量A下的二维阵列包括多个第二元素，所述多个第二元素中的任一第二元素的值为与所述任一第二元素对应的第二图像块的色彩分量A的量化参数值，所述任一第二元素在所述重建图像的量化参数图中的任一色彩分量A下的二维阵列的位置根据与所述任一第二元素对应的第二图像块在所述重建图像中的位置确定，或所述任一第二元素在所述重建图像的量化参数图中的任一色彩分量A下的二维阵列的位置根据与所述任一第二元素对应的第二图像块在所述重建图像的预设区域中的位置确定。17.根据权利要求14
‑
16中任一项所述的方法，其特征在于，所述根据所述目标量化参数信息构建所述重建图像的量化参数图，包括：当所述目标量化参数信息包括所述多个编码单元中的部分编码单元的量化参数值时，根据所述部分编码单元的量化参数值和/或参考量化参数图，得到目标编码单元的量化参数值，其中，所述参考量化参数图为所述重建图像的参考图像的量化参数图，所述目标编码单元为所述多个编码单元中除所述部分编码单元之外的编码单元；根据所述部分编码单元的量化参数值和所述目标编码单元的量化参数值，得到所述重建图像的量化参数图。18.根据权利要求17所述的方法，其特征在于，所述参考量化参数图包括多个参考元素，所述多个参考元素中的任一参考元素的值为所述参考图像中的编码单元的量化参数值；所述根据参考量化参数图，得到目标编码单元的量化参数值，包括：将目标元素的值作为所述目标编码单元中任一目标编码单元的量化参数值，其中，所述目标元素为所述参考量化参数图中的参考元素，所述目标元素在所述参考量化参数图中的位置根据所述任一目标编码单元在所述重建图像中的位置确定，或所述目标元素在所述参考量化参数图中的位置根据所述任一目标编码单元在所述重建图像中的位置和所述任一目标编码单元的运动矢量确定。19.一种编码设备，其特征在于，包括：视频编码器，用于对原始图像进行编码以得到第一码流；保真度图编码器，用于对保真度图进行编码以得到第二码流，其中，所述保真度图用于
表示所述原始图像的至少部分区域与重建图像的至少部分区域之间的失真，所述重建图像是对所述第一码流进行解码后得到的。20.根据权利要求19所述的编码设备，其特征在于，所述编码设备还包括保真度图计算器，所述保真度图计算器用于：将所述原始图像划分为多个第一图像块，以及将所述重建图像划分为多个第二图像块，其中，划分所述原始图像的划分策略与划分所述重建图像的划分策略相同，所述多个第一图像块与所述多个第二图像块一一对应；或将所述原始图像的预设区域划分为多个第一图像块，以及将所述重建图像的预设区域划分...

【专利技术属性】
技术研发人员：杨海涛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：