用于图像编解码的方法和装置制造方法及图纸

提供一种用于图像编解码的方法和装置。该方法包括：利用第一神经网络模型提取原始图像的特征，作为原始图像的变换结果；根据第一神经网络模型的参数，生成非均匀的量化参数；根据量化参数，对原始图像的变换结果进行量化，得到原始图像的量化结果；根据原始图像的量化结果，生成原始图像的解码图像；根据原始图像和解码图像之间的差异，利用反向传播算法，对第一神经网络模型的参数进行更新；重复执行上述步骤，直到原始图像和解码图像之间的差异满足预设条件。采用基于神经网络模型的编码方式对图像进行编码，且在编码过程中采用非均匀量化参数进行量化，使得量化结果能够更好地保留原图的信息。

Methods and devices for image coding and decoding

【技术实现步骤摘要】
【国外来华专利技术】用于图像编解码的方法和装置本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像编解码领域，并且更为具体地，涉及一种用于图像编解码的方法和装置。
技术介绍
随着便携式设备和社交媒体(如微信，微博等)的广泛应用，每天有海量的图像在网络上传播。如果不对图像的大小进行压缩，将导致存储空间占用量大、网络信息传播速度慢等问题。图像中包含大量的冗余信息，因此可以利用图像压缩算法对图像进行压缩，从而减少存储空间，并提高网络信息的传输速度。传统的图像压缩算法一般包括变换、量化、熵编码等操作。利用变换操作可以提取图像特征。传统变换操作包括离散余弦变换(discretecosinetransform，DCT)或离散小波变换(discretewavelettransform，DWT)，均是利用人工先验知识提取图像特征。利用人工先验知识提取出的图像特征表达能力不够强。最近，基于神经网络模型的图像编解码技术被提出，其可以利用神经网络模型执行变换操作。与传统变换方式相比，利用神经网络模型进行变换之后得到的图像特征表达能力更强，更加符合人眼的特性。
技术实现思路
本申请提供一种用于图像编解码的方法和装置，能够改善基于神经网络模型的图像编解码方式。第一方面，提供一种用于图像编解码的方法，包括：利用第一神经网络模型提取原始图像的特征，作为所述原始图像的变换结果；根据第一神经网络模型的参数，生成非均匀的量化参数；根据所述量化参数，对所述原始图像的变换结果进行量化，得到所述原始图像的量化结果；根据所述原始图像的量化结果，生成所述原始图像的解码图像；根据所述原始图像和所述解码图像之间的差异，利用反向传播算法，对所述第一神经网络模型的参数进行更新；重复执行上述步骤，直到所述原始图像和所述解码图像之间的差异满足预设条件。第二方面，提供一种用于图像编解码的装置，包括：存储器，用于存储指令；处理器，用于执行指令，以实现：利用第一神经网络模型提取原始图像的特征，作为所述原始图像的变换结果；根据第一神经网络模型的参数，生成非均匀的量化参数；根据所述量化参数，对所述原始图像的变换结果进行量化，得到所述原始图像的量化结果；根据所述原始图像的量化结果，生成所述原始图像的解码图像；根据所述原始图像和所述解码图像之间的差异，利用反向传播算法，对所述第一神经网络模型的参数进行更新；重复执行上述步骤，直到所述原始图像和所述解码图像之间的差异满足预设条件。第三方面，提供一种计算机可读存储介质，其上存储有用于执行第一方面中的方法的指令。第四方面，提供一种计算机程序产品，包含用于执行第一方面中的方法的指令。采用基于神经网络模型的编码方式对图像进行编码，且在编码过程中采用非均匀量化参数进行量化，使得量化结果能够更好地保留原图的信息。附图说明图1是传统图像编解码过程的示意图。图2是本申请实施例提供的用于图像编解码的方法的示意性流程图。图3是本申请实施例提供的用于执行变化操作的神经网络模型的结构示例图。图4是本申请实施例提供的用于执行反变化操作的神经网络模型的结构示例图。图5是图2中的步骤S220的一种可能的实现方式的流程示意图。图6是本申请实施例提供的变换和量化过程的示例图。图7是本申请实施例提供的熵编码过程的示意性流程图。图8是本申请实施例提供的卷积核的掩膜的示例图。图9是本申请实施例提供的掩膜的使用方式的示例图。图10是本申请实施例提供的掩膜卷积神经网络的结构示例图。图11是本申请实施例提供的图像编解码过程的示例图。图12是本申请实施例提供的用于图像编解码的装置的结构示意图。具体实施方式为了便于理解，先对相关的图像压缩技术进行介绍。图像编解码技术可用于减少图像的存储空间并提高图像的传播速度。图像编解码技术的标准有很多，如联合图像专家组(jointphotographicexpertsgroup，JPEG)或JPEG2000等。如图1所示，相关的图像编解码过程大致可以包括由编码端执行的变换、量化、熵编码操作，以及由解码端执行的熵解码、反量化、反变换操作。变换操作可用于提取图像特征。JPEG标准采用DCT方式将图像变换至频域，以获取图像在频域的特征信息。JPEG2000采用DWT方式，多分辨率地提取各个图像的各个波段的信息。量化操作可用于进一步压缩图像信息。JPEG和JPEG2000均采用统计方法归纳量化表，并利用查找表完成上述量化操作。熵编码操作可用于增强图像的抗干扰能力，并进一步去除图像中的冗余信息。熵编码可以先对待编码符号进行概率估计，并基于估计出的概率计算编码该符号所需的比特数。JPEG采用哈夫曼编码方式进行熵编码，JPEG2000采用自适应算术编码方式进行熵编码。解码端的操作为编码端操作的逆操作，此处不再详述。图像的编码质量通常采用率失真率(rate-distortion)来衡量，以保证低码率的同时能恢复原始图像中的更多信息。其中，码率(rate)可代表压缩后的图像的每个像素所占用的比特数；失真率(distortion)可以指解压缩后的图像与原始图像之间的峰值信噪比(peaksignaltonoiseratio，PSNR)，可以采用下式计算：其中MSE表示的是均方误差，MSE的取值可以通过下式计算：m代表像素点所在的行，n代表像素点所在的列，Y代表解码图像，X代表原始图像。为了进一步提高图像的率失真率，相关技术提出了基于神经网络模型的图像编解码方式，其利用神经网络模型来执行图1中的变换操作，即利用神经网络模型提取图像特征。相应地，在解码端，可以利用神经网络模型进行反变换操作。利用神经网络模型提取出来的图像特征表达能力更强，更加符合人眼的特性。在这些相关技术中，有些采用卷积神经网络(convolutionalneuralnetwork，CNN)提取图像特征，有些采用递归神经网络(recurrentneuralnetwork，RNN)提取图像特征。目前，基于神经网络模型的图像编解码方式均采用均匀量化方式对图像特征进行量化。但是，图像的空间信息具有差异性，对图像特征进行均匀量化存在一定的量化误差。因此，目前的基于神经网络模型的图像编解码方式存在被进一步改善的空间。图2是本申请实施例提供的用于图像编解码的方法的示意性流程图。图2的方法可以由用于图像编解码的装置实现，该装置例如可以是神经网络模型的训练装置。图2的方法可以发生在神经网络模型的训练阶段，实际应用时，直接使用训练好的神经网络模型即可。图2的方法可以包括步骤S210至步骤S260，下面分别对这些步骤进行详细描述。在步骤S210，利用第一神经网络模型提取原始图像的特征，作为原始图像的变换结果。本申请实施例对第本文档来自技高网...

【技术保护点】
1.一种用于图像编解码的方法，其特征在于，包括：/n利用第一神经网络模型提取原始图像的特征，作为所述原始图像的变换结果；/n根据第一神经网络模型的参数，生成非均匀的量化参数；/n根据所述量化参数，对所述原始图像的变换结果进行量化，得到所述原始图像的量化结果；/n根据所述原始图像的量化结果，生成所述原始图像的解码图像；/n根据所述原始图像和所述解码图像之间的差异，利用反向传播算法，对所述第一神经网络模型的参数进行更新；/n重复执行上述步骤，直到所述原始图像和所述解码图像之间的差异满足预设条件。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于图像编解码的方法，其特征在于，包括：
利用第一神经网络模型提取原始图像的特征，作为所述原始图像的变换结果；
根据第一神经网络模型的参数，生成非均匀的量化参数；
根据所述量化参数，对所述原始图像的变换结果进行量化，得到所述原始图像的量化结果；
根据所述原始图像的量化结果，生成所述原始图像的解码图像；
根据所述原始图像和所述解码图像之间的差异，利用反向传播算法，对所述第一神经网络模型的参数进行更新；
重复执行上述步骤，直到所述原始图像和所述解码图像之间的差异满足预设条件。


2.根据权利要求1所述的方法，其特征在于，所述根据第一神经网络模型的参数，生成非均匀的量化参数，包括：
根据所述第一神经网络模型的参数，计算所述第一神经网络模型的概率密度；
根据所述第一神经网络模型的概率密度，生成使得所述第一神经网络模型计算出的变换结果的量化误差最小的所述量化参数。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述原始图像的量化结果，生成所述原始图像的解码图像，包括：
对所述原始图像的包含所述量化结果在内的待编码符号进行熵编码，得到所述原始图像的码流；
根据所述原始图像的码流，生成所述原始图像的解码图像。


4.根据权利要求3所述的方法，其特征在于，所述对所述原始图像的包含所述量化结果在内的待编码符号进行熵编码，包括：
根据所述待编码符号中的当前符号的上下文，通过第二神经网络模型，预测所述当前符号出现的概率；
根据所述当前符号出现的概率，对所述当前符号进行编码。


5.根据权利要求4所述的方法，其特征在于，所述第二神经网络模型为卷积神经网络模型，所述第二神经网络模型的卷积核包括所述当前符号的已知上下文中的符号对应的权值和未知上下文中的符号对应的权值，其中所述未知上下文中的符号对应的权值为0。


6.根据权利要求1-5中任一项所述的方法，其特征在于，所述解码图像对应的解码过程是基于第三神经网络模型进行的，所述反向传播算法还用于对所述第三神经网络模型的权值进行更新。


7.根据权利要求1-6中任一项所述的方法，其特征在于，所述第一神经网络模型为卷积神经网络模型。


8.一种用于图像编解码的装置，...

【专利技术属性】
技术研发人员：蔡剑锐，曹子晟，胡攀，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44