一种联合超分辨率和去压缩效应的图像编码性能提升方法技术

本发明专利技术公开了一种联合超分辨率和去压缩效应的图像编码性能提升方法。主要包括以下步骤：针对JPEG压缩图像，构建并训练用于去压缩效应和超分辨率的深度卷积神经网络；基于给定的待编码图像及编码质量控制参数，利用自适应编码模式判决方法选择出编码模式；基于选定的编码模式，对给定的图像进行编码。基于超分辨率及去压缩效应技术，本发明专利技术方法同时提供了低分辨率编码模式及全分辨率编码模式以适应于不同特性的图像以及不同的压缩率。本发明专利技术所述方法可以有效提高JPEG的编码性能，并且其可以拓展到其他图像及视频编码标准中。本发明专利技术方法可应用于图像编码及视频编码等领域。

【技术实现步骤摘要】
一种联合超分辨率和去压缩效应的图像编码性能提升方法
本专利技术涉及图像压缩编码技术，具体涉及一种联合超分辨率和去压缩效应的图像编码性能提升方法，属于图像处理领域。
技术介绍
随着成像设备和显示设备的快速发展及普及，图像及视频成为主要的信息载体。随之而来的问题是图像及视频的数据量显著增加，这给现有的存储及传输系统带来了巨大的挑战。另一方面，图像及视频的分辨率越来越高，使得存储及传输系统面临的压力进一步加大。通过降低数据的冗余，以一定程度的信号失真为代价，有损编码技术可以显著减小数据量。但是，由于编码过程中的信息丢失，解码信号中通常存在不同程度的压缩效应。在存储及传输资源受限时，这种压缩效应尤为严重，严重影响图像信号的主观质量及利用价值。因此，有必要进一步提升现有压缩编码算法的性能，以适应快速增长的图像及视频信号数据量。
技术实现思路
本专利技术的目的是针对现有的图像编码标准提出一种自适应编码性能提升方法。本专利技术提出的联合超分辨率和去压缩效应的图像编码性能提升方法，主要包括以下操作步骤：(一)针对JPEG压缩图像，构建并训练用于去压缩效应和超分辨率的深度卷积神经网络；(二)基于给定的待编码图像及编码质量控制参数，利用自适应编码模式判决方法选择出编码模式；(三)基于选定的编码模式，对给定的图像进行编码。附图说明图1是本专利技术一种联合超分辨率和去压缩效应的图像编码性能提升方法的框图图2是本专利技术中基于增强型残差模块的去压缩效应方法的框图图3是本专利技术中基于增强型残差模块的超分辨率方法的框图图4是本专利技术中增强型残差模块的框图图5是本专利技术中采样失真和模式转换阈值之间的拟合曲线图6是本专利技术中的去压缩效应方法及对比方法对测试图像“Barbara”的处理结果(本实验中，JPEG质量因子设置为10)：其中，(a)为原始测试图像，(b)(c)(d)(e)分别为JPEG、对比方法1、对比方法2及本专利技术中的去压缩效应方法的处理结果图7是本专利技术中的超分辨率方法及对比方法对测试图像“img092”的处理结果(本实验中，JPEG质量因子设置为10，超分辨率因子设置为2)：其中，(a)为原始测试图像，(b)(c)(d)(e)分别为双三次插值、对比方法3、对比方法4及本专利技术中的超分辨率方法的处理结果图8是本专利技术中的编码性能提升方法及JPEG的率失真性能比较：其中，(a)和(b)的测试图像分别为“Kodim05”和“Kodim07”图9是本专利技术中的编码性能提升方法及JPEG对测试图像“Kodim05”的解码图像：其中，(a)为原始测试图像，(b)为JPEG在码率为0.197bpp时的解码图像，(c)为本专利技术中的编码性能提升方法在码率为0.196bpp时的解码图像，(d)为JPEG在码率为0.512bpp时的解码图像，(e)为本专利技术中的编码性能提升方法在码率为0.512bpp时的解码图像图10是本专利技术中的编码性能提升方法及JPEG对测试图像“Kodim07”的解码图像：其中，(a)为原始测试图像，(b)为JPEG在码率为0.200bpp时的解码图像，(c)为本专利技术中的编码性能提升方法在码率为0.199bpp时的解码图像，(d)为JPEG在码率为0.500bpp时的解码图像，(e)为本专利技术中的编码性能提升方法在码率为0.500bpp时的解码图像具体实施方式下面结合附图对本专利技术作进一步说明：图1中，一种联合超分辨率和去压缩效应的图像编码性能提升方法，具体可以分为以下三个步骤：(一)针对JPEG压缩图像，构建并训练用于去压缩效应和超分辨率的深度卷积神经网络；(二)基于给定的待编码图像及编码质量控制参数，利用自适应编码模式判决方法选择出编码模式；(三)基于选定的编码模式，对给定的图像进行编码。具体地，所述步骤(一)中，构建如图2所示的去压缩效应网络和图3所示的超分辨率网络，图2及图3中的增强型残差模块的结构如图4所示。图4右侧所示的增强型残差模块的基本组成单元是左侧的残差模块。残差模块由卷积层、非线性激活函数、卷积层组成，其表示为其中和分别表示残差模块的输入及输出；和分别表示残差模块中的第一个和第二个卷积层(本专利技术中，残差模块中卷积层的卷积核数目设置为64，大小设置为3×3)；σ(·)表示非线性激活层，其定义为max(0,·)。为了方便表示，将残差模块实现的映射表示为FRB(·)，即有本专利技术中的增强型残差模块主要由五个残差模块组成，其表示为其中和分别表示增强型残差模块的输入及输出；表示增强型残差模块中的第i个残差模块，且有[·]表示特征连接操作(特征连接层)；表示增强型残差模块中的特征融合操作(特征融合层，卷积核数目设置为64，大小设置为1×1)；表示增强型残差模块中的线性变换操作(线性变换层)。为了方便表示，将增强型残差模块实现的映射表示为FERB(·)，即有图2所示的去压缩效应网络的基本组成单元是图4中的增强型残差模块。具体地，首先将去压缩效应的输入图像IAR分解为四个低分辨率的子图(抽样层)，即有其中，M和N分别表示原始输入图像IAR的高度和宽度。进一步地，将分解所得的四个子图连接，组合成一个四通道的张量即有对于首先利用一个卷积层提取初始特征，即其中，表示去压缩效应网络中的特征提取操作(特征提取层，卷积核数目设置为64，大小设置为3×3)。然后，利用四个增强型残差模块对初始特征进行逐级变换，即其中，FERB,i表示去压缩效应网络中第i个增强型残差模块，且有进一步地，对多个增强型残差模块生成的不同层次的特征进行融合，并重构残差分量。重构的四通道张量表示为其中，表示去压缩效应网络中的特征融合操作(特征融合层，卷积核数目设置为64，大小设置为1×1)；表示去压缩效应网络中的残差重构操作(残差重构层，卷积核数目设置为4，大小设置为3×3)；表示去压缩效应网络中的线性变换操作(线性变换层)。最后，去压缩效应处理结果由中的四个通道组合而得(重组层)，即图3所示的超分辨率网络与图2所示的去压缩效应网络结构基本相同，主要区别在于超分辨率网络中引入了插值放大操作(插值放大层)。超分辨率网络的输入为低分辨率图像，输出为高分辨率图像。因此，插值放大操作的主要目的是重构初始的高分辨率图像。除插值放大层以外，超分辨率网络与去压缩效应网络的结构及参数设置完全一致。图3所示的超分辨率网络中，采用双三次插值实现插值放大。对于图2所示的去压缩效应网络及图3所示的超分辨率网络，本专利技术均采用均方误差代价函数进行训练。具体地，所述步骤(二)中，对于给定的待编码图像，我们通过自适应编码模式判决方法从两种备选的编码模式中选择出合适的模式，备选模式包括全分辨率编码模式和低分辨率编码模式。全分辨率编码模式和低分辨率编码模式的细节将在步骤三中给出。整体而言，全分辨率编码模式更适用于中高码率段，而低分辨率编码模式更适合低码率段。在本专利技术中，最优编码模式与图像特性及编码质量参数相关。鉴于全分辨率编码模式和低分辨率编码模式的主要差异在于采样环节，我们采用采样失真来刻画图像特性。具体地，对于给定图像I，采样失真定义为其中Idu为I经过连续下采样和上采样的结果，采样因子为2。||·||1为L1范数，T为I中的像素数目。鉴于JPEG中通过质量因子(QF)调整压缩率和码率，本专利技术利用样本图像建立采样失真和编码本文档来自技高网...

【技术保护点】
1.一种联合超分辨率和去压缩效应的图像编码性能提升方法，其特征在于包括以下步骤：步骤一：针对JPEG压缩图像，构建并训练用于去压缩效应和超分辨率的深度卷积神经网络；步骤二：基于给定的待编码图像及编码质量控制参数，利用自适应编码模式判决方法选择出编码模式；步骤三：基于选定的编码模式，对给定的图像进行编码。

【技术特征摘要】
1.一种联合超分辨率和去压缩效应的图像编码性能提升方法，其特征在于包括以下步骤：步骤一：针对JPEG压缩图像，构建并训练用于去压缩效应和超分辨率的深度卷积神经网络；步骤二：基于给定的待编码图像及编码质量控制参数，利用自适应编码模式判决方法选择出编码模式；步骤三：基于选定的编码模式，对给定的图像进行编码。2.根据权利要求1所述的一种联合超分辨率和去压缩效应的图像编码性能提升方法，其特征在于步骤一中的基于增强型残差模块的去压缩效应方法。3.根据权利要求1所述的一种联合超分辨率和去压缩效应的...

【专利技术属性】
技术研发人员：何小海，陈洪刚，任超，李兴龙，滕奇志，吴小强，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51