基于卷积神经网络的JPEG压缩图像超分辨率重建方法技术

本发明专利技术公开了一种基于卷积神经网络的JPEG压缩图像超分辨率重建方法。主要包括以下步骤：针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；利用训练图像，训练构建的卷积神经网络；利用训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。本发明专利技术中构建的卷积神经网络框架由去压缩效应网络、分辨率提升网络及质量增强网络构成，但是可以对其进行端到端的优化训练。本发明专利技术所述方法可以减少JPEG压缩图像中的压缩噪声并提高其分辨率。本发明专利技术方法可应用于图像及视频压缩、数字多媒体通信等领域。

【技术实现步骤摘要】
基于卷积神经网络的JPEG压缩图像超分辨率重建方法
本专利技术涉及JPEG压缩图像的质量提升技术，具体涉及一种基于卷积神经网络的JPEG压缩图像超分辨率重建方法，属于图像处理领域。
技术介绍
在军事及医疗等领域，高质量的图像和视频有助于获取更加丰富和更加准确的信息，其中图像及视频的分辨率是一项重要的指标。随着人们生活水平的提高以及高清显示设备的普及，在日常生活中，人们对图像及视频的分辨率的要求也越来越高。近年来，各领域使用的成像设备也有很大的发展，可以获取分辨率更高、质量更好的图像及视频。但是，在一些情况下，受经济、环境等多方面因素的制约，获取的图像或视频有时仍然不能达到实际应用的需求。超分辨率重建技术可以对已采集的图像及视频进行分辨率提升，具有很强的实用性。在过去的几十年里，学者们对超分辨率技术进行了深入的研究，尤其是单幅图像的超分辨率重建，提出了很多有效的方法。但是，大部分图像超分辨率重建方法都假设获取的图像没有经过压缩或不存在压缩噪声。然而，受限于传输带宽和存储容量等客观条件，现实生活中的图像往往都经过了压缩处理。因此，直接使用传统超分辨率方法对现实生活中的压缩图像进行重建，难以获得令人满意的重建效果。
技术实现思路
本专利技术的目的是针对日常生活中广泛存在的JPEG压缩图像提出一种有效的超分辨率重建方法。本专利技术提出的基于卷积神经网络的JPEG压缩图像超分辨率重建方法，主要包括以下操作步骤：(1)针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；(2)利用训练图像，训练步骤(1)中构建的卷积神经网络；(3)利用步骤(2)中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。附图说明图1是本专利技术基于卷积神经网络的JPEG压缩图像超分辨率重建方法的框图。图2是本专利技术与四种方法对测试图像“Butterfly”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为10)：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本专利技术的重建结果图3是本专利技术与四种方法对测试图像“Ppt3”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为20)：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本专利技术的重建结果图4是本专利技术与四种方法对测试图像“House”的重建结果的对比图(超分辨率重建因子为2，JPEG压缩质量因子为30)：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为双三次插值、对比方法1、对比方法2、对比方法3及本专利技术的重建结果具体实施方式下面结合附图对本专利技术作进一步说明：图1中，基于卷积神经网络的JPEG压缩图像超分辨率重建方法，具体可以分为以下三个步骤：(1)针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；(2)利用训练图像，训练步骤(1)中构建的卷积神经网络；(3)利用步骤(2)中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。具体地，所述步骤(1)中，我们构建如图1所示的基于卷积神经网络的重建模型。具体地，所构建模型由去压缩效应网络、分辨率提升网络及质量增强网络构成。其中，去压缩效应网络主要实现JPEG压缩噪声的去除，其层数为K1层(本专利技术中，K1＝20)；分辨率提升网络的主要功能是放大图像至预期的分辨率，其层数为K2层(本专利技术中，K2＝10)；质量增强网络的目的是在目标分辨率空间中进一步提升重建图像的质量，其层数为K3层(本专利技术中，K3＝10)。在本专利技术构建的基于卷积神经网络的重建模型中，去压缩效应网络的前K1-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一个卷积层的滤波器个数为1，卷积核大小为3×3。分辨率提升网络的前K2-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一层为反卷积层，滤波器个数为1，卷积核大小为9×9。质量增强网络的前K1-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一个卷积层的滤波器个数为1，卷积核大小为3×3。本专利技术构建的基于卷积神经网络的重建模型可以进行端到端的优化训练。所述步骤(2)中，我们首先将用于训练的高分辨率图像进行采样，得到然后，用JPEG在不同压缩质量因子下对采样后的图像进行压缩，得到模拟的低分辨率观测图像最后，利用和来训练步骤(1)中构建的基于卷积神经网络的重建模型。训练过程中，先分阶段单独训练去压缩效应网络、分辨率提升网络及质量增强网络，然后用学习到的参数初始化整个网络模型，进而进行端到端的优化训练。所述步骤(3)中，卷积神经网络的输入为原始的待重建图像，即经JPEG压缩后的低分辨率图像。卷积神经网络的输出为重建的最终结果。为了验证本专利技术方法的有效性，用标准测试图像“Butterfly”、“Ppt3”及“House”进行了实验。原始的“Butterfly”、“Ppt3”及“House”图像分别如图2(a)，3(a)，4(a)所示。模拟的经JPEG压缩的低分辨率图像的生成方式：用双三次插值方法对高分辨率测试图像进行2倍下采样，然后用JPEG在不同压缩质量因子下对采样后的图像进行压缩，压缩后的图像即为待重建图像。选取双三次插值及三种单幅图像超分辨率重建算法作为对比方法。其中，方法1和方法2的模型都按照本专利技术中的降质过程进行了训练。三种对比的超分辨率重建算法为：方法1：Timofte等人提出的方法，参考文献“R.Timofte,V.DeSmet,L.VanGool,A+:Adjustedanchoredneighborhoodregressionforfastsuper-resolution,in:ProceedingsoftheAsianConferenceonComputerVision(ACCV),2014,pp.111-126.”。方法2：Dong等人提出的方法，参考文献“C.Dong,C.C.Loy,X.Tang,Acceleratingthesuper-resolutionconvolutionalneuralnetwork,in:ProceedingsoftheEuropeanConferenceonComputerVision(ECCV),2016,pp.391-407.”。方法3：Kang等人提出的方法，参考文献“L.W.Kang,C.C.Hsu,B.Zhuang,C.W.Lin,C.H.Yeh,Learning-basedjointsuper-resolutionanddeblockingforahighlycompressedimage,IEEETrans.Multimedia.17(7)(2015)921-934.”。对比实验的内容如下：实验1，分别用双三次插值，方法1，方法2，方法3以及本专利技术方法对由“Butterfly”测试图像模拟生成的低分辨率图像进行2倍重建。本实验中，JPEG压缩的质量因子设为10。“Butterfly”原始图像及各方法的重建结果分别如图2(a)、图2(b)、图2(c)、图2(d)，图2(e)及图2(f)所示。表一本实验中是各方法重建结果的PSNR(PeakSi本文档来自技高网...

【技术保护点】
基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于包括以下步骤：步骤一：针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；步骤二：利用训练图像，训练步骤一中构建的卷积神经网络；步骤三：利用步骤二中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。

【技术特征摘要】
1.基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于包括以下步骤：步骤一：针对JPEG压缩图像，构建基于卷积神经网络的超分辨率重建模型；步骤二：利用训练图像，训练步骤一中构建的卷积神经网络；步骤三：利用步骤二中训练好的卷积神经网络模型对经JPEG压缩的低分辨率图像进行重建。2.根据权利要求1所述的基于卷积神经网络的JPEG压缩图像超分辨率重建方法，其特征在于步骤一中所构建的重建模型是由去压缩效应网络、分辨率提升网络及质量增强网络构成。3.根据权利要求1所述的基于卷积神经...

【专利技术属性】
技术研发人员：何小海，陈洪刚，任超，卿粼波，滕奇志，吴小强，陶青川，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51