基于生成式对抗网络的图像去运动模糊方法技术

本发明专利技术提供了一种基于生成式对抗网络的图像去运动模糊方法，用去对待去运动模糊图像进行处理得到去运动模糊图像，其特征在于，包括如下步骤：步骤1，获取包含多个运动模糊图像和与该多个运动模糊图像分别相对应的多个清晰的真实图像的训练样本数据，并获取包含多个待去运动模糊图像的测试样本数据；步骤2，构建生成式对抗网络模型并采用训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型；步骤3，将待去运动模糊图像输入到去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像。

【技术实现步骤摘要】
基于生成式对抗网络的图像去运动模糊方法
本专利技术属于图像复原与重建
，具体涉及一种基于生成式对抗网络的图像去运动模糊方法。
技术介绍
图像作为人们获取和存储信息的重要途经，在当今社会中占据着重要的地位。近年来，随着科技的飞速发展，图像获取设备变得越来越普遍，各种摄影设备已经融入人类生活的方方面面，成为了人们日常生活中的使用工具。然而由于各种因素的影响，如光学因素、大气因素、人工因素、技术因素等等，使图像在获取的过程中产生质量退化造成了图像模糊，给人们的工作和生活带来了诸多的困扰，甚至有可能造成巨大的经济损失。尤其对于一些不能够再次获取的图像信息，通过一定的技术手段对退化图像进行复原就显得及其重要，如何避免图像退化，改善图像质量，一直以来都是图像处理领域亟待解决的问题。摄影过程中造成的图像模糊按照形成条件可以分为运动模糊、失焦模糊和高斯模糊三大类。其中，运动模糊是造成图像退化的主要原因，也是研究的热点之一。运动模糊图像形成的原因是在获取图像的瞬间，摄像机与目标物体之间发生相对移动导致的图像质量退化。从数学角度来看，运动模糊可以看成是清晰图像与模糊核进行卷积产生的结果，在实际场景中，通常还会有随机噪声掺杂其中，其数学模型可以表示为：B＝K*S+N。其中，B表示模糊图像，K表示模糊核，S表示清晰图像，*表示卷积运算，N表示加性噪声。图像去运动模糊是一个典型的逆问题，它的目的是从已经退化的图像中重建出接近于真实图像的清晰图像。根据模糊核K的已知情况，又可以将去模糊方法分为非盲去模糊和盲去模糊两大类。非盲去模糊可以根据模糊图像和已知模糊核直接求解出潜在图像。而盲去模糊的求解过程是一个严重的不适定问题，只有预先估计出精确的模糊核才能复原出潜在的清晰图像，否则会直接影响复原图像的质量，产生振铃现象。早期的图像去运动模糊研究主要是针对非盲去模糊，迄今为止，已经有许多经典的算法被提出，最早被提出的非盲去模糊算法是逆滤波去卷积方法，它是假设模糊图像中不存在噪声的条件下利用逆运算求得清晰图像，然而现实生活中模糊图像中不可避免的会伴随一些随机噪声，因此，逆滤波并未得到广泛的运用。针对逆滤波算法的不足，研究者在此基础上做了改进，提出了基于最小均方误差的逆滤波方法，即经典的维纳滤波算法。Richardson和Lucy在贝叶斯理论的基础上提出了经典的R-L算法，该算法目前被广泛应用于非盲运动去模糊领域，此外，还有最大熵法、受限自适应滤波等去模糊算法。然而在大多数情况下，我们无法提前获取模糊核的有效信息，此时需要利用盲去模糊算法解决此类问题。目前，常用的盲去模糊算法大多依据贝叶斯理论，具体可以分为两大类：变分贝叶斯和最大后验概率。与变分贝叶斯算法相比，最大后验概率算法的推导简单且计算复杂度较低，因而使用比较广泛。Xu等[1]人提出了一种两阶段模糊核估计算法，并利用正则化约束的方法对图像进行交替复原，该算法取得了较好的去模糊效果，但是计算比较复杂。Krishnan等[2]人提出一种归一化图像稀疏先验，避免了能量极小值时估计得到的图像倾向模糊图像的缺点，但复原出的图像质量并不是很高。Whyte等[3]人基于相机曝光过程中旋转速度的参数化几何模型，提出了一种新的非均匀盲去模糊算法，但重建出的图像产生了严重的振铃现象。传统的图像去模糊方法适用范围受限，求解过程比较复杂，对模糊核的估计要求比较高，模糊核估计不准确会严重影响图像重建效果，并且无法对运动模糊图像进行批量处理，传统的图像去模糊方法已经难以满足实际应用的需要。因此，越来越多的研究工作转向基于深度学习的方法，利用深度神经网络在大量训练样本中获取强大的表达能力，提升去运动模糊的质量和效率。近年来，随着深度学习的发展，卷积神经网络被广泛用于图像处理领域，并取得了巨大成功。Xu等[4]人提出了一种基于卷积神经网络网络的非盲去模糊方法，开辟了深度学习在图像去模糊领域的新篇章。Sun等[5]人提出了一种利用卷积神经网络估计模糊核的盲去模糊方法，但该方法重建出的图像视觉效果不好。Chakrabarti等[6]人提出采用滤波器将输入图像进行分解得到图像特征，并结合神经网络的方法估计模糊核，最后通过离散傅里叶变换得到复原图像。该方法可以估计不同尺寸的模糊核，但复原出的图像会出现边缘特征模糊的现象。可以注意到以上方法均需要估计出精准的模糊核才能恢复潜在的清晰图像，但是估计模糊核会带来一些问题，模糊核估计不准确会直接影响复原图像的质量。Nah等[7]人提出了一种基于深度多尺度卷积神经网络的图像去运动模糊方法，该方法采用端到端的方式对运动模糊图像进行复原，但该方法缺乏感知信息的约束，导致重建出的图像不够真实，视觉感知效果比较差。生成对抗网络是由Goodfellow等[8]人提出的一种生成式深度学习模型，该模型采用二人零和博弈的思想，理论上可以逼近任何概率分布。系统由生成器和判别器两部分组成，通过对抗学习的方式进行训练。生成器的目的是尽量学习样本数据的潜在分布，使得生成器生成的数据无限接近于真实数据，骗过判别器。而判别器的目的是尽量辨别出输入的数据来源，不被生成器所欺骗。二者在对抗博弈中不断提高各自的生成能力和鉴别能力，最终整个网络处于一个动态平衡状态，生成器能够生成以假乱真的样本数据。参考文献：[1]XuL,JiaJ.Two-PhaseKernelEstimationforRobustMotionDeblurring[C]EuropeanCon-ferenceonComputerVision.Springer-Verlag,2010:81-84.[2]KrishnanD,TayT,FergusR.Blinddeconvolutionusinganormalizedsparsitymeasure[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEEComputerSociety,2011:233-240.[3]WhyteO,SivicJ,ZissermanA,PonceJ.Non-uniformdeblurringforshakenimages[J].InternationalJournalofComputerVision,2012,98(2):168–186.[4]XuL,RenJ,LiuC,etal.Deepconvolutionalneuralnetworkforimagedeconvolution[J].AdvancesinNeuralInformationProcessingSytems,2014:1790–1798.[5]SunJ,CaoW,XuZ,PonceJ.Learningaconvolutionalneuralnetworkfornon-uniformmotionblurremoval[C]//IEEEConferenceonComputerVisionandPatternRecognition,2015:769-777.[6]A.Chakrabarti.An本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的图像去运动模糊方法，其特征在于，包括如下步骤：/n步骤1，获取包含多个运动模糊图像和与该多个运动模糊图像分别相对应的多个清晰的真实图像的训练样本数据，并获取包含多个待去运动模糊图像的测试样本数据；/n步骤2，构建生成式对抗网络模型并采用所述训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型；/n步骤3，将所述待去运动模糊图像输入到所述去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像，/n其中，所述步骤2包括如下子步骤：/n步骤2-1，对所述运动模糊图像和对应的所述真实图像进行拼接处理得到拼接图像；/n步骤2-2，构建含有生成器和判别器的生成式对抗网络模型，并将所述拼接图像输入到所述生成式对抗网络模型中；/n步骤2-3，将所述拼接图像拆成对应的所述运动模糊图像和所述真实图像并分别对该运动模糊图像和该真实图像的分辨率进行调整得到调整后运动模糊图像和调整后真实图像；/n步骤2-4，将所述调整后运动模糊图像输入到所述生成器让所述生成器根据所述调整后运动模糊图像生成所述清晰的生成图像，并将该生成图像和所述调整后真实图像输入到判别器中；/n步骤2-5，通过判别器目标函数计算得到判别损失，并根据该判别损失更新判别器参数；/n步骤2-6，将所述生成图像和所述调整后真实图像输入到所述判别器中计算得到误差；/n步骤2-7，将所述误差反向传播给所述生成器；/n步骤2-8，通过生成器目标函数计算得到生成损失，并采用学习率算法根据该生成损失更新生成器参数；/n步骤2-9，重复步骤2-4至步骤2-8直至达到训练完成条件，得到训练后的生成式对抗网络模型作为去运动模糊模型。/n...

【技术特征摘要】
1.一种基于生成式对抗网络的图像去运动模糊方法，其特征在于，包括如下步骤：
步骤1，获取包含多个运动模糊图像和与该多个运动模糊图像分别相对应的多个清晰的真实图像的训练样本数据，并获取包含多个待去运动模糊图像的测试样本数据；
步骤2，构建生成式对抗网络模型并采用所述训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型；
步骤3，将所述待去运动模糊图像输入到所述去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像，
其中，所述步骤2包括如下子步骤：
步骤2-1，对所述运动模糊图像和对应的所述真实图像进行拼接处理得到拼接图像；
步骤2-2，构建含有生成器和判别器的生成式对抗网络模型，并将所述拼接图像输入到所述生成式对抗网络模型中；
步骤2-3，将所述拼接图像拆成对应的所述运动模糊图像和所述真实图像并分别对该运动模糊图像和该真实图像的分辨率进行调整得到调整后运动模糊图像和调整后真实图像；
步骤2-4，将所述调整后运动模糊图像输入到所述生成器让所述生成器根据所述调整后运动模糊图像生成所述清晰的生成图像，并将该生成图像和所述调整后真实图像输入到判别器中；
步骤2-5，通过判别器目标函数计算得到判别损失，并根据该判别损失更新判别器参数；
步骤2-6，将所述生成图像和所述调整后真实图像输入到所述判别器中计算得到误差；
步骤2-7，将所述误差反向传播给所述生成器；
步骤2-8，通过生成器目标函数计算得到生成损失，并采用学习率算法根据该生成损失更新生成器参数；
步骤2-9，重复步骤2-4至步骤2-8直至达到训练完成条件，得到训练后的生成式对抗网络模型作为去运动模糊模型。


2.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述生成器含有步幅卷积模块、残差密集网络、微步幅卷积模块以及全局跳变连接，
所述步幅卷积模块由两层卷积核大小为3×3，步长为2的卷积层构成，且每层卷积层后面紧跟实例归一化层和ReLU激活函数，
所述残差密集网络由10个残差密集块组成，每个所述残差密集块的最后一层的卷积层的卷积核大小为1×1、步长为1，每个所述残差密集块的其余的卷积层的卷积核大小均为3×3、步长均为1且每个所述残差密集块的其余的所述卷积层后面都紧跟实例归一化层和Relu激活函数层。


3.根据权利要求2所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述步骤2-4含有如下子步骤：
将所述调整后运动模糊图像输入到所述生成器；
通过一层卷积核大小为7*7的卷积层来扩大网络的感受野；
通过所述步幅卷积模块提取得到所述运动模糊图像的浅层特征并将所述浅层特征输入到所述残差密集网络中；
对所有的所述残差密集块进行了全局特征融合得到操作后图像；
对所述操作后图像进行降维处理...

【专利技术属性】
技术研发人员：李烨，许乾坤，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海;31