利用改进的生成式对抗网络的运动模糊图像盲复原方法技术

本发明专利技术提出利用改进的生成式对抗网络的运动模糊图像盲复原方法，通过生成网络和判别网络对抗训练获得清晰图像，它的特点是不需要估计模糊核，可实现端对端图像盲复原。生成网络是与残差网络结合的全卷积神经网络，可加深网络层，同时降低训练时间。判别网络是由卷积层，池化层和全连接层组成的二分类网络，用于判定生成网络复原出的图像或原始清晰图像。损失函数采用平滑及非饱和梯度的最小均方差，可优化网络训练，避免梯度消失。同时在生成网络的损失函数中增加图像保真项，用于约束复原图像的分布更接近于清晰图像。

【技术实现步骤摘要】
利用改进的生成式对抗网络的运动模糊图像盲复原方法
本专利技术属于图像处理

技术介绍
模糊图像盲复原是图像处理任务中一个基础性的课题，当模糊核未知时对运动模糊图像进行复原是严重的不适定性问题。在传统的模糊图像盲复原中，主要通过各种先验知识对图像和模糊核进行约束，建立具有泛化能力的强约束图像复原模型，其中精确的模糊核估计是关键，同时需要快速的模型求解算法，为此，这些问题成为长时期影响模糊图像盲复原技术实际应用的瓶颈。深度学习具有自动提取特征的特点以及强大的计算能力，目前已经成为模糊图像复原研究的发展方向。深度学习虽然可以实现模糊图像到复原图像的空间映射，但是由于缺少对不同模糊类型的泛化能力，早期主要用于实现模糊图像的非盲复原。由于传统图像盲复原研究已经获得不少各具特色的研究成果，为此，最近研究者提出将深度学习与传统方法结合，实现对模糊图像的盲复原。这类方法存在的问题是计算难度大，调参复杂的过程，同时大多数情况仍然需要估计模糊核。为此，在深度学习框架下不估计模糊核的模糊图像盲复原成为研究者努力的方向，这是一个具有挑战性的难题。近期有学者提出不估计模糊核的全网络，但研究仍处于起步阶段，设计的网络较为复杂，训练不稳定。
技术实现思路
针对以上现有技术的不足，本专利技术提出一种利用改进的生成式对抗网络(GenerativeAdversarialNets，GAN)的运动模糊图像盲复原方法，该方法基于GAN的思想，通过生成网络和判别网络的对抗训练，直接复原出清晰的图像，不需要估计模糊核，由于该网络不需要估计模糊核，可实现端对端的图像盲复原，大大提高模糊图像的复原质量和速度。本专利技术的技术方案如下：本专利技术提出的利用改进的生成式对抗网络的运动模糊图像盲复原方法是通过生成网络和判别网络对抗训练获得清晰图像，实现端对端图像盲复原，包括如下步骤：步骤1、改进GAN的生成网络G和判别网络D的网络结构：改进的生成网络G由15个卷积层组成，每层的卷积核大小相同为3×3，最后一层输出为残差块；改进的判别网络D由6个卷积层，2个池化层和2个全连接层组成，其中，卷积层中卷积核大小相同，均为3×3。每隔三层卷积层设计一个采样层用于对特征图像进行降维，在输出之前为两个全连接层。步骤2、将原始的模糊图像分块，批量输入生成网络G中，通过15个卷积层输出的残差块与输入原始的模糊图像块相加输出复原图像块，用G(B)′＝G(B)+B表示，其中，B表示模糊图像块，G(B)表示残差块，G(B)′表示复原图像块。步骤3、将复原出图像块与清晰图像块同时输入D中进行分类。步骤4、交替训练G和D，分别最小化G和D的损失函数，损失函数采用平滑及非饱和梯度的最小均方差，同时在生成网络的损失函数中增加图像保真项；D的损失函数改进为：其中，L(D)为D的损失函数，D(I)表示输入为清晰图像时D的输出，D(G(B)′)表示输入为复原图像时D输出的标量，1、0分别表示清晰图像或复原图像的标签；G的损失函数改进为：其中，L(G)为G的损失函数，是D的损失函数对G的约束项，为图像的保真项，λ表示为权重,用于调节约束项对保真项的影响。步骤5、使G生成的复原图像块尽可能地混淆D，而D尽可能的给出准确的判断，直到G和D的损失函数值不再变化停止训练，最后将复原图像块组成整张复原图像。本专利技术方法是以生成式对抗网络GAN为基础，GAN由生成网络G和判别网络D组成，对GAN进行改进，重新设计G和D的网络结构，使G可根据模糊尺度的不同来加深网络层，并降低训练时间，D为简化的两分类网络，实现判断是生成网络复原出的图像还是原始清晰图像。并且，生成网络G和判别网络D的损失函数采用平滑及非饱和梯度的最小均方差，用于优化网络训练，避免梯度消失。同时在生成网络的损失函数中增加图像保真项，用于约束复原图像的分布更接近于清晰图像。本专利技术方法与现有采用GAN来进行模糊图像盲复原的方法的不同在于：1、损失函数的不同本专利技术是在最小均方差GAN的基础上增加了图像保真项，在优化过程中按需分配，解决了梯度消失的问题，节省了训练时间，同时提高了图像质量。最小均方差则可以根据D的输出结果与标签的距离远近来决定惩罚力度，忽略距离标签近的样本去关注距离标签远的样本。从模糊图像复原的角度，为减少对足够清晰的图像的训练，增大对模糊程度大的图像的训练。2、GAN的形式不同本专利技术采用普通的生成式对抗网络，将标签改为清晰图像与模糊图像的残差，从无监督学习变为监督学习。3、网络结构不同本专利技术中生成网络采用相同卷积核大小的网络结构，将输出标签改为清晰图像与模糊图像的残差，没有归一化层，结构简单，计算速度更快。综上所述，本专利技术的优点在于：本专利技术不估计模糊核，简化了复原过程，利用卷积神经网络自动提取图像特征的特点，通过D对G生成图像的对抗约束，反复迭代，较好的复原出清晰的图像。G输出复原图像与模糊图像的残差块，灵活调整网络层数以扩大神经元的感受野，可接受更大尺度的模糊核，可加深网络层同时降低训练时间。G和D的损失函数均采用最小均方差，可避免梯度消失，使训练过程更加稳定，易于收敛。对G的损失函数中增加图像保真项，使复原图像的分布更接近于清晰图像。本专利技术具有很大的学术价值，同时，由于运动模糊图像是模糊图像的基本类型，广泛存在于科学研究、社会活动的各个方面，为此，本专利技术也具有很好的社会意义。附图说明图1：G的网络结构图；图2：D的网络结构图；图3：改进的生成式对抗网络结构图；图4：G的损失值曲线图；图5：D的损失值曲线图；图6：测试图像的复原结果。具体实施方式以下将结合附图，以运动模糊图像盲复原的整个过程为例，对本专利技术的优选实施例进行详细描述。优选实施例仅为了说明本专利技术，而不是为了限制本专利技术的保护范围。如图3所示，改进的生成式对抗网络包括生成网络G和判别网络D。G实现模糊图像到残差的空间映射，其中残差表示复原图像与模糊图像的差值，D对复原图像与清晰图像进行区分。具体过程为：将模糊图像分块，批量输入G中，通过15个卷积层输出的残差块与输入的模糊图像块相加输出复原图像块，将其与清晰图像块同时输入D中进行分类。交替训练G和D，分别最小化G和D的损失函数，使G生成的复原图像块尽可能地混淆D，而D尽可能的给出准确的判断，直到G和D的损失函数值不再变化停止训练，迭代次数大于最大次数，最后将复原图像块组成整张复原图像。在训练的过程中，当训练G时，使G生成的复原图像块在D中被误判为1即清晰图像，让复原图像更逼近于清晰图像。训练D时，尽量使D能够将G生成的复原图像判定为0或清晰图像判定为1。这样L(G)L(D)的值出现如图4和图5的对抗关系，即当L(G)达到最小时，L(D)达到最大值；当L(G)达到最大值时，L(D)达到最小值。最小均方差在最小化的过程中根据D的输出结果与标签的距离远近来决定惩罚力度，忽略距离标签近的样本去关注距离标签远的样本。从模糊图像复原的角度，为减少对足够清晰的图像的训练，增大对模糊程度大的图像的训练，从而使复原的图像整体质量更高。以上方法中，生成网络是与残差网络结合的全卷积神经网络，可加深网络层，同时降低训练时间。判别网络是由卷积层，池化层和全连接层组成的二分类网络，用于判定生成网络复原出的图像或原始清晰图像。损失函数采用平滑及非饱和梯度本文档来自技高网...

【技术保护点】
1.利用改进的生成式对抗网络的运动模糊图像盲复原方法，其特征在于，所述方法通过生成网络和判别网络对抗训练获得清晰图像，实现端对端图像盲复原，步骤如下：步骤1、改进GAN的生成网络G和判别网络D的网络结构：改进的生成网络G由15个卷积层组成，每层的卷积核大小相同为3×3，最后一层输出为残差块；改进的判别网络D由6个卷积层，2个池化层和2个全连接层组成，其中，卷积层中卷积核大小相同，均为3×3，每隔三层卷积层设计一个采样层用于对特征图像进行降维，在输出之前为两个全连接层；步骤2、将原始的模糊图像分块，批量输入生成网络G中，通过15个卷积层输出的残差块与输入原始的模糊图像块相加输出复原图像块，用G(B)′＝G(B)+B表示，其中，B表示模糊图像块，G(B)表示残差块，G(B)′表示复原图像块；步骤3、将复原出的图像块与清晰图像块同时输入判别网络D中进行分类；步骤4、交替训练G和D，分别最小化G和D的损失函数，损失函数采用平滑及非饱和梯度的最小均方差，同时在生成网络的损失函数中增加图像保真项；D的损失函数改进为：

【技术特征摘要】
1.利用改进的生成式对抗网络的运动模糊图像盲复原方法，其特征在于，所述方法通过生成网络和判别网络对抗训练获得清晰图像，实现端对端图像盲复原，步骤如下：步骤1、改进GAN的生成网络G和判别网络D的网络结构：改进的生成网络G由15个卷积层组成，每层的卷积核大小相同为3×3，最后一层输出为残差块；改进的判别网络D由6个卷积层，2个池化层和2个全连接层组成，其中，卷积层中卷积核大小相同，均为3×3，每隔三层卷积层设计一个采样层用于对特征图像进行降维，在输出之前为两个全连接层；步骤2、将原始的模糊图像分块，批量输入生成网络G中，通过15个卷积层输出的残差块与输入原始的模糊图像块相加输出复原图像块，用G(B)′＝G(B)+B表示，其中，B表示模糊图像块，G(B)表示残差块，G(B)′表示复原图像块；步骤3、将复原出的图像块与清晰图像块同时输入判别网络D中进行分类；步骤4、交替训练G和D，分别最小化G和D的损失函数，损失函数采用平滑及非饱和梯度的最小均方差，同时...

【专利技术属性】
技术研发人员：李伟红，吴梦婷，龚卫国，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50