一种基于条件生成对抗网络的图像去运动模糊方法技术

本发明专利技术属于计算机图像复原技术领域，具体为一种基于条件生成对抗网络的图像去运动模糊方法，解决了背景技术中的技术问题，其包括搭建条件生成对抗网络模型结构，其包括生成网络和判别网络，生成网络和判别网络均由卷积神经网络构成，生成网络采用一种由粗到精的卷积神经网络，Dense Block是其基本单元，而且浅特征提取部分和深特征提取部分中多次运用到长短跳跃连接及特征拼接技术，提高了信息提取能力和生成网络的生成能力，然后建立用于模型训练的损失函数，包括内容损失和对抗损失两项。上述方法有效解决了运动模糊图像的特征信息利用率不高的问题，采用端到端方式，在只有运动模糊图像的情况下恢复其对应的清晰图像，模型的准确性和效率都得到提升。型的准确性和效率都得到提升。型的准确性和效率都得到提升。

【技术实现步骤摘要】
一种基于条件生成对抗网络的图像去运动模糊方法


[0001]本专利技术属于计算机图像复原
，具体为一种基于条件生成对抗网络的图像去运动模糊方法。

技术介绍

[0002]人类生活中大约有80％的信息资源来自视频图像，视频图像已成为人类信息传递的重要载体。然而在使用手机、相机等拍照设备获取视频图像的过程中，由于相机抖动，被捕捉对象和相机之间的相对移动等情况的发生，造成了视频图像中出现了运动模糊，严重影响了最终的成像质量。基于上述问题描述，对图像去运动模糊技术的研究十分必要，也很有实际意义。
[0003]传统的图像去运动模糊方法在特定模糊类型下，可以达到较好的去模糊效果，但在复杂场景中，模糊类型复杂多样，而且受到噪声和点扩散函数估计不准确的影响，去模糊后的图像中仍会存在模糊，结果不尽如人意。近年来，随着大数据和高性能计算机平台的推动，越来越多的专家学者将视觉处理相关问题同深度学习方法结合起来。基于深度学习的图像去运动模糊方法是通过搭建神经网络模型，学习训练数据中的高级特征表示，来实现图像复原。在众多深度学习模型当中，卷积神经网络和生成对抗网络在图像复原领域上都表现出了不错的性能。因此，我们提出一种基于生成对抗网络的深度密集卷积神经网络来将运动模糊图像复原成清晰图像。

技术实现思路

[0004]本专利技术旨在解决如何去除图像中运动模糊的技术问题，提供了一种基于条件生成对抗网络的图像去运动模糊方法。
[0005]本专利技术解决其技术问题采用的技术手段是：一种基于条件生成对抗网络的图像去运动模糊方法，包括以下步骤：
[0006]步骤S1：搭建条件生成对抗网络模型；条件生成对抗网络模型包括生成网络和判别网络，生成网络旨在生成和目标分布一致的潜在清晰图像，判别网络用于准确的判别输入的图像是真实清晰图像还是生成网络生成的潜在清晰图像，当判别网络无法判断图像的来源时，条件生成对抗网络模型达到收敛，即生成网络可以生成和目标分布一致的潜在清晰图像；生成网络和判别网络均由卷积神经网络构成；
[0007]生成网络由依次连接的开始部分、浅特征提取部分、深特征提取部分和重建部分组成；开始部分包括依次连接的第一3
×
3卷积和第二3
×
3卷积，第一3
×
3卷积将输入图像转换为一个通道数为64、尺寸和输入图像大小相同的特征映射，第二3
×
3卷积将特征映射转换为一个通道数仍为64、尺寸减半的新的特征映射，其作为浅特征提取部分的输入；浅特征提取部分主要包括相连接的三个Dense Block，每个Dense Block后面均附加一个用于使特征映射通道数还原为Dense Block输入状态的1
×
1卷积；Dense Block包括七个密集连接的卷积块，每个卷积块有一个3
×
3卷积和一个ReLu非线性激活函数；浅特征提取部分里三
个Dense Block后1
×
1卷积的输出分别为Y1、Y2和Y3，将Y1、Y2和Y3拼接起来构成浅特征提取部分的全局特征，记为[Y1，Y2，Y3]，对[Y1，Y2，Y3]进行上采样操作使图像尺寸扩大二倍，再经过第三3
×
3卷积将特征映射通道数降为64，最后和开始部分中第一3
×
3卷积的结果进行相加，作为浅特征提取部分的输出；深特征提取部分也包括相连接的三个Dense Block，每个Dense Block后面均附加一个用于使特征映射通道数还原为Dense Block输入状态的1
×
1卷积，深特征提取部分中三个Dense Block的结构与浅特征提取部分中三个Dense Block的结构相同，深特征提取部分中三个Dense Block后1
×
1卷积的输出分别为Y4、Y5和Y6，Y4、Y5和Y6拼接起来构成深特征提取部分的全局特征，记为[Y4，Y5，Y6]，然后[Y4，Y5，Y6]再经过一个1
×
1卷积，[Y4，Y5，Y6]之后的1
×
1卷积用于将[Y4，Y5，Y6]中的冗余特征去除，且减少特征映射通道数至64，其结果再和开始部分中第一3
×
3卷积的结果进行相加，作为深特征提取部分的输出；重建部分的结构与开始部分相同，重建部分包括依次连接的第四3
×
3卷积和第五3
×
3卷积，第四3
×
3卷积的输出通道数为64，第五3
×
3卷积的输出通道数为3，第四3
×
3卷积和第五3
×
3卷积均使特征映射的尺寸不变，第五3
×
3卷积的输出的特征映射为潜在清晰图像，潜在清晰图像作为生成网络的最终输出结果；生成网络多次使用信息拼接和长短跳跃连接技术，通过这样的网络连接方式，有利于全面加强网络对图像细节特征的学习，且整个过程是采用端对端的方式来去模糊的，模型的训练速度加快；
[0008]判别网络由九个卷积和一个全连接组成，所有卷积中的卷积核大小均为5
×
5，且每个卷积后附加一个LeakyReLu非线性激活函数(α＝0.2)，输入图像通过九个卷积依次处理后，再通过全连接映射为一维向量，然后使用sigmoid函数将向量中的数值缩小在[0，1]区间，最终输出图像被判别为真的概率；
[0009]步骤S2：建立用于网络训练的损失函数，由内容损失项和对抗损失项两个部分组成，这样的设计可以既保证生成的图片清晰，又使生成的清晰图像更多符合原始清晰图像的特征，损失函数的表达式为：
[0010]L
All
＝λ
×
L
c
+L
a
，
[0011]其中，L
c
为内容损失，L
a
为对抗损失，λ为权重系数，设置值为165；
[0012]内容损失选择的是L2损失函数，它衡量的是原始清晰图像和潜在清晰图像之间对应的每个像素点的差平方期望，具体公式为：
[0013][0014]其中，W、H分别代表图像的宽和高，G
wh
、H
wh
分别代表生成的潜在清晰图像和原始清晰图像中对应得某个像素点；
[0015]对抗损失运用的是生成对抗网络中的最小最大损失函数，具体公式为：
[0016][0017]其中，G代表生成网络，它的参数用θ表示；D代表判别网络，它的参数用δ表示；当更新判别网络的参数δ时，生成网络的参数θ不变；同理，生成网络反之亦然；
[0018]步骤S3：预处理运动模糊图像数据集和设置模型超参数；图像数据预处理包括：对所有的模糊清晰图像对进行数据剪裁、数据增强和单独对模糊图像添加噪声；超参数设置包括：k值、优化器、初始学习率、动量、批量数和总训练次数；模型设置的k值指每次对抗训
练过程中，先训练k次判别网络后，再训练1次生成网络；由于生成网络的输入规定了图像的尺寸大小，所以要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于条件生成对抗网络的图像去运动模糊方法，其特征在于，包括以下步骤：步骤S1：搭建条件生成对抗网络模型；条件生成对抗网络模型包括生成网络和判别网络，生成网络旨在生成和目标分布一致的潜在清晰图像，判别网络用于准确的判别输入的图像是真实清晰图像还是生成网络生成的潜在清晰图像，当判别网络无法判断图像的来源时，条件生成对抗网络模型达到收敛，即生成网络可以生成和目标分布一致的潜在清晰图像；生成网络由依次连接的开始部分、浅特征提取部分、深特征提取部分和重建部分组成；开始部分包括依次连接的第一3
×
3卷积和第二3
×
3卷积，第一3
×
3卷积将输入图像转换为一个通道数为64、尺寸和输入图像大小相同的特征映射，第二3
×
3卷积将特征映射转换为一个通道数仍为64、尺寸减半的新的特征映射，其作为浅特征提取部分的输入；浅特征提取部分包括相连接的三个Dense Block，每个Dense Block后面均附加一个用于使特征映射通道数还原为Dense Block输入状态的1
×
1卷积；Dense Block包括七个密集连接的卷积块，每个卷积块包括一个3
×
3卷积和一个ReLu非线性激活函数；浅特征提取部分里三个Dense Block后1
×
1卷积的输出分别为Y1、Y2和Y3，将Y1、Y2和Y3拼接起来构成浅特征提取部分的全局特征，记为[Y1,Y2,Y3]，对[Y1,Y2,Y3]进行上采样操作使图像尺寸扩大二倍，再经过第三3
×
3卷积将特征映射通道数降为64，最后和开始部分中第一3
×
3卷积的结果进行相加，作为浅特征提取部分的输出；深特征提取部分也包括相连接的三个Dense Block，每个Dense Block后面均附加一个用于使特征映射通道数还原为Dense Block输入状态的1
×
1卷积，深特征提取部分中三个Dense Block的结构与浅特征提取部分中三个Dense Block的结构相同，深特征提取部分中三个Dense Block后1
×
1卷积的输出分别为Y4、Y5和Y6，Y4、Y5和Y6拼接起来构成深特征提取部分的全局特征，记为[Y4,Y5,Y6]，然后[Y4,Y5,Y6]再经过一个1
×
1卷积，[Y4,Y5,Y6]之后的1
×
1卷积用于将[Y4,Y5,Y6]中的冗余特征去除，且减少特征映射通道数至64，其结果再和开始部分中第一3
×
3卷积的结果进行相加，作为深特征提取部分的输出；重建部分的结构与开始部分相同，重建部分包括依次连接的第四3
×
3卷积和第五3
×
3卷积，第四3
×
3卷积的输出通道数为64，第五3
×
3卷积的输出通道数为3，第四3
×
3卷积和第五3
×
3卷积均使特征映射的尺寸不变，第五3
×
3卷积的输出的特征映射为潜在清晰图像，潜在清晰图像作为生成网络的最终输出结果；判别网络由九个卷积和一个全连接组成，所有卷积中的卷积核大小均为5
×
5，且每个卷积后面均附加一个LeakyReLu非线性激活函数，输入图像通过九个卷积依次处理后，再通过全连接映射为一维向量，然后使用sigmoid函数将向量中的数值缩小在[0,1]区间，最终输出图像被判别为真的概率；步...

【专利技术属性】
技术研发人员：茹妞妞，杨卫华，于晋伟，梁东岳，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：