基于条件生成对抗网络的去模糊方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于条件生成对抗网络的去模糊方法、系统、设备及介质，所述方法包括：构建生成对抗网络；获取模糊图像和清晰图像；将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；将处理结果输入多个Group‑SE模块中提取特征；将提取的特征输入反卷积层中进行上采样，得到模拟图像；以模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；利用训练好的生成对抗网络对待处理图像进行去模糊处理。本发明专利技术可以解决图像去模糊技术运用在人脸识别相关场景中准确率提升不明显等问题。

【技术实现步骤摘要】
基于条件生成对抗网络的去模糊方法、系统、设备及介质
本专利技术涉及一种基于条件生成对抗网络的去模糊方法、系统、设备及介质，属于深度学习、计算机视觉和图像处理领域。
技术介绍
尽管近几年计算机成像已经取得了巨大的进步，但对于处理捕获的运动模糊内容仍然是一个挑战。运动模糊是由传感器曝光期间场景中的物体或照相机的运动引起。除了明显降低图像的视觉质量外，模糊造成的失真会导致诸多计算机视觉任务的性能大幅下降(如人脸识别)。商业上有一些可用的相机，它们可以以高帧频捕获帧，从而减少模糊现象，但是这会使图像拥有更多噪声且相机价格很昂贵。由于运动模糊本身的不适定性，它依然是计算机视觉中一个具有挑战性的问题。目前运用相对广泛的图像去模糊方法主要有以下两类：盲去模糊和非盲去模糊。非盲去模糊是当模糊核已知时，采取有针对性的反卷积操作获取清晰图像，因此模糊核估计的准确性就成了图像去模糊的关键。目前主流的模糊核估计方法大部分建立在概率先验模型之上。朝阳提出两阶段图像恢复方法，首先利用图像的稀疏性，在多尺度情况下估计模糊核，再结合非盲反卷积获取清晰图像。徐弦秋等提出利用模糊核对各个通道彩色分量图造成的差异性，对图像的RBG通道分别进行模糊核估计，此方法取得了不错的去模糊效果，但其运算较为复杂且运行速度缓慢。随着人工智能的不断兴起，新兴的深度学习技术推动了图像修复任务的突破。在图像去模糊任务中，盲去模糊的方法越来越受到研究者的青睐。Nah等通过使用多尺度残差网络，以粗到细的方式聚合特征，直接对图像去模糊，避免了对模糊核进行估计；Ramakrishnan等结合使用pix2pix框架和稠密连接网络DenseNet执行图像无核盲去模糊；陈阳等提出一种基于自编码深度神经网络的方法，对输入图像中的模糊区域进行准确标记，并对这些区域进行去模糊处理，这能在保证图像不发生失真的同时有效去除局部模糊；Kupyn等针对运动模糊提出一种基于生成对抗网络的图像盲去模糊方法，将梯度惩罚和感知损失引入生成对抗神经网络，这不仅使图像保留了更多的纹理细节，运行效率也有大幅提高。Yan等采用数据驱动的先验鉴别并设计了基于半二次分裂法的图像盲去模糊算法；Tao等提出尺度循环网络(Scale-RecurrentNetwork，SRN)，将不同尺度上的权重共享用于图像去模糊；Dai等提出区域自适应稠密网络(Region-AdaptiveDenseNetwork，RADN)，通过使用空间注意力来处理局部特征和在全卷积中嵌入DenseNet预训练层的方法，实现了高效的图像去运动模糊效果。现有大部分基于深度神经网络的图像去运动模糊算法存在参数量众多，运用在一些人脸识别场景中，对识别准确率的提升微小或者对识别率产生负面影响的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于条件生成对抗网络的去模糊方法、系统、设备及介质，其可以解决图像去模糊技术运用在人脸识别相关场景中准确率提升不明显等问题。本专利技术的第一个目的在于提供一种基于条件生成对抗网络的去模糊方法。本专利技术的第二个目的在于提供一种基于条件生成对抗网络的去模糊系统。本专利技术的第三个目的在于提供一种计算机设备。本专利技术的第四个目的在于提供一种存储介质。本专利技术的第一个目的可以通过采取如下技术方案达到：一种基于条件生成对抗网络的去模糊方法，所述方法包括：构建生成对抗网络；获取模糊图像和清晰图像；将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；将处理结果输入多个Group-SE模块中提取特征；将提取的特征输入反卷积层中进行上采样，得到模拟图像；以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；利用训练好的生成对抗网络对待处理图像进行去模糊处理。进一步的，每个Group-SE模块包括依次相连的第一卷积层、分组卷积层、第二激活函数层、第二特征归一化层、SE块、第二卷积层和特征融合层。进一步的，所述SE块包括相连的特征筛选层和特征重标定层，其中特征筛选层包括依次相连的全局平均池化层、第一全连接层、第三特征归一化层、第二全连接层和Sigmoid函数层。进一步的，所述第一激活函数层以及Group-SE模块的第二激活函数层中的激活函数均采用LeakReLU函数，如下式：所述生成器输出层的激活函数采用tanh函数。进一步的，所述第一特征归一化层以及Group-SE模块的第二特征归一化层均采用组归一化。进一步的，所述判别器包括DPN网络，所述DPN网络将ResNet的加和操作与DenseNet的拼接操作共同设计到神经网络中，包括多个DPN块，每个DPN块采用具有第一路径和第二路径的双路结构，其中第一路径整合特征采用加和操作，第二路径整合特征采用拼接操作；将第一路径和第二路径中的特征拼接后进行整体的卷积操作，根据输入特征的比例进行拆分操作，得到两部分特征，将两部分特征分别输入对应的路径中进行操作。进一步的，所述生成对抗网络的训练损失函数表达式如下：Ltotal＝Lcont+λLadv其中，Ltotal为总体损失，Lcont为内容损失，Ladv为对抗损失，λ为权重系数；所述内容损失的表达式如下：其中，Lmse为均方误差，为正则化项，w为特征权重，n为特征权重数量，β为正则项系数；所述对抗损失的表达式如下：其中，表示清晰图像数据分布的数学期望，表示模糊图像数据分布的数学期望，Is和Ib分别表示清晰图像和模糊图像，D(Is)表示Is被判定为清晰图像的概率，D(G(Ib))表示模糊图像Ib经生成器模拟得到的清晰图像被判定为清晰图像的概率。进一步的，所述均差误差的表达式如下：其中，W和H分别表示图像的宽和高，Is表示清晰图像，Ib表示模糊图像，表示生成器模拟得到的清晰图像，wG表示生成器的特征权重，x和y为对应像素位置坐标。本专利技术的第二个目的可以通过采取如下技术方案达到：一种基于条件生成对抗网络的去模糊系统，所述系统包括：构建单元，用于构建生成对抗网络；获取单元，用于获取模糊图像和清晰图像；处理单元，用于将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；特征提取单元，用于将处理结果输入多个Group-SE模块中提取特征；上采样单元，用于将提取的特征输入反卷积层中进行上采样，得到模拟图像；输出单元，用于以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；迭代单元，用于通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；去模糊处理单元，用于利用训本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的去模糊方法，其特征在于，所述方法包括：/n构建生成对抗网络；/n获取模糊图像和清晰图像；/n将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；/n将处理结果输入多个Group-SE模块中提取特征；/n将提取的特征输入反卷积层中进行上采样，得到模拟图像；/n以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；/n通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；/n利用训练好的生成对抗网络对待处理图像进行去模糊处理。/n

【技术特征摘要】
1.一种基于条件生成对抗网络的去模糊方法，其特征在于，所述方法包括：
构建生成对抗网络；
获取模糊图像和清晰图像；
将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；
将处理结果输入多个Group-SE模块中提取特征；
将提取的特征输入反卷积层中进行上采样，得到模拟图像；
以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；
通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；
利用训练好的生成对抗网络对待处理图像进行去模糊处理。


2.根据权利要求1所述的去模糊方法，其特征在于，每个Group-SE模块包括依次相连的第一卷积层、分组卷积层、第二激活函数层、第二特征归一化层、SE块、第二卷积层和特征融合层。


3.根据权利要求2所述的去模糊方法，其特征在于，所述SE块包括相连的特征筛选层和特征重标定层，其中特征筛选层包括依次相连的全局平均池化层、第一全连接层、第三特征归一化层、第二全连接层和Sigmoid函数层。


4.根据权利要求2所述的去模糊方法，其特征在于，所述第一激活函数层以及Group-SE模块的第二激活函数层中的激活函数均采用LeakReLU函数，如下式：



所述生成器输出层的激活函数采用tanh函数。


5.根据权利要求2所述的去模糊方法，其特征在于，所述第一特征归一化层以及Group-SE模块的第二特征归一化层均采用组归一化。


6.根据权利要求1-5任一项所述的去模糊方法，其特征在于，所述判别器包括DPN网络，所述DPN网络将ResNet的加和操作与DenseNet的拼接操作共同设计到神经网络中，包括多个DPN块，每个DPN块采用具有第一路径和第二路径的双路结构，其中第一路径整合特征采用加和操作，第二路径整合特征采用拼接操作；
将第一路径和第二路径中的特征拼接后进行整体的卷积操作，根据输入特征的比例进...

【专利技术属性】
技术研发人员：杜振锋，周晓清，龚汝洪，
申请(专利权)人：广东宜教通教育有限公司，
类型：发明
国别省市：广东;44