基于生成对抗网络的图像去模糊方法技术

本发明专利技术公开了一种基于生成对抗网络的图像去模糊方法，主要解决现有技术需要估计模糊核，反卷积迭代求取清晰图像时运行速度缓慢、重建效果差的问题。其实现方案是：1)选择实验数据集，确定与其相关的训练数据集和测试数据集；2)分别构建15层结构的生成网络和6层结构的对抗网络；3)根据对抗损失、像素损失和特征损失构建联合损失函数；4)通过联合损失函数对生成网络和对抗网络进行交互训练，得到生成对抗网络模型；5)将对测试样本输入到生成对抗网络模型中，得到去模糊后的清晰图像。本发明专利技术具有无需估计模糊核、去模糊速度快、去模糊效果好的优点，可用于由于相机抖动而拍摄的模糊图像的去模糊处理。

Image deblurring method based on generated countermeasure network

【技术实现步骤摘要】
基于生成对抗网络的图像去模糊方法
本专利技术属于图像处理
，更进一步涉及一种图像去模糊方法,可用于由于相机抖动而拍摄的模糊图像的去模糊处理。
技术介绍
数字图像在产生、处理、传送和保存的过程中，总会因为拍摄装置和外界不可预知的因素的影响，造成图像总体质量的减退，丢失图像的重要信息，对后续处理带来很多负面影响。为了满足图像应用及图像视觉对高质量图片的要求，如何从低质的图像中恢复出清晰的图像一直是数字图像领域研究的长期关注的问题。在图像复原早期，研究者主要研究非盲去模糊技术，提出维纳滤波，LR迭代去模糊、最小二乘法等方法，但这几种方法过于简单，复原图像存在噪声大，边缘信息丢失严重等问题。在实际应用中，图像的点扩散函数往往很难获得，通常要解决的是盲去模糊问题。目前常用的方法就是通过估计模糊核尺寸，再通过逆卷积进行去模糊，但这往往需要复杂的先验；利用变量分离技术将图像复原中的保真项和正则项进行分离，使用迭代求解法，效果较好，但存在运行效率低的问题，同时也很难找到一个通用的、合理的算法停止条件。随着深度学习在计算机视觉的应用广泛，很多学者利用卷积神经网络用于图像去模糊，取得了很好的效果，Kai提出一种有效CNN去噪器，把它集成到基于模型的优化方法，将降噪器先验作为基于模型的优化方法的模块化部分插入以解决其他反问题，利用可变分裂技术，解决去模糊问题；Gong使用卷积神经网络对模糊核进行估计，再根据估计的模糊核重建图像。这两种方法由于仍然采用非盲去模糊算法的思路，在经过CNN得到估计的模糊核后，再使用传统方法进行反卷积得到清晰图像，因而导致运行速度缓慢，重建效果严重依赖模糊核的预测结果，并且无法作用于多种模糊函数。
技术实现思路
本专利技术的目的在于针对以上现有技术存在的不足，提出一种基于生成对抗网络的端到端的图像去模糊方法，以实现无需核函数估计，提高去模糊速度和去模糊效果。为达到上述技术目的，本专利技术的实现方案包括以下步骤：(1)选用GOPRO数据集中的训练集，并依次通过翻转、水平和垂直旋转的扩大处理，从1280*720的图像中随机裁剪256*256图像作为最终训练数据；选用GOPRO数据集中的测试集作为测试数据来源；(2)搭建一个包括两个卷积层、两个下采样层、九个残差模块、两个上采样层的15层的生成网络，其结构依次是：第一卷积层→第一下采样层→第二下采样层→第一残差模块→第二残差模块→第三残差模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第一上采样层→第二上采样层→第二卷积层；(3)搭建一个由6层卷积层构成的对抗网络，其结构依次是：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层；(4)根据对抗损失Ladv、像素损失L1和特征损失Lc这三个损失函数得到联合损失函数：L＝λaLadv+λ1L1+λcLc，其中λa,λ1,λc为三个不同的权值参数；(5)训练生成对抗网络：5a)将经过生成网络的图像输入到对抗网络，利用梯度下降法，更新对抗网络的权值；5b)迭代5a)共五次，得到对抗网络更新后的权值5c)固定对抗网络权值，将模糊图像输入生成网络，利用梯度下降法，更新生成网络权值5d)重复执行步骤5a)-5c)共120次，得到训练好的生成对抗网络模型；(6)将模糊图像输入到训练好的生成对抗网络模型中，得到清晰图像。与现有技术相比，本专利技术具有以下优点：第一，由于本专利技术使用端到端的映射，无需迭代估计模糊核，克服了传统方法中需要迭代估计模糊核的弊端，缩短了去模糊的时间；第二，由于本专利技术构建的生成网络中使用残差模块，克服了模糊核大小不确定、方向不固定的问题，使得网络适应性更强，去模糊效果更好。第三，由于本专利技术构建的生成网络上使用上采样层和卷积层形式，减少了图像修复过程中的“棋盘效应”，克服了现存的深度学习方法中使用反卷积层实现上采样产生的方格效应，提高了恢复图像的清晰度。附图说明图1是本专利技术的实现流程图；图2是本专利技术中的生成网络结构图；图3是本专利技术中的对抗网络结构图；图4是本专利技术中的测试图和结果图。具体实施方案以下结合附图对本专利技术的实施例进行详细阐述：参照图1，本实例的实施步骤如下：步骤1，选取实验数据集，确定与其相关的训练数据集和测试数据集。选用GOPRO数据集中的训练集作为训练数据来源，并依次通过翻转、水平和垂直旋转的手段对数据集对训练集中的数据进行扩大，并从扩大后的训练数据集中将原始大小为1280*720的图像随机裁剪成大小为256*256的图像作为最终训练数据。选用GOPRO数据集中的测试集作为测试数据。步骤2，搭建一个生成网络。参照图2，对本实例搭建的生成网络包括两个卷积层、两个下采样层、九个残差模块、两个上采样层的15层结构，其左右分布依次是：第一卷积层→第一下采样层→第二下采样层→第一残差模块→第二残差模块→第三残差模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第一上采样层→第二上采样层→第二卷积层，其中各层参数设置如下：第一卷积层的卷积核大小为7×7，卷积步长为1，卷积核个数为64；第一下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为128；第二下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为256；第一到第九残差模块卷积核的个数均为256；第一上采样层的卷积核大小为3×3，卷积步长为1，卷积核个数为128；第二上采样层的卷积核大小为3*3，卷积步长为1，卷积核个数为64；第二卷积层的卷积核大小为7*7，卷积步长为1，卷积核个数为3；九个残差模块均由四个支路组成，其中:第一支路卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256；第二支路由两个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层的卷积核大小为3×3，卷积步长为1，卷积核个数为64；第三支路由三个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256，第3卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256；第四支路由池化层和卷积层构成，池化区域核的大小为2×2，卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为64；四个支路经过拼接函数拼接为通道数为1024的图像，该图像经过卷积核大小为3×3，卷积步长为1，卷积核个数为256的卷积层得到最终的图像。步骤3，搭建对抗网络参照图3，对本实例搭建对抗网络由6层卷积层构成，其结构依次是：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层，其中各层参数设置如下：第一卷积层本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的图像去模糊方法，其特征在于，包括如下：/n(1)选用GOPRO数据集中的训练集，并依次通过翻转、水平和垂直旋转的扩大处理，从1280*720的图像中随机裁剪256*256图像作为最终训练数据；选用GOPRO数据集中的测试集作为测试数据来源；/n(2)搭建一个包括两个卷积层、两个下采样层、九个残差模块、两个上采样层的15层的生成网络，其结构依次是：第一卷积层→第一下采样层→第二下采样层→第一残差模块→第二残差模块→第三残差模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第一上采样层→第二上采样层→第二卷积层；/n(3)搭建一个由6层卷积层构成的对抗网络，其结构依次是：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层；/n(4)根据对抗损失Ladv、像素损失L1和特征损失Lc这三个损失函数得到联合损失函数：L＝λ

【技术特征摘要】
1.一种基于生成对抗网络的图像去模糊方法，其特征在于，包括如下：
(1)选用GOPRO数据集中的训练集，并依次通过翻转、水平和垂直旋转的扩大处理，从1280*720的图像中随机裁剪256*256图像作为最终训练数据；选用GOPRO数据集中的测试集作为测试数据来源；
(2)搭建一个包括两个卷积层、两个下采样层、九个残差模块、两个上采样层的15层的生成网络，其结构依次是：第一卷积层→第一下采样层→第二下采样层→第一残差模块→第二残差模块→第三残差模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第一上采样层→第二上采样层→第二卷积层；
(3)搭建一个由6层卷积层构成的对抗网络，其结构依次是：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层；
(4)根据对抗损失Ladv、像素损失L1和特征损失Lc这三个损失函数得到联合损失函数：L＝λaLadv+λ1L1+λcLc，其中λa,λ1,λc为三个不同的权值参数；
(5)训练生成对抗网络：
5a)将经过生成网络的图像输入到对抗网络，利用梯度下降法，更新对抗网络的权值；
5b)迭代5a)共五次，得到对抗网络更新后的权值
5c)固定对抗网络权值，将模糊图像输入生成网络，利用梯度下降法，更新生成网络权值
5d)重复执行步骤5a)-5c)共120次，得到训练好的生成对抗网络模型；
(6)将模糊图像输入到训练好的生成对抗网络模型中，得到清晰图像。


2.根据权利要求1所述的方法，其特征在于，2)搭建的15层生成网络，其各层参数设置如下：
第一卷积层的卷积核大小为7×7，卷积步长为1，卷积核个数为64；
第一下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为128；
第二下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为256；
第一到第九残差模块卷积核的个数均为256；
第一上采样层的卷积核大小为3×3，卷积步长为1，卷积核个数为128；
第二上采样层的卷积核大小为3*3，卷积步长为1，卷积核个数为64；
第二卷积层的卷积核大小为7*7，卷积步长为1，卷积核个数为3；
九个残差模块均由四个支路组成，其中:
第一支路卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256；
第二支路由两个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层的卷积核大小为3×3，卷积步长为1，卷积核个数为64；
第三支路由三个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256，第3卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256；
第四支路由池化层和卷积层...

【专利技术属性】
技术研发人员：王晓甜，林亚静，石光明，齐飞，董伟生，林杰，吴嘉诚，吴智泽，苗垟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61