一种基于生成对抗网络的图像去雨滴方法技术

本发明专利技术实施例公开了一种基于生成对抗网络的图像去雨滴方法。该方法主要通过构建生成对抗网络，利用深度去雨算法，提供一种更加高效显著的图像去雨方法，在实际使用中只需要把图片输入生成式网络中，通过一次前向传播即可得到结果图片，相比起传统的图像处理方法会有更高效的效果，此外，在模型中引入特征空间上的感知相关性，可以调整部分去雨效果的细节，使得生成的图像更加清晰直观，在图像增强方面可以提供更好的效果。

【技术实现步骤摘要】
一种基于生成对抗网络的图像去雨滴方法
本专利技术涉及图像滤波
、机器学习领域，具体涉及一种基于生成对抗网络的图像去雨滴方法。
技术介绍
随着近年来智能手机的高速发展，越来越多人使用手机进行外景的拍摄。而在外景拍摄的时候经常会由于雨天的原因，所拍摄的图片时常会带有一些雨滴或者雨丝在场景之中。因此，要得到更加清晰的图像，需要对图像进行一定的处理。随着近年来计算机的发展以及深度学习的不断研究，使用更有效的深度学习方法来解决传统的研究问题显得更加的有效可行。卷积神经网络(CNN)是多层感知机(MLP)的变种，CNN在传统样本上的表现并没有MLP那样出色，但是在图像样本上的效果比较优秀，并且对比起传统的一维数据样本作为输入的做法，CNN可以使图像直接作为网络的数据，避免了一些需要进行特征提取和部分数据处理的操作。CNN使用卷积核对上层输出进行卷积操作，可以自行提取上层输出的特征图片，包括一些颜色、纹理、形状上的抽象结构；特别是在位移、缩放以及其他扭曲不变性的问题上具有良好的鲁棒性。生成对抗网络(GAN)是于2014年提出的一种训练模型的方法，该方法通过两个模型(生成式网络G和判别式网络D)之间的对抗训练，参考了博弈论里面的MinMax问题的思路，最终使得两个模型的效果均会有所提高。GAN的目标，给定一个真实样本分布的集合，根据该集合不断迭代训练生成器G和判别器D，最终使得生成器G可以从噪声信号生成尽可能符合真实样本分布的样本，而判别器D可以从样本的分布判别该样本是否符合真实样本的分布。感知相关性于2016年提出，主要贡献在于提出了一种新的度量，有助于使GAN产生清晰图像。其方法是将通常在原始像素空间的损失度量替换为在特征空间的损失度量。在训练GAN时，除了原始GAN中的对抗训练损失，额外加入了两个损失项，共计三个损失项，分别为：特征空间损失、对抗损失、像素空间损失。图像去雨方法主要有：使用单个卷积神经网络进行图像去雨，具体步骤为：1)获取清晰图像以及人工加雨图像，构建图像库；2)设计卷积神经网络；3)使用图像库中的清晰-带雨图像对，对所设计的卷积神经网络进行训练；4)训练一定轮数，获得训练好的卷积神经网络；5)把带雨图像输入到训练好的卷积神经网络中，得到对应的清晰图像。但使用上述技术所生成的图片的效果会有部分缺陷，特别在背景和雨滴相似的部分，往往会有所失真。
技术实现思路
本专利技术的目的是克服现有方法的不足，提出了一种基于生成对抗网络的图像去雨滴方法。本专利技术通过构建生成对抗网络，利用深度去雨算法，提供一种更加高效显著的图像去雨方法，在实际使用中只需要把图片输入生成式网络中，通过一次前向传播即可得到结果图片，相比起传统的图像处理方法会有更高效的效果，此外，在模型中引入特征空间上的感知相关性，可以调整部分去雨效果的细节，使得生成的图像更加清晰直观，在图像增强方面可以提供更好的效果。为了解决上述问题，本专利技术提出了一种基于生成对抗网络的图像去雨滴方法，所述方法包括：从数据库中获取外景图片集；图像预处理，为所获取到的外景图片集加入下雨效果，构建训练集和测试集；构建生成式网络，其输入为带雨场景图像，输出为清晰场景图像；根据像素空间上的误差训练生成式网络；加入特征空间上的误差再次训练生成式网络；构建判别式网络，其输入为真实样本或者由生成器生成的样本，输出为真或假的单个标识；把判别式网络加入到模型之中，采用误差反向传播算法训练所述的生成式网络；将测试集中的带雨场景图输入训练好的生成式网络中，输出为对应的清晰场景图像。优选地，所述加入特征空间上的误差再次训练生成式网络，具体为：引入已经训练好的比较器网络，把生成的清晰图片和实际的清晰图片分别输入到比较器网络中，分别获取两者在比较器网络中的特征图，计算两张特征图之间的欧氏距离，作为特征空间上的误差。结合像素空间上的误差与特征空间上的误差作为总体误差，采用误差反向传播算法训练所述的生成式网络。在本专利技术实施例中，提出了一种基于生成对抗网络的图像去雨滴方法。本专利技术通过构建生成对抗网络，利用深度去雨算法，提供一种更加高效显著的图像去雨方法，在实际使用中只需要把图片输入生成式网络中，通过一次前向传播即可得到结果图片，相比起传统的图像处理方法会有更高效的效果，此外，在模型中引入特征空间上的感知相关性，可以调整部分去雨效果的细节，使得生成的图像更加清晰直观，在图像增强方面可以提供更好的效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术实施例的整体流程图；图2是本专利技术实施例的生成式网络G的结构图；图3是本专利技术实施例的判别式网络D的结构图；图4是本专利技术实施例的整体示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术实施例的整体流程图，如图1所示，该方法包括：S1，从数据库中获取外景图片集；S2，图像预处理，为所获取到的外景图片集加入下雨效果，构建训练集和测试集；S3，构建生成式网络，其输入为带雨场景图像，输出为清晰场景图像；S4，根据像素空间上的误差训练生成式网络；S5，加入特征空间上的误差再次训练生成式网络；S6，构建判别式网络，其输入为真实样本或者由生成器生成的样本，输出为真或假的单个标识；S7，把判别式网络加入到模型之中，采用误差反向传播算法训练所述的生成式网络；S8，将测试集中的带雨场景图输入训练好的生成式网络中，输出为对应的清晰场景图像。步骤S1具体为从SUN数据库中获取1000张外景图片。步骤S2，具体如下：S21，使用PS软件，使用构建动态模糊滤镜的方法，分别设置模糊的角度为75度、80度、90度、100度、105度；距离为30像素、50像素；一共构建10种模仿不同下雨效果的滤镜。S22，为每一张外景图分别添加S21中所描述的滤镜，每一张图片对应10张带雨效果的图片，共组成10000对清晰-模糊对；随机抽取8000对图片，生成约300万对32x32大小的带雨-清晰对块，作为训练集；剩下的2000张图片作为预测集评价网络。步骤S3，具体如下：如图2所示，构建生成式网络，由24个残差块卷积单元组成，其输入为带雨场景图像，输出为清晰场景图像；整个网络一共由24个块组成，其中每一个块里面包括了卷积层、批规范化层(BatchNormalization，BN)和Swish层；由于输入的图像为彩色图像，所以第一层的卷积核大小为7x7x3，卷积步长为1，共有16个卷积核生成16张输出；第2～23层的卷积核大小为3x3x16，卷积步长为1，共有16个卷积核生成16张输出；而最后一层的卷积核大小为3x3x3，卷积步长为1，共有3个卷积核生成3张输出；其中第N+1层的输出为第N+1块的输出加上N-1块的输出(N>＝2)。本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的图像去雨滴方法，其特征在于，所述方法包括：从数据库中获取外景图片集；图像预处理，为所获取到的外景图片集加入下雨效果，构建训练集和测试集；构建生成式网络，其输入为带雨场景图像，输出为清晰场景图像；根据像素空间上的误差训练生成式网络；加入特征空间上的误差再次训练生成式网络；构建判别式网络，其输入为真实样本或者由生成器生成的样本，输出为真或假的单个标识；把判别式网络加入到模型之中，采用误差反向传播算法训练所述的生成式网络；将测试集中的带雨场景图输入训练好的生成式网络中，输出为对应的清晰场景图像。

【技术特征摘要】
1.一种基于生成对抗网络的图像去雨滴方法，其特征在于，所述方法包括：从数据库中获取外景图片集；图像预处理，为所获取到的外景图片集加入下雨效果，构建训练集和测试集；构建生成式网络，其输入为带雨场景图像，输出为清晰场景图像；根据像素空间上的误差训练生成式网络；加入特征空间上的误差再次训练生成式网络；构建判别式网络，其输入为真实样本或者由生成器生成的样本，输出为真或假的单个标识；把判别式网络加入到模型之中，采用误差反向传播算法训练所述的生成式网络；将测试集...

【专利技术属性】
技术研发人员：曾坤，郭浩翀，林谋广，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44