【技术实现步骤摘要】
一种基于生成对抗网络的细化单幅图像去雨方法
本专利技术属于多媒体图像处理领域，涉及到计算机视觉、深度学习技术，尤其是一种基于生成对抗网络的单幅图像去雨方法。技术背景雨是一种最常见的恶劣天气，雨天中得到的图像往往有比较糟糕的视觉效果。与此同时，很多计算机视觉的算法通常默认输入为干净的图像，因此带雨的图像对这些算法往往产生不好的影响，降低他们的性能。单幅图像去雨方法就是利用已有的先验信息，对输入图像进行一定的处理，得到一个干净的无雨的图像。去雨算法主要分为视频去雨和图像去雨。视频、图像去雨算法已经发展的较为成熟，这些模型可以利用视频中存在的时间信息，准确的定位雨点，从而准确地去除雨点，但是对于单副图像去雨来说，我们得到的输入只是单幅图像，因而没有办法利用时间信息，这为准确的定位雨点消除雨点带来了很大的挑战。目前图像去雨算法主要分为三种，基于图像处理知识的去雨算法，基于稀疏编码字典学习和分类器的去雨算法以及基于深度学习的图像去雨算法。前两种算法计算比较简单，成本比较低。但是他们虽然在某些数据集上取得了不错的效果，但是由...
【技术保护点】
1.一种基于生成对抗网络的细化单幅图像去雨方法，其特征在于：将有雨图像输入到雨纹估计网络，得到估计的雨纹图，与输入图像连接形成多通道的图像，输入到生成模型，生成模型生成的无雨图像输入到判别器进行判断，根据判断的结果来优化生成器，最终得到去雨能力较强的生成器网络，生成模型的输出作为图像细化网络的输入，对图像进行进一步的处理，得到最终的无雨图像。/n
【技术特征摘要】
1.一种基于生成对抗网络的细化单幅图像去雨方法，其特征在于：将有雨图像输入到雨纹估计网络，得到估计的雨纹图，与输入图像连接形成多通道的图像，输入到生成模型，生成模型生成的无雨图像输入到判别器进行判断，根据判断的结果来优化生成器，最终得到去雨能力较强的生成器网络，生成模型的输出作为图像细化网络的输入，对图像进行进一步的处理，得到最终的无雨图像。
2.根据权利要求1所述的基于生成对抗网络的细化单幅图像去雨方法，其特征在于：所述的雨纹估计网络以DenseNet密集残差块为基本组成元件，包含三路卷积核大小不同的深度密集网络，三路网络输出的特征图进行拼接，再通过两层卷积层，得到最终的输出，雨纹估计网络的参数使用L1损失函数和感知损失函数进行训练和优化，雨纹估计网络的真值使用有雨图像减去无雨图像得到。
3.根据权利要求2所述的基于生成对抗网络的细化单幅图像去雨方法，其特征在于：所述的雨纹估计网络的参数通过perceptualloss和MSEloss来优化，设计如下：
其中，LR为雨纹估计网络的总loss函数，L1R是输入和输出之间的L1距离损失函数，定义如下：
其中，T代表真实的雨纹图，该图由带雨图像与干净图像相减得到，C、W、H分别为图像的通道数、宽度、高度，E为雨纹估计网络，
是使用预训练好的VGG网络计算的损失函数，将VGG-16网络中第一层卷积之后的结果，即relu1_2的结果提取出来做特征图之间的L1损失，定义如下：
其中，V代表VGG-16网络模型，r为估计的雨纹图，gt为雨纹估计图的真值，Rain为输入的带雨图像，Clear为真实的无雨图像。
4.根据权利要求1所述的基于生成对抗网络的细化单幅图像去雨方法，其特征在于：所述的生成模型包含编码器、转换器、解码器三个部分，每一部分都包含多个卷积层/转置卷积层、激活层、归一化层。
5.根据权利要求4所述的基于生成对抗网络的细化单幅图像去雨方法，其特征在于：编码器使用三层卷积神经网络对输入图像进行卷积以及下采样，在每一个卷积核的后面都有一个InstanceNormalization层和ReLU激活函数层。
6.根据权利要求4所述的基于生成对抗网络的细化单幅图像去雨方法，其特征在于：所述的转换器使用6个残差块来实现，在每一个残差块中应用了SE模块，转换器中使用了InstanceNormalization来对特征进行归一化处理。
7.根据权利要求4所述的基于生成对...
【专利技术属性】
技术研发人员：侯永宏，苏晓雨，李士超，郭子慧，聂梦真，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。