基于多尺度特征融合的单帧图像去雨方法技术

本发明专利技术提供了一种基于多尺度特征融合的单帧图像去雨方法，通过运用不同尺度的感受野进行对有雨图像的特征提取，之后通过反卷积操作通过特征得到去雨结果，运用粗尺度的特征与细尺度特征的结合，促进细尺度生成的无雨图像达到最好去雨的效果。通过在多个尺度上去除雨线，能使用于多种雨水情况，去雨算法更加具有普适性。本发明专利技术引用了对抗误差与感知误差构建了新的误差函数，对去雨模型进行训练，不需要任何先验知识，也不需要对图像进行预处理和后处理，保证了整个结构的完整性；在多个测试集上的结果表明本发明专利技术同前沿的主流去雨算法结果相比，在亮度信号通道上的峰值信噪比上能够提升2‑5dB。

【技术实现步骤摘要】
基于多尺度特征融合的单帧图像去雨方法
本专利技术涉及图像处理
，具体地，涉及一种基于多尺度特征融合的单帧图像去雨方法，应用于处理单帧有雨的图像，达到去除图片雨水，还原背景图片且对原图色彩以及细节最大程度减少失真。
技术介绍
在复杂多变的天气情况下，人们拍摄到的图片或者视频中常常会因为雨、雪、雾而受到干扰、变得模糊或者图片的主体会受到严重的干扰。而雨作为一种在生活中最常见的自然现象，会对于人的视觉造成退化。在有雨的情况下，距离的雨线会在光的影响下会有反射效应，拍摄到的图片和视频的质量会严重退化，同时雨线会累积生成雾气，会有雨雾的产生，看不清背景。特别是在大雨的情况下，图像会收到更多的影响。因此，图像去雨的课题作为图像去噪的分支，无论在理论和实用方面都有重大的意义，例如在视频监控，图像分析以及智能驾驶等领域中都有相对应的作用。去雨算法可以分为两类：视频去雨和单帧图像去雨。在视频去雨中，Zhang等人运用了雨线的时间特性(每一个像素点都存在连续几帧都不被雨水遮挡的情况)以及色彩特性(雨的颜色和被雨线影响的像素点在R，G，B三通道通道上被影响的变化量都是相对固定的)得到了一个雨线检测与本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征融合的单帧图像去雨方法，其特征在于，包括以下步骤：第一步，建立图像数据库；所述图像数据库包括训练集和测试集，其中训练集包括有雨图像和与有雨图像相对应的无雨图像；所述测试集包括合成图片测试集和自然图片测试集，所述合成图片测试集和自然图片测试集均包括有雨图像和与有雨图像相对应的无雨图像；第二步，运用训练集来训练多尺度的去雨深度网络，输入有雨图像进入去雨深度网络，得到的有雨图像通过损失函数，对去雨深度网络进行反向传播；第三步，通过测试集中的有雨图像对去雨深度网络进行测试，得到的结果与其他去雨方法进行横向比对，进而判断去雨深度网络的有效性。

【技术特征摘要】
1.一种基于多尺度特征融合的单帧图像去雨方法，其特征在于，包括以下步骤：第一步，建立图像数据库；所述图像数据库包括训练集和测试集，其中训练集包括有雨图像和与有雨图像相对应的无雨图像；所述测试集包括合成图片测试集和自然图片测试集，所述合成图片测试集和自然图片测试集均包括有雨图像和与有雨图像相对应的无雨图像；第二步，运用训练集来训练多尺度的去雨深度网络，输入有雨图像进入去雨深度网络，得到的有雨图像通过损失函数，对去雨深度网络进行反向传播；第三步，通过测试集中的有雨图像对去雨深度网络进行测试，得到的结果与其他去雨方法进行横向比对，进而判断去雨深度网络的有效性。2.根据权利要求1所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，所述训练集和合成图片测试集中的有雨图像均是在无雨图像上由人工添加雨线合成得到；所述自然图片测试集中的图片采用真实生活中的有雨图像；所述训练集和测试集中的所有图片具有相同的尺寸大小。3.根据权利要求2所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，在第三步中，采用亮度通道的PSNR值评价去雨深度网络对合成图片测试集中的有雨图像进行去雨的去雨效果。4.根据权利要求2所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于所述去雨深度网络首先使用多个不同尺度下的卷积层构建的特征提取网络；所述特征提取网络提取训练集中有雨图像的图像特征；特征提取网络的输入是经过尺度归一化的有雨图像，大小为w*h*3，其中w为图像宽度，h为图像高度，图像通道为3；其中：提取有雨图像特征的操作为：将输入的有雨图像通过3x3、7x7以及11x11的卷积核并行卷积操作两层之后，进行三个尺度上特征的级联，形成特征提取过程；重复执行特征提取过程，实现在三个尺度上的特征提取，形成三张三个尺度上的去雨图像；特征提取网络结构为：其中I表示输入图像，C1表示感受野为3x3卷积层，C2表示感受野为7x7卷积层，C3表示感受野为11x11卷积层，CC表示三个尺度下的级联操作，R表示激活层PReLU其中x为激活层ReLU的输入；所有卷积层的步长为1，每层卷积层的大小保持与输入的有雨图像一致，最后得到的特征大小为w*h*3。5.根据权利要求4所述的基于多尺度特征融合的单帧图像去雨方法，其特征在于，将提取的特征经过反卷积层进行由粗尺度至细尺度的去雨图像生成；其中：卷积核11x11的反卷积层操作结构为：CC(3)-DC3R(32)-DC3R(32)-SC31-DC3R(64)-DC3R(64)-DC3R(64)-DC3R(64)-SC32-DC3R(3)-Tanh-O3，其中，DC3表示感受野为11x11反卷积层，R表示激活层，SC31表示第二层反卷积之后，同感受野为11x11的卷积层倒数第二层C3R(32)相加的跳跃式直连的操作，SC32表示同感受野为11x11的卷积层第一层C3R(64)相加的跳跃式直连的操作，O3表示在粗尺度输出的去雨图像；所述Tanh层定义为：其中z为Tanh层的输入；卷积核7x7的反卷积层...

【专利技术属性】
技术研发人员：徐奕，张峥，倪冰冰，杨小康，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31