基于双通道多尺度判别模型去雨系统及控制方法技术方案

本发明专利技术公开了一种基于双通道多尺度判别模型去雨系统及控制方法，所述系统包括：生成器和双通道多尺度判别器，所述生成器用于生成对抗网络，所述生成器具有多尺度特征提取单元和密集连接单元组成，所述多尺度特征提取单元用于获取接收场，并根据尺度的输入获取多尺度雨痕信息；所述密集连接单元用于去除雨层保留背景层；所述双通道多尺度判别器具有双通道判别模块，所述双通道判别模块用于判断输出去雨图像和与真实无雨图像真伪。其利用双重判别模型生成对抗网络解决雨滴对图像的影响，增强去雨效果，解决现有技术中相机在雨天拍摄的图像严重退化，严重影响图像的视觉质量的问题。严重影响图像的视觉质量的问题。严重影响图像的视觉质量的问题。

【技术实现步骤摘要】
基于双通道多尺度判别模型去雨系统及控制方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于双通道多尺度判别模型去雨系统及控制方法。

技术介绍

[0002]随着科学技术的快速发展和智能手机的普及，手机和摄像头在雨天拍摄的图像严重退化，严重影响图像的视觉质量。为了提高这些退化图像的整体质量，以获得更好的视觉效果，并确保视觉算法的性能得到增强，自动去除这些不希望出现的雨滴变得至关重要，因此图像去雨是一个十分重要的课题。
[0003]目前现有的去雨的方法分成两类：一种是基于传统方法的去雨，例如基于高频的方法，假设雨条属于输入图像的高频分量，然后通过稀疏编码和字典学习进一步将其分为雨层和非雨层。另一种是基于卷积神经网络方法去雨，利用 CNN结构直接学习输入的雨景图像与其对应的地面真实性之间的非线性映射，并在一定的先验信息下，实现了良好的视觉效果，例如多流密集连接网络。
[0004]目前基于生成对抗网络的图像去雨方法中，通过密集连接生成器和多尺度判别模型进行去雨，但是现实世界雨密度的不均匀性且雨的尺度也不一样，单图像雨条纹的去除是一个极具挑战性的问题；此外，为了确保生成图像与真实世界图像保持一致，单一判别模型存在局限性。

技术实现思路

[0005]为了解决现有技术中相机在雨天拍摄的图像严重退化，严重影响图像的视觉质量的问题，本专利技术实施例提供了一种基于双通道多尺度判别模型去雨系统及控制方法。所述技术方案如下：
[0006]第一方面，提供了一种基于双通道多尺度判别模型去雨系统，所述系统包括：生成器和双通道多尺度判别器，其中：
[0007]所述生成器用于生成对抗网络，所述生成器具有多尺度特征提取单元和密集连接单元组成，所述多尺度特征提取单元用于获取接收场，并根据尺度的输入获取多尺度雨痕信息；所述密集连接单元用于去除雨层保留背景层；
[0008]所述双通道多尺度判别器具有双通道判别模块，所述双通道判别模块用于判断输出去雨图像和与真实无雨图像真伪。
[0009]进一步的，所述密集连接单元中的密集块之间跳跃连接。
[0010]进一步的，每个所述密集块后连接有过渡块。
[0011]进一步的，所述双通道多尺度判别器还具有多尺度池化模块，所述多尺度池化模块与双通道判别模块连接，所述多尺度池化模块用于对特征进行多尺度池化。
[0012]第二方面，提供了一种基于双通道多尺度判别模型去雨的控制方法，所述方法包括：
[0013]将数据集预处理后，输入至生成器；
[0014]所述生成器中的多尺度特征提取单元获取数据集，提取多尺度特征并传入相互连接的所述多尺度特征连接后馈送至所述生成器中的密集连接单元；
[0015]所述密集连接单元去除雨层后将去雨图像输送至双通道多尺度判别器中与双通道判别模块连接的多尺度池化模块进行池化；
[0016]将真实无雨图像输送至所述双通道多尺度判别器；所述双通道多尺度判别器中的所述双通道判别模块将去雨图像和真实无雨图像进行比对，判断去雨图像与真实无雨图像真伪，得到真伪结果；
[0017]将所述真伪结果输出。
[0018]本专利技术实施例提供的技术方案带来的有益效果是：生成器中首先利用多尺度卷积，获取不同尺度，密度和方向的雨痕，有助于提取不同特征的雨痕。利用密集连接块和跳跃连接，提高特征重用，降低模型参数，提高去雨效率。两个判别模型相同结构不同参数，在判别模型中使用PRelu激活函数，通过设置不同参数a，能够获取不同的结果。本专利技术实施例提供的方法相较于现有技术中将图像中所有雨痕统一对待，本专利技术使用多尺度卷积考虑不同尺度雨痕的特征信息。此外，在双通道多尺度判别器中，一个使用按最大值池化，一个使用按平均值池化，有效地提取不同的特征信息，增强鉴别能力。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术一个实施例中提供的一种基于双通道多尺度判别模型去雨方法的方法流程图；
[0021]图2是本专利技术一个实施例提供的基于双通道多尺度判别模型去雨系统的密集块模型的结构示意图；
[0022]图3是本专利技术一个实施例提供的基于双通道多尺度判别模型去雨系统的密集块模型的多尺度密集连接生成器的结构示意图；
[0023]图4是本专利技术一个实施例提供的基于双通道多尺度判别模型去雨系统的双通道多尺度判别器的结构示意图；
[0024]图5是本专利技术一个实施例提供的基于双通道多尺度判别模型去雨方法的测试前的自然有雨场景下的示意图；
[0025]图6是本专利技术一个实施例提供的基于双通道多尺度判别模型去雨方法的测试后的自然有雨场景下的示意图；
[0026]图7是现有技术中CNN方法的去雨效果示意图；
[0027]图8是现有技术中DNN方法的去雨效果示意图；
[0028]图9是本专利技术提出方法的去雨效果示意图；
[0029]图10是本专利技术一个实施例提供的基于双通道多尺度判别模型去雨方法的与 CNN方法以及DNN方法的效果对比示意表；
[0030]图11是本专利技术的基于双通道多尺度判别模型去雨方法的PRelu激活函数的PRelu表达式。
具体实施方式
[0031]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。文中所讲的深度学习是指许多层组成的人工神经网络，“深”指的是神经网络中隐藏层的数量。利用神经网络模拟人脑对数据进行处理。
[0032]批量归一化(BN)是对深层神经网络来说，随着网络训练的进行，前一层参数的调整使得后一层输入数据的分布发生变化，各层在训练的过程中就需要不断的改变以适应学习这种新的数据分布。批量归一化就是用来减少内部数据的变化，可以大大地加快深度神经网络的训练，降低梯度对参数尺度或初始值的依赖性，解决失去学习能力和准确率。
[0033]卷积神经网络是一种多层的监督学习神经网络，隐含层的卷积层和池化层是实现卷积神经网络特征提取功能的核心模块，网络结构能够较好的适应图像的结构，同时进行特征提取和分类，使得特征提取有助于去除雨痕。
[0034]卷积层(conv)是主要通过卷积的方法用于提取图像的局部特征。
[0035]卷积核是一种算子即卷积时使用到的权矩阵，该矩阵与使用的图像区域大小相同，其行、列都是奇数
[0036]按最大值池化(maxpooling)是对邻域内特征点只求平均，更多的保留图像的背景信息。
[0037]按最平均值池化(avepooling)是对邻域内特征点取最大，更多的保留纹理信息。
[0038]激活函数是神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双通道多尺度判别模型去雨系统，其特征在于，所述系统包括：生成器和双通道多尺度判别器，其中：所述生成器用于生成对抗网络，所述生成器具有多尺度特征提取单元和密集连接单元组成，所述多尺度特征提取单元用于获取接收场，并根据尺度的输入获取多尺度雨痕信息；所述密集连接单元用于去除雨层保留背景层；所述双通道多尺度判别器具有双通道判别模块，所述双通道判别模块用于判断输出去雨图像和与真实无雨图像真伪。2.根据权利要求1所述的系统，其特征在于，所述密集连接单元中的密集块之间跳跃连接。3.根据权利要求1所述的系统，其特征在于，每个所述密集块后连接有过渡块。4.根据权利要求1所述的系统，其特征在于，所述双通道多尺度判别器还具有多尺度池化模...

【专利技术属性】
技术研发人员：盖杉，谢强强，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：