一种轻量级的单幅图像去雨方法技术

本发明专利技术公开了一种轻量级的单幅图像去雨方法，其包括步骤：1)以PyTorch1.10深度学习框架为基础，搭建PReDenseNet去雨模型，所述PReDenseNet去雨模型包括依次连接的5个阶段，5个阶段参数共享，每个阶段由4个部分组成：输入卷积层、循环模块、特征提取模块、输出卷积层；2)对PReDenseNet去雨模型进行训练和验证；3)采用经验证后的PReDenseNet去雨模型对单幅图像进行去雨处理。本发明专利技术中轻量级的单幅图像去雨方法，其保证了去雨模型的轻量化，并且与现有的JORDER、RESCAN、PReNet及PReNet_D相比，具有更好的去雨效果。具有更好的去雨效果。具有更好的去雨效果。

【技术实现步骤摘要】
一种轻量级的单幅图像去雨方法


[0001]本专利技术涉及图形处理
，特别涉及一种基于深度学习的轻量级单幅图像去雨方法。

技术介绍

[0002]降雨作为一种常见且复杂的自然天气现象，不仅会严重影响人类的视觉感知系统，还会对我们在自然条件下拍摄的图像造成视觉上的退化，显著降低图像的能见度以及对比度。通常，近处的雨滴或雨纹会遮挡或扭曲图像背景内容，而远处的雨纹则会产生类似于雾的大气遮蔽效果，进而模糊图像内容，特别是在大雨条件下，会导致图像中的物体受到严重的遮挡。降雨还会对后续诸多高水平的视觉任务(如目标检测、场景分析、目标跟踪、人员再识别等)产生不利的影响。这些高水平视觉任务大多都是假设天气晴朗，不受降雨条纹和降雨累积的干扰，使用干净的户外自然图像作为输入，而在降雨这种恶劣的环境中获得的退化图像会严重影响视觉算法的性能。因此，在各种视觉任务的实际应用中，从有雨图像中恢复无雨图像是非常重要的，而去雨作为后续高级视觉任务的预处理步骤已经得到了广泛的研究。但由于有雨图像的复杂组成，图像去雨仍然是一个具有挑战性的问题。
[0003]目前已经有各种去除雨纹的算法出现，大多数现有的基于深度学习的去雨模型都是通过加深网络模型的深度来提高模型的各项性能，并且这已经被证明是一种有效的提升网络性能的方法。但单纯的加深网络的深度会使模型存在大量参数冗余问题，这就限制了图像去雨模型在实际存储资源受限场合中的应用，在应用过程中很难去分析出每个网络模块的模型贡献，且只考虑图像质量和各项指标的提升，并未把后续视觉任务的需求考虑在内，导致去雨模型很难嵌入到视觉任务的架构中，这会限制其在恶劣环境下计算机视觉系统中的应用。
[0004]去雨处理所带来的图像信息偏差也会影响到后续视觉任务的性能，在其它的诸如目标检测、行人识别、图像分割等领域已经提出了许多的轻量级网络模型，验证了轻量级网络的有效性，但是在单幅图像去雨领域，目前基于轻量化思想的网络模型还很少。因此，设计基于深度学习的轻量级单幅图像去雨模型是一个很值得研究的问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的是提供一种轻量级的单幅图像去雨方法，其主要用于单幅图像去雨，解决降雨条件下拍摄的雨图的去雨问题以及图像背景细节恢复问题。
[0006]本专利技术轻量级的单幅图像去雨方法包括以下步骤：
[0007]步骤一：以PyTorch1.10深度学习框架为基础，搭建PReDenseNet去雨模型，所述PReDenseNet去雨模型包括依次连接的5个阶段，5个阶段参数共享，每个阶段由4个部分组成：输入卷积层、循环模块、特征提取模块和输出卷积层；
[0008]所述特征提取模块由3部分组成：密集连接块、过渡块和残差连接，所述密集连接块包括空洞率依次为1、2、5、1和2的5个空洞卷积层，所述过渡块包括依次连接的ReLU、卷积
块和SE模块，过渡块连接在密集连接块的输出端；
[0009]步骤二：对PReDenseNet去雨模型进行训练和验证，其又包括以下步骤：
[0010]1)对RainTrainH数据集进行处理，所述RainTrainH数据集包含1800对rain图片和norain图片，其中有546对图片的背景与验证集中的背景内容相同，训练集中剔除这546对图片，将剩余的1254对有雨图片作为训练集，使用ADAM优化算法对PReDenseNet去雨模型进行训练；
[0011]2)使用Rain100H大雨数据集作为验证集对经训练后的PReDenseNet去雨模型进行验证，所述Rain100H数据集里包含100张有雨图片；
[0012]步骤三：采用经验证后的PReDenseNet去雨模型对单幅图像进行去雨处理。
[0013]进一步，所述的轻量级的单幅图像去雨方法包括以下步骤：
[0014]所述输入卷积层：由一个核大小为3*3、补丁大小为1的卷积层和ReLU非线性激活函数组成，输入为6通道，输出为32通道；
[0015]所述循环模块为GRU，循环模块的输入和输出均为32通道；
[0016]所述输出卷积层：由一个核大小同样为3*3、补丁大小为1的卷积层单独组成，输入为6通道，输出为32通道。
[0017]本专利技术的有益效果：
[0018]本专利技术中轻量级的单幅图像去雨方法，其保证了去雨模型的轻量化，并且与现有的JORDER、RESCAN、PReNet及PReNet_D相比，具有更好的去雨效果。
附图说明
[0019]图1是PReDenseNet去雨模型的整体结构图；
[0020]图2是每个阶段的具体结构图；
[0021]图3是原始残差密集连接块结构图，其中的Dense Layer的结构包括依次连接的Batch Normalization、ReLU、1*1Convolution、Batch Normalization、ReLU和3*3Convolution，其Transition Block的结构包括依次连接的Batch Normalization、ReLU、1*1Convolution和Avg.Pooling。
[0022]图4为模型剪枝后的改进残差密集连接块结构。其中改进Dense Layer的结构包括依次连接的ReLU、1*1Convolution、ReLU和3*3Convolution，Transition Block的结构包括依次链接的ReLU和1*1Convolution。在引入空洞卷积和混合空洞卷积后，改进Dense Layer中的3*3Convolution被替换为3*3Dilated Convolution。
[0023]图5为引入SE模块后的改进残差密集连接块结构。
具体实施方式
[0024]下面结合附图和实施例对本专利技术作进一步描述。
[0025]如图所示，本实施例中轻量级的单幅图像去雨方法包括以下步骤：
[0026]步骤一：在Colab上以PyTorch1.10深度学习框架为基础，搭建PReDenseNet去雨模型，所述PReDenseNet去雨模型包括依次连接的5个阶段，5个阶段参数共享，每个阶段由4个部分组成：输入卷积层、循环模块、特征提取模块、输出卷积层。
[0027]所述输入卷积层：由一个核大小为3*3、补丁大小为1的卷积层和ReLU非线性激活
函数组成，输入为6通道，输出为32通道。
[0028]所述循环模块为GRU，循环模块的输入和输出均为32通道。GRU(Gate Recurrent Unit)主要用于解决长序列训练过程中的梯度消失和梯度爆炸问题，通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息。
[0029]所述特征提取模块由3部分组成：密集连接块、过渡块和残差连接，结构如图4所示；所述密集连接块包括空洞率依次为1、2、5、1和2的5个空洞卷积层，所述过渡块包括依次连接的ReLU、卷积块和SE模块，过渡块连接在密集连接块的输出端；
[0030]所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级的单幅图像去雨方法，其特征在于：包括以下步骤：步骤一：以PyTorch1.10深度学习框架为基础，搭建PReDenseNet去雨模型，所述PReDenseNet去雨模型包括依次连接的5个阶段，5个阶段参数共享，每个阶段由4个部分组成：输入卷积层、循环模块、特征提取模块和输出卷积层；所述特征提取模块由3部分组成：密集连接块、过渡块和残差连接，所述密集连接块包括空洞率依次为1、2、5、1和2的5个空洞卷积层，所述过渡块包括依次连接的ReLU、卷积块和SE模块，过渡块连接在密集连接块的输出端；步骤二：对PReDenseNet去雨模型进行训练和验证，其又包括以下步骤：1)对RainTrainH数据集进行处理，所述RainTrainH数据集包含1800对rain图片和norain图片，其中有546对图片的背景与验证集中...

【专利技术属性】
技术研发人员：赵敏，孙棣华，胡琪，刘俊毅，
申请(专利权)人：重庆大学，
类型：发明
国别省市：