基于垂直条纹特征提取十字卷积的单图去雨方法技术

本发明专利技术公开了一种基于垂直条纹特征提取十字卷积的单图去雨方法。本发明专利技术包括：步骤1：图像数据选择模块；步骤2：构建基于垂直条纹特征提取的单图去雨网络；先利用垂直条纹特征提取模块使网络更好地提取特征，然后利用对比学习对模型的训练进行优化。本发明专利技术垂直条纹特征提取模块的卷积核为垂直条形的形状，这使得卷积能够更好地提取垂直方向上的特征信息。在剥离网络前加入垂直卷积，可以更好地提取雨条纹的低层次信息。为了获得更好的性能使用对比学习方法。本发明专利技术采用无雨图像和雨图像作为样本，将模型的输出和样本图像与预先训练的VGG进行比较，以计算新的损失。使训练模型接近正样本远离负样本，以获得更好的训练模型。以获得更好的训练模型。以获得更好的训练模型。

【技术实现步骤摘要】
基于垂直条纹特征提取十字卷积的单图去雨方法


[0001]本专利技术属于计算机图像处理领域，具体涉及一种基于垂直条纹特征提取十字卷积的单图去雨方法。

技术介绍

[0002]多雨的图像由干净的图像和多雨层组成。线性求和删除模型已用于视频删除。受其视频编辑成功的启发，在背景图像和雨层上结合适当的正则化器开发出线性求和模型。在高斯混合模型等模型的帮助下，线性求和图像下降模型显示出了较好的前景。一个进一步改进的模型，屏幕混合模型，可以通过使用鉴别字典学习来去除雨条纹。基于深度学习的去除雨水痕迹的模型已在2017年之后被开发出来。从数据网到DNN，Fu提出了一种基于雨与背景层关系处理的残差神经网络。基于以往的研究，Ren等人通过改进网络结构、输入输出和损失函数，反复使用ResNet提出的渐进ResNet利用递归计算，提供了一个更好、更简单的基线去噪网络。基于双边lstm，随后还提出了BRN，以改善雨层和背景层之间的相互作用。非对称卷积是一种特殊的卷积，它基于平方核卷积对计算复杂度进行了压缩和加速优化。先前的研究表明，典型的
×<br/>核的卷积可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于垂直条纹特征提取十字卷积的单图去雨方法，其特征在于包括以下步骤：步骤1：图像数据选择模块选择雨图数据集作为训练和测试的数据集，包括Rain100L、Rain12；步骤2：构建基于垂直条纹特征提取的单图去雨网络；先利用垂直条纹特征提取模块使网络更好地提取特征，然后利用对比学习对模型的训练进行优化。2.根据权利要求1所述的基于垂直条纹特征提取十字卷积的单图去雨方法，其特征在于步骤2的实现包括垂直条纹特征提取模块，该模块的实现如下：通过垂直条纹特征提取模块来提取雨幅图像的低层次信息，使用十字形状的卷积核来提取雨条纹的垂直特征；为保持雨条纹与雨幅图像中周围物体的位置关系，使用X
×
X卷积核来提取相关的空间位置信息；将每个十字卷积的输出进行叠加，形成最终的垂直特征提取模块，该模块在不丢失位置信息的情况下更好地提取雨条纹的垂直方向特征。3.根据权利要求2所述的基于垂直条纹特征提取十字卷积的单图去雨方法，其特征在于垂直条纹特征提取模块由四层十字卷积和六层X
×
X卷积组合而成；图像先经过十字卷积提取雨水条纹的低级信息，具体的采取行列均为3的十字卷积核以及一个最大池化层作为十字卷积的一次处理，采用普通的卷积层进行空间位置信息提取；六层卷积均采用3*3的普通卷积核，filter的数量分别为64、64、128、256、256、512，其中每次卷积后添加一最大池化层以保证特征提取的稳定性。4.根据权利要求2或3所述的基于垂直条纹特征提取十字卷积的单图去雨方法，其特征在于将垂直条纹特征提取模块添加到单图去雨网络，由于单图去雨网络在运行时其中、后两部分包括雨纹在内的低层次信息被破坏，因此不利于垂直特征提取模块结构将雨纹与背景分离；但在单图去雨网络在的前部分数据包含雨水的垂直特征，因此将垂直特征提取模块结构添加到单图去雨网络的前部分，单图去雨网络中的垂直特征提取模块结构直接处理前部分中的雨条纹。5.根据权利要求2或3所述的基于垂直条纹特征提取十字卷积的单图去雨方法，其特征在于单图去雨网络采用PreNet神经网络，从而分多个阶段来解决去雨问题，且通过多个阶段共享相同的网络参数来利用阶段间递归计算；此外合并仅1个ResBlock的阶段内递归展开，以显著减少网络参数，同...

【专利技术属性】
技术研发人员：包欣蓉，陈思宇，刘振阳，沈旭栋，何丽娟，刘健，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：