基于雨线特征重构的多维聚合网络的图像去雨方法与系统技术方案

本发明专利技术公开了基于雨线特征重构的多维聚合网络的图像去雨方法与系统。包括：首先，从数据库中获取图像数据集，进行图像预处理，为所获取的图像加上雨线效果；其次，构建包括构建深域特征重构模块和广域特征重构等模块，构建基于雨线特征重构提取的多维聚合网络，输入为有雨图像，得到多维聚合特征，经过图像重建模块，输出为去雨图像；然后，进行网络训练，获到训练好的多维聚合网络；最后，将待处理的有雨图像输入训练好的基于雨线特征重构提取的多维聚合网络，输出去雨图像。本发明专利技术提出的多维聚合网络更为高效，其特征模块可学习到雨线复杂多变的形态提取图像中不同尺度的信息，可最大限度地保留图像细节，获得图像视觉效果更好。好。好。

【技术实现步骤摘要】
基于雨线特征重构的多维聚合网络的图像去雨方法与系统


[0001]本专利技术涉及计算机视觉，图像处理，机器学习领域，具体涉及基于雨线特征重构的多维聚合网络的图像去雨方法、系统、设备及存储介质。

技术介绍

[0002]近年来，随着智能手机的快速发展，使用手机进行随时随地的拍摄越来越方便。但是在雨天拍摄所得的图片中往往或多或少地存在雨线，从而造成背景被遮挡、被模糊，导致拍摄得到的结果不够清晰。此外，在一些高级计算机视觉算法，如图像语义分割、目标检测的应用中，由于雨线的影响，往往会造成得到的结果准确率下降。因此，要得到更加清晰的图像，需要对有雨图像进行一定的处理，消除雨线的影响。解决图像去雨问题最初使用的是传统的图像处理方法，该种方法一般通过最优化模型加上关于有雨图像的先验知识来求解，通过将雨线与背景分开表示以去除雨线。然而真实有雨图像中雨线方向、形态复杂多变，多数图像与先验信息存在一定差异，故这些方法通常难以完全表现出雨线，而导致雨线无法完全去除。
[0003]随着近年来计算机以及深度学习的不断发展，深度学习方法在计算机视觉和图像处理上被有效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于雨线特征重构的多维聚合网络的图像去雨方法，其特征在于，所述方法包括：从数据库中获取图像数据集，进行图像预处理，为所获取的图像加上雨线效果，并构建训练集和测试集；构建深域特征重构模块和广域特征重构模块，输入待重构特征分别进行通道重构和空间重构，分别输出深域重构特征和广域重构特征；构建雨线特征重构提取模块，由所述深域特征重构模块和所述广域特征重构模块组成，将所述深域重构特征和所述广域重构特征沿通道维度拼接，并进行卷积等操作，得到中间特征；构建多维特征聚合模块，对输入的所述中间特征进行多维聚合，输出聚合后的多维聚合特征；构建基于雨线特征重构提取的多维聚合网络，主要由卷积块、所述雨线特征重构提取模块、所述多维特征聚合模块和图像重建模块组成，其输入为有雨图像，得到所述多维聚合特征，经过图像重建模块，输出为去雨图像；利用所述训练集，使用多重损失训练所述基于雨线特征重构提取的多维聚合网络，并使用所述测试集进行测试验证，获到训练好的基于雨线特征重构提取的多维聚合网络；将待处理的有雨图像输入所述训练好的基于雨线特征重构提取的多维聚合网络，输出去雨图像。2.如权利要求1所述的基于雨线特征重构的多维聚合网络的图像去雨方法，其特征在于，所述从数据库中获取图像数据集，进行图像预处理，为所获取的图像加上雨线效果，并构建训练集和测试集，具体为：从SUN数据库中随机获取1000张图像，作为图像数据集，并进行图像预处理；使用PhotoShop软件，构建动态模糊滤镜，分别设置模糊的角度为70度、80度、90度、100度、110度，距离为30像素、40像素、50像素，一共构建15种模仿不同雨线效果的滤镜；使用PhotoShop软件为图像数据集中的每一张图像分别添加滤镜，得到对应15张带雨线效果的图像，共组成15000对有雨
‑
无雨图像对，从中随机抽取12000对图片，并裁剪出约200万对64
×
64的有雨
‑
无雨图像块对作为训练集；剩下的3000对图片作为测试集。3.如权利要求1所述的基于雨线特征重构的多维聚合网络的图像去雨方法，其特征在于，所述构建深域特征重构模块和广域特征重构模块，输入待重构特征分别进行通道重构和空间重构，分别输出深域重构特征和广域重构特征，具体为：构建深域特征重构模块(DFRM)，模块使用挤压激发网络结构(Squeeze
‑
and
‑
extraction Network)，其输入为H
×
W
×
C维的待重构特征，对特征的每一通道赋以相应的权重，输出为深域重构特征；对待重构特征的每一个通道的特征进行平均池化(Average Pooling)得到1
×1×
C维的特征，然后依次经过全连接层、ReLU层、全连接层和sigmoid层，输出1
×1×
C维的深域权重，将此权重乘以待重构特征得到深域重构特征；构建广域特征重构模块(WFRM)，其输入为H
×
W
×
C维的待重构特征，输出为广域重构特征；对待重构特征计算通道维度上的平均值，得到H
×
W
×
1维的特征，将待重构特征通过1
×
1卷积得到另一个H
×
W
×
1维的特征；将得到的两个H
×
W
×
1维的特征沿通道维度拼接得到H
×
W
×
2维的特征，然后依次经过1
×
1卷积、ReLU层、1
×
1卷积和sigmoid层，输出H
×
W
×
1维的广域权重，最后将此权重乘以待重构特征得到广域重构特征。4.如权利要求1所述的基于雨线特征重构的多维聚合网络的图像去雨方法，其特征在于，所述构建雨线特征重构提取模块，由所述深域特征重构模块和所述广域特征重构模块组成，将所述深域重构特征和所述广域重构特征沿通道维度拼接，并进行卷积等操作，得到中间特征，具体为：构建雨线特征重构提取模块(RFREM)，该模块主要由所述深域特征重构模块和所述广域特征重构模块构成，并采用残差结构；雨线特征重构提取模块输入为H
×
W
×
C维的特征，输出为H
×
W
×
C维的中间特征，模块的空洞卷积的扩张率(dilation rate)为r，使用不同的扩张率可以获取图像不同尺度的特征信息；输入的H
×
W
×
C维特征分别经过深域特征重构模块和广域特征重构模块进行特征重构，得到深域重构特征和广域重构特征；将深域重构特征和广域重构特征沿通道维度拼接得到H
×
W
×
(2
×
C)维的特征，然后依次通过卷积核大小为3
×
3，扩张率为r的空洞卷积、ReLU层、批规范化层(Batch Normalization)和卷积核大小为3
×
3，扩张率为r的空洞卷积，输出H
×
W
×
C维的特征，最后与输入的H
×
W
×
C维特征相加，输出中间特征。5.如权利要求1所述的基于雨线特征重构的多维聚合网络的图像去雨方法，其特征在于，所述构建多维特征聚合模块，对输入的所述中间特征进行多维聚合，输出聚合后的多维聚合特征，具体为：构建多维特征聚合模块(Multi Feature Aggregation Module，MFAM)，其输入为n个不同的H
×
W
×
C维中间特征，输出为经过多维聚合操作之后的H
×
W
×
(n
×
C)维的多维聚合特征；对于每个输入的H
×
W
×
C维的中间特征先经过1
×
1卷积得到H
×
W
×
(C/n)维的特征，再经过平均池化操作得到1
×1×
(C/n)维的特征；将这n个1
×1×
(C/n)维的特征沿通道拼接得到一个1
×1×
C维的特征，并依次通过全连接层、ReLU层、全连接层和sigmoid层，得到1
×1×
n维的特征权值，然后将该权值扩展为1
×1×
(n
×
C)维；将一开始输入的n个H
×
W
×
C维特征沿通道拼接，得到H
×
W
×
(n
×
C)...

【专利技术属性】
技术研发人员：周凡，梁松亮，林格，苏卓，
申请(专利权)人：中山大学，
类型：发明
国别省市：