【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体涉及一种基于多尺度的密流感知去雨图像增强方法。
技术介绍
1、在拍摄户外场景时，天气因素经常对图像质量产生较大影响。恢复雨带遮挡的图像对于在户外场景中的许多计算机视觉应用至关重要。如果背景中的目标与图像中的雨带产生重叠，那么在去除雨带的同时，很难保持背景细节的完整。这些雨带可能具有各种形状和方向，尤其是在大雨中，导致能见度严重下降，从而使图像变得模糊、失真，影响了图像特征的提取，并降低了后续目标识别和行为检测的准确率。因此，许多实际应用需要通过去除雨滴、雨纹和雨幕来恢复图像，这种算法被称为去雨图像增强算法。
2、近年来，由于计算机视觉领域的不断发展，去雨图像增强算法受到许多研究学者的关注。目前图像去雨主要分为两种方法：第一种基于物理模型的方法，该方法通过模拟雨水的物理过程，如雨滴的形状、雨滴的运动轨迹等，来分析图片中的雨水并进行去除；第二种基于深度学习的图像去雨方法，该方法通过设计网络模型从而达到在不同数据集上去除雨水的效果。基于物理模型的方法因为需要对雨滴运动轨迹和形状进行准确的模拟，所以导致计算复杂度高并且对不同类型的雨条纹适应性不足，所以基于深度学习的图像去雨方法成为许多研究学者的主要研究内容。
3、随着大数据和计算能力的快速提升，基于卷积神经网络(cnn)的算法在图像去雨领域取得了巨大成功。fu、huang等人在“removing rain from single images via a deepdetailnetwork(通过深度细节网络消除单个图像中的雨水)
4、现有的去雨算法大多分为单一密度雨水去除和多密度雨水去除，单一密度雨水去除方法往往对不同密度和形状的雨水学习能力不足，难以同时关注不同密度的雨水；现有多密度雨水去除方法对图像中的特征提取不充分，还会出现输出图像的背景细节丢失等问题。
技术实现思路
1、本专利技术的目的是提供一种基于多尺度的密流感知去雨图像增强方法，用来解决现有的多密度雨水去除方法中对图像的细节特征提取不充分和特征融合不完整的问题。
2、本专利技术为实现上述目的所采用的技术方案是：基于多尺度的密流感知去雨图像增强方法，包括以下步骤，并且以下步骤顺次进行：
3、步骤一、构建数据集：包括训练集和测试集，对训练集和测试集中的所有图像进行预处理来获得同一尺寸的图像；
4、其中，训练集和测试集中均包含具有复杂雨条纹的雨水图像和所对应的清晰无雨图像，其中雨水图像由背景层和雨层组合而成，无雨图像的作用是作为参考或基准图像，用于与输出图像进行比较和分析；
5、步骤二、设计去雨网络模型：
6、1、雨水条纹感知模型：设计一个雨水条纹感知模型，通过空洞卷积进行特征提取并将特征图传输到雨水条纹分类器中，雨水条纹分类器将特征图中的雨条纹打上标签，传输到雨水条纹去除模型；
7、2、雨水条纹去除模型：设计一个多尺度特征提取模块(progressive multi-scalefeature extraction,pmfe)，通过不同特征通道提取不同尺度的特征；设计一个特征细节补偿器(feature detail compensator,fdc)，通过卷积块和残差块对背景细节进行补偿；
8、步骤三、训练去雨网络模型：通过去雨网络模型在训练过程中不断更新得到最小化结果，来获取最优的网络权重；
9、步骤四、测试去雨网络模型：准备测试具有复杂雨条纹的雨水图像，将该雨水图像输入经步骤三训练好的去雨网络模型，输出所测试的雨水图像对应的去雨图像；
10、至此，基于多尺度的密流感知去雨图像增强方法完成。
11、步骤一中，对所有图像进行预处理来获得同一尺寸的图像的具体过程为：将具有复杂雨条纹的雨水图像和所对应的无雨图像的像素数值范围规划到0到1之间，并将图像操作成同一尺寸，方便后续进行处理。
12、在雨水条纹感知模型中，利用不同扩张率的空洞卷积获取不同尺度的特征图，通过雨水条纹分类器将特征图中的雨条纹打上标签来进行分类(分为低密度雨条纹、中密度雨条纹和高密度雨条纹三个类别)，将带有标签的特征图与雨水条纹去除模型中的特征图相结合，需要说明的是，在本专利技术中所述扩张率指的是扩张因子(dilation factor，简称df)，表示卷积核中插入点的间隔数。
13、在雨水条纹感知模型中，利用不同扩张率的空洞卷积运算，扩张率分别为1，2，3，最终分别获取到不同的感受野，提取到小尺度、中尺度以及大尺度的雨条纹，方便后续更好的感知雨水密度。其中小尺度雨条纹：使用扩张率为1的空洞卷积运算，获得的感受野主要用于提取雨条纹的细微特征，这些特征通常对应于小尺度的雨滴或细小的雨纹；中尺度雨条纹：通过使用扩张率为2的空洞卷积运算，用于提取中等大小的雨滴或雨纹；大尺度雨条纹：通过使用扩张率为3的空洞卷积运算，用于提取大尺度的雨滴或大型雨纹。
14、雨水条纹分类器中依次由三个内核大小为3×3的卷积层、一个内核大小为9×9的平均池化层和两个全连接层组成，三个卷积层依次为第一卷积层(3、24)、第二卷积层(24、64)、第三卷积层(64、24)，其中第一卷积层(3、24)表示第一卷积层输入由3个通道组成，输出由24个通道组成，第二卷积层(24、64)表示第二卷积层输入由24个通道组成，输出由64个通道组成，第三卷积层(64、24)表示第三卷积层输入由64个通道组成，输出由24个通道组成。两个全连接层依次为第一全连接层和第二全连接层，在第一全连接层中输出通道为3，第二全连接层由一组3个神经元组成，表明输入的雨水图像的雨密度类别(即低密度雨条纹、中密度雨条纹、高密度雨条纹)，通过雨水条纹分类器得到的特征图传输到雨水条纹去除模型中，达到去除不同密度的雨条纹的目的。
15、在步骤二中所述的雨水条纹去除模型中，设计的多尺度特征提取模块(pmfe)由浅层特征提取层、多尺度特征提取层和特征重组层组成，浅层特征提取层由内核大小为3×3、5×5和7×7的三个卷积层并列组成，通过不同大小的卷积核提取图像的浅层特征信息；多尺度特征提取层由多层卷积层组成，pmfe的特殊性在于提取操作是在不同的特征通道中独立进行的，多尺度特征提取层执行四个渐进通道提取操作以获得多尺度信息，同本文档来自技高网...
【技术保护点】
1.基于多尺度的密流感知去雨图像增强方法，其特征在于，包括以下步骤，并且以下步骤顺次进行：
2.根据权利要求1所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，步骤一中，对训练集和测试集中的所有图像进行预处理来获得同一尺寸的图像的具体过程为：将具有复杂雨条纹的雨水图像和所对应的无雨图像的像素数值进行归一化，转换到0到1之间，并将图像操作成同一尺寸。
3.根据权利要求1所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，在雨水条纹感知模型中，利用不同扩张率的空洞卷积获取不同尺度的特征图，并通过雨水条纹分类器将特征图中的雨条纹打上标签来进行分类，分为低密度雨条纹、中密度雨条纹和高密度雨条纹三个类别。
4.根据权利要求3所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，在雨水条纹感知模型中，使用扩张率为1的空洞卷积运算获得小尺度的雨条纹特征图，使用扩张率为2的空洞卷积运算获得中尺度的雨条纹特征图，使用扩张率为3的空洞卷积运算获得大尺度的雨条纹特征图。
5.根据权利要求1所述的基于多尺度的密流感知去雨图像增强方法，其特征在于
6.根据权利要求5所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，在雨水条纹去除模型中，多尺度特征提取模块PMFE由浅层特征提取层、多尺度特征提取层和特征重组层组成，浅层特征提取层由内核大小为3×3、5×5和7×7的三个卷积层并列组成，通过不同大小的卷积核提取图像的浅层特征信息；多尺度特征提取层由多层卷积层组成，多尺度特征提取层执行四个渐进通道提取操作以获得多尺度信息，每个渐进通道将输入特征分为三个提取部分：低尺度、中尺度、高尺度的信息提取渠道；特征重组模块由一个渐进特征融合策略来聚合多尺度信息特征，渐进特征融合策略具体为：在第三次特征提取操作之后，融合从第二次和第三次特征提取操作获得的相同比例的特征，然后，将结果与从第一次特征提取操作获得的特征融合，以此类推，得到最终的融合特征；最后，将得到的多尺度聚合特征送入内核大小为1×1卷积层，保证卷积层的输入和输出通道一致。
7.根据权利要求6所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，在雨水条纹去除模型中，特征细节补偿器FDC由卷积层、归一化层和特征融合残差块FFRB组成，特征融合残差块FFRB表示为：
8.根据权利要求1所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，步骤三训练去雨网络模型过程中，通过损失函数对结果进行约束，其中训练雨水条纹分类器的损失函数为：σ＝σE,r+σR,σE,r为估计雨条纹分量每像素的欧氏损失，是计算雨条纹实际像素值与预测像素值之间差的平方的平均值，σR为雨密度分类的交叉熵损失；雨水条纹去除模型的损失函数为：σ＝σE,r+σE,b+γFσF，其中，σE,b表示输出去雨图像的每像素欧氏损失，计算图像实际像素值与预测像素值之间差的平方的平均值，σF表示去雨图像的基于特征的损失，定义为其中F表示非线性卷积变换，为输出的去雨图像，特征图的尺寸为w×h，特征图的通道数为c。
...【技术特征摘要】
1.基于多尺度的密流感知去雨图像增强方法，其特征在于，包括以下步骤，并且以下步骤顺次进行：
2.根据权利要求1所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，步骤一中，对训练集和测试集中的所有图像进行预处理来获得同一尺寸的图像的具体过程为：将具有复杂雨条纹的雨水图像和所对应的无雨图像的像素数值进行归一化，转换到0到1之间，并将图像操作成同一尺寸。
3.根据权利要求1所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，在雨水条纹感知模型中，利用不同扩张率的空洞卷积获取不同尺度的特征图，并通过雨水条纹分类器将特征图中的雨条纹打上标签来进行分类，分为低密度雨条纹、中密度雨条纹和高密度雨条纹三个类别。
4.根据权利要求3所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，在雨水条纹感知模型中，使用扩张率为1的空洞卷积运算获得小尺度的雨条纹特征图，使用扩张率为2的空洞卷积运算获得中尺度的雨条纹特征图，使用扩张率为3的空洞卷积运算获得大尺度的雨条纹特征图。
5.根据权利要求1所述的基于多尺度的密流感知去雨图像增强方法，其特征在于，雨水条纹分类器依次由三个内核大小为3×3的卷积层、一个内核大小为9×9的平均池化层和两个全连接层组成，三个卷积层依次为第一卷积层(3、24)、第二卷积层(24、64)和第三卷积层(64、24)，其中第一卷积层(3、24)表示第一卷积层输入由3个通道组成，输出由24个通道组成，第二卷积层(24、64)表示第二卷积层输入由24个通道组成，输出由64个通道组成，第三卷积层(64、24)表示第三卷积层输入由64个通道组成，输出由24个通道组成；两个全连接层依次为第一全连接层和第二全连接层，在第一全连接层中输出通道为3，第二全连接层由一组3个神经元组成，用于表明输入的雨水图像的三个雨密度类别，即分别对应低密度雨条纹、中密度雨条纹和高密度雨条...
【专利技术属性】
技术研发人员：才华，高连宇，付强，王伟刚，马智勇，刘广文，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。