基于卷积神经网络双分支注意力生成的单幅图像去雨方法技术

本发明专利技术公开了基于卷积神经网络双分支注意力生成的单幅图像去雨方法，包括：对输入图像预处理；构建U型结构网络；将权重通道注意力添加至第一个U型网络中，得到添加后的第一个U型网络；将空间注意力和通道注意力添加至第二个U型结构网络中，得到添加后的第二个U型网络；采用经添加后的第一个U型网络处理得到的处理图像a、经添加后的第二个U型网络处理得到处理图像b与预处理后的图像进行相加的操作，经过卷积，得到卷积神经网络模型；将预处理后图像对卷积神经网络模型进行训练，利用损失函数进行约束，得到训练好的去雨网络模型；将待处理有雨的图像放入训练好的去雨网络模型中，最终输出去雨后的图像，提高单幅图像去雨的性能。

【技术实现步骤摘要】
基于卷积神经网络双分支注意力生成的单幅图像去雨方法
本专利技术属于图像处理
，涉及一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法。
技术介绍
随着科学技术的迅猛发展，人类社会正在进入信息化社会，计算机的应用日益广泛，图像处理技术对各领域的发展越来越重要。计算机视觉在机器人、国防航空、机器视觉自动化领域已经成为关键技术。同时在监控影像、辅助驾驶中央控制系统，交通网关等场景下也起到了重要作用。随着图像处理技术和计算机视觉技术的快速发展，使得越来越多的计算机视觉系统应用于众多的科学和工程领域。但是随着视觉系统在户外的广泛应用，不可避免碰到恶劣天气使其所拍摄图像的视觉效果和数据质量下降。计算机视觉系统容易受到户外恶劣天气的影响。主要表现为恶劣天气获取的图像会产生干扰和降质，导致计算机视觉处理算法的性能下降，例如目标跟踪，目标检测，图片检索等等。同时，恶劣天气对人类的视觉也存在巨大的挑战，例如，雨雾天气中驾驶，能见度低和下落的雨滴对人眼的干扰，都严重的影响了肉眼的观察，容易造成交通事故；还有在雪天中对滑雪比赛的报道，下落的雪对解说员本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，具体按照如下步骤实施：/n步骤1，对输入的图像进行预处理，得到输入图像数据集；/n步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；/n步骤3，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；/n步骤4，将空间注意力和通道注意力机制添加至步骤2中第二个...

【技术特征摘要】
1.一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，具体按照如下步骤实施：
步骤1，对输入的图像进行预处理，得到输入图像数据集；
步骤2，构建一个具有上下分支结构的U型结构编码器/解码器网络，分别记为第一个U型编码器/解码器网络和第二个U型编码器/解码器网络；
步骤3，将权重通道注意力机制添加至步骤2中第一个U型编码器/解码器网络的前三个下采样中，得到三个尺度编码器下采样的特征，然后对得到的下采样特征与对应上采样得到同样大小和通道数的结果通过残差块的形式进行特征融合，得到添加后的第一个U型编码器/解码器网络；
步骤4，将空间注意力和通道注意力机制添加至步骤2中第二个U型结构编码器/解码器网络的最后一个下采样后和第一个上采样之间，通过跳跃连接结构结合，进行上采样，得到添加后的第二个U型编码器/解码器网络；
步骤5，采用经步骤3得到的添加后的第一个U型编码器/解码器网络处理得到的处理图像a与采用经步骤4得到的添加后的第二个U型编码器/解码器网络处理得到处理图像b，将处理图像a、处理图像b与步骤1中预处理后的输入图像进行相加的操作，再经过最后一层卷积，得到卷积神经网络模型；
步骤6，采用步骤1得到的输入图像数据集对步骤5得到的卷积神经网络模型进行训练，得到去雨卷积神经网络模型，利用损失函数对去雨卷积神经网络模型进行约束，然后反向转播进行参数更新，得到训练好的去雨网络模型；
步骤7，将待处理有雨的图像放入步骤6得到的训练好的去雨网络模型中，最终输出去雨后的图像。


2.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤1中预处理具体为：将输入的图像的像素值归一化为[0，1]，并裁剪为256*256*3。


3.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤2中两个U型结构编码器/解码器网络均由一个收缩路径和一个扩展路径组成，两个U型结构编码器/解码器网络为上下两个分支的结构，上面分支后的为第一个编码器/解码器，下面分支后的为第二个编码器/解码器，两个编码器所用的下采样由一个大小3x3和步长为2的卷积组成，将特征通道的数量增加一倍，两个解码器的上采样由一个大小3x3和步长为2的转置卷积组成，并将特征通道数减半到32；
第一个U型结构编码器/解码器网络通道数量分别为32，64，128，256；
第二个编码器利用第一个编码器的第一层和第二层，把第一个编码器的第一层和第二层通过通道维度相加的方式采样到大小为128*128*64的特征，第二个U型结构编码器/解码器网络通道数量64。


4.根据权利要求1所述的一种基于卷积神经网络双分支注意力生成的单幅图像去雨方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1，确定权重通道注意力机制的Squeeze单元，通过全局平均池化的方法得到通道上的权重特征；
步骤3.2，确定权重通道注意力机制的Excitation单元，Excitation单元用于生成每个通道的权重；
步骤3.3，确定通道权重注意力机制的Scale单...

【专利技术属性】
技术研发人员：石争浩，高蒙蒙，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61