注意力优化的深度编解码去雾生成对抗网络制造技术

针对现有的去雾算法难以处理不均匀分布的雾，且深度卷积去雾网络过度依赖大规模数据集的问题，本发明专利技术提出了一种注意力优化的深度编解码去雾生成对抗网络，该网络采用了四层下采样结构的编码器，充分提取因为雾而损失的语义信息，以便恢复清晰的图像。同时，在解码器网络中，引入了注意力机制，自适应地为不同的像素和通道分配权值，从而处理不均匀分布的雾。最后，生成对抗网络的框架使得模型在小样本数据集上能取得更好的训练效果。实验结果表明，本技术方案不仅能够有效去除真实场景图像中不均匀分布的雾，而且对于训练样本较少的真实场景数据集，也能恢复清晰的图像，评价指标优于广泛采用的其他对比算法。于广泛采用的其他对比算法。于广泛采用的其他对比算法。

【技术实现步骤摘要】
注意力优化的深度编解码去雾生成对抗网络


[0001]本技术方案属于图像处理领域，具体是一种应用于图像处理的注意力优化的深度编解码去雾生成对抗网络。

技术介绍

[0002]光在穿越诸如雾、霾等悬浮颗粒物时产生的散射现象使得成像传感器所采集到的图像产生了降质现象，并因此损失了大量有效信息，直接影响下游高级视觉任务的执行效果。图像去雾的目的就是为了消除大气环境对于图像质量的影响，增加图像的可视度，并为下游语义任务(如图像分类、物体检测等)提供支持。
[0003]图像去雾主要分为传统去雾和深度学习去雾算法。传统去雾算法大多采用先验知识估计参数恢复原始图像[1，2]，并基于大气散射模型[3]，其中研究者公认为去雾性能好、应用最为广泛的是暗通道先验去雾算法(DCP)[1]。这种算法通过计算透射率以及预估的大气光实现图像去雾，不需要额外的参数，但是在亮度较高的图像中近乎失效。颜色衰减先验算法(CAP)[2]通过对比图像饱和度与亮度变化关系寻找有雾区域，相比DCP算法，CAP算法改进了求图像景深的方法，通过深度学习算法求最适合的参数值，因此效果优于DC本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注意力优化的深度编解码去雾生成对抗网络，其特征是包括生成器网络和判别器网络，其步骤包括：1)生成器网络接收到输入有雾图像，并生成去雾图像；2)判别器网络接收生成器网络输出的去雾图像和对应的真实无雾对比图像，并进行判断；3)判别器网络监督生成器网络的训练过程；所述步骤1)中，生成器网络生成去雾图像的步骤包括：1.1)把输入的有雾图像经过预处理过程得到原始特征图；1.2)用含有四层下采样的编码器模块得到编码后的特征图；1.3)特征图通过一个残差模块处理被送入到解码器模块中；1.4)解码器模块同样分为四层，将特征图尺寸最终恢复至原有大小；在特征图重建时，引入注意力模块；1.5)恢复至原尺寸的特征图被送入到后处理模块中，进行通道还原，并与输入有雾图像相加，最终得到输入的去雾后图像。2.根据权利要求1所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.1)中，进入编码器之前的图像进行预处理：输入有雾图像依次经过一个Conv卷积层、一个BatchNorm批归一化层和一个ReLU激活层；得到经预处理的有雾图像的原始特征。3.根据权利要求1所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.2)中，所述编码器包括连续的四组预训练的DenseBlock和TransBlock；每组DenseBlock与TransBlock层都是标准的DensNet
‑
121；DenseNet
‑
121是经ImageNet数据集上预训练后，采用预训练权重代替随机初始化权重；每一层TransBlock都含有一个能将图像特征缩小至原始尺寸1/2大小的最大值池化层，最终通过四组DenseBlock和TransBlock中的四个最大值池化层，得到原始尺寸1/16的特征图。4.根据权利要求1所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.4)中，所述解码器包括连续的四组简化的DenseRlock和TransBlock；每组DenseBlock和TransBlock中：DenseBlock包括两组ReLU激活层和Conv卷积层，并且将编码器的相应组得到的特征图与解码器的相应组的输入特征图做残差连接，从而将同尺寸层的编码器输出特征图和解码器输入特征图融合生成解码器每一层的特征图；每一个TransBlock中都含有一个上采样模块PixelShuffle，将解码器每一层的特征图尺寸扩大2倍，通过四个TransBlock的上采样模块，最终将特征图恢复至原始尺寸。5.根据权利要求4所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.4)中，在特征图重建时，引入注意力模块，方法是：在每一个TransBlock的上采样模块PixelShuffle后面，添加了一个注意力模块；注意力模块分为通道域注意力分支和空间域注意力分支；1.4.1)在通道域注意力分支中：首先对解码器中DenseRlock处理后的特征图的每一个通道的所有像素取平均值，作为原始通道注意力特征向量；对于一个c*h*w维的特征图，得到一个c*1大小的特征向量；再对该特征向量依次进行Conv、ReLU、Conv和Sigmoid激活函数操作；通过训练，该特征向量学习到不同通道的注意力；

【专利技术属性】
技术研发人员：赵亚琴，赵文轩，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：