注意力优化的深度编解码去雾生成对抗网络制造技术

针对现有的去雾算法难以处理不均匀分布的雾，且深度卷积去雾网络过度依赖大规模数据集的问题，本发明专利技术提出了一种注意力优化的深度编解码去雾生成对抗网络，该网络采用了四层下采样结构的编码器，充分提取因为雾而损失的语义信息，以便恢复清晰的图像。同时，在解码器网络中，引入了注意力机制，自适应地为不同的像素和通道分配权值，从而处理不均匀分布的雾。最后，生成对抗网络的框架使得模型在小样本数据集上能取得更好的训练效果。实验结果表明，本技术方案不仅能够有效去除真实场景图像中不均匀分布的雾，而且对于训练样本较少的真实场景数据集，也能恢复清晰的图像，评价指标优于广泛采用的其他对比算法。于广泛采用的其他对比算法。于广泛采用的其他对比算法。

【技术实现步骤摘要】
注意力优化的深度编解码去雾生成对抗网络


[0001]本技术方案属于图像处理领域，具体是一种应用于图像处理的注意力优化的深度编解码去雾生成对抗网络。

技术介绍

[0002]光在穿越诸如雾、霾等悬浮颗粒物时产生的散射现象使得成像传感器所采集到的图像产生了降质现象，并因此损失了大量有效信息，直接影响下游高级视觉任务的执行效果。图像去雾的目的就是为了消除大气环境对于图像质量的影响，增加图像的可视度，并为下游语义任务(如图像分类、物体检测等)提供支持。
[0003]图像去雾主要分为传统去雾和深度学习去雾算法。传统去雾算法大多采用先验知识估计参数恢复原始图像[1，2]，并基于大气散射模型[3]，其中研究者公认为去雾性能好、应用最为广泛的是暗通道先验去雾算法(DCP)[1]。这种算法通过计算透射率以及预估的大气光实现图像去雾，不需要额外的参数，但是在亮度较高的图像中近乎失效。颜色衰减先验算法(CAP)[2]通过对比图像饱和度与亮度变化关系寻找有雾区域，相比DCP算法，CAP算法改进了求图像景深的方法，通过深度学习算法求最适合的参数值，因此效果优于DCP算法。其他的先验去雾算法[4～6]同样关注有雾图像与无雾图像在特征上的不同，并由此来确定有雾区域。传统算法虽然复杂度低，但同时也存在以下无法避免的缺陷：一是由于参数估计时误差叠加且大气散射模型不够精准，因此生成的去雾图片无法完全还原参考图像。二是传统算法的性能很大程度上受到雾区域检测准度的限制，在去雾的同时，无雾区域的原始低频信息可能也被去除了。由此可见，尽管传统的去雾算法已经取得了长足的进步，但是其在面对现实场景时仍然存在鲁棒性不足的问题，现实场景应用较为困难。
[0004]随着深度学习在图像处理领域的广泛应用，基于卷积神经网络(Convolutional Neural Network，简称CNN)的去雾模型显示出优于传统算法的性能表现。一些基于CNN的去雾算法[7～9]通过在室内或室外真实图像以及由计算机仿真生成的对应的有雾图像对上进行训练，来学习有雾图像与无雾图像之间的转移图、大气光、景深等关键参数，从而根据大气散射模型计算出预测的去雾图像。其中DehazeNet[7]作为最早的深度学习去雾模型，采用了多尺度特征提取、非线性回归等模块估算出转移图，并带入大气散射模型还原无雾图像。AOD
‑
Net[8]分为两个串行模块，其中K估计模块用以估算雾的深度信息和相对水平，图像生成模块则生成图片，相比DehazeNet，AOD
‑
Net在处理自然图像具有较好的效果，同时对原始图像损失较小。DCPDN[9]则采用了两个并行子模块，其中金字塔密集连接编解码模块用来估计转移图，U型特征提取模块用来估计大气光，最终将这两个参数带入大气散射模型中计算出去雾后的图像。受到其他低级图像任务算法的启发，新的去雾模型[10][11]选择直接的端到端网络，避免大气散射模型，这样的设计既可以避免大气散射模型带来的误差累加，也更有利于下游高级语义任务的支持。
[0005]尽管基于深度学习的图像去雾算法已经取得了不错的效果，但是它仍然面临以下几个问题：
[0006]第一，完全端到端的网络的性能表现过度依赖大规模数据集上的训练结果，利用的去雾数据集大多是由计算机仿真合成得到的，这与现实场景存在差距，而大规模真实场景去雾数据集又难以获得，限制了模型性能的发挥；
[0007]第二，现有方法大多无差别地处理图片上的像素点，无法应对现实场景下不均匀分布的雾。

技术实现思路

[0008]为了解决以上这两个问题，本专利技术提出了一种注意力优化的深度编解码去雾生成对抗网络，其特征是包括生成器网络和判别器网络，其步骤包括：1)生成器网络接收到输入有雾图像，并生成去雾图像；2)判别器网络接收生成器网络输出的去雾图像和对应的真实无雾图像，并进行判断；3)判别器网络监督生成器网络的训练过程；
[0009]在生成器网络中：首先，把输入的有雾图像经过预处理过程得到原始特征图。然后，含有四层下采样的编码器模块被应用得到编码后的特征图。特征图通过一个残差模块处理被送入到解码器模块中。解码器模块同样分为四层，将特征图尺寸恢复至原有大小；在特征图重建时，引入注意力模块；对于同尺寸的编码器和解码器，将编码器编码所得的特征图拼接融合到解码器的输入特征图中。最后，恢复至原尺寸的特征图被送入到后处理模块中，进行通道还原，并与输入有雾图像相加，最终得到输入的去雾后图像。
[0010]本生成对抗网络的技术特点主要有：
[0011](1)密集连接的四层下采样编码器可以充分地提取被浓雾遮掩而损失的深层语义信息，而残差连接保证了如轮廓、对比度、纹理等浅层信息往深层传递时不消失；
[0012](2)为解码器层添加的注意力模块可以自适应地寻找图片中浓雾与薄雾区域和通道，并为它们分配不同的权值，从而使得网络具有应对不均匀分布的雾的能力；
[0013](3)采用了生成对抗网络的框架使得系统即使在小样本数据集下训练，也能够具备更强的鲁棒性。
[0014]本专利技术通过生成对抗网络的框架，模型可以在小样本数据集中取得较好的训练效果。其中，生成器网络采用了深度编解码的结构。编码器采用了四成深度下采样，保证了充分提取图像的文本信息，以期恢复因浓雾造成的信息损失。解码器中引入了注意力机制，可以自适应地为不同的像素与通道赋予注意力权重，从而应对真实场景中雾不均匀分布的情况。在小样本真实数据集I
‑
HAZY和O
‑
HAZY上的实验结果显示，相比广泛使用的去雾算法和模型，本专利技术的网络模型在客观指标与视觉观感上均拥有优秀的性能。
附图说明
[0015]图1是生成器网络示意图；
[0016]图2是解码器结构示意图；
[0017]图3是判别器网络示意图；
[0018]图4是上采样方式对比示意图；
[0019]图5是LeakyReLU与ReLU激活函数对比示意图；
[0020]图6是去雾效果对比示意图。
具体实施方式
[0021]下面结合附图与具体实施方式对本专利技术进一步说明：
[0022]1概述
[0023]本专利技术的注意力优化的深度编解码去雾生成对抗网络，是一种基于编解码架构的去雾生成对抗网络。本专利技术的生成对抗网络采用了四层下采样结构的编码器，充分提取因为雾而损失的语义信息，以便恢复清晰的图像。同时，在解码器网络中，引入了注意力机制，自适应地为不同的像素和通道分配权值，从而处理不均匀分布的雾。最后，生成对抗网络的框架使得模型在小样本数据集上能取得更好的训练效果。
[0024]实验结果表明，本专利技术的去雾网络不仅能够有效去除真实场景图像中不均匀分布的雾，而且对于训练样本较少的真实场景数据集，也能恢复清晰的图像，评价指标优于广泛采用的其他对比算法。
[0025]2算法实现
[0026]2.1相关技术简介
[0027]2.1.1生成对抗网络
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注意力优化的深度编解码去雾生成对抗网络，其特征是包括生成器网络和判别器网络，其步骤包括：1)生成器网络接收到输入有雾图像，并生成去雾图像；2)判别器网络接收生成器网络输出的去雾图像和对应的真实无雾对比图像，并进行判断；3)判别器网络监督生成器网络的训练过程；所述步骤1)中，生成器网络生成去雾图像的步骤包括：1.1)把输入的有雾图像经过预处理过程得到原始特征图；1.2)用含有四层下采样的编码器模块得到编码后的特征图；1.3)特征图通过一个残差模块处理被送入到解码器模块中；1.4)解码器模块同样分为四层，将特征图尺寸最终恢复至原有大小；在特征图重建时，引入注意力模块；1.5)恢复至原尺寸的特征图被送入到后处理模块中，进行通道还原，并与输入有雾图像相加，最终得到输入的去雾后图像。2.根据权利要求1所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.1)中，进入编码器之前的图像进行预处理：输入有雾图像依次经过一个Conv卷积层、一个BatchNorm批归一化层和一个ReLU激活层；得到经预处理的有雾图像的原始特征。3.根据权利要求1所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.2)中，所述编码器包括连续的四组预训练的DenseBlock和TransBlock；每组DenseBlock与TransBlock层都是标准的DensNet
‑
121；DenseNet
‑
121是经ImageNet数据集上预训练后，采用预训练权重代替随机初始化权重；每一层TransBlock都含有一个能将图像特征缩小至原始尺寸1/2大小的最大值池化层，最终通过四组DenseBlock和TransBlock中的四个最大值池化层，得到原始尺寸1/16的特征图。4.根据权利要求1所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.4)中，所述解码器包括连续的四组简化的DenseRlock和TransBlock；每组DenseBlock和TransBlock中：DenseBlock包括两组ReLU激活层和Conv卷积层，并且将编码器的相应组得到的特征图与解码器的相应组的输入特征图做残差连接，从而将同尺寸层的编码器输出特征图和解码器输入特征图融合生成解码器每一层的特征图；每一个TransBlock中都含有一个上采样模块PixelShuffle，将解码器每一层的特征图尺寸扩大2倍，通过四个TransBlock的上采样模块，最终将特征图恢复至原始尺寸。5.根据权利要求4所述的注意力优化的深度编解码去雾生成对抗网络，其特征是所述步骤1.4)中，在特征图重建时，引入注意力模块，方法是：在每一个TransBlock的上采样模块PixelShuffle后面，添加了一个注意力模块；注意力模块分为通道域注意力分支和空间域注意力分支；1.4.1)在通道域注意力分支中：首先对解码器中DenseRlock处理后的特征图的每一个通道的所有像素取平均值，作为原始通道注意力特征向量；对于一个c*h*w维的特征图，得到一个c*1大小的特征向量；再对该特征向量依次进行Conv、ReLU、Conv和Sigmoid激活函数操作；通过训练，该特征向量学习到不同通道的注意力；

【专利技术属性】
技术研发人员：赵亚琴，赵文轩，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：