【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于门控提取模块和特征增强模块的图像去雾方法。
技术介绍
1、单图像去雾是指通过去除有雾输出中的雾从而重建高质量图像的技术，由于雾会遮挡图像中的物体，导致严重的信息退化（例如颜色失真、可见度降低、特征退化等），从而使原始图像无法为未来的视觉应用提供足够的重要细节，因此，图像去雾已成为计算机视觉领域的一个活跃话题。
2、现有技术中，图像去雾算法一般可以分为基于先验知识的算法和基于学习的算法，基于知识的去雾算法又可以分为基于物理模型的算法和基于非物理模型的算法。物理模型去雾算法利用先验知识确定透射率、大气照度值等相关参数，然后得到去雾图像；非物理模型去雾算法的出发点是尽可能去除图像干扰成分，增强图像细节信息，从而恢复清晰无雾霾的图像。尽管此类方法在早期被广泛使用，但由于先验知识使用场景的限制，卷积神经网络(cnn)逐渐取代了它们，早期基于cnn的作品结合大气模型公式和卷积神经网络(cnn)来估计物理参数。虽然这些方法在很大程度上克服了基于先验的方法的缺点，但很容易引起颜色失真以及伪影现象。因此，后续又提出了端到端去雾方法，通过卷积神经网络直接建立有雾图像和无雾图像之间的映射，而不需要估计任何中间参数。而在最近，transformer凭借强大的表达能力，在多个低级视觉任务(包括图像去雾)中取得了与cnn相当甚至超越cnn的优异结果。
3、专利公开号为：cn117036182a的专利文件公开了一种单幅图像去雾方法及系统，该方案结合动态卷积模块和transformer模块，动态卷
4、尽管现有的方法已经取得了良好的性能，但仍然存在一些问题:一是现有网络总是包含更深更广的网络拓扑和堆叠复杂或莫名其妙的架构，这种策略带来的改进是有限的，并且需要大量的计算资源来实现，导致了大量的计算开销和参数；二是当前方法习惯于在前馈网络(fn)中引入通道注意或单一注意力，但这仍然不足以探索特征图的内部区域的差异机制。
技术实现思路
1、为了克服上述的技术问题，本专利技术的目的在于提供一种基于门控提取模块和特征增强模块的图像去雾方法，该方法将门控特征提取模块和特征增强注意力网络相结合，对上述
技术介绍
中提出的问题进行优化解决。
2、本专利技术的目的可以通过以下技术方案实现：
3、一种基于门控提取模块和特征增强模块的图像去雾方法，包括以下步骤：
4、s1、对原始雾天图像进行预处理操作，使其能够符合算法网络的输入要求；
5、s2、得到预处理的图像后，先将图像投影到特征级别，然后通过门控提取模块来提取图像特征，进行图像信息的捕获与下采样操作，门控提取模块集成了门控线性单元和深度可分离卷积，以去除图像特征中不必要的线性层并且聚合图像信息空间的上下文，完成对图像浅层阶段的处理；
6、s3、经过以上浅层阶段的处理后，对图像特征进行深层阶段的处理，在特征增强模块中首先利用通道注意机制和空间注意机制对输入的图像特征进行初步的粗略优化，然后将原始特征的内容作为先前粗糙信息的向导，同时对两者的特征信息进行组合和过滤，使模型能够专注于更有效的部分；
7、s4、随后两个融合模块将来自浅层的门控提取模块和深层的特征增强模块处理过的、具有相同尺寸的特征信息进行相加融合，提高模型的性能；
8、s5、最后经过两次上采样操作与浅层的解码阶段，通过卷积层的简单拟合后得到最终的输出图片。
9、进一步在于，s1步骤中，预处理操作包括：
10、裁剪：将训练数据集中不同尺寸的图像随机裁剪为256×256的固定子图像，以适应算法网络的输入要求并增加数据的多样性和泛化能力；
11、旋转：将裁剪后的图像按照随机角度进行旋转以增加数据的不变性和鲁棒性；
12、颜色增强：继续对图像进行一些随机颜色调整以增加数据的变化性和鲁棒性，并得到预处理后的图像。
13、进一步在于，s2步骤中，首先利用3×3卷积将图像投影到特征级别，并获得低级特征嵌入尺寸256×256×32，其中，256×256为当前图像尺寸，32为当前通道数；
14、之后执行下采样操作，采用双层门控提取模块捕获局部信息，并使用3×3卷积来降低图像的分辨率，同时扩大通道尺寸，此时图像特征尺寸为128×128×64，接下来再次进行双层门控提取模块的信息捕获与下采样操作；
15、s3步骤中，经过以上浅层阶段的处理后，尺寸为64×64×128的图像特征数据到达深层阶段。
16、进一步在于，门控提取模块在工作时，首先使用xn＝batchnorm(x0)对输入的图像特征x0进行归一化处理；
17、归一化后的特征xn将被送入门控线性单元的上层分支和下层分支中，整个门控线性单元的前期可表示为：
18、
19、其中，和fpw分别表示5×5深度卷积和逐点卷积，深度卷积和逐点卷积为深度可分离卷积的两个步骤，⊙表示元素乘法；
20、然后使用1×1逐点卷积运算，将深度卷积的输出特征图进行压缩和融合，实现在不同通道之间集成和交互，同时引入额外的非线性变换来增强网络的建模和学习能力；
21、将门控线性单元的上层分支作为全局门控信号的输出，定义为：xg；
22、将xg输入到一个简单的感知器中，用relu激活层拟合去雾特征，最后利用两次残差连接缓解梯度消失并提高信息流动性；
23、整个门控提取模块可表示为：
24、
25、进一步在于，在门控线性单元的下层分支中，深度卷积使用通道特定的5×5卷积核进行卷积操作，该卷积核只对通道内的数据进行卷积操作，并没有跨通道的交互。
26、进一步在于，在门控线性单元的上层分支中，该去雾方法增加了sigmoid激活函数，提取全局门控特征并对信息进行滤波和调节。
27、进一步在于，拟合去雾特征时使用逐点卷积-激活层，relu激活层为逐点卷积-激活层中的一个激活层，逐点卷积-激活层还包括：sigmoid激活层、tanh激活层以及leakyrelu激活层。
28、进一步在于，特征增强模块在工作时，首先使用xn＝batchnorm(x0)对输入特征x0进行归一化处理，归一化后的特征xn分别输入通道注意机制和空间注意机制中，分别得到通道注意输出xc和空间注意输出xs；
29、将xc和xs使用加法运算融合在一起，得到粗特征本文档来自技高网...
【技术保护点】
1.一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于门控提取模块和特征增强模块的图像去雾方法,其特征在于，S1步骤中，预处理操作包括：
3.根据权利要求1所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，S2步骤中，首先利用3×3卷积将图像投影到特征级别，并获得低级特征嵌入尺寸256×256×32，其中，256×256为当前图像尺寸，32为当前通道数；
4.根据权利要求3所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，门控提取模块在工作时，首先使用xn＝BatchNorm(x0)对输入的图像特征x0进行归一化处理；
5.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，在门控线性单元的下层分支中，深度卷积使用通道特定的5×5卷积核进行卷积操作，该卷积核只对通道内的数据进行卷积操作，并没有跨通道的交互。
6.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，在门
7.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，拟合去雾特征时使用逐点卷积-激活层，ReLU激活层为逐点卷积-激活层中的一个激活层，逐点卷积-激活层还包括：Sigmoid激活层、Tanh激活层以及Leaky ReLU激活层。
8.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，特征增强模块在工作时，首先使用xn＝BatchNorm(x0)对输入特征x0进行归一化处理，归一化后的特征xn分别输入通道注意机制和空间注意机制中，分别得到通道注意输出xc和空间注意输出xs；
9.根据权利要求8所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，对于通道注意机制，包含了二个线性层Linear，一个ReLU激活函数和一个均值池化操作，具体步骤如下：
10.根据权利要求9所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，对于空间注意机制，包含了均值池化和最大池化这两个池化操作、一个通道拼接操作和一个深度卷积操作具体步骤如下：
...【技术特征摘要】
1.一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于门控提取模块和特征增强模块的图像去雾方法,其特征在于，s1步骤中，预处理操作包括：
3.根据权利要求1所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，s2步骤中，首先利用3×3卷积将图像投影到特征级别，并获得低级特征嵌入尺寸256×256×32，其中，256×256为当前图像尺寸，32为当前通道数；
4.根据权利要求3所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，门控提取模块在工作时，首先使用xn＝batchnorm(x0)对输入的图像特征x0进行归一化处理；
5.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，在门控线性单元的下层分支中，深度卷积使用通道特定的5×5卷积核进行卷积操作，该卷积核只对通道内的数据进行卷积操作，并没有跨通道的交互。
6.根据权利要求4所述的一种基于门控提取模块和特征增强模块的图像去雾方法，其特征在于，在门控线性单元的上层分支中，该去雾方法增加了si...
【专利技术属性】
技术研发人员：张玉波，徐同祥，杨士钺，徐磊，孔海华，向海斌，
申请(专利权)人：东北石油大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。