一种基于多特征融合的端到端图像去雾方法技术

本发明专利技术公开了一种基于多特征融合的端到端图像去雾方法：步骤一，获取样本数据集；步骤二，搭建基于多特征融合的端到端图像去雾网络模型，包括以全局特征融合注意力模块为核心的基础网络、支持反向传播的先验特征提取模块和先验特征自适应融合模块；暗通道先验特征和颜色衰减先验特征进入先验特征自适应融合模块进行融合，再与基础网络得到的深度学习特征融合；步骤三，构建损失函数；步骤四，训练基于多特征融合的端到端图像去雾网络模型；步骤五，利用训练好的模型对待处理图像进行去雾处理，得到去雾后图像。在合成数据集和真实数据集的实验结果表明，本发明专利技术的方法提高了模型在真实场景的去雾能力和迁移能力，并且参数量小，可实现快速去雾。实现快速去雾。实现快速去雾。

【技术实现步骤摘要】
一种基于多特征融合的端到端图像去雾方法


[0001]本专利技术属于有雾图像处理
，涉及一种基于多种特征融合的图像去雾的方法。

技术介绍

[0002]随着信息化时代的到来，各种智能视觉系统被广泛应用于智能交通、智能安防和军事侦察等领域。它们以图像作为传递信息的基础载体并对其进行智能处理和分析，例如目标检测、识别和跟踪等等，但这些高级视觉任务对图像的质量有一定的要求。在雾霾天气下，由于空气中大量的悬浮粒子对物体反射光和大气光的吸收和散射作用，导致拍摄的图像质量大幅度下降，出现对比度降低、颜色失真和清晰度下降等问题，这些问题会严重图像在高级视觉任务中的应用，导致智能视觉系统出错。所以图像去雾已经成为计算机视觉中的重要研究课题，其旨在通过去除图像雾气来将有雾图像恢复为无雾图像，恢复其清晰度，对保障高级视觉任务的性能和智能视觉系统的稳定使用具有重大意义。
[0003]现有的图像去雾方法主要可以分为2类，一是基于图像先验特征的方法，这类方法以大气散射模型为基础，利用图像先验特征估计出透射率图和全球大气光值，然后代入进大气散射模型，求得清晰图像。He等人提出了暗通道先验特征，用于估计透射率图，但会在天空区域及白色区域失效；Zhu等人提出了颜色衰减先验，通过建立图像亮度、饱和度与场景深度的线性模型求解出深度图，然后推导出透射率图，但其会导致在近景区域会有部分白色。先验信息一般基于真实图像数据统计，在真实场景下往往非常有效，但具有局限性，无法通用于所有场景。
[0004]二是基于深度学习的方法，可以通过神经网络估计透射率图和全球大气光值，再代入大气散射模型求解出清晰图像，但这样会造成误差叠加，最终误差增大，所以目前是通过神经网络直接从有雾图像预测出清晰图像的方法占主流。但是这类方法也存在着问题，要训练这样的神经网络需要大量的有雾/清晰图像对，但这种数据的获取异常困难，虽然NTIRE组织了几次去雾挑战并介绍了几个小规模的真实世界数据集，但它是稀少的、不全面的，也无法训练出通用性很高的模型。所以目前使用的训练图像一般是合成图像，有雾图像是通过在真实清晰图像上根据大气散射模型进行加雾处理而形成的。由于神经网络在合成数据集上进行训练，合成数据与真实数据存在一定的差异性，就导致模型迁移到真实场景下的去雾效果往往没有那么好。

技术实现思路

[0005]针对上述现有技术存在的缺陷或不足，本专利技术的目的在于，提供一种基于先验特征与深度特征融合的图像去雾方法，该方法解决了模型在真实场景下通用性与有效性不能兼顾的问题，提高了深度学习模型在真实场景下的去雾效果；并且模型较为轻量，能实现快速去雾。
[0006]为了实现上述目的，本专利技术所采用的技术方案如下：
[0007]一种基于多特征融合的端到端图像去雾方法，具体包括以下步骤：
[0008]步骤一，获取样本数据集：分别使用合成数据集和真实世界数据集训练和测试网络模型；合成数据集和真实世界数据集均包括有雾/清晰图像对；
[0009]步骤二，搭建基于多特征融合的端到端图像去雾网络模型：包括以全局特征融合注意力模块为核心的基础网络、支持反向传播的先验特征提取模块和先验特征自适应融合模块；其中，支持反向传播的先验特征自适应融合模块得到的暗通道先验特征和颜色衰减先验特征进入先验特征自适应融合模块进行融合，再与以全局特征融合注意力模块为核心的基础网络得到的深度学习特征进行融合；
[0010]步骤三，构建损失函数；
[0011]步骤四，训练基于多特征融合的端到端图像去雾网络模型：设置训练参数、初始化网络模型参数，数据集训练样本中的有雾图像作为网络模型的输入，然后把网络模型的输出与有雾图像对应的真实清晰图像代入损失函数计算损失，利用反向传播算法更新网络模型参数，得到训练好的去雾网络模型；
[0012]步骤五，利用训练好的模型对待处理图像进行去雾处理，得到去雾后的图像。
[0013]进一步的，所述步骤1中的合成数据集包括MSBDN所使用的RESIDE训练集和OTS测试集，真实世界数据集包括O
‑
HAZE数据集和NH
‑
HAZE数据集。
[0014]进一步的，所述步骤二中，所述的以全局特征融合注意力模块为核心的基础网络包括依次相连接的编码器、残差块和解码器，其中，编码器包括依次相连的卷积层、特征增强模块、下采样卷积层、特征增强模块、下采样卷积层；解码器包括依次相连的上采样卷积层、特征增强模块、上采样卷积层、特征增强模块、卷积层和Tanh函数。
[0015]进一步的，所述以全局特征融合注意力模块为核心的基础网络中，第一层和最后一层的卷积层都使用7
×
7的卷积核，除了最后一层卷积层，其余卷积层后都有非线性Relu函数，残差块内的卷积层后也有非线性Relu函数；在残差块中，不使用任何归一化层，卷积层都使用3
×
3卷积；该基础网络包含三个尺度，在编码器中，使用Stride
‑
Conv层进行1/2倍的下采样处理，得到的特征图为原来的1/2，每个尺度均由特征增强模块代表；在解码器中，使用Transposed
‑
Conv层进行2倍的上采样处理。
[0016]进一步的，所述特征增强模块由两个残差块、全局特征融合注意力模块(GFFA)和两个局部残差连接构成；所述特征增强模块用于实现如下功能：首先将输入数据依次采用两个残差块进行特征提取，从第一个残差块中输出数据还通过两个局部残差连接与第二个残差块的输出数据、GFFA模块的输出数据分别逐像素相加，得到特征增强模块的输出数据；
[0017]在所述解码器中的特征增强模块的输入为所述先验特征自适应融合模块的输出x、编码器中高度相等的特征增强模块的输出y、上采样卷积层的输出z。
[0018]进一步的，所述全局特征融合注意力模块包含3个部分：全局上下文块、高效通道注意力块、简化像素注意力块；
[0019]所述全局上下文块用于实现如下计算过程：
[0020][0021]δ＝conv(Relu(LN(conv(c))))
[0022]gc＝x+δ
[0023]其中，x为GFFA的输入，gc为全局上下文块的输出，LN代表LayerNorm；
[0024]所述的高效通道注意力块用于实现如下计算过程：
[0025][0026]eca＝x
×
Sigmoid(1Dconv(c,k))
[0027]其中，C代表通道数，|t|
odd
表示最近的奇数t,本实施例中将γ和b分别设置成2和1,k＝5，eca为高效通道注意力块的输出；
[0028]所述全局上下文块的输出gc和高效的通道注意力块的输出eca进行逐像素相加，输入简化像素注意力模块；
[0029]所述简化像素注意力模块包括1个卷积层和Relu函数，用于实现如下计算过程：
[0030]spa＝(eca+gc)
×
Sigmoid(conv本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的端到端图像去雾方法，其特征在于，具体包括以下步骤：步骤一，获取样本数据集：分别使用合成数据集和真实世界数据集训练和测试网络模型；合成数据集和真实世界数据集均包括有雾/清晰图像对；步骤二，搭建基于多特征融合的端到端图像去雾网络模型：包括以全局特征融合注意力模块为核心的基础网络、支持反向传播的先验特征提取模块和先验特征自适应融合模块；其中，支持反向传播的先验特征自适应融合模块得到的暗通道先验特征和颜色衰减先验特征进入先验特征自适应融合模块进行融合，再与以全局特征融合注意力模块为核心的基础网络得到的深度学习特征进行融合；步骤三，构建损失函数；步骤四，训练基于多特征融合的端到端图像去雾网络模型：设置训练参数、初始化网络模型参数，数据集训练样本中的有雾图像作为网络模型的输入，然后把网络模型的输出与有雾图像对应的真实清晰图像代入损失函数计算损失，利用反向传播算法更新网络模型参数，得到训练好的去雾网络模型；步骤五，利用训练好的模型对待处理图像进行去雾处理，得到去雾后的图像。2.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤1中的合成数据集包括MSBDN所使用的RESIDE训练集和OTS测试集，真实世界数据集包括O
‑
HAZE数据集和NH
‑
HAZE数据集。3.如权利要求1所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述步骤二中，所述的以全局特征融合注意力模块为核心的基础网络包括依次相连接的编码器、残差块和解码器，其中，编码器包括依次相连的卷积层、特征增强模块、下采样卷积层、特征增强模块、下采样卷积层；解码器包括依次相连的上采样卷积层、特征增强模块、上采样卷积层、特征增强模块、卷积层和Tanh函数。4.如权利要求3所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述以全局特征融合注意力模块为核心的基础网络中，第一层和最后一层的卷积层都使用7
×
7的卷积核，除了最后一层卷积层，其余卷积层后都有非线性Relu函数，残差块内的卷积层后也有非线性Relu函数；在残差块中，不使用任何归一化层，卷积层都使用3
×
3卷积；该基础网络包含三个尺度，在编码器中，使用Stride
‑
Conv层进行1/2倍的下采样处理，得到的特征图为原来的1/2，每个尺度均由特征增强模块代表；在解码器中，使用Transposed
‑
Conv层进行2倍的上采样处理。5.如权利要求3或4所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述特征增强模块由两个残差块、全局特征融合注意力模块(GFFA)和两个局部残差连接构成；所述特征增强模块用于实现如下功能：首先将输入数据依次采用两个残差块进行特征提取，从第一个残差块中输出数据还通过两个局部残差连接与第二个残差块的输出数据、GFFA模块的输出数据分别逐像素相加，得到特征增强模块的输出数据；在所述解码器中的特征增强模块的输入为所述先验特征自适应融合模块的输出x、编码器中高度相等的特征增强模块的输出y、上采样卷积层的输出z。6.如权利要求5所述的基于多特征融合的端到端图像去雾方法，其特征在于，所述全局特征融合注意力模块包含3个部分：全局上下文块、高效通道注意力块、简化像素注意力块；所述全局上下文块用于实现如下计算过...

【专利技术属性】
技术研发人员：罗杰，卜起荣，张蕾，冯筠，
申请(专利权)人：西北大学，
类型：发明
国别省市：