基于传递注意力机制的非均匀雾图去雾算法制造技术

本发明专利技术涉及一种基于传递注意力机制的非均匀雾图去雾算法，包括如下步骤：S1、稀疏平滑空洞卷积特征提取；S2、基于传递注意力机制的非均匀雾霾特征处理；S3、损失函数；本发明专利技术提供的非均匀雾图去雾算法，针对真实非均匀雾霾图像，在注意力机制的引导下，直接构建降质图像与清晰图像之间端到端的映射关系，对非均匀有雾图像和合成的有雾图像均有良好的去雾效果，获得的复原图像有较好的细节信息，色彩更加自然。

【技术实现步骤摘要】
基于传递注意力机制的非均匀雾图去雾算法
本专利技术属于图像处理
，具体涉及一种基于传递注意力机制的非均匀雾图去雾算法。
技术介绍
雾天条件下，空气中悬浮的各种微粒对光线进行吸收和散射，导致采集到的户外图像表现出对比度降低，颜色失真，边缘模糊等现象，在此类环境下获取的雾霾图像既不利于图像的视觉观察，也阻碍了人工智能领域中以图像为主要处理对象的计算机视觉任务的进行，因此，研究雾霾图像的降质原理，提高其清晰化程度具有重要的研究意义和应用前景。早期的图像去雾算法主要采用图像增强的手段来改善图像的对比度、清晰度，提升图像的视觉效果，如直方图均衡化、Retinex算法、同态滤波等。基于图像增强的方法可以有效提高图像对比度，然而，由于没有分析雾霾图像的退化机理，也未对成像时大气的状况加以考虑，容易导致复原图像出现色彩失真、部分细节丢失等现象。Narasimhan等人通过分析雾霾降质图像的形成机制，将引起图像退化的大气介质散射因素和吸收因素引入成像模型，成功地提出大气散射模型。目前，基于大气散射模型的图像去雾方法是该领域的主流方法之一，依据其发展的脉络可以划分为两类：基于先验知识的图像去雾算法和基于深度学习的图像去雾算法。大气散射模型是一个严重的不适定问题，所以基于先验知识的图像去雾算法常常通过一些额外的先验信息或约束条件来辅助估计模型中的参数，即大气光值和透射图，然后再反演清晰图像。如He等人提出暗通道先验(DCP)信息约束大气散射模型，能够准确预测雾霾图像的透射率，有效地消除局部区域的雾霾。然而，算法对处理明亮区域或类似图像中天空区域具有一定的局限性，Zhu等人提出颜色衰减先验(CAP)模型，通过监督学习的方式训练线性模型的参数，依次估计场景深度信息和透射图，该方法可以复原出较多的细节信息，但仍存在一定程度的雾残留。上述将图像先验信息与大气散射模型相结合的去雾方法取得了显著进展，但由于先验信息的应用具有一定的局限性，另外，先验信息的合理性和普适性也会较大程度影响参数的估算及最终的去雾效果。近年来，深度学习在计算机视觉领域受到广泛关注。大量学者将深度学习应用到图像去雾算法中并取得了不错的效果，但仍存在一些不足之处，如对非均匀雾霾图像的去雾效果并不理想，易出现雾霾残留的问题。
技术实现思路
本专利技术的目的是为了解决
技术介绍
中所提出的问题，而提供基于传递注意力机制的非均匀雾图去雾算法，针对真实非均匀雾霾图像，在注意力机制的引导下，直接构建降质图像与清晰图像之间端到端的映射关系，对非均匀有雾图像和合成的有雾图像均有良好的去雾效果，获得的复原图像有较好的细节信息，色彩更加自然。本专利技术的目的是这样实现的：基于传递注意力机制的非均匀雾图去雾算法，包括如下步骤：S1、稀疏平滑空洞卷积特征提取，采用普通卷积与平滑空洞卷积交错的形式构建稀疏块，提取图像中不同级别的特征信息；S2、基于传递注意力机制的非均匀雾霾特征处理，在去雾网络中融入注意力机制，分别学习不同级别特征图中的通道注意力特征图与像素注意力特征图，赋予每个通道不同的权重值并使网络更加关注浓雾区域和高频区域，自适应地学习特征图在不同的权值下的特征映射，然后将注意力模块中的通道注意力特征图与像素注意力特征图分别向后传递，使注意力特征图中的权重信息在各个注意力块之间流动并相互配合，充分发挥注意力机制的优势；S3、损失函数，在网络训练过程中，使用smoothL1loss作为损失函数，用来计算输出的输出去雾图像与对应真实无雾图像之间的差值。优选的，S1中，稀疏块的构件步骤如下：S1-1、在深度学习的图像分类网络的基础上，去雾网络先利用两层普通卷积提取图像中的特征信息，并引入跳跃连接抑制过拟合现象；S1-2、利用两层级联的平滑空洞卷积更大范围的提取图像中的特征信息，跳跃连接的加入，抑制深层网络梯度消失的问题，提高网络学习能力。优选的，S2中的注意力机制的融入步骤如下：S2-1、先通过一层卷积核大小为3×3，步长为2的卷积层对特征图通道特征进行预处理，降低特征图尺寸；S2-2、利用池化层对预处理特征图逐通道平均池化，得到每个通道的特征描述，经过两层卷积层和激活函数的处理后得到各通道的权重系数，即通道注意力特征图；S2-3、将原始特征图与对应通道的权重系数逐像素相乘。优选的，S2中的传递注意力机制的结构是将每一个注意力模块中的通道注意力特征图和像素注意力特征图用通道拼接的方式分别传递到下一个注意力模块中，使注意力特征图中的权重信息在各个注意力块之间流动，其中，像素注意力特征图之间采用卷积层进行维度匹配。优选的，S2中，像素注意力的结构是通过两层卷积层来学习特征图的像素权重信息并在通道维度上对其进行压缩，经过激活函数处理后得到1通道的像素注意力特征图，再与各特征图中对应元素相乘来赋予每个像素不同的权重值。优选的，所述注意力模块中除像素注意力特征图外的其他特征图均为64通道。与现有技术相比，本专利技术的有益效果在于：1、本专利技术提供的基于传递注意力机制的非均匀雾图去雾算法，该算法针对真实非均匀雾霾图像，在注意力机制的引导下，直接构建降质图像与清晰图像之间端到端的映射关系，与以往的去雾算法相比，本文提出的网络对非均匀有雾图像和合成的有雾图像均有良好的去雾效果，获得的复原图像有较好的细节信息，色彩更加自然。2、本专利技术提供的基于传递注意力机制的非均匀雾图去雾算法，为了避免深度卷积网络下采样和池化容易造成细节信息丢失，保证网络的去雾性能和计算效率，算法以由普通卷积与平滑空洞卷积交错构成的稀疏块为主体框架提取图像特征信息。3、本专利技术提供的基于传递注意力机制的非均匀雾图去雾算法，针对雾霾分布不均匀的特点，网络中融合视觉注意力机制，使网络在学习过程中更加关注图像中雾较重的区域。网络将各个注意力模块学习到的注意力特征图传递到下一个注意力模块，使模块间可以相互配合，充分发挥注意力机制的优势。4、本专利技术提供的基于传递注意力机制的非均匀雾图去雾算法，注意力机制中传递结构的引入，使网络中各层的注意力信息在模块之间流动，可以相互配合地学习输入图像中的不同特征及各个特征的权重信息，并不局限于当前特征图，引导整体网络的学习过程，有效地避免模块之间信息的频繁变动，提升网络对非均匀有雾图像的去雾效果。附图说明图1是本专利技术基于传递注意力机制的非均匀雾图去雾算法结构示意图。图2是本专利技术传递注意力去雾网络结构图。图3是本专利技术稀疏块(S-1～S-5)结构图。图4是本专利技术传递注意力机制结构图。图5是本专利技术非均匀雾霾图像与对应的热力图。图6是本专利技术非均匀有雾图像与清晰图像示意图。图7是本专利技术数据集上的去雾效果示意图。图8是本专利技术不同算法在本文拍摄数据集上去雾结果的客观比较图。图9是本专利技术不同算法在I-HAZE数据集上的去雾效果对比图。图10是本专利技术不同算法在I-HAZE测试集上去雾结果的客观比较图本文档来自技高网...

【技术保护点】
1.基于传递注意力机制的非均匀雾图去雾算法，其特征在于：包括如下步骤：/nS1、稀疏平滑空洞卷积特征提取，采用普通卷积与平滑空洞卷积交错的形式构建稀疏块，提取图像中不同级别的特征信息；/nS2、基于传递注意力机制的非均匀雾霾特征处理，在去雾网络中融入注意力机制，分别学习不同级别特征图中的通道注意力特征图与像素注意力特征图，赋予每个通道不同的权重值并使网络更加关注浓雾区域和高频区域，自适应地学习特征图在不同的权值下的特征映射，然后将注意力模块中的通道注意力特征图与像素注意力特征图分别向后传递，使注意力特征图中的权重信息在各个注意力块之间流动并相互配合，充分发挥注意力机制的优势；/nS3、损失函数，在网络训练过程中，使用smooth L1loss作为损失函数，用来计算输出的输出去雾图像与对应真实无雾图像之间的差值。/n

【技术特征摘要】
1.基于传递注意力机制的非均匀雾图去雾算法，其特征在于：包括如下步骤：
S1、稀疏平滑空洞卷积特征提取，采用普通卷积与平滑空洞卷积交错的形式构建稀疏块，提取图像中不同级别的特征信息；
S2、基于传递注意力机制的非均匀雾霾特征处理，在去雾网络中融入注意力机制，分别学习不同级别特征图中的通道注意力特征图与像素注意力特征图，赋予每个通道不同的权重值并使网络更加关注浓雾区域和高频区域，自适应地学习特征图在不同的权值下的特征映射，然后将注意力模块中的通道注意力特征图与像素注意力特征图分别向后传递，使注意力特征图中的权重信息在各个注意力块之间流动并相互配合，充分发挥注意力机制的优势；
S3、损失函数，在网络训练过程中，使用smoothL1loss作为损失函数，用来计算输出的输出去雾图像与对应真实无雾图像之间的差值。


2.根据权利要求1所述的基于传递注意力机制的非均匀雾图去雾算法，其特征在于：S1中，稀疏块的构件步骤如下：
S1-1、在深度学习的图像分类网络的基础上，去雾网络先利用两层普通卷积提取图像中的特征信息，并引入跳跃连接抑制过拟合现象；
S1-2、利用两层级联的平滑空洞卷积更大范围的提取图像中的特征信息，跳跃连接的加入，抑制深层网络梯度消失的问题，提高网络学习能力。


3.根据权利要求1所述的基于传递注意...

【专利技术属性】
技术研发人员：王科平，杨艺，韦金阳，李新伟，崔立志，李冰锋，
申请(专利权)人：河南理工大学，
类型：发明
国别省市：河南;41