用于单幅图像去雾的串行注意增强UNet++去雾网络制造技术

本发明专利技术提出了一种用于单幅图像去雾的串行注意增强UNet++去雾网络，它采用基于残差结构的两个剪枝的UNet++块的串行策略。与简单的编解码结构相比，UNet++模块能够更好地利用编码器提取的特征，促进不同分辨率的上下文信息融合。串行UNet++结构可以学习深层特征，同时保留浅层特征，以便更好地处理浓密的烟雾，生成更逼真的图像，同时减少颜色失真。此外，还引入了在空间域和通道域学习权重的注意力机制来处理不均匀分布的烟雾。实验在两个具有代表性的公共数据集上进行，即大规模合成数据集RESIDE和小规模真实数据集I

【技术实现步骤摘要】
用于单幅图像去雾的串行注意增强UNet++去雾网络


[0001]本技术方案属于图像处理领域，具体是一种用于单幅图像去雾的串行注意增强 UNet++去雾网络。

技术介绍

[0002]当光线在浓密的悬浮颗粒(如雾、霾、烟、灰尘等)中传播时，由于颗粒的散射作用，成像传感器采集的图像信息严重退化，从而丢失了大量有用信息，极大地限制了后续的高级视觉任务[1，2]。图像去雾的目的是消除大气环境对图像质量的影响，提高图像的可见度，并为后续视觉任务(如分类、定位和自动驾驶系统)提供支持。在过去的几十年中，单幅图像去雾作为一项基础性的低层视觉任务，越来越受到世界各国计算机视觉界和人工智能公司的重视。
[0003]为了解决这一难题，人们提出了多种方法，图像去雾算法大体上可分为传统方法和基于学习的方法。传统的图像去雾算法大多基于假设模型，其中[3]中介绍的大气散射模型是最成功的图像去雾模型。它被广泛用于描述朦胧图像的形成，公式如下：
[0004]I(z)＝J(z)t(z)+A(1
‑
t(z))
ꢀꢀꢀ
(1)
[0005]其中I(z)是模糊图像,J(z)去雾后图像,t(z)转移图,A是全球大气光组成。当大气光成分一致的时候，转移图可以被描述为：
[0006]t(z)＝e
‑
βd(z)
ꢀꢀꢀ
(2)
[0007]其中β是大气散射系数，而d(z)代表景深。在单幅图像去雾任务中，有了一个模糊图像后，可以根据上式获得去雾后图像。
[0008]但是，简单的应用大气散射模型在估计转移图和全球大气光时可能导致不可避免的错误。因此恢复图像的质量不够理想。许多随大气环境变化的先验知识被用来改进大气散射模型的性能。He等人[4]根据统计定律发现了DCP(暗通道先验)，以计算转移图。但DCP在高亮度区域会变得失效。Zhu等人[5]引入了CAP(颜色衰减先验)来描述亮度、饱和度和烟雾密度之间的关系。Berman等人[6]提出了一种非局部先验知识。它的意思是无雾图像的颜色可以在RGB空间中形成紧密的非局部簇，并且在有雾的情况下，它们的不同距离可以转化为不同的透射系数。He等人从局部线性模型推导而来，进一步提出了一种导向滤波方法[7]，该方法在去除雾霾方面非常有效，无需使用复杂的大气模型。随着[8,9]等方法的提出，该模型取得了很大的成功，但在处理更复杂的现实场景时也显示出鲁棒性不足的问题。
[0009]近年来，基于卷积神经网络(CNN)的深度学习在一些高级视觉应用中取得了优异的效果[10
‑
12]。同时，它在处理一些低级视觉任务(如超分辨率)时也表现出了出色的性能[13,14]。借助神经网络强大的学习能力，可以简单地估计转移图或直接预测去雾后图像。与传统方法相比，基于学习的图像去雾算法显示出更有效、更显著和更稳健的可视化改进。相对早期的基于深度学习的算法也利用了大气散射模型。Cai等人[15]介绍了一种基于CNN的单一去雾网络，称为DehazeNet。 DehazeNet是一个可训练的端到端网络，通过自学习转移图向其输入模糊输入时，可生成无雾输出。Li等人[16]提出了一种称为AODNet的一体化
去雾网络，用于在一个框架内联合估计转移图和全球大气光。此外，Zhang等人[17]提出了一个密集连接的金字塔去雾网络，也称为DCPDN，通过金字塔形网络分支预测转移图，并通过另一个平行的基于UNet[18]的分支估计大气光。
[0010]尽管人们已经做出了许多努力来提高传统方法或基于学习的方法的性能，但仍然存在一些因素限制了这些方法的应用。这是由于大气散射模型只是对实际大气环境的模拟。在计算转移图和大气光时，误差很难避免，这直接导致恢复图像时的颜色失真。基于这一考虑，一些端到端去雾网络直接预测去雾图像，而不是利用大气散射模型。其中大多数是数据驱动的，难以处理分布不均匀的烟雾，这更接近现实世界的情况。同时，缺乏大量的真实数据集进行训练也降低和限制了去雾图像的性能。

技术实现思路

[0011]为了解决现有技术中存在的问题，本专利技术提出了一种完全端到端卷积神经网络 (CNN)，称为串行注意增强UNet++(AESUNet)去雾网络，用于单图像去雾。该方法可以在输入模糊图像时直接生成去雾后图像，无需中间参数的估计。
[0012]由于特征提取对于端到端的图像恢复任务至关重要，在本专利技术中，所设计的模型利用基于UNet的体系结构来捕获不同层之间的上下文信息，并增加每个像素的感受野。具体来说：
[0013]本专利技术使用增强的UNet模型，称为UNet++[19]作为特征提取器。尽管UNet的结构已经应用于图像去雾算法[17,20,21,22]，但尚无为单个图像去雾引入UNet++结构。本专利技术保留UNet在同时处理低度和深度上下文信息方面的出色性能的同时，通过长连接和复制裁剪策略减少下采样造成的信息损失，同时，UNet++增加了更密集的短连接和更多的跳过路径，这提高了使用不同分辨率特征的效率。考虑到模型参数的数量，本专利技术对模型进行了适当的修剪，并在本专利技术的方法中采用了两个 UNet++模块的串行策略。此外，还引入了注意机制来处理图片上不均匀分布的雾霾。
[0014]本专利技术的一种用于单幅图像去雾的串行注意增强UNet++去雾网络，首先建立串行注意增强UNet++去雾网络AESUNet；然后对AESUNet进行训练；建立AESUNet 是采用两个UNet++模块的串行策略；在两个UNet++模块之间建立了残差连接；在 AESUNet中引入了注意力机制；对于输入的原始模糊图像，两个串行的UNet++模块分别完全提取不同分辨率的特征，并在不同尺度上重建它们；当第一个UNet++模块的输出特征映射传递到第二个UNet++模块时，它也同时与第二个UNet++模块的输出特征残差连接，得到级联的特征映射；然后，使用注意力模块来处理它们，经两个卷积层得到最终提取的特征；最后，将原始模糊图像加入到最终提取的特征通道中，得到去雾图像。
[0015]本专利技术的技术效果说明如下：
[0016]本专利技术的串行注意增强UNet++去雾网络是一种完全端到端卷积神经网络，用于单幅图像去雾。该网络无需计算中间参数即可直接生成去雾图像。通过UNet++模块学习的上下文信息，本专利技术的方法能够以较少的颜色失真生成更真实的去雾图像。
[0017]该网络采用两个UNet++模块的串行策略，充分提取不同分辨率的特征，促进信息融合。为了避免浅层特征的丢失，本专利技术在两个UNet++模块之间建立了残差连接。在所提出的网络中使用适当的剪枝来减少参数的数量。
[0018]为了解决雾霾分布不均匀的问题，在网络中引入了注意力机制。通过学习不同通道和不同像素的不同权重，该模型能够处理不均匀烟雾，并在合成数据集和真实图像中实现理想的性能。
附图说明
[0019]图1是串行注意增强UNet++去雾网络AESUNet结构图，AESUNet包含两个 UN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于单幅图像去雾的串行注意增强UNet++去雾网络，首先建立串行注意增强UNet++去雾网络AESUNet；然后对AESUNet进行训练，其特征是建立的AESUNet采用两个UNet++模块的串行策略；在两个UNet++模块之间建立了残差连接；在AESUNet中引入了注意力机制；对于输入的原始模糊图像，两个串行的UNet++模块分别完全提取不同分辨率的特征，并在不同尺度上重建它们；当第一个UNet++模块的输出特征映射传递到第二个UNet++模块时，它也同时与第二个UNet++模块的输出特征残差连接，得到级联的特征映射；接着，引入注意力模块，通过学习不同通道和不同像素的不同权重，进而处理不均匀烟雾；然后，经两个卷积层将通道减少到三个，得到最终提取的特征；最后，将原始模糊图像加入到最终提取的特征通道中，得到去雾图像。2.根据权利要求1所述的用于单幅图像去雾的串行注意增强UNet++去雾网络，其特征是所述UNet++模块中，编码器包含三组卷积层Conv及其后紧邻的批量归一化BN和ReLU激活层；解码器的结构与编码器的结构相对应；在第二个UNet++模块的解码器输出端连接注意力模块；在编码器中：1.1)输入特征被下采样到一半大小；1.2)依次经第一组和第二组的卷积层Conv、批量归一化BN和ReLU激活层提取特征；1.3)将步骤1.1)的下采样结果添加到步骤1.2)提取特征中，交第三组卷积层Conv、批量归一化BN和ReLU激活层提取特征；在解码器中的过程与步骤1.1)～1.3)的步骤2.1)编码器输出特征经上采样到2倍大小；2.2)依次经第一组和第二组的卷积层Conv、批量归一化BN和ReLU层提取特征；2.3)将步骤2.1)的上采样结果添加到步骤2.2)提取特征中，交第三组卷积层Conv、批量归一化BN和ReLU激活层提取特征。3.根据权利要求1所述的用于单幅图像去雾的串行注意增强UNet++去雾网络，其特征是所述注意力模块包括通道注意模块和空间注意模块；在通道注意模...

【专利技术属性】
技术研发人员：赵亚琴，赵文轩，冯丽琦，唐佳希，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：