融合多级特征的生成式对抗网络图像去雾方法技术

本发明专利技术涉及一种融合多级特征的生成式对抗网络图像去雾方法。该方法基于深度学习的端到端的去雾算法，在下采样时，针对不同分辨率的有雾图像分别进行特征提取，并将提取的不同的特征图通过SE

【技术实现步骤摘要】
融合多级特征的生成式对抗网络图像去雾方法


[0001]本专利技术属于图像处理
，具体涉及一种融合多级特征的生成式对抗网络图像去雾方法。

技术介绍

[0002]雾霾天气下，相机从场景接收的辐照度沿视线衰减，大气中的浑浊介质会吸收景物图像的光线，导致拍摄到的图像失去对比度和色彩保真度，降低图像的质量，直接影响到诸如视频监控、遥感影像、自动导航与目标识别等任务。因此，通过设计算法模型消除图像中雾霾因素的带来的不利影响，将雾天图像还原成清晰的图像，使得人们能从图像中获取更多所需要的信息。现有的图像去雾算法主要分为两类，即传统图像去雾方法和基于深度学习的去雾方法。
[0003]经典的传统去雾方法主要是基于对大气散射模型的构建来获取去雾后图像，但其去雾后的图像整体颜色偏暗沉并且图像边缘容易失真，或者对图像中的天空区域容易失效并且计算量大。由于传统方法求取参数有明显的人为干扰因素，导致去雾效果不太理想，近年来基于深度学习的去雾方法开始兴起。Cai等人[1]提出了一个可训练的网络(DeHazeNet)来估计图像透射率，即输入有雾图像，通过网络输出相应的透射率图。Ren等人[2]设计一个多尺度卷积神经网络架构学习图像特征(MSCNN)，先由粗尺度网络估计粗略的场景透射率图，再由精细尺度细化该图。由于大气光值存在人为干扰因素，逐渐出现了不再单独估计透射率和大气光值，而是通过卷积神经网络直接生成去雾结果的网络，即输入有雾图像，通过网络直接输出对应的去雾结果。Li等人[3]首先提出端到端的图像去雾算法(AOD
‑/>Net)，该算法通过将透射率和大气光值化为一个参数，基于这个参数完成对去雾图像的重构。Ren等人[4]基于编码
‑
解码结构设计了一个端到端的网络(GFN)。该算法首先对给定的有雾图像执行三个预处理操作(即，白平衡，对比度增强，伽马校正)。使用三个预处理结果作为网络输入，并通过网络学习生成相应的特征图，将三个预处理结果与三个特征图融合，以获得最终的图像去雾结果。
[0004]基于深度学习的端到端的网络大多是通过学习图形特征来获取图形去雾结果。近年来，生成式对抗网络(GAN)结构在图像
‑
图像的转换中发挥了良好的作用，一些研究人员将这种结构应用于设计图像去雾算法，取得了不错的效果。因此为了获取更多的图形特征来更好的建模有雾图形，本专利技术提出一个融合多级特征的生成式对抗网络图像去雾算法。

技术实现思路

[0005]本专利技术的目的在于为了更好的去除图像中的雾气，还原图像细节信息，提供一种融合多级特征的生成式对抗网络图像去雾方法。
[0006]为实现上述目的，本专利技术的技术方案是：一种融合多级特征的生成式对抗网络图像去雾方法，将U
‑
Net的结构嵌入生成式对抗网络的生成器中，提出一种融合多级特征的生成式对抗网络，包括用于生成去雾图像的生成器、用于判别去雾图像与标签图像并反馈结
果至生成器的判别器；生成器生成去雾图像方式为：首先，在下采样时，针对不同分辨率的有雾图像分别进行特征提取，并将提取的不同的特征图通过SE
‑
ResNet模块学习；而后，将学习后的多级特征图进行拼接，融合更多图像特征；然后，在上采样时，将融合后的特征图放入SE模块学习，以更好的分配通道权值，增强有用特征；接着，将学习好的特征图与上采样特征图拼接，融合更多图像信息；最后，将网络学习的残差图与输入的有雾图像相加，得到最终的图像去雾结果。
[0007]在本专利技术一实施例中，所述生成器中的卷积核都为3
×
3。
[0008]在本专利技术一实施例中，所述判别器中，使用9次卷积，每次卷积的卷积核都为5
×
5，每层的通道数分别为64、64、128、128、256、256、512和512，然后将其折叠成一维数组。
[0009]在本专利技术一实施例中，对于三种分别是256
×
256、128
×
128和64
×
64的分辨率的有雾图像，在下采样时，对每层特征图同等分辨率的有雾图像进行特征提取，然后经过SE
‑
ResNet模块学习，将学习到的特征图与该层原有特征图进行拼接，融合更丰富的图像特征；在下采样第二层中，将下采样中该层原特征图和分辨率为128
×
128的有雾图像卷积后并经过SE
‑
ResNet模块学习后的特征图进行拼接；在下采样第三和四层中，将三种特征图进行拼接，分别是下采样中该层原特征图、分辨率为128
×
128的有雾图像卷积并经过SE
‑
ResNet模块学习后的特征图和分辨率为64
×
64的有雾图像卷积并经过SE
‑
ResNet模块学习后的特征图。
[0010]在本专利技术一实施例中，所述SE
‑
ResNet模块是在残差块中加入SE模块；其中，
[0011]残差块结构输入x
l
和输出x
l+1
的关系式为：
[0012]x
l+1
＝x
l
+F(x
l
,ω
l
)
[0013]ω
l
是第l层的权重，F(
·
)是非线性变换；
[0014]SE模块先将输入的特征图经过全局平均池化进行压缩成一维向量后，接着进行激励操作即按全连接层、ReLU层、全连接层、Sigmoid层的顺序组成，更好的构建通道间的相关性，最后通过Scale操作将权重加权到原来的特征上；SE模块通过对通道加权来强调有效信息和淡化无效信息，更好的获取图像特征，提升网络性能。
[0015]在本专利技术一实施例中，所述生成器采用均方差作为损失函数，损失函数公式为：
[0016][0017]其中，n为图像的像素点数量，y为网络输出的去雾结果，为相应的标签图像。
[0018]在本专利技术一实施例中，所述判别器采用二值交叉熵作为损失函数，判别器公式如下：
[0019][0020]其中，x代表标签图像，z代表有雾图像，G(z)表示生成器输出的去雾结果，P
data
(x)代表标签图像的数据分布，P
z
(z)代表有雾图像的数据分布，E代表这些分布的数学期望，D()代表判别器。
[0021]相较于现有技术，本专利技术具有以下有益效果：
[0022](1)本专利技术方法将U
‑
Net的结构嵌入生成式对抗网络的生成器中，提出一个融合多级特征的生成式对抗网络图像去雾方法；
[0023](2)本专利技术方法在提取特征时，不同分辨率的有雾图像进行特征提取，并融合多级特征图来获得更多图像特征；
[0024](3)本专利技术方法使用SE模块和SE
‑
ResNet模块来进一步学习图像特征和更好的拟合特征图的通道间的相关性，增强有效信息；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多级特征的生成式对抗网络图像去雾方法，其特征在于，将U
‑
Net的结构嵌入生成式对抗网络的生成器中，提出一种融合多级特征的生成式对抗网络，包括用于生成去雾图像的生成器、用于判别去雾图像与标签图像并反馈结果至生成器的判别器；生成器生成去雾图像方式为：首先，在下采样时，针对不同分辨率的有雾图像分别进行特征提取，并将提取的不同的特征图通过SE
‑
ResNet模块学习；而后，将学习后的多级特征图进行拼接，融合更多图像特征；然后，在上采样时，将融合后的特征图放入SE模块学习，以更好的分配通道权值，增强有用特征；接着，将学习好的特征图与上采样特征图拼接，融合更多图像信息；最后，将网络学习的残差图与输入的有雾图像相加，得到最终的图像去雾结果。2.根据权利要求1所述的融合多级特征的生成式对抗网络图像去雾方法，其特征在于，所述生成器中的卷积核都为3
×
3。3.根据权利要求1所述的融合多级特征的生成式对抗网络图像去雾方法，其特征在于，所述判别器中，使用9次卷积，每次卷积的卷积核都为5
×
5，每层的通道数分别为64、64、128、128、256、256、512和512，然后将其折叠成一维数组。4.根据权利要求1所述的融合多级特征的生成式对抗网络图像去雾方法，其特征在于，对于三种分别是256
×
256、128
×
128和64
×
64的分辨率的有雾图像，在下采样时，对每层特征图同等分辨率的有雾图像进行特征提取，然后经过SE
‑
ResNet模块学习，将学习到的特征图与该层原有特征图进行拼接，融合更丰富的图像特征；在下采样第二层中，将下采样中该层原特征图和分辨率为128
×
128的有雾图像卷积后并经过SE
‑
ResNet模块学习后的特征图进行拼接；在下采样第三和四层...

【专利技术属性】
技术研发人员：李佐勇，冯婷，蔡远征，郑祥盘，曾坤，
申请(专利权)人：闽江学院，
类型：发明
国别省市：