一种融合鉴别器的单幅图像去雾方法技术

本发明专利技术公开了一种融合鉴别器的单幅图像去雾方法，步骤如下：构建训练用的无雾图像和其对应的有雾图像组成成对数据集，并进行图像预处理；搭建图像去雾模型,其中，在生成器网络上引入了一个细节增强(DE)模块，在鉴别器网络上额外增加图像的高频(HF)和低频(LF)信息，将它们作为附加的先验和约束集成到鉴别器中；设计联合损失函数,在损失函数中加入感知损失；将所述训练数据集输入搭建的图像去雾模型中进行训练，得到优化后的去雾模型,接着输入有雾图像到训练好的去雾模型中，得到清晰无雾图像。本发明专利技术在视觉上产生了令人愉快的去雾效果，解决了输出的去雾图像存在细节丢失、颜色失真和伪影等问题。失真和伪影等问题。失真和伪影等问题。

【技术实现步骤摘要】
一种融合鉴别器的单幅图像去雾方法


[0001]本专利技术涉及图像去雾处理
，尤其涉及一种融合鉴别器的单幅图像去雾方法。

技术介绍

[0002]雾是一种常见的大气现象，其中灰尘、烟雾或其他漂浮颗粒极大地吸收和散射光，导致图像质量下降。有雾图像通常会丢失对比度、色彩保真度和边缘信息，这会降低场景的可见性，进而对许多后续的计算机视觉任务和相关应用(如分类、定位和自动驾驶系统)带来极大的困扰。因此，利用图像去雾技术去除图像中的雾霾并提高图像清晰度具有重要的现实意义和应用价值。
[0003]目前，图像去雾算法主要分为三类:基于图像增强的去雾算法、基于物理模型的去雾算法、基于深度学习的去雾算法。基于图像增强的去雾算法主要是增强图像的对比度和饱和度，来提升图像质量的视觉效果，但忽略了有雾图像的降质因素，可能会发生图像中部分信息丢失的情况，导致图像失真。基于物理模型的去雾算法主要通过合理的假设和先验知识估计有雾图像的透射率和大气光，并带入大气散射模型中，得到去雾后的图像，虽然这类算法可恢复良好的图像细节，但当采用的假设和先验在一些特定场景下不成立时，会造成去雾后的图像存在伪影、颜色失真及过饱和等问题。基于深度学习的去雾算法利用卷积神经网络从大量训练数据中提取图像特征，同时学习图像对之间的映射关系。其去雾算法可分为两种：一种是基于大气散射模型，利用神经网络对模型中的参数进行估计，达到去雾效果；另一种是直接学习有雾图像到清晰图像之间的映射关系，输出去雾后的图像，完成端到端的图像去雾。前者缺乏对中间参数的联合估计，且在优化过程中对图像去雾后的质量约束比较单一，而后者端到端的图像去雾算法中对有雾图像特征提取不充分，输出的去雾图像往往存在颜色失真、残留雾霾和细节丢失等问题。

技术实现思路

[0004]针对现有去雾技术中去雾后的图像存在细节丢失、颜色失真和伪影等问题，本专利技术提出一种融合鉴别器的单幅图像去雾方法。该方法与其他生成对抗网络不同的是，在生成器上增加了细节增强(DE)模块，使每一层生成的图的细节都得到了增强，进而提高了去雾图像的细节质量；同时引入了一种将频率信息作为附加先验信息的融合鉴别器，使去雾图像减少颜色失真和伪影。
[0005]本专利技术提出的一种融合鉴别器的单幅图像去雾方法，步骤如下：
[0006]S1、构建训练用的无雾图像和其对应的有雾图像组成成对数据集，并进行图像预处理；
[0007]S2、搭建图像去雾模型
[0008]在生成器网络上引入了一个细节增强(DE)模块，该模块通过对生成模块的各层网络细节进行修正，以提高去雾图像的细节质量；
[0009]在鉴别器网络上额外增加图像的高频(HF)和低频(LF)信息，将它们作为附加的先验和约束集成到鉴别器中，此融合鉴别器可以减少颜色失真，具有很强的去雾能力；
[0010]S3、设计联合损失函数,在损失函数中加入感知损失，以增加图像的细节信息，使去雾图像更具有视觉真实性；
[0011]S4、将所述训练数据集输入搭建的图像去雾模型中进行训练，得到优化后的去雾模型,输入有雾图像到训练好的去雾模型中，得到清晰无雾图像。
[0012]可选的,所述步骤S1的图像预处理先将图像像素尺寸放大到286
×
286，再中心裁剪成像素尺寸为256
×
256的图像。
[0013]可选的，所述步骤S2中搭建图像去雾模型具体包括以下子步骤：
[0014]S21、搭建生成器网络中的生成模块，所述的生成模块由卷积层Conv、实例归一化IN层和激活函数ReLU层组成，第一个卷积层Conv1的核大小为1
×
1，第二个卷积层Conv2的核大小为3
×
3，第三个卷积层Conv3的核大小为5
×
5，第四个卷积层Conv4的核大小为7
×
7，第五个卷积层Conv5的核大小为3
×
3，第六个卷积层Conv6的核大小为1
×
1，将雾图输入到生成模块中，输出无雾图像G(I)；
[0015]S22、搭建生成器网络中的DE模块，所述的DE模块由卷积层Conv、实例归一化IN层和激活函数ReLU层构成，这些层具有相同的结构，其卷积层的核大小皆为1
×
1，该模块主要是利用上采样操作和非线性空间转移，吸收训练数据集的低级特征，然后输出相同数据的高级特征，为生成模块提供指导，确保生成模块在生成清晰无雾图像时不会有大的偏差；
[0016]S23、对真实图像J和生成图像G(I)应用拉普拉斯算子以获得其对应的高频(HF)信息J
HF
和G(I)
HF
，用以强调图像的边缘、纹理、细节等；
[0017]S24、对真实图像J和生成图像G(I)分别应用高斯滤波器以获得其对应的低频(LF)信息J
LF
和G(I)
LF
，用以强调图像的亮度、颜色和对比度信息；
[0018]S25、搭建图像去雾模型中的融合鉴别器网络，该网络由5个卷积层Conv组成，且每个卷积层的核大小皆为4
×
4，首先将生成器生成的图像G(I)和其对应的G(I)
HF
，G(I)
LF
进行级联或真实图像J和其对应的J
HF
，J
LF
进行级联，接着送入鉴别器进行训练，利用HF和LF信息帮助鉴别器区分有雾图像和无雾图像之间的纹理和主要颜色的差异，便于生成器生成更真实、更清晰的图像。
[0019]可选的，所选步骤S3中所述图像去雾模型的联合损失函数为：
[0020]所述感知损失L
P
为：
[0021][0022]其中，M表示图像生成器处理的样本个数，φ(G(I
i
))表示VGG16网络内的第30层获得的生成图像G(I
i
)的特征图，φ(J
i
)表示VGG16网络内的第30层获得的真实图像J
i
的特征图；
[0023]所述像素损失L1为：
[0024][0025]其中，M表示图像生成器处理的样本个数，I
i
表示输入的有雾图像，G(I
i
)表示生成器输出的无雾图像，J
i
表示真实无雾图像；
[0026]所述结构相似性SSIM损失L
S
为：
[0027][0028]L
S
＝1
‑
SSIM(G(I),J)
[0029]其中，μ
G(I)
表示生成图像G(I)的平均值，μ
J
表示真实图像J的平均值，表示生成图像G(I)的方差，表示真实图像J的方差，σ
G(I)J
表示生成图像G(I)和真实图像J的协方差，C1和C2表示用于保持稳定性的常数；
[0030]所述对抗损失L
G
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合鉴别器的单幅图像去雾方法，其特征在于，包括如下步骤：S1、构建训练用的无雾图像和其对应的有雾图像组成成对数据集，并进行图像预处理；S2、搭建图像去雾模型在生成器网络上引入了一个细节增强(DE)模块，该模块通过对生成模块的各层网络细节进行修正，以提高去雾图像的细节质量；在鉴别器网络上额外增加图像的高频(HF)和低频(LF)信息，将它们作为附加的先验和约束集成到鉴别器中，此融合鉴别器可以减少颜色失真，具有很强的去雾能力；S3、设计联合损失函数，在损失函数中加入感知损失，以增加图像的细节信息，使去雾图像更具有视觉真实性；S4、将所述训练数据集输入搭建的图像去雾模型中进行训练，得到优化后的去雾模型，输入有雾图像到训练好的去雾模型中，得到清晰无雾图像。2.如权利要求1所述的一种融合鉴别器的单幅图像去雾方法，其特征在于，所述步骤S1的图像预处理先将图像像素尺寸放大到286
×
286，再中心裁剪成像素尺寸为256
×
256的图像。3.如权利要求1所述的一种融合鉴别器的单幅图像去雾方法，其特征在于，所述步骤S2中搭建图像去雾模型具体包括以下子步骤：S21、搭建生成器网络中的生成模块，所述的生成模块由卷积层Conv、实例归一化IN层和激活函数ReLU层组成，第一个卷积层Conv1的核大小为1
×
1，第二个卷积层Conv2的核大小为3
×
3，第三个卷积层Conv3的核大小为5
×
5，第四个卷积层Conv4的核大小为7
×
7，第五个卷积层Conv5的核大小为3
×
3，第六个卷积层Conv6的核大小为1
×
1，将雾图输入到生成模块中，输出无雾图像G(I)；S22、搭建生成器网络中的DE模块，所述的DE模块由卷积层Conv、实例归一化IN层和激活函数ReLU层构成，这些层具有相同的结构，其卷积层的核大小皆为1
×
1，该模块主要是利用上采样操作和非线性空间转移，吸收训练数据集的低级特征，然后输出相同数据的高级特征，为生成模块提供指导，确保生成模块在生成清晰无雾图像时不会有大的偏差；S23、对真实图像J和生成图像G(I)应用拉普拉斯算子以获得其对应的高频(HF)信息J
HF
和G(I)
HF
，用以强调图像的边缘、纹理、细节等；S24、对真实图像J和生成图像G(I)分别应用高斯滤波器以获得其对应的低频(LF)信息J
LF
和G(I)
LF
，用以强调图像的亮度、颜色和对比度信息；S25、搭建图像去雾模型中的融合鉴别器网络，该网络由5个卷积层Conv组成，且每个卷积层的核大小皆为4
×
4，首先将生成器生成的图像G(I)和其对应的G(I)
HF
，G(I)<...

【专利技术属性】
技术研发人员：段锦，万晓玲，王佳林，陈广秋，姚安妮，刘举，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：