基于先验生成对抗网络的图像去雾方法及模型技术

本发明专利技术公开了基于先验生成对抗网络的图像去雾方法，包括：收集成对的有雾图像和无雾图像构建训练集；对训练集的图像进行预处理，获得四通道的图像，所述四通道包括R、G、B三通道以及滤波后保留有高频与低频信息的第四通道；取四通道有雾图像的浅层特征并进行下采样，得到深层特征；对深层特征进行上采样以获取重构上采样特征，上采样过程中通过跳跃连接将上采样之前的图像特征融入重构上采样特征，重构出四通道的去雾图像；根据图像生成器损失和辨别器损失在训练集上训练所述图像去雾模型；图像生成器损失包括有雾图像与去雾图像之间的重建损失，对抗损失，以及表征去雾图像与无雾图像在HSV空间的区别的先验损失。无雾图像在HSV空间的区别的先验损失。无雾图像在HSV空间的区别的先验损失。

【技术实现步骤摘要】
基于先验生成对抗网络的图像去雾方法及模型


[0001]本专利技术涉及计算机视觉与图像处理
，具体涉及一种基于先验生成对抗网络的图像去雾方法及模型。

技术介绍

[0002]在雾或霾等天气情况下，室外空气中存在大量的微小悬浮颗粒会对光产生折射和散射，造成设备捕获的图像清晰度和对比度大幅度下降、色彩偏移，边缘轮廓模糊，重要信息被遮盖，在视觉上产生严重干扰，对图像进行去雾可以降低这些影响，并对下游各种计算机视觉任务进行优化。
[0003]图像去雾的方法大体可以分为传统基于大气散射物理模型的方法和基于神经网络的方法。基于物理模型的去雾方法主要是依据大气散射公式，分析构建雾霾退化的物理模型，通过优化求解去除雾、霾而不损伤图像的质量，还兼顾了多种景深图像的增强，即估计公式模型中的各项参数从而反向推导出无雾图像。随着深度学习的发展，神经网络被引入图像去雾算法中。基于神经网络的去雾方法主要分为物理模型参数估计和端到端去雾两种。前者依赖于大气散射模型，利用神经网络对模型中的参数进行估计；端到端的去雾方法利用卷积神经网络生成特征图像，通过上下采样的方式生成无雾图像。
[0004]传统基于大气散射物理模型的方法可以较快地进行图像去雾，并且在视觉上有一定的去雾效果，但其在颜色上会有较大改变，图像纹理恢复不明显。此外这种方法严重依赖于大气散射模型的估计参数，然而很多场景参数是无法准确估计的，整体上也难以达到好的去雾效果。
[0005]而基于神经网络的去雾方法仍存在以下几个问题：(1)大部分深度学习的方法都是利用卷积神经网络上下采样在有监督的情况下去雾，由于完全摒弃了传统方法的先验知识，导致物体轮廓恢复不清晰，颜色失真，去雾不彻底。(2)目前基于卷积神经网络的方法过于依赖于增加网络深度，即增强网络非线性能力的方法，导致训练成本高，训练时间长，去雾效果有限。
[0006]综上，基于大气散射模型的图像去雾方法适应性不强，去雾效果差；基于深度学习的方法缺乏有效的先验知识导致去雾效果仍有微弱瑕疵。

技术实现思路

[0007]本专利技术的主要目的在于克服现有技术的不足，提出一种基于先验生成对抗网络的图像去雾方法，以解决现有基于神经网络的去雾方法所存在的训练时间长、物体轮廓恢复不清晰、颜色失真、去雾不彻底的问题。
[0008]为达上述目的，本专利技术一方面提出如下技术方案：
[0009]一种基于先验生成对抗网络的图像去雾方法，包括对图像去雾模型进行训练的步骤，其中所述图像去雾模型包括图像生成器和辨别器，所述图像生成器用于将输入的有雾图像处理为去雾图像，所述辨别器用于辨别所述去雾图像是否为无雾图像；所述对图像去
雾模型进行训练的步骤包括：S1、收集成对的有雾图像和无雾图像构成图像对，利用图像对构建训练用的数据集，并将数据集划分为训练集和测试集；S2、对训练集的图像进行预处理，获得四通道的图像，所述四通道包括R、G、B三通道以及滤波后保留有高频与低频信息的第四通道；S3、对预处理后的训练集，提取四通道的有雾图像的浅层特征并进行下采样，得到深层特征；S4、对所述深层特征进行上采样以获取重构上采样特征，上采样过程中通过跳跃连接将上采样之前的图像特征融入所述重构上采样特征，重构出四通道的去雾图像；S5、根据图像生成器损失和辨别器损失，在训练集上训练所述图像去雾模型；其中，所述图像生成器损失包括：所述有雾图像与所述去雾图像之间的重建损失，对抗损失，以及表征所述去雾图像与所述无雾图像在HSV空间的区别的先验损失；其中，HSV空间包括代表色调的H通道、代表饱和度的S通道和代表明度的V通道。
[0010]进一步地，所述图像去雾方法还包括：利用所述测试集在已完成训练的所述图像去雾模型上进行测试，并根据测试结果判断去雾效果，所述去雾效果利用峰值信噪比PSNR和结构相似度SSIM两个指标来衡量。
[0011]进一步地，步骤S2具体包括：S21、读取训练集中图像的灰度图并通过傅里叶变换转换到频域；S22、利用带阻滤波器对所述灰度图进行滤波，获得保留有图像低频和高频信息的第四通道；S23、将所述第四通道与R、G、B三通道拼接，形成所述四通道的图像。
[0012]进一步地，所述带阻滤波器为60Hz的带宽，距离中心频率为25Hz。
[0013]进一步地，所述有雾图像与所述去雾图像之间的重建损失包括：像素层面重建损失以及表征语义级重建损失的感受损失，所述像素层面重建损失使用L1损失来衡量，所述感受损失用特征映射空间的感受相似度和风格相似度来衡量；
[0014]所述像素层面重建损失为：其中，N表示图像生成器处理的样本个数，是输入图像生成器的四通道的所述有雾图像，是四通道的所述无雾图像，是图像生成器输出的四通道的所述去雾图像；
[0015]所述感受损失为：其中，φ(
·
)代表特征映射vgg16网络第30层的映射关系，为所述有雾图像的RGB输入，为所述无雾图像的RGB输入，x
′
是x的转置，此处x作为一个通用符号，代表或
[0016]所述对抗损失为：其中，M为辨别器处理的样本个数，是辨别器的输出；
[0017]所述先验损失为：
其中，和分别代表图像生成器输出的四通道的去雾图像在HSV空间下的H通道和SV通道，和分别是四通道的无雾图像在HSV空间下的H通道和SV通道，是四通道的有雾图像在HSV空间下的SV通道，ε是一个用来避免分母为0的极小常数；代表输入数据x的S通道x
s
和V通道x
v
之间的差值，此处x作为一个通用符号，代表表或
[0018]所述图像生成器损失为其中λ1，λ2，λ3，λ4是损失权重。
[0019]进一步地，所述辨别器损失为：
[0020]进一步地，所述图像去雾方法还包括：S6、获取待处理图像，并进行所述预处理获得对应的四通道的待处理图像；S7、将预处理后的待处理图像输入至训练好的所述图像去雾模型，输出对应的四通道的去雾图像。
[0021]本专利技术另一方面还提出一种基于先验生成对抗网络的图像去雾模型，包括：图像预处理模块，用于将图像预处理成四通道的图像，所述四通道包括R、G、B三通道以及滤波后保留有高频与低频信息的第四通道；图像生成器，连接于所述图像预处理模块的输出端，用于对输入的四通道的有雾图像进行去雾处理，以输出四通道的去雾图像；所述去雾处理包括：提取四通道的有雾图像的浅层特征并进行下采样，得到深层特征；对所述深层特征进行上采样以获取重构上采样特征，上采样过程中通过跳跃连接将上采样之前的图像特征融入所述重构上采样特征，重构出四通道的去雾图像；辨别器，连接于所述图像生成器的输出端，用于辨别图像生成器输出的去雾图像是否为无雾图像。
[0022]进一步地，所述图像生成器包括：第一浅层特征提取模块，连接于所述图像预处理模块的输出端，用于提取图像的浅层特征；下采样模块，连接于所述浅层特征提取模块的输出端，用于对浅层特征进行下采样，获得深层特征；上采样模块，连接于所述下采样模块的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于先验生成对抗网络的图像去雾方法，其特征在于，包括对图像去雾模型进行训练的步骤，其中所述图像去雾模型包括图像生成器和辨别器，所述图像生成器用于将输入的有雾图像处理为去雾图像，所述辨别器用于辨别所述去雾图像是否为无雾图像；所述对图像去雾模型进行训练的步骤包括：S1、收集成对的有雾图像和无雾图像构成图像对，利用图像对构建训练用的数据集，并将数据集划分为训练集和测试集；S2、对训练集的图像进行预处理，获得四通道的图像，所述四通道包括R、G、B三通道以及滤波后保留有高频与低频信息的第四通道；S3、对预处理后的训练集，提取四通道的有雾图像的浅层特征并进行下采样，得到深层特征；S4、对所述深层特征进行上采样以获取重构上采样特征，上采样过程中通过跳跃连接将上采样之前的图像特征融入所述重构上采样特征，重构出四通道的去雾图像；S5、根据图像生成器损失和辨别器损失，在训练集上训练所述图像去雾模型；其中，所述图像生成器损失包括：所述有雾图像与所述去雾图像之间的重建损失，对抗损失，以及表征所述去雾图像与所述无雾图像在HSV空间的区别的先验损失；其中，HSV空间包括代表色调的H通道、代表饱和度的S通道和代表明度的V通道。2.如权利要求1所述的图像去雾方法，其特征在于，还包括：利用所述测试集在已完成训练的所述图像去雾模型上进行测试，并根据测试结果判断去雾效果，所述去雾效果利用峰值信噪比PSNR和结构相似度SSIM两个指标来衡量。3.如权利要求1所述的图像去雾方法，其特征在于，步骤S2具体包括：S21、读取训练集中图像的灰度图并通过傅里叶变换转换到频域；S22、利用带阻滤波器对所述灰度图进行滤波，获得保留有图像低频和高频信息的第四通道；S23、将所述第四通道与R、G、B三通道拼接，形成所述四通道的图像。4.如权利要求3所述的图像去雾方法，其特征在于，所述带阻滤波器为60Hz的带宽，距离中心频率为25Hz。5.如权利要求1所述的图像去雾方法，其特征在于，所述有雾图像与所述去雾图像之间的重建损失包括：像素层面重建损失以及表征语义级重建损失的感受损失，所述像素层面重建损失使用L1损失来衡量，所述感受损失用特征映射空间的感受相似度和风格相似度来衡量；所述像素层面重建损失为：其中，N表示图像生成器处理的样本个数，是输入图像生成器的四通道的所述有雾图像，是四通道的所述无雾图像，是图像生成器输出的四通道的所述去雾图像；所述感受损失为：
其中，φ(
·
)代表特征映射vgg16网络第30层的映射关系，为所述有雾图像的RGB输入，为所述无雾图像的RGB输入，x
′
是x的转置，此处x作为一个通用符号，代表或所述对抗损失为：其中，M为辨别器处理的样本...

【专利技术属性】
技术研发人员：梁斌，王学谦，柴晓萱，周俊池，武双飞，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：