一种基于DefogNet的单幅图像去雾方法技术

本发明专利技术公开了一种基于DefogNet的单幅图像去雾方法，该方法以CycleGAN为基础进行适当优化，在生成器中采用跨层连接的结构，增加了模型的多尺度特征提取能力，有效避免过拟合的发生，从而优化图像的质量；设计了独特的损失函数，添加细节感知损失和色彩感知损失，避免去雾操作导致图像的颜色差异、重建缺失等情况，有效提高了去雾后图像的还原度；提出了Defog‑SN算法改进了判别器的结构，使得整个判别网络满足1‑Lipschitz连续，增强了模型的稳定性，有效避免了GANs网络易崩溃的问题。该方法仅仅需要大量的图像便能够顺利达到训练网络的目的，完全省略了人为提取特征的操作，并且不需要场景先验信息，具备了更强的实用性以及精确度，属于一种适应范围较广的方法。

【技术实现步骤摘要】
一种基于DefogNet的单幅图像去雾方法
本专利技术涉及图像处理领域，尤其涉及一种基于DefogNet的单幅图像去雾方法。
技术介绍
雾、霾等天气环境下采集的图像往往存在对比度低、场景不清晰、颜色误差较大等问题，易对目标检测和语义分割等计算机视觉算法的应用产生负面影响。因此，无须使用任何先验信息直接对单幅图像完成去雾处理的方法，在计算机视觉及人工智能领域具有重要的研究价值。目前常见的去雾方法根据原理的不同可以划分为三种：1.图像增强技术，此方法关注的重点主要集中在图像本身的对比度等信息；雾霾图像对比度等信息一定程度上反映了雾霾的严重程度，但针对这类直观信息的方法缺少对雾霾图像形成机理的探究，往往在去雾过程中丢失细节信息，难以达到良好的去雾效果。2.以物理模型为基础的图像复原法，此方法从成像机制上对有雾图片展开研究，主要通过先验知识和物理模型相结合的方式完成去雾操作，但须估算先验信息。3.以神经网络为基础的去雾方法，此方法主要使用神经网络来完成雾霾特征提取，由此完成去雾处理。这些方法训练时往往对带雾图像和其相对应的无雾图像具有真实性的要求，数据本文档来自技高网...

【技术保护点】
1.一种基于DefogNet的单幅图像去雾方法，其特征在于，该方法包括如下步骤：/n在训练阶段，首先构建有雾图像样本数据集X和无雾图像样本数据集Y，同时构造DefogNet网络训练模型，利用有雾图像样本数据集X和无雾图像样本数据集Y训练所述DefogNet网络训练模型，得到最终DefogNet网络模型；/n在测试阶段，首先将有雾图像归一化至特定尺寸，然后将归一化后的有雾图像输入至DefogNet网络模型，输出得到生成的去雾图像；/n其中，所述DefogNet网络模型具体包括：/n第一生成器和第二生成器，所述第一生成器用于接收输入带雾图像和合成的带雾图像，生成对应的去雾图像；所述第二生成器用于接...

【技术特征摘要】
1.一种基于DefogNet的单幅图像去雾方法，其特征在于，该方法包括如下步骤：
在训练阶段，首先构建有雾图像样本数据集X和无雾图像样本数据集Y，同时构造DefogNet网络训练模型，利用有雾图像样本数据集X和无雾图像样本数据集Y训练所述DefogNet网络训练模型，得到最终DefogNet网络模型；
在测试阶段，首先将有雾图像归一化至特定尺寸，然后将归一化后的有雾图像输入至DefogNet网络模型，输出得到生成的去雾图像；
其中，所述DefogNet网络模型具体包括：
第一生成器和第二生成器，所述第一生成器用于接收输入带雾图像和合成的带雾图像，生成对应的去雾图像；所述第二生成器用于接收输入无雾图像和合成的无雾图像，生成对应的带雾图像；
第一生成器对应第一判别器，第二生成器对应第二判别器，第一判别器和第二判别器用于判别输入图像来源于真实数据集或合成数据集；
所述DefogNet网络训练模型通过在图像背景保持不变的情况下学习雾霾特征，通过两个生成器和两个判别器的循环对抗中对模型参数进行更新，直至DefogNet网络训练模型目标函数小于设定的阈值，表示训练完成，得到所述DefogNet网络模型。


2.根据权利要求1所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，所述第一生成器和第二生成器的网络结构均为编码器-转换器-解码器；所述编码器及解码器采用卷积层、激活层、BN层；转换器采用Denseblock的稠密连接结构，包括卷积层和激活层；
所述第一判别器和第二判别器均采用CNN网络模型，共6个层级结构，每个层级包括卷积层、激活层、BN层和谱归一化层。


3.根据权利要求2所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，所述编解码器和解码器中的激活层使用LeakyReLU激活函数：

式中，x为上层卷积的输入；
所述转换器中的激活层使用SeLU激活函数：

式中，x为上层卷积的输入；α、λ为系数。


4.根据权利要求3所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，添加细节感知损失与色彩感知损失，构成了DefogNet的损失函数：
Ldefog＝LCYC+Ldpl+Lcpl(I)
式中，Ldefog为DefogNet的损失函数；LCYC为CycleGAN损失函数；Ldpl为细节感知损失函数；Lcpl(I)为色彩感知损失函数；
所述CycleGAN损失函数由生成器与判别器的对抗损失函数和循环一致性损失函数构成：
LCYC＝LGAN(G，DY，X，Y)+LGAN(F，DX，X，Y)+γLCCL
式中，LCYC为CycleGAN损失函数；LGAN(G，DY，X，Y)表示判别器对真实样本的概率估计；LGAN(F，DX，X，Y)表示判别器对生成样本的概率估计；γ为循环一致损失的权重；LCCL为循环一致性损失函数。


5.根据权利要求4所述的一种基于DefogNet的单幅图像去雾方法，其特征在于，所述细节感知损失包括：
(1)第一生成器的细节感知损失函数：



式中，Ldpl(GX→Y)为第一生成器的细节感知损失函数；X、Y表示两个数据域；x表示数据域X内的样本数据；y表示数据域Y内的样本数据；G表示X到Y的映射函数，F表示Y到X的映射函数；DX、DY分别表示第一判别器和第二判别器；为数据域X内的样本数据的期望分布；为数据域Y内的样本数据的期望分布；
(2)第二生成器的细节感知损失函数：



式中，Ldpl(FY→X)为第二生成器的细节感知损失函数；
(3)所述第一生成器和第二生成器的细节感知损失函数构成DefogNet的细节感知损失函数：
Ldpl＝Ldpl(FX→Y)+Ldpl(GY→X)
式中，Ldpl为DefogNet的细节感知损失函数。


6.根据权利要求4所述的一种基于DefogNet的单幅...

【专利技术属性】
技术研发人员：陈苏婷，范文昊，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32