一种基于对比学习的半监督图像去雾方法技术

本发明专利技术公开了一种基于对比学习的半监督图像去雾方法。分别利用仿真数据集和真实未匹配的数据集对所提出的去雾模型进行训练，缩小了仿真数据与真实雾霾数据之间的域差异，有效的提升了去雾模型的泛化能力。该去雾模型包含有两个分支，即有监督去雾分支和无监督去雾分支。具体来说，有监督去雾分支采用匹配的雾化

【技术实现步骤摘要】
一种基于对比学习的半监督图像去雾方法


[0001]本专利技术主要涉及图像去雾领域，基于对比学习范式，提出了一种半监督的图像去雾方法，有效的实现图像去雾目的。

技术介绍

[0002]由于雾霾等恶劣天气，获取的户外图像往往存在对比度低、清晰度差和颜色退化等问题，严重影响了后续计算机视觉任务的进行。因此，图像去雾技术受到了广泛的关注，即将有雾的图像恢复为干净清晰的图像。
[0003]现有的研究表明，图像去雾是一个典型的病态问题。早期的去雾方法主要依赖各种先验知识对透射率和大气传输系数等参数进行估计，然后基于大气散射模型恢复得到清晰的去雾图像。然而，所依赖的先验知识并不完全是可靠的，在自然条件下，上述基于先验知识的去雾方法容易导致欠佳的效果。
[0004]近年来，随着深度学习技术的日益发展，越来越多的研究人员将卷积神经网络应用到图像去雾领域。通过构建不用的网络模型，以参数学习的方式回归得到透射率和大气传输系数、或直接端到端的恢复得到去雾图像。这类方法很大程度上的克服了基于先验知识去雾方法的缺点，取得了优异的去雾效果。通常来讲，基于深度学习的去雾方法需要大量的成对数据集用于训练，即雾化图像
‑
清晰图像对。然而，在自然条件下获取成对的数据集是难以实现的，现有的解决方法主要是通过大气散射模型，仿真生成模拟的成对数据集。不幸的是，由于仿真数据集与真实数据集之间存在着较大的域差异，在仿真数据集上训练得到的模型去雾泛化能力较差，导致在实际场景下去雾效果不佳。因此，亟需提升去雾模型在真实雾霾环境下的泛化能力，实现更加高效去雾。

技术实现思路

[0005]为解决上述问题，本专利技术提出了一种基于对比学习的半监督图像去雾方法。分别应用仿真数据集和真实数据集对所构建的去雾模型进行训练，缩小了仿真数据与真实雾霾数据之间的域差异，有效的提升了去雾模型的泛化能力。所提出的去雾模型包含有两个分支：有监督去雾分支和无监督去雾分支。具体来说，有监督去雾分支采用匹配的雾化
‑
清晰数据集用于训练，通过MSE损失函数和结构化损失函数对模型进行优化约束。无监督去雾分支利用未匹配的数据集用于训练，即真实雾霾图像和清晰无雾图像，通过暗通道先验损失函数和梯度损失函数对模型进行无监督的优化约束。此外，在无监督去雾分支中，引入对比学习范式，构建一个共享的潜在空间。其中，将有雾图像看作为负样本，无雾图像看作为正样本，使得生成的去雾图像拉近正样本而推离负样本，提升模型的去雾能力。
[0006]本专利技术所采用的技术方案是，一种基于对比学习的半监督图像去雾方法，具体按照以下步骤实施：
[0007]步骤1：基于卷积神经网络的去雾模型构建。采用编解码结构作为去雾网络的主体框架，引入循环卷积、通道注意力模块和残差结构作为模型特征提取的核心，有效提升模型
特征表示能力的同时，缓解模型的内存问题；
[0008]步骤2：去雾模型分为两个独立分支，即有监督分支和无监督分支。采用交替训练的方式，对共享的特征权重进行参数更新，以此来优化网络；
[0009]步骤3：在有监督去雾分支中，将匹配的仿真数据集用于网络训练。其中，MSE损失函数和结构化损失函数作为网络的约束函数，进行参数更新；
[0010]步骤4：在无监督去雾分支中，采用不匹配的真实数据集进行模型训练。其中，利用暗通道先验和梯度先验作为网络的无监督约束条件，此外，基于对比学习范式，使得生成的去雾图像更加接近真实清晰域、远离雾化域，提升网络的整体去雾效果。
[0011]本专利技术的特点还在于：
[0012]步骤1具体实施过程如下：受各类图像恢复任务的影响，所提出的去雾模型采用经典的编解码结构。其中，编码器将输入的RGB图像映射到高维特征空间，经特征筛选、重组后，解码器将所得到的衍生特征返回到原始通道，得到去雾后的图像。
[0013]在具体的结构设计中，主要有循环卷积、通道注意力模块和残差结构这三要点。相较于传统卷积，循环卷积在参数量不变的基础上，拓展了网络的深度，更好的实现了特征积累；通道注意力模块对特征的重要性进行自适应的划分，以此来提升对重要特征的选择；残差结构缓解了网络训练中梯度消失、弥散等问题，提升了模型训练的稳定性。
[0014]步骤2的具体实施过程如下：去雾模型整体包含有两个独立分支，即有监督去雾分支和无监督去雾分支。在模型的训练过程中，两分支交替进行，实现模型参数更新与优化。
[0015]步骤3中的具体实施过程如下：在有监督去雾分支中，训练所需要的数据集均来自于模拟仿真生成，其中，包含有雾化模糊图像和真实清晰图像两类。通过利用MSE损失函数和结构化损失函数对有监督分支进行条件约束，进而实现网络参数更新的目的。
[0016]步骤4中的具体实施过程如下：在无监督去雾分支中，训练所需要的数据集均来自于真实世界，其中，包含有真实雾化模糊图像和真实清晰图像两类。采用不匹配的真实数据集进行模型训练。其中，利用暗通道先验和梯度先验作为网络的无监督约束条件，此外，基于对比学习范式，引入对比损失，使得生成的去雾图像更加接近真实清晰域、远离雾化域，提升网络的整体去雾效果。
[0017]综上所述，本专利技术的主要贡献在于：
[0018](1)本专利技术提供了一种基于对比学习的半监督图像去雾方法，分别利用仿真和真实的雾化数据集进行模型训练，提升了去雾模型的泛化能力。
[0019](2)本专利技术提供了一种基于对比学习的半监督图像去雾方法，整体模型采用编解码结构。通过引入循环卷积、通道注意力模块和残差模块，提升模型去雾性能。
[0020](3)本专利技术提供了一种基于对比学习的半监督图像去雾方法，在有监督去雾分支中，利用MSE损失和结构化损失作为约束条件，在像素级与特征级上提升模型去雾效果。
[0021](4)本专利技术提供了一种基于对比学习的半监督图像去雾方法，在无监督去雾分支中，基于对比学习范式，使得生成的去雾图像更加接近清晰域，远离雾化域。
附图说明
[0022]图1为本专利技术提出基于对比学习的半监督去雾网络结构示意图；
[0023]图2为本专利技术所提出的编解码去雾结构示意图；
[0024]图3为本专利技术所提出的特征提取层与通道注意力结构示意图；
具体实施方式
[0025]下面结合附图和具体实施例对本专利技术进行详细说明。应指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的，附图所展示的结构是实际结构的一部分。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0026]本专利技术提出了一种基于对比学习的半监督图像去雾方法。分别利用仿真数据集和真实未匹配的数据集对所构建的去雾模型进行训练，缩小了仿真数据与真实雾霾数据之间的域差异，有效的提升了去雾模型的泛化能力。所提出的去雾模型包含有两个分支：有监督去雾分支和无监督去本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的半监督图像去雾方法，其特征在于：步骤1：基于卷积神经网络的去雾模型构建，采用编解码结构作为模型的主体框架。引入循环卷积、通道注意力模块和残差结构作为模型特征提取的核心，有效提升模型特征表示能力的同时，缓解模型的内存问题；步骤2：去雾模型分为两个独立分支，即有监督分支和无监督分支。采用交替训练的方式，对共享的特征权重进行参数更新，以此来优化去雾网络；步骤3：在有监督去雾分支中，将匹配的仿真数据集用于网络训练。其中，MSE损失和结构化损失作为网络的约束函数，进行参数优化更新；步骤4：在无监督去雾分支中，采用不匹配的真实数据集进行模型训练。在训练过程中，利用暗通道先验和梯度先验作为网络的无监督约束条件，此外，基于对比学习范式，使得生成的去雾图像更加接近真实清晰域、远离雾化域，提升网络的整体去雾效果。2.如权利要求1所述的一种基于对比学习的半监督图像去雾方法，其特征在于：编解码结构作为模型的主体架构，其中，编码器将输入的RGB图像映射到高维特征空间中，经特征筛选、重组后，解码器将所得到的衍生特征返回到原始通道，得到最后的去雾图像。3.如权利要求1所述的一种基于对比学习的半监督图像去雾方法，其特征...

【专利技术属性】
技术研发人员：董立泉，易伟超，刘明，蔡博雍，惠梅，孔令琴，赵跃进，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：