一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法技术

本发明专利技术涉及基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，属图像处理领域。本发明专利技术设计了一种将真实场景下的有雾图像中的雾迁移到清晰图像上以生成数据集，然后再利用一种以特征聚合为基础的去雾网络实现图像去雾的方法。在雾迁移的过程中，设计了一种多层次特征分块鉴别方法将真实场景中的雾迁移到清晰图像上以生成有雾图像训练数据集，该数据集中图像拥有与真实有雾场景下的雾图像相似的风格和在雾图像中的雾的分布特性。此外，通过细粒度细节信息和语义信息聚合的方式实现提取特征的补充以实现图像去雾。该方法在真实场景下的有雾图像上取得了良好的去雾效果，极大克服了合成数据集训练的去雾模型在真实有雾图像上泛化性能较差的问题。雾图像上泛化性能较差的问题。雾图像上泛化性能较差的问题。

【技术实现步骤摘要】
一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法


[0001]本专利技术涉及图像处理领域，特别是涉及一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法。

技术介绍

[0002]图像去雾是一种用于改善图像质量的图像处理技术，优质的图像质量能够为高水平计算机视觉任务如图像识别和分类、语义分割、目标检测等任务起到良好的辅助作用。在图像去雾中，研究者考虑到雾的成像原理—图像质量退化的主要原因一方面是目标物体反射的光受到大气中悬浮粒子的吸收和散射作用，使物体反射的光衰减，一方面是太阳光等环境光受大气中散射介质的散射作用形成背景光，且这部分背景光强度大于目标物体反射的光。因此导致采集到的图像亮度降低、对比度下降且结果模糊不清。根据这一成像原理，早期的研究者们利用图像中存在的统计规律设计先验来实验图像去雾。然而，该方法因为受到图像先验准确性的限制，经常导致去雾过度(局部区域颜色失真)或者去雾不足(有大量的雾残留)的情况。
[0003]近年来，随着深度学习技术的发展和大规模数据的出现，研究者们开始用深度学习和机器学习技术解决各种各样的问题。图像处理技术也不例外，然而，在图像去雾中，我们不可能同时从同一时间，同一地点获取一对既有雾又无雾的图像。因此有研究者根据雾的成像原理设计了大气散射模型，并根据大气散射模型合成有雾图像数据集来训练深度神经网络去雾模型，以这种方式训练的模型虽然在合成测试集上取得了良好的去雾效果，但在真实场景中的雾图像上并不友好。
[0004]因此，本专利技术设计了一种能够适应真实场景下有雾图像域的有雾图像合成方法并设计了相应的特征提取模块来实现图像去雾。设计的有雾图像合成方法以真实场景中的雾图像作为辅助信息，联合多层次特征分块鉴别器通过对抗训练的方式来合成更加适应真实场景有雾图像域的有雾图像。此外，设计细节纹理信息和深层语义信息互补的细粒度特征补偿模块和残差密集注意力模块以实现特征的聚合，从而能够更好的实现图像去雾。

技术实现思路

[0005]本专利技术提供了一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，本方法在真实场景下的有雾图像上取得了良好的去雾效果，在一定程度上克服了合成公开数据集训练去雾模型后在真实有雾图像域上泛化性能较差的问题。
[0006]本专利技术所采用的技术方案是：一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，包括如下步骤：
[0007]Step1预训练透射图估计网络：通过室内有雾图像和与之相对应的透射图预训练透射图估计网络；
[0008]Step2估计真实有雾图像的全局大气光:通过暗通道先验的原理,首先找到真实有雾图像的暗通道,再找到暗通道中最亮的像素作为大气光；
[0009]Step3利用大气散射模型生成有雾图像：利用透射图估计网络估计出真实场景有雾图像的透射图，然后结合Step2中的全局大气光和清晰图像生成有雾图像；
[0010]Step4对透射图估计网络进行微调：通过多层次特征分块鉴别器与透射图估计网络进行对抗训练，使Step3中生成的有雾图像风格和真实场景下的有雾图像尽可能相似；
[0011]Step5设计清晰图像特征提取器和去雾网络的结构：设计了残差密集注意力模块和细粒度特征信息补偿模块实现特征聚合；
[0012]Step6训练清晰图像特征提取器：将清晰图像作为清晰图像特征提取器的输入，最终重建出清晰图像，保证清晰图像提取到的中间特征尽可能准确；
[0013]Step7训练去雾网络：将Step3中生成的有雾图像作为去雾网络的输入，以Step6提取的清晰图像特征作为中间特征监督，训练去雾网络，得到最终训练好的去雾模型；
[0014]Step8利用Step7中的模型对有雾图像进行去雾并对去雾结果进行评估。
[0015]作为本专利技术的进一步方案，所述Step1中的训练集为RESIDE数据集中室内合成有雾图像和与之相对应的透射图，将透射图作为标签，训练透射图估计网络，使其拥有生成透射图的能力，在训练过程中损失函数如下所示：
[0016]L
ct
＝||T(X
in
)
‑
t(x)||1[0017]其中，X
in
为RESIDE数据集中室内合成有雾图像，t(x)为X
in
对应的透射图，直接从RESIDE公开数据集中的ITS子集中获得，T(
·
)为透射图估计网络T；
[0018]该损失函数约束网络使其生成的透射图和标签透射图保持一致。
[0019]作为本专利技术的进一步方案，所述Step2中：首先在图像中15
×
15的区域找出像素最小值，然后在这些最小值中找出最亮的像素作为全局大气光的值。
[0020]作为本专利技术的进一步方案，所述Step3中假设I为真实雾场景下的图像，为清晰无雾图像，且和I非成对；假设用于估计透射图t(x)的网络为T，根据透射图估计网络T，从I中估计出透射图t(x)，再按照暗通道先验原理估计出大气光A，然后根据估计出的t(x)和大气光A，生成雾图像
[0021][0022]作为本专利技术的进一步方案，所述Step4中，通过多层次特征分块鉴别器对生成的雾图像和真实场景下的雾图像不仅做图像级的鉴别，而且做特征块级的鉴别，进而微调透射图估计网络，使其生成的透射图更加适应合格的雾图像的生成，使生成的雾图像风格与真实场景下的雾图像更加相似，微调时的对抗损失函数如下所示：
[0023][0024][0025]其中，和分别表示图像鉴别器和特征分块鉴别器的损失；D
img
、D
fea
分别表示图像鉴别器和特征分块鉴别器；分别表示真实雾图像，真实雾图像的大气光和清晰无雾图像，其中I和不成对；F
I
和分别表示真实雾图像和生成雾图像输入到图像鉴别器D
img
的过程中得到的某层的特征，其次，将透射图估计网络和大气散射模型统称为雾生成
器，训练该雾生成器的损失函数L
G
定义为：
[0026][0027]其中，T(
·
)和分别表示预训练好的透射图估计网络和再训练时的透射图估计网络。
[0028]作为本专利技术的进一步方案，所述Step5中设计了一个细粒度特征信息补偿模块，该模块由细粒度细节信息补偿模块和细粒度深层语义信息补偿模块两部分构成，同时补充了纹理细节信息和语义信息，起到很好的特征聚合作用。
[0029]作为本专利技术的进一步方案，所述Step6中清晰图像特征提取器的作用是用于提取足够准确的清晰图像的特征，为保证该提取器提取的中间特征足够准确，将提取到的特征再次重建为清晰图像以判断中间的特征是否准确。
[0030]作为本专利技术的进一步方案，所述Step7中利用生成的有雾图像和它相对应的清晰图像作为数据集训练去雾网络，其中生成的有雾图像作为网络的输入，清晰图像作为标签，同时加入清晰图像特征提取器的特征监督，训练去雾网络的损失函数如下所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，包括如下步骤：Step1、预训练透射图估计网络：通过室内有雾图像和与之相对应的透射图预训练透射图估计网络；Step2、估计真实有雾图像的全局大气光：通过暗通道先验的原理，首先找到真实有雾图像的暗通道，再找到暗通道中最亮的像素作为大气光；Step3、利用大气散射模型生成有雾图像：利用透射图估计网络估计出真实场景有雾图像的透射图，然后结合Step2中的全局大气光和清晰图像生成有雾图像；Step4、对透射图估计网络进行微调：通过多层次特征分块鉴别器与透射图估计网络进行对抗训练，使Step3中生成的有雾图像风格和真实场景下的有雾图像尽可能相似；Step5、设计清晰图像特征提取器和去雾网络的结构：设计了残差密集注意力模块和细粒度特征信息补偿模块实现特征聚合；Step6、训练清晰图像特征提取器：将清晰图像作为清晰图像特征提取器的输入，最终重建出清晰图像，保证清晰图像提取到的中间特征尽可能准确；Step7、训练去雾网络：将Step3中生成的有雾图像作为去雾网络的输入，以Step6提取的清晰图像特征作为中间特征监督，训练去雾网络，得到最终训练好的去雾模型；Step8、利用Step7中的模型对有雾图像进行去雾并对去雾结果进行评估。2.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step1中的训练集为RESIDE数据集中室内合成有雾图像和与之相对应的透射图，将透射图作为标签，训练透射图估计网络，使其拥有生成透射图的能力，在训练过程中损失函数如下所示：L
ct
＝||T(X
in
)
‑
t(x)||1其中，X
in
为RESIDE数据集中室内合成有雾图像，t(x)为X
in
对应的透射图，直接从RESIDE公开数据集中的ITS子集中获得，T(
·
)为透射图估计网络T；该损失函数约束网络使其生成的透射图和标签透射图保持一致。3.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step2中：首先在图像中15
×
15的区域找出像素最小值，然后在这些最小值中找出最亮的像素作为全局大气光的值。4.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step3中假设I为真实雾场景下的图像，为清晰无雾图像，且和I非成对；假设用于估计透射图t(x)的网络为T，根据透射图估计网络T，从I中估计出透射图t(x)，再按照暗通道先验原理估计出大气光A，然后根据估计出的t(x)和大气光A，生成雾图像照暗通道先验原理估计出大气光A，然后根据估计出的t(x)和大气光A，生成雾图像5.根据权利要求1所述的基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，其特征在于，所述Step4中，通过多层次特征分块鉴...

【专利技术属性】
技术研发人员：张亚飞，高继蕊，李华锋，谢明鸿，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：