一种基于轻量化深度神经网络的低光照图像去雾方法技术

本发明专利技术公开了一种基于轻量化深度神经网络的低光照图像去雾方法，主要解决低光照场景下雾图特征提取困难、缺乏对图像色偏的有效校正，以及去雾网络结构复杂，占用资源较多的问题。所述方法包括如下步骤：构建含有合成低光照雾图和真实低光照雾图的训练及测试数据集；构建用于低光照图像去雾的端到端轻量化深度神经网络，包含轻量化多级特征融合子模块和轻量化通道注意力子模块；构建网络目标损失函数；使用构建的数据集对网络进行训练；将低光照场景下的有雾图像输入到训练好的网络得到去雾后图像。本发明专利技术在保持复原图像对比度的前提下，更好校正图像色偏、恢复图像细节，同时有资源占用少、参数量小和运算量低的优点。参数量小和运算量低的优点。参数量小和运算量低的优点。

【技术实现步骤摘要】
一种基于轻量化深度神经网络的低光照图像去雾方法


[0001]本专利技术涉及一种图像去雾方法，特别是一种基于轻量化深度神经网络的低光照图像去雾方法。

技术介绍

[0002]图像去雾是监控安防、图像增强领域很重要的技术。在雾、霾等天气条件下，能见度严重下降，导致视觉系统获取的图像严重降质。特别是在早晨、傍晚和夜晚这些低光照雾霾场景下，雾对成像质量的影响被进一步放大，图像对比度更低，细节更模糊，影响目标检测、跟踪和识别等高级视觉任务的性能。因此，低光照雾霾场景图像去雾有着十分重要的意义和应用价值。
[0003]现有的低光照去雾算法大体分为传统方法和深度学习方法两类。现阶段传统算法居多，例如Jiang等人提出了一种基于引导图像滤波理论的低光照图像去雾方法，有效减弱了夜间雾场景中各种人造光源的干扰，见Jiang B,Meng H,Ma X,et al.Nighttime image Dehazing with modified models of color transfer and guided image filter[J].Multimedia tools and applications,2018,77(3):3125
‑
3141；Yang等设计了一种新的照明模型，引入基于视网膜理论的结构保持优化流以获得环境照明，并提出了一种基于变化的鲁棒夜间图像去雾流，以更好地解决夜间场景中的非全局大气光问题，见C.
‑
H.Yang,Y.
‑
H.Lin and Y./>‑
C.Lu,"A Variation
‑
Based Nighttime Image Dehazing Flow With aPhysically Valid Illumination Estimator and a Luminance
‑
Guided Coloring Model,"in IEEE Access,vol.10,pp.50153
‑
50166,2022,doi:10.1109/ACCESS.2022.3173330。但随着深度学习的发展，大量实验表明，在图像复原领域，深度学习的方法比传统方法有更强的泛化能力和增强效果，并且更容易与高级视觉任务(目标检测、识别、分割)对接。典型的正常光照下的去雾算法都有着优秀的处理结果，如Dong等人提出了一个多尺度增强去雾网络，将增强策略和反投影技术结合起来用于图像去雾，见DONG H,PAN J,XIANG L,et al.Multi
‑
scale boosted dehazing network with dense feature fusion[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2020:2157
‑
2167；Chen等人提出了基于门控的信息聚合网络来去除图像中的雾，并使用平滑膨胀技术来修复恢复图中存在的网格效应，见CHEN D,HE M,FAN Q,et al.Gated context aggregation network for image dehazing and deraining[C]//2019IEEE winter conference on applications of computer vision(WACV).IEEE,2019:1375
‑
1383；Qin等人提出了一个基于混合注意力的特征融合网络，见QIN X,WANG Z,BAIY,et al.FFA
‑
Net:Feature fusion attention network for single image dehazing[C]//Proceedings of the AAAI Conference on Artificial Intelligence.2020,34(07):11908
‑
11915。这些算法在正常光照去雾任务中表现优秀，然而仍存在不足之处，主要体现在以下两方面：(1)在夜间非单一光源场景下，如夜间常见的黄色路灯，现有方法缺乏对图像色偏的有效校正，图像易出现严重的色偏现象；(2)模型往
往内存占用多且处理速度慢，在实际部署时往往因为计算资源受限而不利于应用。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供特别是一种基于轻量化深度神经网络的低光照图像去雾方法。
[0005]为了解决上述技术问题，本专利技术公开了特别是一种基于轻量化深度神经网络的低光照图像去雾方法，包括以下步骤：
[0006]步骤1，构建含有合成低光照雾图和真实低光照雾图的训练数据集及测试数据集；
[0007]步骤2，构建用于低光照图像去雾的端到端轻量化深度神经网络；
[0008]步骤3，构建所述用于低光照图像去雾的端到端轻量化深度神经网络的目标损失函数；
[0009]步骤4，采用步骤1中构建的训练数据集对步骤2中构建的用于低光照图像去雾的端到端轻量化深度神经网络进行训练；
[0010]步骤5，将低光照场景下的有雾图像输入到经过步骤4训练好的用于低光照图像去雾的端到端轻量化深度神经网络，得到去雾后图像，完成基于轻量化深度神经网络的低光照图像去雾。
[0011]有益效果：
[0012]第一，本专利技术网络由于引入轻量化多级特征融合模块和轻量化通道注意力模块使网络在保证良好去雾效果的同时，还具有资源占用少、参数量小和运算量低的优点。
[0013]第二，本专利技术网络由于引入内容损失和色彩损失对网络进行联合优化，使网络在保持复原图像对比度的前提下，可以更好地校正图像色偏，提高视觉效果，恢复图像细节并且弥补低光照对去雾的影响。
附图说明
[0014]下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和/或其他方面的优点将会变得更加清楚。
[0015]图1为本专利技术的总流程示意图。
[0016]图2为轻量化多级特征融合子模块结构示意图。
[0017]图3为轻量化通道注意力子模块结构示意图。
[0018]图4为用于低光照图像去雾的轻量化深度神经网络架构示意图。
[0019]图5为本专利技术的加雾数据集对比示意图。
[0020]图6为用本专利技术对合成雾图的处理效果示意图。
[0021]图7为用本专利技术对真实雾图的处理效果示意图。
具体实施方式
[0022]下面结合附图对本专利技术的具体实施方式及效果作进一步说明。
[0023]如图1所示，本专利技术的具体实现步骤如下：
[0024]步骤1：构建含有合成低光照雾图和真实低光照雾图的训练及测试数据集。从公开的低光照去雾数据集中选择了两个不同的数据集来训练和测试网络，即HDP...

【技术保护点】

【技术特征摘要】
1.一种基于轻量化深度神经网络的低光照图像去雾方法，其特征在于，包括以下步骤：步骤1，构建含有合成低光照雾图和真实低光照雾图的训练数据集及测试数据集；步骤2，构建用于低光照图像去雾的端到端轻量化深度神经网络；步骤3，构建所述用于低光照图像去雾的端到端轻量化深度神经网络的目标损失函数；步骤4，采用步骤1中构建的训练数据集对步骤2中构建的用于低光照图像去雾的端到端轻量化深度神经网络进行训练；步骤5，将低光照场景下的有雾图像输入到经过步骤4训练好的用于低光照图像去雾的端到端轻量化深度神经网络，得到去雾后图像，完成基于轻量化深度神经网络的低光照图像去雾。2.根据权利要求1中所述的一种基于轻量化深度神经网络的低光照图像去雾方法，其特征在于，步骤1中所述的合成低光照雾图的获取方法如下：在现有的数据集中清晰图像的基础上，采用基于图像的深度图合成雾图的方法进行加雾，在已知图像的深度图的情况下，结合大气散射模型，处理过程如下：I(x)＝L(x)η(x)R(x)t(x)+L(x)η(x)(1
‑
t(x))其中，x是像素索引，I(x)是低光照含雾图像，L(x)和η(x)是光源的光照强度和色偏，R(x)是反射率，t(x)是雾霾透射率，根据深度图获取全局透射率值t(x)，得到加雾后的图像I(x)。3.根据权利要求2中所述的一种基于轻量化深度神经网络的低光照图像去雾方法，其特征在于，步骤2中所述的用于低光照图像去雾的端到端轻量化深度神经网络，使用编码器
‑
解码器架构；其中，编码器部分将输入转化为特征，解码器部分将特征转化为期望得到的目标，所述目标即得到去雾后图像；编码器
‑
解码器架构分为四层，各层分别由卷积层、轻量化多级特征融合模块、轻量化通道注意力模块以及反卷积层构成；具体构建方法如下：步骤2
‑
1，建立轻量化多级特征融合模块；步骤2
‑
2，建立轻量化通道注意力模块；步骤2
‑
3，组成所述用于低光照图像去雾的端到端轻量化深度神经网络。4.根据权利要求3中所述的一种基于轻量化深度神经网络的低光照图像去雾方法，其特征在于，步骤2
‑
1中所述的建立轻量化多级特征融合模块的具体方法如下：步骤2
‑1‑
1，分别建立分离卷积子模块和GSC子模块；步骤2
‑1‑
2，将所述轻量化多级特征融合模块的输入送入分离卷积子模块，输出结果与所述轻量化多级特征融合模块最初的输入进行维度连接后送入GSC子模块，输出结果与GSC子模块的输入以及所述最初的输入进行维度连接，组成轻量化多级特征融合模块。5.根据权利要求4中所述的一种基于轻量化深度神经网络的低光照图像去雾方法，其特征在于，步骤2
‑1‑
1中所述的分离卷积子模块，结构包括：卷积核大小为3*1，步长为1的卷积层、第一ReLu激活函数层、卷积核大小为1*3，步长为1的卷积层、BN归一化层与第二ReLu激活函数层顺次叠加作为叠加层，并将叠加层输出的特征和分离卷积子模块的原始输入特征在通道维度进行拼接，拼接后的结果为所述分离卷积子模块的输出。6.根据权利要求5中所述的一种基于轻量化深度神经网络的低光照图像去雾方法，其特征在于，步骤2
‑1‑
1中所述的GSC子模块，结构如下：
卷积核大小为1*1，步长为1的卷积层、BN归一化层与ReLu激活函数层顺次叠加得到特征a；将特征a输入卷积核大小为3*3的Ghost卷积层、BN归一化层与ReLu激活函数层顺次叠加得到特征b；将特征a与特征b在通道维度进行拼接，最后加入shuffle操作后得到结果即为所述GSC子模块输出。7.根据权利要求6中所述的一种基于轻量化深度神经网络的低光照图像去雾方法，其特征在于，步骤2
‑
2所述的建立轻量化通道注意力模块的方法包括：所述轻量化通道注意力模块，包括：分组卷积层、SE子模块、卷积层以及shuffle层：其中，所述分组卷积层由卷积核大小为3*3的分组卷积，BN归一化层级联组成；所述SE子模块包括：将平均池化层、卷积核大小为1*1的卷积层、BN归一化层、ReLu激活函数层、卷积核大小为1*1的卷积层以及Sigmoid激活函数层顺次叠加，并将叠加后输出的特征和SE子模块的原始输入特征进行逐像素乘操作，得到上述操作后的结果即为所述SE子模块的输出；所述卷积层由卷积核大小为1*1的卷积和BN归一化层级联组成；所述轻量化通道注意力模块的结构关系为：分组卷积层、SE子模块、卷积层以及shuffle层依次串联后与轻量化通道注意力模块的原始输入进行残差相加，残差相加后结果即为轻量化通道注意力模块的输出结果。8.根据权利要求7中所述的一种基于轻量化深度神经网络的低光照图像去雾方法方法，其特征在于，步骤2
‑
3所述的组成所述用于低光照图像去雾的端到端轻量化深度神经网络的方法，包括：在Pytorch框架下使用卷积单元、残差模块、所构建的轻量化多级特征融合模块以及轻量化通道注意力模块，分别构成编码器
‑
解码器结构，进一步组成用于低光照图像去雾的端到端轻量化深度神经网络，所述网络包括四层编解码结构，层间通过逐像素...

【专利技术属性】
技术研发人员：朱伟，陈平，谈青青，吉咸阳，董小舒，吴靓浩，孙宜斌，辛付豪，章林，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：