一种基于轻量级模型的实时图像去雾方法技术

本发明专利技术公开了一种基于轻量级模型的实时图像去雾方法，将有雾图像作为输入，经过模型中多个模块的处理后，最终为下游高层视觉任务提供具有较高视觉质量的去雾参考。本发明专利技术采用卷积核尺寸递增的卷积操作提取图像的多层级特征，利用门控融合模块进行特征交互，利用注意力机制进行特征加权，具有较强的可解释性。并利用改进的大气散射模型联合估计大气光和透射图。在有雾的天气条件下，它能实时提供输入图像的去雾参考，并保持良好的视觉质量。该方法的整体流程较为简洁、在实际应用中所需的计算量较小，具有较强的稳定性和泛化性能，能够适用于自动驾驶、视频监控、遥感影像等多种场景。场景。场景。

【技术实现步骤摘要】
一种基于轻量级模型的实时图像去雾方法


[0001]本专利技术涉及图像去雾
，特别涉及一种基于轻量级模型的实时图像去雾方法。

技术介绍

[0002]目标检测、分割、维修、压缩等多种计算机视觉工作取得了越来越精密的结果。但是，在有雾的天气下，如果照片输入中存在噪音、失真或损坏，则这些算法的性能可能会受到限制。这是由于水蒸气、沙子、灰尘、烟雾等小粒子悬浮在空气中时，摄像机吸收的光线产生衰减和散射，从而降低照片质量。因此，图像去雾是一项重要的底层视觉任务，其作为下游高层视觉任务的预处理，可以提高算法的精度，降低应用风险。
[0003]当前国际上，图像去雾主流的方法主要分为两类：第一类方法是基于先验知识进行去雾。最早使用的去雾方法是基于暗通道先验的方法(He,2010)。该方法假定所有受到雾影响的图像像素均在至少一个颜色通道内强度趋于零，该通道即为暗通道。但是，在天空像素中该先验条件很可能不满足，该区域颜色较亮，无法判断其是否受到雾气影响。此外，暗通道先验法具有较大的计算量。此外，基于半物理引导滤波的方法通过粗略估计雾的厚度图来恢复图像的纹理信息。一般来说，这些方法都受制于经验假设或者统计规律，这在一定程度上限制了应用场景。
[0004]第二类方法是基于神经网络的深度学习方法。基于深度学习的方法很多采用对称的编码器和解码器结构，其中最常见的网络结构是U
‑
Net。编码器用于提取图像多层级或多尺度的特征，解码器用于图像的高分辨率恢复，例如Wavelet
‑
U
‑<br/>Net(Yang,2019)，MSBDN(Dong,2020)等。其次，多路网络也得到了广泛的应用。它们一般在多个并行的网络分支提取同一特征的不同层次信息，比如不同的颜色空间，例如Review
‑
Net(Mehra,2020)，U
‑
Color(Li,2021)等。因此，使用残差机制和注意力机制对特征进行整合和加权是大多数基于深度学习的方法必不可少的环节。但是，由于很多方法采用了模块堆叠的策略，它们不能很好地兼顾方法的准确率和实时性，同时还容易在训练集上发生过拟合。
[0005]综合上述分析可知，目前基于先验假设和统计分析的方法准确度较低，适用场景有限。基于深度学习的大多数图像去雾方法在复杂度和效率方面仍然存在较大不足，在有雾的天气条件下作为目标检测、分割等下游任务的预处理所需的处理时间过长，虽然能在一定程度上减轻雾霾对图像质量的影响，但在加入去雾预处理的步骤后系统不能对输入图像进行实时响应。
[0006]因此，目前的大多数图像去雾方法无法满足实际应用和部署的需求。如何有效地提取有雾图像的特征并利用其恢复无雾图像，并尽可能提高系统的响应速度是需要解决的主要问题。

技术实现思路

[0007]本专利技术的目的在于提供一种基于轻量级模型的实时图像去雾方法，解决了大多数
图像去雾方法无法满足实际应用和部署的需求问题。
[0008]为实现上述目的，本专利技术采取的技术方案为：
[0009]本专利技术提供一种基于轻量级模型的实时图像去雾方法，包括以下步骤：
[0010]步骤A：获取待处理的原始带雾图像，采用卷积核大小递增的卷积操作序列，获取所述原始带雾图像的多层级特征；其中卷积核尺寸较小的卷积操作用于提取图像的低层级特征，卷积核尺寸较大的卷积操作用于提取图像的高层级特征；
[0011]步骤B：通过第一连接层将步骤A中的所述多层级特征进行合并；
[0012]步骤C：利用门控融合模块对步骤B中合并后的多层级特征进行特征交互，将不同层级的特征进行互补和融合；
[0013]步骤D：通过第二连接层将步骤A中的所述高层级特征与步骤C的输出再次进行连接和合并；
[0014]步骤E：采用注意力机制，对步骤D中所合并后的特征对于输出去雾参考的影响程度进行权衡；
[0015]步骤F：高分辨率重建，将步骤E中加权后的特征再次进行一系列的卷积操作，得到图像RGB三个通道的K值；
[0016]步骤G：将所述原始图像代入包含步骤F中所计算的K值的改进大气散射模型，得到与所述原始带雾图像相对应的去雾参考图像。
[0017]进一步地，所述步骤A中的卷积操作序列包括：卷积层1、卷积层2和卷积层3，卷积核大小分别为3
×
3，5
×
5和7
×
7；经过三个连续的卷积层后，将卷积层1和卷积层3之间进行像素级别的残差连接。
[0018]进一步地，所述步骤B中的第一连接层分别为卷积层1和卷积层3的残差加和、卷积层1以及卷积层2的输出。
[0019]进一步地，所述步骤C包括：
[0020]将所述第一连接层的三层信息作为门控融合模块的输入，所对应的特征图集合分别记为F1、F2和F3，第i层第j张特征图记为F
i,j
；
[0021]将三个集合的所有特征图经过卷积层4，得到三张特征图分别记为C1、C2和C3；
[0022]将所述三张特征图分别与F1、F2和F3像素级相乘，再将每一层对应位置的特征图进行像素级相加，则输出特征图中的第i层特征。
[0023]进一步地，所述步骤E包括：
[0024]采用由通道注意力模块和像素注意力模块组成的注意力机制；
[0025]其中，所述通道注意力模块对步骤D中所合并后的特征图使用全局平均池化，则第c张特征图的评价池化值M
c
，该特征图上的第s行、第t列元素值记为则M
c
用如下公式表示：
[0026][0027]其中，H、W分别为图片的高和宽；
[0028]再利用两个连续的卷积层和激活层进行变换，得到一个一维的权重向量，将该向量的第c个元素乘以第c张特征图，用如下公式表示：
[0029][0030]式中，和分别为两个卷积层，δ(
·
)和σ(
·
)分别为ReLU和Sigmoid激活函数；为通道级别的一维权重向量，为像素级别的相乘,该一维权重向量与每个通道分别相乘，所得到的特征图集合为
[0031]所述像素注意力模块将通道注意力的输出特征图在像素尺度上进行变换，输出值为推导公式如下：
[0032][0033]其中，和分别为两个卷积运算，σ(
·
)为Sigmoid激活函数。
[0034]进一步地，所述步骤F中高分辨率重建采用L2损失函数。
[0035]进一步地，所述步骤G中的改进大气散射模型的公式如下：
[0036]J(θ)＝K(θ)
×
I(θ)
‑
K(θ)+b
[0037]式中，K(θ)表示联合全球大气光A和透射图t后的合并变量K，用如下公式表示：
[0038][0039]式中，A为常数，表示全球大气光；t为每个元素范围在(0,1]的透射图；θ为H
×
W图像的像素坐标；I和J本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级模型的实时图像去雾方法，其特征在于，包括以下步骤：步骤A：获取待处理的原始带雾图像，采用卷积核大小递增的卷积操作序列，获取所述原始带雾图像的多层级特征；其中卷积核尺寸较小的卷积操作用于提取图像的低层级特征，卷积核尺寸较大的卷积操作用于提取图像的高层级特征；步骤B：通过第一连接层将步骤A中的所述多层级特征进行合并；步骤C：利用门控融合模块对步骤B中合并后的多层级特征进行特征交互，将不同层级的特征进行互补和融合；步骤D：通过第二连接层将步骤A中的所述高层级特征与步骤C的输出再次进行连接和合并；步骤E：采用注意力机制，对步骤D中所合并后的特征对于输出去雾参考的影响程度进行权衡；步骤F：高分辨率重建，将步骤E中加权后的特征再次进行一系列的卷积操作，得到图像RGB三个通道的K值；步骤G：将所述原始图像代入包含步骤F中所计算的K值的改进大气散射模型，得到与所述原始带雾图像相对应的去雾参考图像。2.根据权利要求1所述的一种基于轻量级模型的实时图像去雾方法，其特征在于，所述步骤A中的卷积操作序列包括：卷积层1、卷积层2和卷积层3，卷积核大小分别为3
×
3，5
×
5和7
×
7；经过三个连续的卷积层后，将卷积层1和卷积层3之间进行像素级别的残差连接。3.根据权利要求1所述的一种基于轻量级模型的实时图像去雾方法，其特征在于，所述步骤B中的第一连接层分别为卷积层1和卷积层3的残差加和、卷积层1以及卷积层2的输出。4.根据权利要求1所述的一种基于轻量级模型的实时图像去雾方法，其特征在于，所述步骤C包括：将所述第一连接层的三层信息作为门控融合模块的输入，所对应的特征图集合分别记为F1、F2和F3，第i层第j张特征图记为F
i,j
；将三个集合的所有特征图经过卷积层4，得到三张特征图分别记为C1、C2和C3；将所述三张特征图分别与F1、...

【专利技术属性】
技术研发人员：胡堃，金苡竹，陈嘉星，田丰，渠海榕，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：