基于跨阶段局部连接的轻量化图像去雾方法技术

本申请提供一种基于跨阶段局部连接的轻量化图像去雾方法,包括以下步骤：获取样本清晰图像数据以及所述样本清晰图像数据相对应的合成有雾图像，作为目标训练集；对所述目标训练集的数据进行预处理，获得输入特征图像；构建基于跨阶段局部连接的图像去雾网络模型，包括局部残差组合模块、自适应特征融合模块、可变形卷积模块；采用所述局部残差组合模块对所述输入特征图像进行特征提取，再通过所述自适应特征融合模块输出融合特征，最后通过所述可变形卷积模块重建并输出样本网络去雾图像；训练初始图像去雾网络模型，计算重建损失与对比损失，以反向传播更新所述初始图像去雾网络模型的参数；获得训练好的图像去雾网络模型。获得训练好的图像去雾网络模型。获得训练好的图像去雾网络模型。

【技术实现步骤摘要】
基于跨阶段局部连接的轻量化图像去雾方法


[0001]本申请涉及深度学习和图像处理，特别涉及一种基于跨阶段局部连接的轻量化图像去雾方法。

技术介绍

[0002]数字图像作为记录人类视觉系统的载体，已经与我们的日常生活息息相关。而计算机视觉在近年来成为了人工智能领域的重要研究方向，因此在我们的安防监控、移动设备、医疗、智慧交通、航空航天等日常生活诸多领域中发挥着重要的作用。数字图像处理的过程本质上是将成像传感器捕捉到的信号转换为与当前拍摄场景一致的图像。
[0003]但是，在成像过程中由于传感器质量、拍摄者能力、拍摄场景、成像环境等诸多因素，最终形成的图像往往不能清晰、明确的记录场景中的有效信息。而该类的低质量的数字图像，首先在直观感觉上无法满足人类的视觉需求，同时会影响后续计算机视觉高级任务的处理效果。而在雾霾天气下，空气中的悬浮粒子(雾、霾、水溶胶以及灰尘等)会吸收物体本身的光线同时造成折射和散射现象。因此雾霾天气下采集到的图像颜色会偏灰白，细节不清晰，同时对比度以及可识别度下降，会直接导致图像在诸多领域的应用以及处理效果无法满足所需要求。
[0004]例如，在安防监控以及自动驾驶领域，有雾图像将对信息采集带来诸多干扰，不利于后续的目标检测或人脸识别等任务；在军事侦察领域，对于图像的信息精度要求极高，有雾图像的部分信息丢失容易造成极大损失。一张清晰的高质量成像图片，场景颜色对比度、背景的结构信息、运动物体的边界都可以被准确的记录下来。然而在恶劣天气下的有雾图像中由于对比度下降，从而其中的物体难以辨认。
[0005]因此如何根据有雾图像中的信息恢复图像中的有用特征，排除天气因素的干扰，增强图像的清晰程度，提高视觉系统的鲁棒性具有重要的现实意义。

技术实现思路

[0006]本申请各示例性实施例提供一种基于跨阶段局部连接的轻量化图像去雾方法，以至少实现根据有雾图像中的信息恢复图像中的有用特征，增强图像的清晰程度的技术效果。
[0007]本申请各示例性实施例提供一种基于跨阶段局部连接的轻量化图像去雾方法，该方法包括以下步骤：获取样本清晰图像数据以及所述样本清晰图像数据相对应的合成有雾图像，作为目标训练集；对所述目标训练集的数据进行预处理，获得输入特征图像；构建基于跨阶段局部连接的图像去雾网络模型，包括局部残差组合模块、自适应特征融合模块、可变形卷积模块；采用所述局部残差组合模块对所述输入特征图像进行特征提取，再通过所述自适应特征融合模块输出融合特征，最后通过所述可变形卷积模块重建并输出样本网络去雾图像；训练初始图像去雾网络模型，计算重建损失与对比损失，以反向传播更新所述初始图像去雾网络模型的参数；获得训练好的图像去雾网络模型，对目标图像进行去雾操作。
[0008]在一实施例中，所述对所述目标训练集的数据进行预处理中，所述预处理包括图像配对、图像裁剪以及数据增广；所述图像配对为将样本清晰图像数据以及所述样本清晰图像数据相对应的合成有雾图像进行逐一对应，形成数据对；所述图像裁剪对目标训练集的训练样本裁剪成240
×
240尺寸；所述数据增广为对目标训练集的训练样本的像素值归一化到[
‑
1,1]之间，同时将裁剪的图像通过随机水平翻转和90
°
旋转进行数据增强。
[0009]在一实施例中，所述采用所述局部残差组合模块对所述输入特征图像进行特征提取，再通过所述自适应特征融合模块输出融合特征，最后通过所述可变形卷积模块重建并输出样本网络去雾图像，包括：所述局部残差组合模块包含了三个局部残差组合，配置为，该局部残差组合由六个跨阶段残差注意力模块和一个卷积层组成并通过残差方式进行连接，跨阶段残差注意力由跨阶段局部连接结构和特征注意力模块组成，其中跨阶段局部连接结构包含三个残差块和两个空洞卷积，而特征注意力模块包含了通道注意力和空间注意力，经过特征提取阶段，其中在每个跨阶段残差注意力中，通过通道分离的方式将特征进行逐步分离并最终进行跨阶段融合，同时为不同通道和空间特征赋予不同权重。
[0010]在一实施例中，所述采用所述局部残差组合模块对所述输入特征图像进行特征提取，再通过所述自适应特征融合模块输出融合特征，最后通过所述可变形卷积模块重建并输出样本网络去雾图像，包括：所述自适应特征融合模块配置为，为不同局部残差组合输出的多层级特征赋予不同权重并进行自适应融合。
[0011]在一实施例中，所述采用所述局部残差组合模块对所述输入特征图像进行特征提取，再通过所述自适应特征融合模块输出融合特征，最后通过所述可变形卷积模块重建并输出样本网络去雾图像，包括：所述可变形卷积模块包含了两个可变形卷积和两个普通卷积层，配置为，经过重建阶段进行特征增强，并在最后阶段与所述输入特征图像进行对位求和以连接，最终输出样本网络去雾图像。
[0012]在一实施例中，所述重建损失具体包括：根据输出的所述样本网络去雾图像以及数据集中对应的无雾图像，通过L1距离损失函数计算重建损失，在去雾数据集上，对于网络输出的去雾图像与其对应的基准清晰图像J，损失函数表示为：
[0013][0014]在一实施例中，所述对比损失具体包括：将输出的所述样本网络去雾图像作为锚点，数据集中对应的无雾图像作为正样本，有雾图像作为负样本，计算对比损失：
[0015][0016]其中G
i
,i＝1,2,
…
,M为潜在特征空间VGG19预训练模型中提取的第i层隐藏特征，D(x,y)为x与y之间的L1距离，ω
i
是特征空间不同层的权重系数,通过该损失函数使得去雾图像在特征空间上更加逼近正样本而远离负样本。
[0017]在一实施例中，所述训练初始图像去雾网络模型，计算重建损失与对比损失，以反向传播更新所述初始图像去雾网络模型的参数，包括：结合重建损失和对比损失，总损失函数为：
[0018]L＝L
rec
+λL
c
,
[0019]其中L
rec
表示重建损失函数，L
c
表示对比损失函数，λ表示平衡两个损失函数的超参数，在训练的迭代周期中，通过最小化该总损失函数，进行反向传播更新网络模型参数。
[0020]本申请具有如下有益效果：为了设计单独的轻量化网络结构并且进一步提升去雾性能，本专利技术提供了一种基于跨阶段局部连接的轻量化图像去雾方法。该轻量化网络模型将跨阶段残差注意力模块作为去雾网络的基本单元以此提高模型效率，该模块由跨阶段局部连接与特征注意力组成。随后，为了解决特征融合过程中的参数增加以及多层级特征影响力丢失问题，本专利技术提供了自适应特征融合方法。此外，考虑到传统卷积核固定网格的感受野受限问题，本专利技术中采用了可变形卷积进行动态特征增强。最后，本专利技术引入了对比损失函数，将输出图像带入到特征空间中计算其与正负样本的距离，进一步丰富了监督信息。本专利技术所提供的轻量化图像去雾方法在不同数据集上达到了最优异的去雾性能，同时保持了较低的参数量。
...

【技术保护点】

【技术特征摘要】
1.一种基于跨阶段局部连接的轻量化图像去雾方法，其特征在于，所述方法包括以下步骤：获取样本清晰图像数据以及所述样本清晰图像数据相对应的合成有雾图像，作为目标训练集；对所述目标训练集的数据进行预处理，获得输入特征图像；构建基于跨阶段局部连接的图像去雾网络模型，包括局部残差组合模块、自适应特征融合模块、可变形卷积模块；采用所述局部残差组合模块对所述输入特征图像进行特征提取，再通过所述自适应特征融合模块输出融合特征，最后通过所述可变形卷积模块重建并输出样本网络去雾图像；训练初始图像去雾网络模型，计算重建损失与对比损失，以反向传播更新所述初始图像去雾网络模型的参数；获得训练好的图像去雾网络模型，对目标图像进行去雾操作。2.根据权利要求1所述的基于跨阶段局部连接的轻量化图像去雾方法，其特征在于，所述对所述目标训练集的数据进行预处理中，所述预处理包括图像配对、图像裁剪以及数据增广；所述图像配对为将样本清晰图像数据以及所述样本清晰图像数据相对应的合成有雾图像进行逐一对应，形成数据对；所述图像裁剪对目标训练集的训练样本裁剪成240
×
240尺寸；所述数据增广为对目标训练集的训练样本的像素值归一化到[
‑
1,1]之间，同时将裁剪的图像通过随机水平翻转和90
°
旋转进行数据增强。3.根据权利要求2所述的基于跨阶段局部连接的轻量化图像去雾方法，其特征在于，所述采用所述局部残差组合模块对所述输入特征图像进行特征提取，再通过所述自适应特征融合模块输出融合特征，最后通过所述可变形卷积模块重建并输出样本网络去雾图像，包括：所述局部残差组合模块包含了三个局部残差组合，配置为，该局部残差组合由六个跨阶段残差注意力模块和一个卷积层组成并通过残差方式进行连接，跨阶段残差注意力由跨阶段局部连接结构和特征注意力模块组成，其中跨阶段局部连接结构包含三个残差块和两个空洞卷积，而特征注意力模块包含了通道注意力和空间注意力，经过特征提取阶段，其中在每个跨阶段残差注意力中，通过通道分离的方式将特征进行逐步分离并最终进行跨阶段融合，同时为不同通道和空间特征赋予不同权重。4.根据权利要求3所述的基于跨阶段局部连接的轻量化图像去雾方法，其特征在于，所述采用所述局部残差组合模块对所述输入...

【专利技术属性】
技术研发人员：吴伟，韩建军，
申请(专利权)人：蜻蜓数字乡村研究院苏州有限公司，
类型：发明
国别省市：