一种基于边缘约束的双分支图像去雾方法技术

本发明专利技术公开了一种基于边缘约束的双分支图像去雾方法，包括如下步骤：步骤1：构建图像去雾的数据集；步骤2：利用Canny边缘检测算子获取图像的边缘图，将边缘图和相应的雾图、清晰图构建成一个训练样本；步骤3：训练样本中的图像被随机切分作为网络的输入，并使用数据增强方法扩充样本量；步骤4：搭建基于边缘约束的双分支去雾网络，包含去雾子网络和边缘子网络；步骤5：初始化网络参数，构造目标损失函数以优化双分支去雾网络的参数；步骤6：利用训练模型对测试雾图进行去雾，获取清晰的无雾图像。本发明专利技术能够利用边缘约束恢复清晰的无雾图，解决图像去雾任务中修复的图像丢失空间细节与语义不一致问题。节与语义不一致问题。节与语义不一致问题。

【技术实现步骤摘要】
一种基于边缘约束的双分支图像去雾方法


[0001]本专利技术涉及图像处理领域，具体涉及一种基于边缘约束的双分支图像去雾方法。

技术介绍

[0002]雾霾不仅影响了人们的日常出行，也严重影响了场景监控装置的正常运行，反过来也刺激了图像处理领域的图像去雾技术的研究。空气中烟，灰尘，水滴，雾，霾等粒子会吸收或散射大气光，导致成像设备获取一个不清晰的图像。研究图像去雾算法有利于降低雾天对人们生活的影响，有重要的研究意义与经济价值。
[0003]传统的图像去雾技术依赖于大气散射模型，利用一些人工发现的先验知识去推测大气光与透射率，进而获取无雾清晰图像。暗通道先验(Dark Channel Prior)观察到无雾图像的一个局部区域，至少有一个颜色通道的像素值非常低。利用暗通道先验可以估计透射率和大气光，进而推断无雾图。然而，含有天空区域或者白色区域的雾图，会严重影响大气光的估计，进而影响无雾图的质量。彩色线先验 (Color
‑
Line Prior)观察到小的图像块在GRB空间会展现一维分布，进而有利于恢复清晰的无雾图。近些年深度学习已经在图像超分辨，图像去噪，图像增强等领域获得了显著的进展。作为启发，深度学习也被用于提升图像去雾的效果。基于深度学习的图像去雾方法分为两种：一种是利用深度学习从大量数据中学习大气光和透射率，另一种是利用深度学习技术直接学习雾图到无雾清晰图的映射。基于深度学习的图像去雾方法虽然能够获取无雾的清晰图，然而生成的无雾图通常会丢失图像的细节与锐利的边缘。

技术实现思路
r/>[0004]为了解决图像去雾任务中修复的图像丢失空间细节与语义不一致问题，本专利技术提供一种基于边缘约束的双分支图像去雾方法，包括如下步骤：
[0005]步骤1：构建图像去雾的数据集，该数据集包含多对图像对：雾图与对应的清晰图；
[0006]步骤2：利用Canny边缘检测算子获取图像的边缘图，将边缘图和相应的雾图、清晰图构建成一个训练样本；
[0007]步骤3：训练样本中的图像被随机切分为256
×
256大小的图像块作为网络的输入，并使用随机裁剪、随机反转和随机旋转等方式作为数据增强方法扩充样本量；
[0008]步骤4：搭建基于边缘约束的双分支去雾网络，该网络包含两个子网络：去雾子网络和边缘子网络；去雾子网络用于修复雾图，获取清晰的无雾图像；边缘子网络用于抽取图像的边缘特征，边缘特征能帮助去雾子网络修复图像的细节轮廓信息，同时提供一种空间分布的约束，使得双分支去雾网络能够恢复细节清晰、语义一致的无雾图像；
[0009]步骤5：初始化网络参数，构造目标损失函数以优化基于边缘约束的双分支去雾网络的参数；
[0010]步骤6：利用步骤5获取的训练模型对测试雾图进行去雾，获取清晰的无雾图像。
[0011]上述各步骤的具体内容参见实施例。
[0012]本专利技术的优点和有益效果在于：提供一种基于边缘约束的双分支图像去雾方法，能够利用边缘约束恢复清晰的无雾图，解决图像去雾任务中修复的图像丢失空间细节与语义不一致问题。
[0013]本专利技术主要的创新点有：(1)提出一种基于边缘约束的双分支图像去雾网络致力于修复清晰图的细节与轮廓内容；该双分支网络包含一个去雾子网络和一个边缘子网络；去雾子网络致力于修复雾图，获取清晰的无雾图；边缘子网络致力于抽取图像的边缘特征，边缘特征能帮助去雾子网络修复图像的细节轮廓信息，同时提供一种空间分布的约束，使得双分支去雾网络能够恢复细节清晰、语义一致的无雾图像。(2)提出一种边缘信息融合模块，渐进地抽取图像的边缘信息；一个图像的边缘信息能反映图像的空间分布和语义内容；抽取的边缘信息分别在浅层，中间层，深层输入到去雾子网络，渐进地指导图像的去雾与细节修复，同时保持图像内容的语义一致和空间分布一致；边缘信息融合模块包含了两个分支；一个分支利用一个3
×
3的卷积和 Sigmoid函数生成边缘注意力图，强调了空间分布一致和语义一致；另一个分支包含了拼接操作和一个3
×
3的卷积用于融合图像的无雾图像和边缘图，保持了图像的细节信息。
附图说明
[0014]图1是本专利技术的结构示意图；
[0015]图2是本专利技术中残差双注意力模块的结构示意图；
[0016]图3是本专利技术中边缘信息融合模块的结构示意图。
具体实施方式
[0017]下面结合附图和实施例，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0018]本专利技术提供一种基于边缘约束的双分支图像去雾方法，包括如下步骤：
[0019]步骤1：构建图像去雾的数据集，该数据集包含多对图像对：雾图与对应的清晰图；
[0020]步骤2：利用Canny边缘检测算子获取图像的边缘图，将边缘图和相应的雾图、清晰图构建成一个训练样本；
[0021]步骤3：训练样本中的图像被随机切分为256
×
256大小的图像块作为网络的输入，并使用随机裁剪、随机反转和随机旋转等方式作为数据增强手段扩充样本量；
[0022]步骤4：搭建基于边缘约束的双分支去雾网络，该网络包含两个子网络：去雾子网络和边缘子网络，如图1所示；去雾子网络用于修复雾图，获取清晰的无雾图像；边缘子网络用于抽取图像的边缘特征，边缘特征能帮助去雾子网络修复图像的细节轮廓信息，同时提供一种空间分布的约束，使得双分支去雾网络能够恢复细节清晰、语义一致的无雾图像；具体的：
[0023]去雾子网络的构建步骤如下：去雾子网络首先包含一个3
×
3的卷积用于提升输入图像的通道数到64，接下来是两个残差双注意力模块提取基本的图像特征用于清晰图的重建，后面紧跟一个边缘信息融合模块，利用边缘子网络获取的边缘信息指导雾图的修复与清晰图的重建，边缘信息能够提供场景的空间分布信息和语义信息，它们有助于网络消除雾等模糊，也有助于保持重建图像的空间分布一致和语义一致；将两个残差注意力模块和
一个边缘信息融合模块作为一个基本的去雾单元模块；去雾子网络可包含多个去雾单元模块，但综合考虑模型的效果与模型的复杂度，本专利技术设置去雾子网络包含3个去雾单元模块；在去雾子网络的后端，一个3
×
3的卷积模块用于生成清晰的无雾图；
[0024]边缘子网络的构建步骤如下：去雾子网络首先包含一个3
×
3的卷积用于提升网络的通道数到64；然后，残差双注意力模块也被用作边缘子网络的基本卷积单元，该模块有强壮的信息抽取能力，能够抽取图像的轮廓和边缘结构；为了与去雾子网络一致，边缘子网络也包含了3个基本的卷积单元模块；在边缘子网络的后端，一个3
×
3 的卷积模块用于生成图像的边缘图；边缘子网络用于抽取图像的边缘信息，并分别将不同阶段的边缘信息输入去雾子网络指导图像去雾与图像修复；
[0025]进一步地，去雾子网络和边缘子网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘约束的双分支图像去雾方法，其特征在于，包括如下步骤：步骤1：构建图像去雾的数据集，该数据集包含多对图像对：雾图与对应的清晰图；步骤2：利用Canny边缘检测算子获取图像的边缘图，将边缘图和相应的雾图、清晰图构建成一个训练样本；步骤3：训练样本中的图像被随机切分为256
×
256大小的图像块作为网络的输入，并使用随机裁剪、随机反转和随机旋转方式作为数据增强方法扩充样本量；步骤4：搭建基于边缘约束的双分支去雾网络，该网络包含两个子网络：去雾子网络和边缘子网络；去雾子网络用于修复雾图，获取清晰的无雾图像；边缘子网络用于抽取图像的边缘特征，边缘特征能帮助去雾子网络修复图像的细节轮廓信息，同时提供一种空间分布的约束，使得双分支去雾网络能够恢复细节清晰、语义一致的无雾图像；步骤5：初始化网络参数，构造目标损失函数以优化基于边缘约束的双分支去雾网络的参数；步骤6：利用步骤5获取的训练模型对测试雾图进行去雾，获取清晰的无雾图像。2.根据权利要求1所述的基于边缘约束的双分支图像去雾方法，其特征在于，步骤4中，去雾子网络的构建步骤如下：去雾子网络首先包含一个3
×
3的卷积用于提升输入图像的通道数到64，接下来是两个残差双注意力模块提取基本的图像特征用于清晰图的重建，后面紧跟一个边缘信息融合模块，利用边缘子网络获取的边缘信息指导雾图的修复与清晰图的重建，边缘信息能够提供场景的空间分布信息和语义信息，它们有助于网络消除雾等模糊，也有助于保持重建图像的空间分布一致和语义一致；将两个残差注意力模块和一个边缘信息融合模块作为一个基本的去雾单元模块；去雾子网络包含3个去雾单元模块；在去雾子网络的后端，一个3
×
3的卷积模块用于生成清晰的无雾图。3.根据权利要求2所述的基于边缘约束的双分支图像去雾方法，其特征在于，步骤4中，边缘子网络的构建步骤如下：去雾子网络首先包含一个3
×
3的卷积用于提升网络的通道数到64；然后，残差双注意力模块也被用作边缘子网络的基本卷积单元，该模块有强壮的信息抽取能力，能够抽取图像的轮廓和边缘结构；为了与去雾子网络一致，边缘子网络也包含了3个基本的卷积单元模块；在边缘子网络的后端，一个3
×
3的卷积模块用于生成图像的边缘图。4.根据权利要求3所述的基于边缘约束的双分支图像去雾方法，其特征在于，去雾子网络和边缘子网络的构建步骤中的残差双注意力模块，用于抽取图像的结构信息和语义信息；残差双注意力模块包含一个残差卷积模块，一个双注意力模块和一个残差连接。5.根据权利要求4所述的基于边缘约束的双分支图像去雾方法，其特征在于，残差卷积模块包含两个3
×
3的卷积和一个残差连接，在第一个卷积模块之后一个Relu激活函数用于增强网络的非线性拟合能力，公式如下：Y＝Conv3(Relu(Conv3(X)))+X，其中，X表示模块的输入，Y表示模块的输出，Conv3表示...

【专利技术属性】
技术研发人员：倪浩钧，袁雪腾，黄羿衡，刘晓东，田劲松，徐东，
申请(专利权)人：苏州协同创新智能制造装备有限公司，
类型：发明
国别省市：