一种基于轻量化卷积神经网络的图像去雾方法技术

本发明专利技术公开了图像处理技术领域的一种基于轻量化卷积神经网络的图像去雾方法，旨在解决现有技术中采用图像增强的去雾方法处理的图像存在信息丢失、采用图像复原的去雾方法处理的图像如果选取参数不当会影响复原后图像的效果、采用基于深度学习的去雾算法影响图像去雾的速度的技术问题。所述方法包括如下步骤：将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像；所述轻量化卷积神经网络包括不少于两个不同尺度的深度可分离卷积层，所述深度可分离卷积层包括彼此串联的深度卷积和逐点卷积。

An image defogging method based on lightweight convolutional neural network

【技术实现步骤摘要】
一种基于轻量化卷积神经网络的图像去雾方法
本专利技术涉及一种基于轻量化卷积神经网络的图像去雾方法，属于图像处理

技术介绍
由于垃圾焚烧、建筑扬尘、汽车尾气等诸多原因，国内很多城市蒙上了雾霾的阴影。雾霾天气拍摄的图像，由于对比度、色彩饱和度显著下降，导致图片不够清晰，影响了图片的使用效果。比如，交通监控视频模糊，致使图像在识别和处理过程中出现偏差，不利于准确记录交通信息。因而提升雾天图像质量，降低雾霾天气对户外成像的影响，有着十分迫切的理论和实际需求。随着计算机技术的发展，视频和图像去雾算法广泛应用于民用和军事领域，如遥感、目标检测和交通监控。目前，图像去雾算法主要可以分为三种类型：第一类是图像增强的去雾方法，该方法不考虑导致图像退化的原因，使图像去雾的问题转化为对比度增强的问题，经过增强后的图像具有更高的对比度，但是处理后的图像存在信息丢失，会出现失真现象。第二类是图像复原的去雾方法，该方法是从图像退化的角度出发进行分析，建立雾天成像的模型，推导出图像退化的过程，据此恢复出去雾后的图像，该方法使处理后的图像更加清晰、自然，细节损失较少，但去雾效果与模型参数的选取有关，不精确的参数将直接影响复原后图像的效果。第三类是基于深度学习的去雾算法。近年来，随着深度学习的不断发展，越来越多地被用于图像处理领域，比如图像分类、物体识别、人脸识别等，且获得了较好的效果。现有基于深度学习的图像去雾算法，大多通过普通卷积方式实现图像去雾，这种方式仅实现了图像通道相关性和空间相关性的联合映射，且由于卷积层数较多，往往导致网络模型训练参数过多，影响图像去雾的速度。
技术实现思路
针对现有技术的不足，本专利技术的目的在于提供一种基于轻量化卷积神经网络的图像去雾方法，以解决现有技术中采用图像增强的去雾方法处理的图像存在信息丢失、采用图像复原的去雾方法处理的图像如果选取参数不当会影响复原后图像的效果、采用基于深度学习的去雾算法影响图像去雾的速度的技术问题。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于轻量化卷积神经网络的图像去雾方法，包括如下步骤：将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像；所述轻量化卷积神经网络包括不少于两个不同尺度的深度可分离卷积层，所述深度可分离卷积层包括彼此串联的深度卷积和逐点卷积。进一步地，所述轻量化卷积神经网络还包括不少于两个第一全连接层，所述第一全连接层与所述深度可分离卷积层串联且彼此间隔分布。进一步地，所述轻量化卷积神经网络还包括彼此串联的金字塔池化层和第一卷积层，所述金字塔池化层和第一卷积层串联于轻量化卷积神经网络的输出层与最接近所述输出层的深度可分离卷积层之间，所述第一卷积层串联于所述金字塔池化层与所述输出层之间。进一步地，所述金字塔池化层包括顺序连接的池化层组、第二卷积层组、上采样层、第二全连接层，所述池化层组与最接近所述输出层的深度可分离卷积层连接，所述第二全连接层与所述第一卷积层连接，所述池化层组包括不少于两个不同尺度且彼此并联的池化层，所述第二卷积层组包括不少于两个第二卷积层，所述池化层与第二卷积层对应串联。进一步地，所述轻量化卷积神经网络的训练，包括：获取有雾图像和无雾图像并将其转化为相同像素规格的图像块，基于所述图像块构建训练样本；以预构建的损失函数最小为目标，利用训练样本对轻量化卷积神经网络进行训练。进一步地，所述深度可分离卷积层设有五个，所述损失函数，其表达式如下：式中，L为损失函数，n为训练样本的个数，Ji为训练样本i去雾后的图像块，Ji*为训练样本i的实际无雾图像块，λ为衰减参数，Wji为训练样本i的第j个深度可分离卷积层的权重系数矩阵。进一步地，在利用训练样本对轻量化卷积神经网络进行训练之前，还包括：用平均值为0和标准偏差为0.001的高斯分布随机初始化Wji中的各项分量；初始化Bji为0，式中，Bji为训练样本i的第j个深度可分离卷积层的偏差系数矩阵。进一步地，利用训练样本对轻量化卷积神经网络进行训练，包括：根据训练结果更新Wji和Bji；将更新后的Wji和Bji代入损失函数；重复Wji和Bji的更新和代入过程，直至损失函数最小，获取训练好的轻量化卷积神经网络。进一步地，将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像，包括：将第一卷积层的输出代入大气散射模型变形公式，由所述输出层输出无雾图像。与现有技术相比，本专利技术所达到的有益效果：本专利技术方法采用轻量化卷积方式-深度可分离卷积代替普通卷积，并增加金字塔池化层提取有雾图像的全局信息，输出为有雾图像透射率和大气光的关系式的值；然后将该关系式的值代入大气散射模型变形公式，输出即为去雾后的清晰图像。由于采用多尺度的深度可分离卷积替代普通卷积，能够显著减少网络模型训练参数，提高单幅图像的去雾速度；网络模型中的金字塔池化层能够充分提取有雾图像的全局信息，使去雾后的图像更加清晰自然。附图说明图1是本专利技术方法实施例的流程示意图；图2是本专利技术方法实施例所述轻量化卷积神经网络的结构示意图；图3是本专利技术方法实施例所述金字塔池化层的结构示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。深度可分离卷积是一种轻量化的卷积方式，这种卷积方式将普通卷积分为深度卷积和逐点卷积，不仅可以分开映射图像通道相关性和空间相关性，并且显著降低了网络模型训练参数，能够快速实现图像去雾效果。鉴于上述分析，本专利技术具体实施方式提供了一种基于轻量化卷积神经网络的图像去雾方法，如图1所示，是本专利技术方法实施例的流程示意图，所述方法包括如下步骤：步骤1，获取PASCALVOC数据集以及在网上下载的无雾图像作为训练样本中的无雾图像集。步骤2，利用柏林噪声(PerlinNoise)为步骤1中的无雾图像集添加不同浓度的雾，得到有雾图像集。将有雾图像集和无雾图像集中的图像裁剪成64*64的图像块，再转换成HDF5的数据格式存储。将有雾图像的图像块和无雾图像的图像块各自按比例分成两部分，一部分作为训练样本，另一部分作为测试样本，以用于训练。上述过程中，为能够适应不同天气条件下的雾浓度，学习不同雾浓度下的图像特征，对无雾图像集合成浓度百分比分别为10、20、30、40、50、60、70、80、90、100的雾，得到有雾图像集；挑选有雾图像和无雾图像共计2506对作为训练样本，剩余502对图像作为测试样本。步骤3，将步骤2中HDF5格式的训练样本作为输入，设计端到端的轻量化卷积神经网络模型。如图2所示，是本专利技术方法实施例所述轻量化卷积神经网络的结构示意图，所述网络模型包括输入层、多尺度的深度可分离卷积层、激励层、全连接层、金字塔池化层以及输出层。其中，多尺度的深度可分离卷积层由五个不同尺度的深度可分离卷积层依次本文档来自技高网...

【技术保护点】
1.一种基于轻量化卷积神经网络的图像去雾方法，其特征是，包括如下步骤：/n将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像；/n所述轻量化卷积神经网络包括不少于两个不同尺度的深度可分离卷积层，所述深度可分离卷积层包括彼此串联的深度卷积和逐点卷积。/n

【技术特征摘要】
1.一种基于轻量化卷积神经网络的图像去雾方法，其特征是，包括如下步骤：
将有雾图像输入预先训练好的轻量化卷积神经网络，获取无雾图像；
所述轻量化卷积神经网络包括不少于两个不同尺度的深度可分离卷积层，所述深度可分离卷积层包括彼此串联的深度卷积和逐点卷积。


2.根据权利要求1所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述轻量化卷积神经网络还包括不少于两个第一全连接层，所述第一全连接层与所述深度可分离卷积层串联且彼此间隔分布。


3.根据权利要求2所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述轻量化卷积神经网络还包括彼此串联的金字塔池化层和第一卷积层，所述金字塔池化层和第一卷积层串联于轻量化卷积神经网络的输出层与最接近所述输出层的深度可分离卷积层之间，所述第一卷积层串联于所述金字塔池化层与所述输出层之间。


4.根据权利要求3所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述金字塔池化层包括顺序连接的池化层组、第二卷积层组、上采样层、第二全连接层，所述池化层组与最接近所述输出层的深度可分离卷积层连接，所述第二全连接层与所述第一卷积层连接，所述池化层组包括不少于两个不同尺度且彼此并联的池化层，所述第二卷积层组包括不少于两个第二卷积层，所述池化层与第二卷积层对应串联。


5.根据权利要求3所述的基于轻量化卷积神经网络的图像去雾方法，其特征是，所述轻量化卷积神经网络的训练，包括：
获取有雾图像和无雾图像并将其转化为相同像素规格的...

【专利技术属性】
技术研发人员：张登银，钱雯，曹雪杰，董江伟，周诗琪，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32