一种基于卷积神经网络的图像去雾方法技术

本发明专利技术公开了一种基于卷积神经网络的图像去雾方法，包括以下步骤：S1、将待去雾的有雾图输入到预训练好的透射率估计模型中，得到透射率图；S2、根据所得透射率图和预设的透射率阈值，得到有雾图的薄雾区域掩码图和浓雾区域掩码图；S3、根据薄雾区域掩码图和浓雾区域掩码图将待去雾的有雾图分割为薄雾图和浓雾图；S4、将所得薄雾图和浓雾图同时输入到预训练好的去雾模型进行去雾，得到无雾图。通过估计雾图的透射率图，将有雾图像分为薄雾区域和浓雾区域，同时分别输入到去雾模型中的去薄雾网络和去浓雾网络中，对不同浓度的区域采用不同的参数进行处理，所得结果在去雾模型中进行像素级的合并，得到完整清晰的去雾图，去雾效果较好。

An image defogging method based on convolutional neural network

【技术实现步骤摘要】
一种基于卷积神经网络的图像去雾方法
本专利技术属于图像处理技术与深度学习
，更具体地，涉及一种基于卷积神经网络的图像去雾方法。
技术介绍
单图像去雾是一种具有挑战性的欠适定图像复原问题。雾天条件下采集到的图像容易出现颜色失真与偏移、动态压缩范围小、对比度低等问题，既达不到需要的视觉效果，也给目标检测及识别增加难度。现有的图像去雾的方法主要分为：基于先验知识的去雾算法和基于学习的去雾算法。其中，基于先验的去雾算法需手工设计图像特征，算法的性能取决于先验知识的准确性，因此泛化能力较差。基于学习的去雾算法根据是否采用大气散射模型设计网络结构分为两类，采用大气散射模型设计网络结构的方法分别估计雾图的透射率图和大气光值，然后根据大气散射模型恢复清晰图。该方法存在两个局限性，一是透射率图及大气光值等估计不准确，二是大气散射模型的线性结构不足以模拟复杂的成雾机制，从而影响雾图的去雾效果和图像清晰度。不采用大气散射模型设计网络结构的方法直接从雾图恢复清晰图，通过网络学习从雾图到清晰图的复杂变换函数。但是由于缺乏物理模型的限制，再加上卷积神经网络参数共享的性质，使得雾图中不同雾浓度的区域采用相同的参数，导致去雾后图像局部偏暗或亮度过高，去雾不彻底。综上所述，提出一种去雾效果较好的图像去雾方法是亟待解决的问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于卷积神经网络的图像去雾方法，旨在解决现有技术由于对雾图中不同雾浓度的区域采用相同的参数进行去雾而导致的去雾效果较差的问题。为实现上述目的，按照本专利技术提供了一种基于卷积神经网络的图像去雾方法，包括以下步骤：S1、将待去雾的有雾图输入到预训练好的透射率估计模型中，得到透射率图；S2、根据所得透射率图和预设的透射率阈值，得到有雾图的薄雾区域掩码图和浓雾区域掩码图；S3、根据薄雾区域掩码图和浓雾区域掩码图将待去雾的有雾图分割为薄雾图和浓雾图；S4、将所得薄雾图和浓雾图同时输入到预训练好的去雾模型进行去雾，得到无雾图。通过上述方法对有雾图像中不同浓度的区域采用不同的网络同时进行去雾，避免了整体去雾造成的颜色失真和亮度的过高或过低，复原了更多的细节信息，去雾效果较好。进一步优选地，透射率估计模型的损失函数Ltrans为其中，T(I)为透射率估计模型函数的输出，I为有雾图，t为目标透射率图，w、h、c分别为有雾图的长度、宽度、通道数，V(·)为VGG-19网络Pool-4层输出的特征图，w'、h'、c'分别为特征图的长度、宽度、通道数，σ为比例系数。该损失函数可以能更好的恢复图像的边缘信息。进一步优选地，将雾图作为第一训练集的样本，雾图所对应的透射率图作为第一训练集样本标签，输入到卷积神经网络进行训练，得到预训练好的透射率估计模型。进一步优选地，通过比较透射率图中的像素值与预设的透射率阈值的大小，来确定薄雾区域掩码图ML和浓雾区域掩码图MD，表示如下：其中，ML(x,y)为有雾图中第x行第y列的像素所对应的薄雾区域掩码值，MD为浓雾区域掩码，MD(x,y)为有雾图中第x行第y列的像素所对应的浓雾区域掩码值，T(x,y)为透射率图中第x行第y列的像素值，w为预设的透射率阈值。进一步优选地，将有雾图与薄雾区域掩码图的各像素点分别相乘，得到薄雾图，将有雾图与浓雾区域掩码图的各像素点分别相乘，得到浓雾图。进一步优选地，去雾模型包含并行的两个卷积神经网络，分别记为去薄雾网络和去浓雾网络，薄雾图和浓雾图同时分别输入到去薄雾网络和去浓雾网络中，去薄雾网络和去浓雾网络的输出在去雾模型中进行叠加后，得到去雾模型的输出，即无雾图。进一步优选地，去雾模型的损失函数Ldehaze为：其中，DS(IS)为去雾模型中薄雾网络的输出，DB(IB))为去雾模型中浓雾网络的输出，IS为薄雾图，IB为浓雾图，C为目标无雾图，w、h、c分别为薄雾图和浓雾图的长度、宽度、通道数，V(·)为VGG-19网络中Pool-4层的输出的特征图，w'、h'、c'分别为特征图的长度、宽度、通道数，σ为比例系数。进一步优选地，对雾图进行分割得到薄雾图和浓雾图，将薄雾图作为第二训练集的样本，雾图对应的清晰图像作为第二训练集样本标签，将浓雾图作为第三训练集的样本，雾图对应的清晰图像作为第三训练集样本标签，同时分别将第二训练集和第三训练集输入到的去雾模型的去薄雾网络和去浓雾网络中进行训练，得到预训练好的去雾模型。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：1、本专利技术提出了一种基于卷积神经网络的图像去雾方法，通过估计雾图的透射率图，将有雾图像分为薄雾区域和浓雾区域，同时分别输入到去雾模型中的去薄雾网络和去浓雾网络中，对不同浓度的区域采用不同的参数进行处理，所得结果在去雾模型中进行像素级的合并，得到完整清晰的去雾图，解决了现有技术中由于对雾图中不同雾浓度的区域采用相同的参数进行去雾而导致的薄雾区域过度去雾和浓雾区去雾不彻底的问题，本专利技术所提出方法去雾效果较好。2、本专利技术所提出的一种基于卷积神经网络的图像去雾方法，解决了基于大气散射模型的去雾算法非线性拟合能力受约束的问题，采用卷积神经网络学习从雾图到清晰图的复杂变换函数，同时对不同雾浓度区域采用不同的网络进行去雾，避免了整体去雾造成的颜色失真和亮度不合适，复原了更多的细节信息。附图说明图1是本专利技术所提出的一种基于卷积神经网络的图像去雾方法流程图；图2是本专利技术实施例所提供的有雾图及其对应的透射率图；其中，图(a)为有雾图，图(b)为所得透射率图；图3是分别采用不同透射率估计损失函数所得的透射率图；其中，图(a)为有雾图，图(b)为有雾图所对应的真实的透射率图，图(c)为采用L1损失函数所得的透射率估计图，图(d)为采用本专利技术提出的透射率估计损失函数所得的透射率估计图；图4是本专利技术实施例所提供的薄雾和浓雾区域掩码图；其中，图(a)为薄雾区域掩码图，图(b)为浓雾区域掩码图；图5是本专利技术实施例中将有雾图分割后的薄雾图和浓雾图；其中，图(a)为薄雾图，图(b)为浓雾图；图6是本专利技术实施例所提供的去雾模型中的卷积神经网络示意图；图7是分别采用不同的去雾方法所得的去雾图；其中，图(a)为有雾图，图(b)为采用DCP算法对有雾图进行处理所得的去雾图，图(c)为采用AOD-net算法对有雾图进行处理所得的去雾图，图(d)为采用Dehaze-GAN算法对有雾图进行处理所得的去雾图，(e)为采用本专利技术所提出的方法对有雾图进行处理所得的去雾图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的图像去雾方法，其特征在于，包括以下步骤：/nS1、将待处理的有雾图输入到预训练好的透射率估计模型中，得到透射率图；/nS2、根据所得透射率图和预设的透射率阈值，得到有雾图的薄雾区域掩码图和浓雾区域掩码图；/nS3、根据薄雾区域掩码图和浓雾区域掩码图将待去雾的有雾图分割为薄雾图和浓雾图；/nS4、将所得薄雾图和浓雾图同时输入到预训练好的去雾模型进行去雾，得到无雾图。/n

【技术特征摘要】
1.一种基于卷积神经网络的图像去雾方法，其特征在于，包括以下步骤：
S1、将待处理的有雾图输入到预训练好的透射率估计模型中，得到透射率图；
S2、根据所得透射率图和预设的透射率阈值，得到有雾图的薄雾区域掩码图和浓雾区域掩码图；
S3、根据薄雾区域掩码图和浓雾区域掩码图将待去雾的有雾图分割为薄雾图和浓雾图；
S4、将所得薄雾图和浓雾图同时输入到预训练好的去雾模型进行去雾，得到无雾图。


2.根据权利要求1所述的基于卷积神经网络的图像去雾方法，其特征在于，所述透射率估计模型的损失函数Ltrans为：



其中，T(I)为透射率估计模型函数的输出，I为有雾图，t为目标透射率图，w、h、c分别为有雾图的长度、宽度、通道数，V(·)为VGG-19网络中Pool-4层输出的特征图，w'、h'、c'分别为特征图的长度、宽度、通道数，σ为比例系数。


3.根据权利要求1所述的基于卷积神经网络的图像去雾方法，其特征在于，将雾图作为第一训练集的样本，雾图所对应的透射率图作为第一训练集样本标签，输入到卷积神经网络进行训练，得到预训练好的透射率估计模型。


4.根据权利要求1所述的基于卷积神经网络的图像去雾方法，其特征在于，通过比较透射率图中的像素值与预设的透射率阈值的大小，来确定薄雾区域掩码图ML和浓雾区域掩码图MD，表示如下：






其中，ML(x,y)为有雾图中第x行第y列的像素所对应的薄雾区域掩码值，MD为浓雾区域掩码，MD(x,y)为有雾图中第x行第y列的像素所对应的...

【专利技术属性】
技术研发人员：左峥嵘，化彦伶，吴双忱，桑农，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42