基于深度学习神经网络的图像去雾方法及系统技术方案

本发明专利技术公开一种基于深度学习神经网络的图像去雾方法及系统，方法包括：将含雾图像输入到深度学习神经网络系统；深度学习神经网络系统对所述含雾图像进行特征提取，自主学习并提取雾相关特征；对含雾图像进行多尺度映射，在不同尺度下集中提取含雾图像的特征，形成特征图；对特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；对处理后的图像进行非线性回归操作，得到初始透射率t(x)；利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；计算大气光参数；根据初始透射率t(x)及大气光参数，恢复无雾图像。本发明专利技术在系统和现有去雾方法间建立了联系，在保证效率和易实现的基础上，比现有方法展现出了更好的去雾性能。

Image demogging method and system based on deep learning neural network

【技术实现步骤摘要】
基于深度学习神经网络的图像去雾方法及系统
本专利技术属于图像处理
，具体涉及一种基于深度学习神经网络的图像去雾方法及系统。
技术介绍
雾是一种常见的大气现象。空气中无处不在的灰尘、烟或其他颗粒，都会降低大气的清晰度。在景物摄影领域，光在大气中的透射率对远距离物体的成像尤为重要，因此雾通常会给成像带来很多问题，如：由于光被大气中粒子散射带来的摄影成像时物体在视觉效果上对比度的降低。因此，去雾工作在摄影领域和计算机视觉领域，都有着很大的应用前景。因为大气中雾的透射程度往往与景深有关，在不同的位置，深度越大，雾越浓厚。如今已有很多不同的去雾方法，如基于直方图，基于对比度的和基于饱和度的。另外，利用多副图像或景深信息去雾的方法也已被提出。例如，利用从不同偏振角度拍摄的多副图像进行去雾的方法。在不同天气条件下拍摄同一场景的图片的多对比度去雾方法被提出。基于深度的方法需要输入一些深度信息或利用已知的3D模型。在实际应用中，深度信息和多副雾图往往是不容易得到和利用的。最近，借助更好的假设和先验知识，单幅图像的去雾工作取得了重大进展。根据无雾图像中的局部对比度比含雾图像的对比度更高的假设，学者提出了一种基于马尔科夫随机场(MRF)的局部对比度最大化的去雾方法。尽管最大化对比度的方法能够实现很好的去雾效果，但同时也会产生一些过饱和的图像。基于最小输入的独立成分分析法(ICA)被用于去雾工作，但是这一方法的处理时间非常长且不能被用于处理雾浓的图片。受暗光物体去除技术的启发，暗通道先验(DCP)在大量针对清晰图像的测试中被发现，即在无雾图像块中，至少有一个颜色通道会包含一些像素且这些像素在该通道里的值非常低。利用暗通道先验，雾的厚度就可以被估计，并可以利用大气散射模型实现去雾。然而，DCP这种方法的去雾效果在天空区域会出现失真且计算量比较大。学者们提出了一些改进的算法去克服这些限制。为了提高去雾质量，Kratz和Nishino等人利用一个阶乘马尔科夫随机场去构建图像模型，以更准确地估计场景辐射。Meng等人提出了一个有效的正则化去雾方法，通过探究图像内部的边缘限制来复原清晰图像。为了提高计算效率，标准中值滤波，双中值滤波，引导联合双边滤波和图像引导滤波被用于替代耗时较多的软抠图步骤。近年来，与雾相关的先验知识已经在机器学习的框架中被利用。Tang将四种与雾有关的图像特征与随机森林相结合，以估计透射率。Zhu等人利用颜色衰减先验，建立了一个线性模型去估计雾图的景深，并用有监督的方法学习模型的参数。尽管去雾领域已经出现了诸多成就，这些先进的方法都被相同雾相关的先验或启发式线索限制——这些方法在处理一些图像时总会显得低效。单幅图像的去雾在视觉领域是一项非常难的课题。相反的，人类的大脑却可以无需任何信息从自然场景中迅速地识别出含雾区域。参照生物启发式卷积神经网络在高阶视觉课题如图像分类、人脸识别和物体检测方向的成功，人们尝试也为图像去雾提出一个类似的生物启发模型。事实上，如今已经有了一些基于深度学习的(卷积)神经网络被利用在图像复原或重建等基础视觉任务中。然而，这些方法都不能被直接利用到单幅图像的去雾过程中。
技术实现思路
本专利技术旨在克服现有技术的缺陷，提供一种基于深度学习神经网络的图像去雾方法及系统。为实现上述目的，本专利技术采用以下技术方案：提供一种基于深度学习神经网络的图像去雾方法，包括如下步骤：步骤1、将含雾图像输入到深度学习神经网络系统；步骤2、所述深度学习神经网络系统对所述含雾图像进行特征提取，自主学习并提取雾相关特征；步骤3、对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；步骤4、对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；步骤5、对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；步骤6、利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；步骤7、计算大气光参数；步骤8、根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。一些实施例中，所述步骤1中，所述深度学习神经网络系统包括网络层和非线性激活函数，所述非线性激活函数在所述网络层之后，所述网络层包括级联的巻积层和全连接层；所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归，以估计大气透射率。一些实施例中，所述非线性激活函数为用于多层感受器或卷积神经网络中的一个前向反馈非线性激活函数。一些实施例中，所述深度学习神经网络系统对所述含雾图像进行特征提取，具体为：当用于卷积神经网络时，非线性激活函数单元对k幅特征图进行像素级的最大化处理，并生成一张新的特征图，则所述深度学习神经网络系统的第一层特征图的输入为：其中，和分别代表了滤波器和偏差，*代表卷积操作，第一层的输出共有n1张特征图；代表深度学习神经网络第一层特征图输入，x为含雾图像I(x)中每个像素点，j∈[1,k]，i1∈[1,n1]；是所有k×n1个卷积滤波器中的其中一个，其中3代表了输入图像I(x)的通道数，f1是滤波器的尺寸大小；非线性激活函数单元将kn1维向量映射到n1维向量，并自主学习并提取雾相关特征。一些实施例中，所述步骤3中，对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图，具体为：在所述深度学习神经网络系统第二层采用平行卷积操作，其中每个卷积滤波器的尺寸都在3×3，5×5，7×7中选取，并且这三种尺寸的滤波器的个数均相同，则所述深度学习神经网络系统的第二层的特征图输入表示为：其中，和包括n2对参数并被分为3组，n2是第二层输出的维度，i2∈[1,n2]标志了输出特征图，表示对i2/3向下取整，\代表取余操作。一些实施例中，所述步骤4中，对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像，具体为：在所述深度学习神经网络系统的第三层采用局部极值操作，第三层特征图的输入表示为：其中，为第三层输入，y∈Ω(x),i3∈[1,n3]，Ω(x)是一块以x为中心、f3×f3为大小的区域，第三层的输出维度n3＝n2。一些实施例中，所述步骤5中，对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)，具体为：利用双边修正线性单元激活函数进行非线性回归，所述深度学习神经网络系统的第四层特征图的输入为：F4＝min(tmax,max(tmin,W4*F3+B4))其中，W4＝{W4}包括了一个n3×f4×f4大小的滤波器，B4＝{B4}代表了偏差，tmax及tmin分别为双边修正线性单元BReLU激活函数的上下幅值，BReLU为双边修正线性单元，根据公式，激活函数的梯度可以被表示为：一些实施例中，所述步骤7中，将透射率值最高的0.1％个像素点的透射率最大值作为大气光参数α。一些实施例中，所述步骤8中，根据初始透射率t(x)及大气光参数，恢复无雾图像，具体步骤为：大气散射模型为：I(x)＝J(x)t(x)+α(1-t(x))，t(x)＝e-βd(x)，其中，I(x)是观察到的雾图，J(x)是需要被恢复出的真实图像，t(x)是媒介透射率，α是全局大气光常数，x代表雾图I(x)中的每个像素点，β是大气散射系数，d(x)是景深；在上述公式中，估计出t本文档来自技高网...

【技术保护点】
一种基于深度学习神经网络的图像去雾方法，其特征在于，包括如下步骤：步骤1、将含雾图像输入到深度学习神经网络系统；步骤2、所述深度学习神经网络系统对所述含雾图像进行特征提取，自主学习并提取雾相关特征；步骤3、对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；步骤4、对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；步骤5、对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；步骤6、利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；步骤7、计算大气光参数；步骤8、根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。

【技术特征摘要】
1.一种基于深度学习神经网络的图像去雾方法，其特征在于，包括如下步骤：步骤1、将含雾图像输入到深度学习神经网络系统；步骤2、所述深度学习神经网络系统对所述含雾图像进行特征提取，自主学习并提取雾相关特征；步骤3、对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图；步骤4、对所述特征图上的每一个像素进行局部极值，并保持分辨率不变，得到处理后的图像；步骤5、对所述处理后的图像进行非线性回归操作，得到初始透射率t(x)；步骤6、利用引导滤波器优化透射率，对所述处理后的图像进行图像平滑处理；步骤7、计算大气光参数；步骤8、根据所述初始透射率t(x)及所述大气光参数，恢复无雾图像。2.如权利要求1所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤1中，所述深度学习神经网络系统包括网络层和非线性激活函数，所述非线性激活函数在所述网络层之后，所述网络层包括级联的卷积层和全连接层；所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归，以估计大气透射率。3.如权利要求2所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述非线性激活函数为用于多层感受器或卷积神经网络中的一个前向反馈非线性激活函数。4.如权利要求3所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤2中，所述深度学习神经网络系统对所述含雾图像进行特征提取，具体为：当用于所述卷积神经网络时，深度学习神经网络系统对k幅特征图进行像素级的最大化处理，并生成一张新的特征图，则所述深度学习神经网络系统的第一层特征图的输入为：其中，和分别代表了滤波器和偏差，*代表卷积操作，第一层的输出共有n1张特征图；代表深度学习神经网络第一层特征图输入；x是指含雾图向I(x)中的每个像素点，j∈[1，k]，i1∈[1，n1]。是所有k×n1个卷积滤波器中的其中一个，其中3代表了输入图像I(x)的通道数，f1是滤波器的尺寸大小；非线性激活函数单元将kn1维向量映射到n1维向量，并自主学习并提取雾相关特征。5.如权利要求4所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤3中，对所述含雾图像进行多尺度映射，在不同尺度下集中提取所述含雾图像的特征，形成特征图，具体为：在所述深度学习神经网络系统第二层采用平行卷积操作，其中每个卷积滤波器的尺寸都在3×3，5×5，7×7中选取，并且这三种尺寸的滤波器的个数均相同，则所述深度学习神经网络系统的第二层的特征图输入表示为：其中，和包括n2对参数并被分为3组，n2是第二层输出的维度，i2∈[1，n2]标志了输出特征图，表示对i2/3向下取整，\代表取余操作。6.如权利要求5所述的基于深度学习神经网络的图像去雾方法，其特征在于，所述步骤4...

【专利技术属性】
技术研发人员：任航，宋玉龙，郭巳秋，刘博超，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林,22