一种基于深度卷积神经网络的单幅图像去雾方法技术

本发明专利技术涉及基于深度卷积神经网络的单幅图像去雾方法，步骤包括：获得输入图像，并将其经由预先训练好的粗景深图像提取网络处理，得到粗景深图像；构建景深图像细化网络；将粗景深图像和输入图像作为共同的输入送到景深图像细化网络中，得到精细化的景深图像；对大气散射系数进行估计，求解出透射率图像，对大气光值进行估计，最后根据大气散射模型的数学表达式，对输入图像进行去雾清晰化处理。本发明专利技术使用了深度卷积神经网络，能够较好地反映图像及其对应真实景深的图像之间的关系，并且对估计的大气光值进行了预处理使得其具有很强的适应性能，能在多种场景下实现较好地去雾清晰化，图像视觉还原效果极佳。

A single image deconvolution method based on deep convolution neural network

The invention relates to a single image fogging method based on the deep convolution neural network. The steps include obtaining the input image and extracting the rough depth of field image by extracting the network processing through the pre trained rough scene of the depth of field, constructing the depth of field image thinning network, and sending the rough depth image and the input image as a common input to the system. In the depth of field image thinning network, the fine depth of field image is obtained; the atmospheric scattering coefficient is estimated, the transmittance image is solved, the atmospheric light is estimated. Finally, the mathematical expression of the atmospheric scattering model is used to clear the input image. The invention uses the deep convolution neural network, which can better reflect the relationship between the image and the image corresponding to the true depth of field, and preprocess the estimated atmospheric light value so that it has a strong adaptive performance. It can achieve better fog removal in a variety of scenes, and the image visual reduction effect is excellent.

【技术实现步骤摘要】
一种基于深度卷积神经网络的单幅图像去雾方法
本专利技术属于数字图像处理
，尤其涉及一种基于深度卷积神经网络的单幅图像去雾方法。
技术介绍
室外成像系统由于受到空气中的水蒸气和尘埃等的影响，其清晰度大大地降低，图像整体泛白，纹理特征、细节信息丢失。另外，随着工业化的进程加快，大气污染日益严重，雾霾天气频繁出现使得大气能见度急剧减小，伴随着的问题是使得室外成像更加困难，室外获得的图像清晰度远远达不到智能应用系统所需要的要求和人们日常室外拍照所需。降质退化的图像很大程度限制了图像本身的用途，例如图像分割、目标检测以及图像理解和分析等多方面的用途。因此，本专利技术的研究便是对雾霾天降质图像的复原和细节增强，基于深度卷积神经网络实现对输入图像的尽可能的清晰化处理，以尽可能地增强去雾效果。目前的图像去雾主要可以分为两大类：基于传统图像增强技术的图像去雾和基于物理模型的去雾。其中基于非物理模型的图像增强方法，依赖于直方图均衡技术突显有雾图像中我们所关注的场景和有用信息。这一类去雾算法的经典方法包括单尺度和多尺度的Retinex和CLAHE等。由于不考虑雾化图像的成因，不考虑图像的纹理特征，图像增强技术去雾后图像通常存在着去雾不彻底、颜色失真、细节信息丢失等问题。基于物理模型的去雾算法是对有雾图像成像进行建模并估算其中的相关参数进而求取清晰无雾的图像。该类方法在去雾上取得了很好地效果，在色彩还原、细节恢复等方面的处理比起基于非物理模型的图像增强方法取得了更好的效果。但是，该类方法也存在着一定的难点，由于物理模型是一个欠定方程，需要从输入图像中估算较为多的参数，参数估计的精确与否对图像去雾的效果有着很大的影响。
技术实现思路
为了解决现有去雾技术所存在的计算量大、运算效率低、参数估计困难等一系列技术问题，本专利技术提出一种基于深度卷积神经网络的单幅图像去雾方法，其由深度卷积神经网络经过大量的训练学习而得，去雾更加真实自然；另外，本专利技术去雾算法主要耗时在深度卷积神经网络模型的训练，实际应用中，仅需要对已训练好的模型进行初始化，其算法处理效率远超过传统图像去雾算法。本专利技术采用如下技术方案来实现：一种基于深度卷积神经网络的单幅图像去雾方法，包括如下步骤：第一步、获得输入图像，并将其经由预先训练好的粗景深图像提取网络处理，得到粗景深图像；第二步、构建以输入图像以及粗景深图像作为输入的景深图像细化网络；第三步、将所述的粗景深图像和输入图像作为共同的输入送到景深图像细化网络中，得到精细化的景深图像d(x)；第四步、对大气散射系数β进行估计，通过下列公式求解出相应的透射率图像t(x)：t(x)＝e-βd(x)第五步、对大气光值A进行估计；第六步、利用前述步骤所求得的景深图像d(x)、大气散射系数β、透射率图像t(x)以及大气光值A，将其代入下列大气散射模型的数学表达式中，对输入图像进行去雾清晰化处理：式中I(x)表示有雾图像；J(x)表示无雾图像。优选地，所述第五步估计大气光值A的步骤具体如下：1)预设阈值θ，最佳阈值θ通过实验进行预估计；2)将输入图像中大于阈值的像素点进行屏蔽，得到预处理后的图像；3)在预处理后的图像中，统计图像中最亮的前1％像素值，并以这些像素点的均值作为大气光值的估计值。本专利技术与传统去雾清晰化技术相比，具有以下优点和有益效果：1、本专利技术单幅图像去雾方法，所采用的网络模型经过大量的数据训练所得，算法复杂度比较低，运算处理速度极快，能够满足实际应用的实时性要求。2、本专利技术使用了深度卷积神经网络，能够较好地反映图像及其对应真实景深的图像之间的关系，并且对估计的大气光值进行了预处理使得其具有很强的适应性能，能在多种场景下实现较好地去雾清晰化，图像视觉还原效果极佳。附图说明图1是本专利技术实施例基于深度卷积神经网络的单幅图像去雾方法的处理流程图；图2是深度卷积神经网络的结构图；图3是本专利技术实施例所获得的降质图像清晰化效果对比图，其中a为输入图像，b为本专利技术去雾清晰化结果图，c为现有暗通道先验算法的处理结果图。具体实施方式下面结合附图和实施例对本专利技术作进一步详细的说明，但本专利技术的实施方式不限于此。实施例如图1所示，本实施例中基于深度卷积神经网络的单幅图像去雾方法，包括如下步骤：第一步、从图像获取设备中获得退化的输入图像Iinput，并将其作为输入图像经由预先训练好的粗景深图像提取网络处理，其中输入图像先经过第一个卷积层，并进行步长为2的最大化池化；得到的结果进行3次卷积操作；卷积操作之后使用sppNet对特征图像进行空间池化，实现对任意输入尺寸的图像映射成为固定输出格式；最后进行两次全接连，最终得到粗景深图像Iraw。上述预先训练好的粗景深图像提取网络，为针对从输入图像求取景深图像构建而成的基于深度卷积神经网络的模型，该模型可以较为真实的反映输入图像与其景深之间的关系。如图2所示，粗景深图像提取网络包括依次连接的11*11的卷积层、2*2的池化层、两个5*5的卷积层、sppNet以及两个全连接层。所述输入图像Iinput为RGB格式的雨雾天气条件下拍摄所得的降质图像，本实施例基于大气散射模型对RGB格式的降质图像进行去雾操作，其中大气散射模型的成像表示如式(1)、(2)所示：I(x)＝J(x)t(x)+A(1-t(x))(1)t(x)＝e-βd(x)(2)其中，I(x)表示有雾图像；J(x)表示无雾图像；t(x)为透射率图像；A为整体大气光值；d(x)表示景深；β表示大气散射系数。结合公式(1)、(2)可知，本专利技术去雾算法可以从图像的景深入手，一步一步地对模型中的相关参数进行估计，预估计大气散射系数β、大气光值A和图像景深d(x)，最终实现对有雾图像进行去雾清晰化处理。第二步、粗景深图像非常不利于图像去雾的后续步骤，针对该问题，本专利技术构建了一个以输入图像Iinput以及粗景深图像Iraw作为输入的景深图像细化网络。如图2所示，景深图像细化网络包括依次连接的11*11的卷积层、sppNet、两个5*5的卷积层以及一个全连接层，由第一个5*5的卷积层对输入图像Iinput和粗景深图像Iraw进行拼接。经过粗景深图像提取网络、景深图像细化网络这两个深度卷积神经网络，可以得到较为精细化的景深图像，其在后续的图像去雾中表现良好。第三步、将所述的粗景深图像Iraw和输入图像Iinput作为共同的输入送到景深图像细化网络中。首先对输入图像Iinput进行卷积和池化，使得图像尺寸与粗景深图像提取网络的粗景深图像Iraw匹配；然后将其与粗景深图像Iraw共同输入到后续的景深图像细化网络之中，景深图像细化网络首先拼接两个输入(即拼接粗景深图像Iraw和输入图像Iinput)，将拼接后的图像进行两次卷积之后输入sspNet进行空间池化，将输入图像Iinput映射为固定的输出格式，最终得到精细化的景深图像Irefine，即d(x)。第四步、对大气散射系数β进行估计，通过公式(2)求解出相应的透射率图像t(x)。在本专利技术专利中，假设大气散射系数β为恒定的数值。为了获得比较合理的大气散射系数β，本专利技术中使用gridsearch的方法进行估计，即从[0.1，2]的区间中每隔0.1的步长进行一系列的实验，根据最终的实验结果进行选定，本专利技术中使用的β选定本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的单幅图像去雾方法，其特征在于，包括如下步骤：第一步、获得输入图像，并将其经由预先训练好的粗景深图像提取网络处理，得到粗景深图像；第二步、构建以输入图像以及粗景深图像作为输入的景深图像细化网络；第三步、将所述的粗景深图像和输入图像作为共同的输入送到景深图像细化网络中，得到精细化的景深图像d(x)；第四步、对大气散射系数β进行估计，通过下列公式求解出相应的透射率图像t(x)：t(x)＝e

【技术特征摘要】
1.一种基于深度卷积神经网络的单幅图像去雾方法，其特征在于，包括如下步骤：第一步、获得输入图像，并将其经由预先训练好的粗景深图像提取网络处理，得到粗景深图像；第二步、构建以输入图像以及粗景深图像作为输入的景深图像细化网络；第三步、将所述的粗景深图像和输入图像作为共同的输入送到景深图像细化网络中，得到精细化的景深图像d(x)；第四步、对大气散射系数β进行估计，通过下列公式求解出相应的透射率图像t(x)：t(x)＝e-βd(x)第五步、对大气光值A进行估计；第六步、利用前述步骤所求得的景深图像d(x)、大气散射系数β、透射率图像t(x)以及大气光值A，将其代入下列大气散射模型的数学表达式中，对输入图像进行去雾清晰化处理：式中I(x)表示有雾图像；J(x)表示无雾图像。2.根据权利要求1所述的基于深度卷积神经网络的单幅图像去雾方法，其特征在于，所述第五步估计大气光值A的步骤具体如下：1)预设阈值θ，最佳阈值θ通过实验进行预估计；2)将输入图像中大于阈值的像素点进行屏蔽，得到预处理后的图像；3)在预处理后的图像中，统计图像中最亮的前1％像素值，并以这些像素点的均值作为大气光值的估计值。3.根据权利要求2所述的基于深度卷积神经网络的单幅图像去雾方法，其特征在于，所述阈...

【专利技术属性】
技术研发人员：王卫星，黄德威，陆健强，陆可昕，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东,44