一种基于生成式对抗网络的图像去雾方法技术

本发明专利技术公开了一种基于生成式对抗网络的图像去雾方法，采用HOG特征提取方式和加入先验信息的去噪方式，提出依托环境雾霾浓度数据变化而变化的损失函数，从而选择整体最优的解决途径，在很大程度上解决了颜色的偏移等问题，同时防止图像过度去雾化，在尽可能得到清晰结果和降低复杂度之间寻找一种平衡；在一定程度上解决了先验信息制约算法适用范围的问题。

【技术实现步骤摘要】
一种基于生成式对抗网络的图像去雾方法
本专利技术涉及图像处理
，尤其是一种基于生成式对抗网络的图像去雾方法。
技术介绍
随着信息技术的不断发展与电子设备的普及，人们越来越享受生活，同时也会通过照片记录生活。随着深度神经网络的推进与发展，人们开始应用深度神经网络来解决各种图像问题，例如图像补全、图像去雨雪等。由于近年来雾霾天气的加剧，好的照片也因为雾霾造成的低能见度而受到影响。因此引出了诸如暗通道先验、最大对比度等图像去雾算法。自2014年Goodfellow提出生成式对抗网络，GAN(GenerativeAdversarialNetwork)因其生成的图像更加锐利、清晰而被学者所喜爱，将其应用于各个领域，诸如图像去马赛克、图像填充、图像超分辨率等等。通过吕国豪等人的研究结果我们了解到人为排放的微小颗粒物质(particlemass，PM)分散到大气中形成固体气溶胶，即霾。雾霾的浓度大小将会影响图片拍摄效果，根据清晰度的不同，处理图片所用资源也应当有所不同。雾霾的出现导致图像采集过程中图像对比度降低、场景中部分细节缺损与颜色的偏移，使得图像中部分特征信息发生丢失与改变，直接降低与限制了基于图像特征进行识别、分割和检测等算法的效果。当然，学术界已经提出各种解决图像去雾算法，诸如暗通道先验算法、Tarel算法、He算法、基于Retinex的图像增强方法的单帧图像去雾算法等，但各种算法也有其各自的缺陷。暗通道优先是基于对户外无雾图像统计结果，将暗通道优先原理结合退化模型，我们能够简单而高效的对单幅图像去雾，但是由于暗通道优先是一种统计特性，所以它可能对于一些特殊的图像并不起作用。当场景目标与大气光很相似，而且没有阴影投射到上面时暗通道先验是无效的。另外几种算法虽然有其各自的优越性，但是也有一定的不足之处。当原始图像受到雾霾干扰时会发生模糊不清晰、对比度不高、细节信息不突出的情况，面对这种情况，Tarel算法虽然实现了去雾，但是图中的颜色明显失真并且伴有光晕现象；He算法去雾效果虽然好，颜色也较为正常，但细节信息不突出的这一问题并没有得到很好的解决；而使用基于Retinex的图像增强方法的单帧图像去雾方法，虽然去雾效果很好，同时具备很高的时间效率，但其对不同场景的雾天图像特性尚未充分考虑。图像去雾本质上是一个欠约束问题，这也是导致现有算法取得成果差强人意的根本原因，虽然在一定程度上解决了图像对比度降低、场景中部分细节缺损与颜色偏移等问题，但是解决的不够完美或者说一个算法无法在所有的问题上都能解决的很完美，所以去雾结果就会存在颜色偏移及先验信息制约算法适用范围等。GAN由生成器G和判别器D组成，通过对抗学习的方式训练数集并生成新的数据样本。2014年Goodfellow发表《GenerativeAdversarialNetworks》一文，使生成式对抗网络在学术界首次亮相，其主要思想来自于博弈论(即二人的利益之和为零，一方的所得正式一方的所失)。此后，GAN被应用于解决各种实际问题，诸如语言、语音处理，棋牌比赛程序等问题的研究。如图3所示，生成式对抗网络的基本框架包含一对模型：生成模型(G)和判别模型D(x)；模型的输入为随机高斯白噪声信号z，该噪声信号经由生成器G映射到某个新的数据空间，得到生成数据G(z)；接下来，由判别器D根据真实数据x与生成数据G(z)的输入来分别输出一个概率值，表示D判断输入是真实数据还是生成虚假数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据x和生成数据G(z)时，就认为生成器G达到了最优；D的目标是区分两者，使D(x)尽量大而同时使尽量小D(G(z))，两者差异尽可能大；而G的目标是使自己产生的数据在D上的表现D(G(z))尽量与真实数据的表现D(x)一致，让D不能区分生成数据与真实数据；模块的优化过程是一个相互竞争相互对抗的过程，G&D的性能在迭代过程中不断提高，直到最终D(G(z))与真实数据的表现D(x)一致，此时G和D都不能再进一步优化；该优化过程可建模成朴素Minmax问题：(以下是GAN的优化目标函数，本专利提出的正则化项(见下的(6)式)，结合公式(5)得到公式(3)，实现联合优化的目的：x表示真实图片，z表示输入G网络的噪声，而G(z)表示G网络生成的图片，D(x)表示D网络判断真实图片是否真实的概率，D的值越趋向于1越好，D(G(z))是D网络判断G网络生成图片是否真实的概率，D网络的能力越强，则D(x)越趋向于1，D(G(z))也相应的越小，这时V(D,G)会变大，因此式子对于D网络来说是求最大(maxD)。如图1所示，CNN(ConvolutionalNeuralNetwork)含有的层级结构：数据输入层、卷积计算层、激励层、池化层、全连接层。CNN是按照顺序分层的方式，从底层输入到顶层输出，即输入计算机试图进行解释的原始内容，输出计算机的最终结论，底层与顶层的中间层是数学功能层。每一层都将识别的最重要的信息进行压缩，从而传导至下一层。经过第一层传输的数据会被缩减采样层减少数据的复杂度。前几层注重边缘、形状等情况，以此抽取出整体的视觉效果，找出不同的识别特征，将之提取出来以便找出能够将图案与周边环境区分出来的特征。有监督的卷积网络学习CNN，已经在计算机视觉方面有了广泛的应用。相比之下，无监督学习较少，所以我们将有监督学习和无监督学习组合起来使用，将卷积网络引入到生成式模型当中来做无监督的训练，利用卷积网络强大的特征提取能力来提高生成网络的学习效果，由此对生成对抗网络延伸，即DCGAN(DeepConvolutionalGenerativeAdversarialNetworks)。如图2所示，DCGAN在判别器模型中使用stridedconvolutions来替代空间池化，在生成器模型中使用反卷积层。除了生成器模型的输出层和判别器模型的输入层，在网络其它层上都使用了BatchNormalization，使用BN可以稳定学习，有助于处理初始化不良导致的训练问题。去除了全连接层，而直接使用卷积层连接生成器和判别器的输入层以及输出层。在生成器的输出层使用Tanh激活函数，而在其它层使用ReLU；在判别器上使用leakyReLU。本专利技术提出一种新的去雾方法——基于深度卷积对抗网络的去雾，利用卷积神经网络(CNN)和生成对抗网络(GAN)技术，实现图像的去雾。由于DCGAN具有广泛的适应性，不加条件使其自由训练往往会导致很高的时间复杂度和空间复杂度。鉴于以上因素，本专利技术采用加入先验信息的去噪方式，提出依托环境雾霾浓度数据变化而变化的损失函数，从而选择整体最优的解决途径，防止图像过度去雾化，在尽可能得到清晰结果和降低复杂度之间寻找一种平衡。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于生成式对抗网络的图像去雾方法，能够在一定程度上解决图像对比度降低、场景中部分细节缺损与颜色偏移等问题，同时也解决了算法适用范围的问题。为解决上述技术问题，本专利技术提供一种基于生成式对抗网络的图像去雾方法，通过采用HOG的特征提取方式提高了生成图片的正确性，即使得生成结果更符合预期结果。通过加入先验信息制约算法适用范围，提高了整体网络的鲁棒性，本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的图像去雾方法，其特征在于，包括如下步骤：(1)将图像转化为一个x,y,z的灰度图；(2)标准化gamma空间和颜色空间；将整个图像进行归一化，先转化为灰度图；Gamma压缩公式如下：I(x,y)＝I(x,y)gamma      (1)(3)用[‑1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量gradscalx，然后用[1,0，‑1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量gradscaly，用下述公式计算梯度；图像中像素点(x,y)的梯度为：

【技术特征摘要】
1.一种基于生成式对抗网络的图像去雾方法，其特征在于，包括如下步骤：(1)将图像转化为一个x,y,z的灰度图；(2)标准化gamma空间和颜色空间；将整个图像进行归一化，先转化为灰度图；Gamma压缩公式如下：I(x,y)＝I(x,y)gamma(1)(3)用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量gradscalx，然后用[1,0，-1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量gradscaly，用下述公式计算梯度；图像中像素点(x,y)的梯度为：式中Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度，垂直方向梯度和像素值；(4)为每个细胞单元构建梯度方向直方图；(5)把细胞单元组合成大的块，块内归一化梯度直方图；(6)收集HOG特征：(7)生成网络G和判别网络D学习构建HOG特征分布；(8)生成网络G学习构建雾霾中悬浮颗粒物浓度到清晰率间的映射网络，得到生成清晰率，并通过判别网络对生成清晰率与最佳清晰率进行判别区分，G*与D*满足其中，cdist为从训练样本中获取的最佳清晰率，其作为判别过程中判别器D的参考数据判别清晰率，且从样本中得到的判别清晰率cdist满足特征分布pdata；为G*得到的生成清晰率，满足特征分布pc；F为输入特征函数，即雾霾中主要悬浮颗粒物浓度数据作为先验信息约束生成器与判别器，其满足公式：F＝λ*P(G,D,Cpm2.5,Cpm10)；对于判别网络D*，其功能是最大限度的区分出判别清晰率和生成清晰率；而对于生成网络G*，其作用是最小化(1...

【专利技术属性】
技术研发人员：田青，林鹏，石玥，于丹丹，王超，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32