一种基于亚像素和条件对抗生成网络的单幅图像去雾方法技术

本发明专利技术公开了一种基于亚像素和条件对抗生成网络的单幅图像去雾方法，包括以下步骤：获取原始无雾图像数据集，依据雾天成像模型合成有雾数据集；将待处理的有雾图像输入生成器G，所述生成器G的网络结构设置有跳层连接，经过编码输出尺寸逐步减少的特征图，解码阶段使用反卷积与亚像素分别获得各自的特征图后使用卷积对特征图进行操作，获得生成器输出无雾图像；将生成器G输出的无雾图像与原始无雾图像输入判别器D，判断生成器D输出无雾图像是否为真；对生成器G和判别器D同时进行对抗约束，计算对抗损失和L1损失，依据随机梯度下降的原则进行反向传播更新生成器G和判别器D的参数，当模型的总体损失收敛时，模型训练完成。

【技术实现步骤摘要】
一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
本专利技术涉及图像处理和模式识别
，尤其是一种基于亚像素和条件对抗生成网络的单幅图像去雾方法。
技术介绍
由于大气中的水汽和固体颗粒物折射的存在，使得拍摄的图像视觉上呈现有雾的现象。图像去雾旨在从一张有雾的图像恢复出干净的无雾图像。高质量的无雾图像的生成对后期开展分割、检测和识别等工作十分有利。有雾图像的表达可以模拟为：I(x)＝J(x)t(x)+A(1-t(x))(1)其中I(x)和J(x)是观察到的有雾图像和清晰的场景辐射，A是全局大气光，t(x)被称作介质透射率。假设雾的浓度是均匀的，我们可以表示t(x)＝e-βd(x)，其中β是介质消光系数,d(x)是场景深度。在有效的求解了t(x)和A之后，就可以复原出无雾图像J(x)：其中的max{0.1,t(x)}用于控制t(x)过小接近于0的情况。目前已经提出很多方法来解决图像去雾的问题，主要分为手工特征提取方法和基于深度学习的方法。在基于手工特征方面，Tan通过使图像的对比度最大化来估计大气散射光，大大提高了图像的视觉效果。He等人利用暗通道先验来恢复t(x)，取得了很好的效果。基于深度学习方面，任文琦等人提出了基于多尺度卷积网络估计t(x)，再还原出原图J(x)的方法，称为MSDNN。BoyiLi等人则提出将A和t(x)通过数学变换以进行联合估计的方法，称为AOD-Net。但这些方法主要存在两个问题。第一，手工方法虽然可以有效的进行图像去雾，但是大多数的手工方法对于图像的天空区域以及亮度接近于全局大气光A的区域处理较差。第二，基于深度学习方法的去雾方法虽然比传统方法取得的效果更好，但是这些方法(包括传统方法)的主要处理目标在于t(x)，而忽略全局大气光A，如果t(x)的估算不恰当，则图像整体的去雾效果也不够好。虽然近些年也出现完全端到端的去雾方法，如AOD-Net，但是其主要思想还是在处理t(x)，并不能很好的联合估计t(x)和A。
技术实现思路
本专利技术的目的是提供一种基于亚像素和条件对抗生成网络的单幅图像去雾方法，使用条件对抗生成网络(cGAN)作为网络的基础架构，同时在反卷积的基础上引入亚像素作为上采样操作以生成质量更高的无雾图像。为实现上述目的，本专利技术采用下述技术方案：一种基于亚像素和条件对抗生成网络的单幅图像去雾方法，包括以下步骤：获取原始无雾图像数据集，依据雾天成像模型合成有雾数据集；将待处理的有雾图像输入生成器G，所述生成器G的网络结构设置有跳层连接，经过编码输出尺寸逐步减少的特征图，解码阶段使用反卷积与亚像素分别获得各自的特征图后使用卷积对特征图进行操作，获得生成器输出无雾图像；将生成器G输出的无雾图像与原始无雾图像输入判别器D，判断生成器D输出无雾图像是否为真；对生成器G和判别器D同时进行对抗约束，计算对抗损失和L1损失，依据随机梯度下降的原则进行反向传播更新生成器G和判别器D的参数，当模型的总体损失收敛时，模型训练完成。进一步地，所述获取原始无雾图像数据集，依据雾天成像模型合成有雾数据集，包括：收集室内和室外的无雾图像，统一裁剪至256×256的尺寸，并根据室内和室外两种类别进行分类；使用公式I(x)＝J(x)t(x)+A(1-t(x))在原始无雾数据集的基础上合成有雾数据集，其中，I(x)是有雾图像，J(x)是无雾图像，A是全局大气光，t(x)是介质透射率。进一步地，所述跳层连接为：解码阶段的每一次上采样的输入都是上一步上采样输出的特征图和与之相同尺度的编码阶段的特征图的联合。进一步地，所述经过编码输出尺寸逐步减少的特征图，包括：编码阶段采用下采样操作，包括8个卷积，每个卷积核大小设置为4×4，步长尺寸为1×1，生成的特征图尺寸逐步减少，每次减少为上一步的同时每一步输出的特征图维度分别为[128,64,32,16,8,4,2,1]。进一步地，所述解码阶段使用反卷积与亚像素分别获得各自的特征图后使用卷积对特征图进行操作，包括：通过将卷积核转置，与卷积后的结果再做一遍卷积，获得卷积前的特征图；对当前维度的特征图进行周期性重排，将r2维度的低分辨率特征拼接为高分辨率图像，r为放大倍数；经过反卷积和亚像素分别获得放大后的特征图之后，再使用一个1×1的卷积对特征图进行操作。进一步地，所述将生成器G输出的无雾图像与原始无雾图像输入判别器D，判断生成器D输出无雾图像是否为真，包括：将生成器G输出的无雾图像与原始无雾图像输入五层的卷积构成的70×70大小的局部判别器，卷积核大小全部为4×4，前三个卷积的步长为2×2，最后两个的步长大小为1×1，前四个的激活函数都是ReLU，最后的激活函数为sigmoid，用于输出判别的数值，数值在[0,1]之间，数值的输出结果表示生成的图像是否为真。进一步地，所述对生成器G和判别器D同时进行对抗约束，计算对抗损失和L1损失，包括：条件对抗生成网络的目标函数定义为：LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,D(x,G(x,z)](3)L1损失函数定义如下：LL1(G)＝Ex,y,z[||y-G(x,z)||1](4)最终的生成器G与判别器D的损失函数定义如公式(5)所示，其中λ＝100：进一步地，所述依据随机梯度下降的原则进行反向传播更新生成器G和判别器D的参数，包括：使用最小化随机梯度下降，并且使用Adam优化器，其中学习率设置为0.002。
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：本专利技术可以直接端到端的从有雾图像生成无雾图像，解决了前人深度学习方法分步求解带来的不足。同时本专利技术生成的图像相比于传统手工方法，如DCP方法，以及前人的深度学习方法，相对生成质量较高，具有良好的视觉效果，能够很好的恢复有雾图像中的结构和细节信息。同时引入亚像素这一上采样方式，可以一定程度上抑制反卷积在生成图像时“棋盘效应”的产生。附图说明图1是本专利技术实施例一方法流程图；图2是采用不同方法对有雾图像处理后结果图；其中，(a)为输入的有雾图像，(b)～(k)是采用前人方法的处理结果图，(l)是采用本专利技术方法的处理结果图。具体实施方式为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。实施例一如图1所示，一种基于亚像素和条件对抗生成网络的单幅图像去雾方法，包括以下步骤：S1、获取原始无雾图像数据集，依据雾天成像模型合成有雾数据集；S2、将待处理的有雾图像输入生成器G，所述生成器G的网络结构设置有跳层连接，经过编码输出尺寸逐步减少的特征图，解码阶段使用反卷积与亚像素分别获得各自的特征图后使用卷积对特征图进行操作，获得生成器输出无雾图像；S3、将生成器G输出的本文档来自技高网...

【技术保护点】
1.一种基于亚像素和条件对抗生成网络的单幅图像去雾方法，其特征是，包括以下步骤：获取原始无雾图像数据集，依据雾天成像模型合成有雾数据集；将待处理的有雾图像输入生成器G，所述生成器G的网络结构设置有跳层连接，经过编码输出尺寸逐步减少的特征图，解码阶段使用反卷积与亚像素分别获得各自的特征图后使用卷积对特征图进行操作，获得生成器输出无雾图像；将生成器G输出的无雾图像与原始无雾图像输入判别器D，判断生成器G输出的无雾图像是否为真；对生成器G和判别器D同时进行对抗约束，计算对抗损失和L1损失，依据随机梯度下降的原则进行反向传播更新生成器G和判别器D的参数，当模型的总体损失收敛时，模型训练完成。

【技术特征摘要】
1.一种基于亚像素和条件对抗生成网络的单幅图像去雾方法，其特征是，包括以下步骤：获取原始无雾图像数据集，依据雾天成像模型合成有雾数据集；将待处理的有雾图像输入生成器G，所述生成器G的网络结构设置有跳层连接，经过编码输出尺寸逐步减少的特征图，解码阶段使用反卷积与亚像素分别获得各自的特征图后使用卷积对特征图进行操作，获得生成器输出无雾图像；将生成器G输出的无雾图像与原始无雾图像输入判别器D，判断生成器G输出的无雾图像是否为真；对生成器G和判别器D同时进行对抗约束，计算对抗损失和L1损失，依据随机梯度下降的原则进行反向传播更新生成器G和判别器D的参数，当模型的总体损失收敛时，模型训练完成。2.如权利要求1所述的方法，其特征是，所述获取原始无雾图像数据集，依据雾天成像模型合成有雾数据集，包括：收集室内和室外的无雾图像，统一裁剪至256×256的尺寸，并根据室内和室外两种类别进行分类；使用公式I(x)＝J(x)t(x)+A(1-t(x))在原始无雾数据集的基础上合成有雾数据集，其中，I(x)是有雾图像，J(x)是无雾图像，A是全局大气光，t(x)是介质透射率。3.如权利要求1所述的方法，其特征是，所述跳层连接为：解码阶段的每一次上采样的输入都是上一步上采样输出的特征图和与之相同尺度的编码阶段的特征图的联合。4.如权利要求1所述的方法，其特征是，所述经过编码输出尺寸逐步减少的特征图，包括：编码阶段采用下采样操作，包括8个卷积，每个卷积核大小设置为4×4，步长尺寸为1×1，生成的特征图尺寸逐步减少，每次减少为上一步的同时每一步输出的特征图维度分别为[128,64,32,16,8,4,2,1]。5....

【专利技术属性】
技术研发人员：张盛平，孙嘉敏，吕晓倩，朴学峰，董开坤，张维刚，孙鑫，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：山东,37