基于多尺度自注意生成对抗网络的单幅图像去雾方法技术

本发明专利技术公开的基于多尺度自注意生成对抗网络的单幅图像去雾方法，通过将图像归化成的训练集对将图像进行两次下采样构建的生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中对去雾结果用损失函数进行优化，最后将有雾图像输入到生成对抗网络模型中，得到去雾图像。本发明专利技术提供的单幅图像去雾方法，解决了现有技术中去雾图像质量差的问题。

【技术实现步骤摘要】
基于多尺度自注意生成对抗网络的单幅图像去雾方法
本专利技术属于图像处理
，涉及一种基于多尺度自注意生成对抗网络的单幅图像去雾方法。
技术介绍
单幅图像去雾的目的是从有雾图像中恢复干净的图像，这对于后续的高级别任务(如对象识别和场景理解)是必不可少的。因此，图像去雾在计算机视觉领域得到了广泛的关注。根据物理模型，图像去雾过程可以用公式表示为I(x)＝J(x)t(x)+A(1-t(x))(1)；其中I(x)和J(x)分别表示有雾图像和清晰图像。A表示全局大气光，t(x)表示传输映射。传输映射可以表示为t(x)＝e-βd(x)，d(x)和β分别表示景深和大气散射系数。定义一张有雾图像I(x)，大多数算法通过估计t(x)和A来恢复清晰图像J(x)。然而，从有雾图像中估计传输映射和全局大气光通常是一个不适定的问题。早期基于先验的方法试图利用清晰图像的统计特性来估计传输映射，如暗通道先验和颜色线先验，这些图像先验很容易产生和真实图像不一致的情况，导致传输估计不准确，因此，恢复的图像质量通常不准确。随着深度学习的兴起，透本文档来自技高网...

【技术保护点】
1.基于多尺度自注意生成对抗网络的单幅图像去雾方法，其特征在于，包括以下步骤：/n步骤1、获取图像数据集，对图像数据集中的每个有雾图像的像素值归一化为[-1,1]，得到训练集；/n步骤2、将输入的有雾图像进行两次下采样得到两个尺度的缩放图像，构建生成对抗网络模型，生成对抗网络模型由生成网络和判别网络组成；/n步骤3、利用步骤1得到的训练集对步骤2构建的生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中对去雾结果采用损失函数进行优化；/n步骤4、将有雾图像输入到步骤3训练后的生成对抗网络模型中，得到去雾图像。/n

【技术特征摘要】
1.基于多尺度自注意生成对抗网络的单幅图像去雾方法，其特征在于，包括以下步骤：
步骤1、获取图像数据集，对图像数据集中的每个有雾图像的像素值归一化为[-1,1]，得到训练集；
步骤2、将输入的有雾图像进行两次下采样得到两个尺度的缩放图像，构建生成对抗网络模型，生成对抗网络模型由生成网络和判别网络组成；
步骤3、利用步骤1得到的训练集对步骤2构建的生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中对去雾结果采用损失函数进行优化；
步骤4、将有雾图像输入到步骤3训练后的生成对抗网络模型中，得到去雾图像。


2.根据权利要求1所述的单幅图像去雾方法，其特征在于，所述步骤2构建生成对抗网络模型的步骤为：将输入原始大小有雾图像的路径作为生成器的主干网络，下采样后两个尺度缩放图像的路径作为分支输入到主干网络中，每一个分支都采用自注意力机制；
对于生成器生成的去雾图像，和输入图像尺寸大小相同的输出作为最终的去雾结果，将得到的分支去雾结果作为监督学习的一部分，来约束生成器模型。


3.根据权利要求2所述的单幅图像去雾方法，其特征在于，所述构建生成对抗网络模型步骤中：
自注意力机制首先对输入的特征映射X进行线性映射，然后得到特征θ,g；
通过调整特征映射的维度，合并上述的三个特征除通道数外的维度，然后对θ和进行矩阵点乘操作并经过softmax函数处理得到注意力特征映射；将得到的注意力特征映射与特征g进行点乘，然后将点乘后的结果经过线性变换后与输入的特征进行相加得到自注意力特征Z；
残差块主要包括卷积层和激活函数两个部分，输入特征首先经过卷积层得到特征映射，然后将得到的特征映射输入到激活函数中进行激活，将激活后的特征映射再次输入到卷积层中进行卷积，将卷积得到的特征映射与输入进行相加，并将相加的结果经过激活函数处理后输出最终的特征映射；
卷积残差块首先将输入的特征分为五个部分，每个部分根据卷积核的大小按不同的比例分配输入的特征映射，然后每个卷积层对分配的特征映射进行卷积得到对应卷积核的特征映射，最后将得到的5个部分的特征映射进行通道连接，得到与输入特征映射通道数相同的结果。


4.根据权利要求3所述的单幅图像去雾方法，其特征在于，所述构建生成对抗网络模型具体操作为：
a.将训练集中的图像Ix使用双线性插值进行下采样得到图像尺度为Ix的大小的和图像尺度为Ix的的
b.对于输入为的分支，我们首先将输入的图像经过一个由卷积、实例归一化和激活函数组成的网络层进行特征提取得到处理后的特征映射O1；
c.将特征映射O1输入到自注意力模块Attention中，得到具有全局注意力的特征映射O2；
d.将自注意力特征O2经过一个残差块进行特征矫正；
e.对于输入为的分支采用和输入为分支相同的操作得到O6；
f.对于主干分支，我们首先将输入的经过一个卷积核大小为3、步长为1的卷积层，输出特征映射O7；
g.将特征映射O7依次经过三个残差块来提取浅层特征；
h.使用卷积核大小为3，步长为2的卷积层对特征映射O10进行下采样得到特征映射O11；
i.将特征O11与输入为的分支的特征O3进行通道连接，...

【专利技术属性】
技术研发人员：石争浩，周昭润，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61