一种基于注意力机制的CycleGAN去雾方法技术

本发明专利技术公开了一种基于注意力机制的CycleGAN去雾方法，属于图像去雾处理技术领域领域，解决了图像颜色失真、目标细节模糊等问题；本发明专利技术首先对输入图片进行采样，通过9个残差网络块进行特征提取，每个残差模块间使用Senet进行连接，然后根据通道的重要程度进行权重赋予，提取特征，进行上采样还原，得到去雾图像。相较于其他方法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题，具有较高的科学意义及实用价值。价值。价值。

【技术实现步骤摘要】
一种基于注意力机制的CycleGAN去雾方法


[0001]本专利技术专利属于图像处理
，具体涉及一种一种基于注意力机制的CycleGAN去雾方法。

技术介绍

[0002]雾与霾广泛存在于在自然界中。潮湿环境中地面附近的水蒸气，容易与灰尘结合成为细微水滴或在低温条件下凝结成为冰晶，这种细微水滴和冰晶与空气组成的气溶胶系统称作雾。城市环境中存在着硝酸、硫化物以及灰尘等颗粒物与空气结合的气溶胶系统称作霾。雾霾灾害令我国的交通安全、航空安全甚至军事安全等领域受到严峻的挑战。交通安全领域，在雾霾天气下，道路监控以及车辆疏导系统的能见度降低，起雾的低清晰度图像会对目标检测的效果造成极大的干扰。在航空安全领域，在民航客机的起飞和降落阶段，雾霾会对飞行员们的视野产生阻挡，会造成航班的延误、备降甚至于停运等恶劣的状况。在军事安全领域，雾霾天气会带来可见光波段的遮挡造成信息损失，各类观测卫星，制导反导的精确性能受到影响。因此，为了保障计算机视觉处理系统在雾霾天气下满足我国交通安全、航空安全以及军事安全等方面的需要，将带雾图像进行还原去雾处理，提高图像的清晰度、对比度，具有极为重要的现实意义。
[0003]随着移动设备、便携计算机的用户量扩张以及计算机算力的大幅度提升，图像处理、图像风格迁移、基于图像内容的检索与分类、图像生成等领域已经逐渐发展成为结合多个学科，生成对抗网络(GAN)是这些领域的重要技术。目前已有研究人员利用GAN和注意力机制(Senet)进行去雾处理，Engin等人在去雾问题中使用了循环神经对抗网络，以此避免训练样本少的问题，Xu Qin等人则在去雾算法中将通道注意力、像素注意力二者结合，赋予重要特征以更多权重。Liang等提出了强基线模型SwinIR，此模型在图像超分辨率、去噪等方面表现优秀。注意力机制是自深度学习快速发展后广泛应用于自然语言处理、统计学习、图像检测、语音识别等领域的核心技术。

技术实现思路

[0004]有鉴于此，本专利技术专利结合CycleGAN与注意力机制，提出了一种基于注意力机制的CycleGAN去雾方法。相较于其他方法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题，具有较高的科学意义及实用价值。
[0005]本专利技术专利采用的技术方案如下：
[0006]一种基于注意力机制的CycleGAN去雾方法，包括以下步骤：
[0007]步骤1：利用循环生成对抗网络(CycleGAN)生成高质量的成对图像用于网络模型训练，结合损失函数优化并生成最终网络模型；
[0008]步骤2：基于步骤1生成的网络模型，输入真实图像并进行下采样操作，对经过下采样操作的真实图像通过9个残差网络块进行特征图提取；
[0009]步骤3：每个残差网络块间使用注意力机制(Squeeze
‑
and
‑
Excitation Networks，Senet)进行连接，根据通道的重要程度进行通道的权重赋予；
[0010]步骤4：结合通道的权重对特征图进行上采样还原，得到去雾图像。
[0011]所述步骤1具体包括以下步骤：
[0012]1.1：利用循环生成对抗网络(CycleGAN)生成高质量的成对图像数据集，并将其用于网络模型训练，其中成对图像数据集生成方法具体为：
[0013]单张训练数据增广为成对数据集的实现方法，等价为待增广图像图像从源域X转换到目标域Y获得对应成对图像，而循环生成对抗网络就是通过训练一个将图像从源域X转换到目标域Y映射G，这样G(X)的图像分布能够和使用对抗损失的图像分布Y有一致。
[0014]1.2：对损失函数进行改进优化，调整完整损失情况，结合优化后的损失函数生成最终网络模型，以实现图像的转换。
[0015]所述步骤2具体包括以下步骤：
[0016]2.1：基于步骤1生成的网络模型，输入真实图像并进行下采样操作；
[0017]2.2：对经过下采样操作的真实图像通过9个残差网络块进行特征图提取。
[0018]所述步骤3具体包括以下步骤：
[0019]3.1：使用注意力机制对每个残差网络块进行连接；
[0020]3.2：对步骤2.2提取的特征图进行Squeeze操作，获取确定各个通道特征的重要性的权值，该权值具有全局感受野，然后针对所以通道进行全局均值池化处理，最终获取具有全局感受野的特征图；
[0021]3.3：对具有全局感受野的特征图进行Excitation操作，借助全连接层反向影响到特征图，通过预测特征图对应通道的重要性，获取该通道的重要程度，并对通道进行权重赋予。
[0022]所述步骤4具体包括以下步骤：
[0023]4.1：基于步骤3.3获取的带有权重的通道，对特征图进行上采样还原操作，输出获得去雾图像。
[0024]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0025]本专利技术将CycleGAN去雾算法和注意力机制结合，提出了一种基于注意力机制的CycleGAN去雾算法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题。
附图说明
[0026]本专利技术将通过例子并参照附图的方式说明，其中：
[0027]图1是本专利技术的图像去雾流程示意图；
[0028]图2是Squeeze
‑
and
‑
Excitation模块结构示意图；
[0029]图3是判别网络结构示意图；
[0030]图4是加入注意力机制后的生成网络示意图；
[0031]图5是多种算法的去雾实验结果对比图；
具体实施方式
[0032]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本专利技术实施方式的组件可以以各种不同的配置来布置和设计。
[0033]因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0034]需要说明的是，在不冲突的情况下，本专利技术中的实施方式及实施方式中的特征可以相互组合。
[0035]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0036]需要说明的是，在不冲突的情况下，本专利技术中的实施方式及实施方式中的特征可以相互组合。
[0037]实施例
[0038]如图1
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的CycleGAN去雾方法，其特征在于，包括以下步骤：步骤1：利用循环生成对抗网络生成高质量的成对图像用于网络模型训练，结合损失函数优化并生成最终网络模型；步骤2：基于步骤1生成的网络模型，输入真实图像并进行下采样操作，对经过下采样操作的真实图像通过9个残差网络块进行特征图提取；步骤3：每个残差网络块间使用注意力机制进行连接，根据通道的重要程度进行通道的权重赋予；步骤4：结合通道的权重对特征图进行上采样还原，得到去雾图像。2.根据权利要求1所述的一种基于注意力机制的CycleGAN去雾方法，其特征在于，所述步骤1具体包括以下步骤：步骤1.1：利用循环生成对抗网络生成高质量的成对图像数据集，并将其用于网络模型训练；步骤1.2：结合损失函数优化并生成最终网络模型，以实现图像的转换。3.根据权利要求1所述的一种基于注意力机制的CycleGAN...

【专利技术属性】
技术研发人员：杨昕梅，傅宇婧，杨承，邬云舒，刘流，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：