基于生成对抗网络的无人机航拍图像去雾方法及装置制造方法及图纸

本发明专利技术涉及一种基于生成对抗网络的无人机航拍图像去雾方法及装置，该方法包括合成多对同一场景下的航拍雾天图像和清晰图像数据；将上述数据划分为训练集和测试集；构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像质量的判别器，生成器中具有约束函数，约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，约束函数包括色彩饱和度、对比度和亮度约束信息；将训练集中成对的航拍雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；将测试集中的雾天图像输入训练完成的生成器预测去雾后的图像。图像。图像。

【技术实现步骤摘要】
基于生成对抗网络的无人机航拍图像去雾方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种基于生成对抗网络的无人机航拍图像去雾方法及装置。

技术介绍

[0002]近几年空气质量退化严重，雾霾等恶劣天气出现频繁，PM2.5值越来越引起人们的广泛关注。在有雾天气下拍摄的图像模糊不清，清晰度不够，细节不明显，色彩保真度下降，出现严重的颜色偏移和失真，达不到满意的视觉效果。由此限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦查等系统效用的发挥，给生产与生活等各方面都造成了极大的影响。
[0003]无人机在空中飞行获取航拍视频图像过程中，由于雾的影响，会导致获取到的视频图像出现色彩泛白、对比度下降、色彩变淡等问题，不仅影响这些无人机航拍视频图像的视觉质量，而且会给后续的计算机视觉算法，如目标检测与识别算法和目标跟踪定位算法等带来很大的困难，故现在迫切需要对雾天图像进行有效的去雾处理。
[0004]图像去雾算法目前已取得较大的进展，主要可分为两大类：第一类是基于图像增强的图像去雾方法，第二类是基于物理模型的图像去雾方法。
[0005]第一类基于图像增强的图像去雾方法，如直方图均衡化算法，通过灰度直方图的形状，能判断该图像的清晰度和黑白对比度，即如果获得一幅图像的直方图效果不理想，可以通过直方图均衡化处理技术作适当修改，即把一幅已知灰度概率分布图像中的像素灰度作某种映射变换，使它变成一幅具有均匀灰度概率分布的新图像，实现使图像清晰的目的。
[0006]但是，这类基于图像增强的图像去雾方法，并不考虑图像退化模型及降质原因，仅从图像处理的角度提高图像对比度，因此容易造成图像的信息丢失，并不能从根本上去雾。
[0007]第二类基于物理模型的图像去雾方法，比如构建图像去雾模型，将低分辨率图像作为输入并产生高分辨率输出，得到去雾图像；具体为：通过构建图像去雾模型，获取有雾图像数据，再通过结合循环一致性和感知损失来增强Cycle生成对抗网络模型，以便改善纹理信息恢复的质量并产生视觉上更好的清晰图像。
[0008]然而，这类基于物理模型的图像去雾方法，由于采用一些室内图像进行端到端的训练模型，导致室内数据场景较为单一，并且无法很好的类比到真实雾天图像，图像景深距离小，不符合真是雾天图像的特性，去雾模型泛化性不够，同时该技术方案中，往往对图像进行去雾处理后导致图像细节损失严重，无法实现良好的收敛性，而且去雾结果颜色对比度较低并且去雾力度不足，仍有少许残雾出现。
[0009]因此，提供一种去雾效果更好的去雾方法，是目前需要解决的主要问题。

技术实现思路

[0010]本申请提供了一种基于生成对抗网络的无人机航拍图像去雾方法及装置，以解决现有的基于图像增强的图像去雾方法和基于物理模型的图像去雾方法均去雾效果不佳的
问题。
[0011]本申请采用的技术方案如下：
[0012]第一方面，本专利技术提供一种基于生成对抗网络的无人机航拍图像去雾方法，包括：
[0013]合成多对同一场景下的航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；
[0014]将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；
[0015]构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，高频信息损失函数、低频信息损失函数和内容信息损失函数；
[0016]将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；
[0017]将测试集中的航拍雾天图像输入训练好的生成器预测去雾后的图像。
[0018]在一种可实现的实施方式中，所述生成器包括编码器、残差结构和解码器；
[0019]构建用于雾天图像去雾形成去雾图像的生成器，包括：
[0020]编码器对雾天图像提取图像特征；
[0021]残差网络将提取图像特征的雾天图像转换为符合目标域数据分布的特征图；
[0022]转换器将所述特征图的特征向量进行扩张反演出低级特征，若步长为1，则输入输出特征图大小相等；
[0023]若步长为2，则经卷积后输出特征大小减半，经反卷积后输出特征大小加倍，得到原尺寸的去雾图像。
[0024]进一步地，所述编码器包括3个卷积、3个批规范化层和3个ReLU激活层，卷积核大小为3*3，步长为2；
[0025]残差结构包括6个残差块，每个残差块又包含了2个卷积层、2个批规范化层和1个ReLU激活层，卷积核大小为3*3，步长为1；
[0026]解码器包括2个反卷积层、2个批规范化层、2个ReLU激活层、1个卷积层和1个ReLU激活层。
[0027]在一种可实现的实施方式中，用于判别生成器生成的图像是真实图像还是生成图像的判别器，包括：
[0028]固定生成器的参数，先训练判别器，让判别器能够分辨生成对抗网络的输入数据是来自于真实数据还是生成数据；
[0029]当判别器训练完成后，固定判别器的参数，训练生成器网络，让生成器网络生成的去雾图像能够最小化真实数据和生成数据的差异；
[0030]经过多次迭代，直至生成器网络和判别器达到纳什均衡。
[0031]进一步地，所述判别器包括5个卷积模块，每个卷积层均使用Leaky
‑
Relu激活函数，分别为Conv Layer1、Conv Layer2、Conv Layer3、Conv Layer4和Conv Layer；
[0032]所述Conv Layer1、Conv Layer2、Conv Layer3、Conv Layer4用于提取生成器的输出图像特征，每层卷积的卷积核大小为4*4，步长为2；
[0033]通过添加产生一维输出的卷积层Conv Layer，其卷积核大小为4*4，步长为1；
[0034]使用Sigmoid激活函数，判断生成的去雾图像是否符合真实图像的数据分布，若真实图像则输出为1，则重建图像则输出为0。
[0035]在一种可实现的实施方式中，所述约束函数为Haze loss损失函数，所述Haze loss损失函数的定义为：
[0036]Haze Loss＝α*L
low
+β*L
high
+γ*L
content
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0037][0038][0039]I
b
(i，j)＝∑
m，n
I(i+m，j+n).G(m，n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0040][0041][0042](1)式中α、β和γ分别是高频信息、低频信息和内容信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的无人机航拍图像去雾方法及装置，其特征在于，包括：合成多对同一场景下的无人机航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，所述约束函数包括高频信息损失函数、低频信息损失函数和内容信息损失函数；将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；将测试集中的航拍雾天图像输入训练完成的生成器预测去雾后的图像。2.根据权利要求1所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述生成器包括编码器、残差结构和解码器；构建用于雾天图像去雾形成去雾图像的生成器，包括：编码器对雾天图像提取图像特征；残差网络将提取图像特征的雾天图像转换为符合目标域数据分布的特征图；转换器将所述特征图的特征向量进行扩张反演出低级特征，若步长为1，则输入输出特征图大小相等；若步长为2，则经卷积后输出特征大小减半，经反卷积后输出特征大小加倍，得到原尺寸的去雾图像。3.根据权利要求2所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述编码器包括3个卷积、3个批规范化层和3个ReLU激活层，卷积核大小为3*3，步长为2；残差结构包括6个残差块，每个残差块又包含了2个卷积层、2个批规范化层和1个ReLU激活层，卷积核大小为3*3，步长为1；解码器包括2个反卷积层、2个批规范化层、2个ReLU激活层、1个卷积层和1个ReLU激活层。4.根据权利要求1所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，用于判别生成器生成的图像是真实图像还是生成图像的判别器，包括：固定生成器的参数，先训练判别器，让判别器能够分辨生成对抗网络的输入数据是来自于真实数据还是生成数据；当判别器训练完成后，固定判别器的参数，训练生成器网络，让生成器网络生成的去雾图像能够最小化真实数据和生成数据的差异；经过多次迭代，直至生成器网络和判别器达到纳什均衡。5.根据权利要求4所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述判别器包括5个卷积模块，每个卷积层均使用Leaky
‑
Relu激活函数，分别为Conv Layer1、Conv Layer2、Conv Layer3、Cony Layer4和Cony Layer；所述Conv Layer1、Conv Layer2、Conv Layer3、Conv Layer4用于提取生成器的输出图像特征，每层卷积的卷积核大小为4*4，步长为2；通过添加产生一维输出的卷积层Conv Layer，其卷积核大小为4*4，步长为1；
使用Sigmoid激活函数，判断生成的去雾图像是否符合真实图像的数据分布，若真实图像则输出为1，则重建图像则输出为0。6.根据权利要求1所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述约束函数为Haze loss损失函数，所述Haze loss损失函数的定义为：Haze Loss＝w1*L
lf
...

【专利技术属性】
技术研发人员：王殿伟，李顺利，韩鹏飞，房杰，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：