本发明专利技术公开了一种基于生成对抗网络的雨天图像去雨方法，涉及车辆自动驾驶与控制技术，所述方法包括：获取训练图像数据集，所述训练图像数据集包括雨图集；构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器；利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。本发明专利技术增强了去雨效果，提高了雨天图像的判别性；解决了现有技术中雨天环境图像存在的颜色偏差、背景模糊、对比度和能见度低等问题，降低了恶劣环境对无人驾驶车辆的影响。驾驶车辆的影响。驾驶车辆的影响。
【技术实现步骤摘要】
一种基于生成对抗网络的雨天图像去雨方法及装置
[0001]本专利技术涉及车辆自动驾驶及控制
，具体涉及一种基于生成对抗网络的雨天图像去雨方法及装置。
技术介绍
[0002]随着人工智能的发展，各种户外场景高科技技术得以发展，但是这些户外场景应用技术需要清晰的图像数据，比如无人驾驶汽车。而在实践中，干扰是难以避免的，它们会导致获取的图像质量下降、视觉效果差、图像中的有用信息较少。这样的图像在处理后不会产生令人满意的结果，比如雨、雾、雪等恶劣环境。所以能够有效的消除这些恶劣环境对图像的影响有助于提高户外场景人工智能技术的应用，使得无人驾驶汽车能在恶劣环境下正常进行工作。
[0003]因此，本申请提供了一种基于合成生成对抗网络用于无人驾驶车辆雨天图像去雨方法及装置，以增强去雨效果，提高雨天图像的判别性。
技术实现思路
[0004]针对现有技术中的缺陷，本专利技术提供一种基于生成对抗网络的雨天图像去雨方法及装置。
[0005]本专利技术的方案为：
[0006]第一方面，一种基于生成对抗网络的雨天图像去雨方法，包括：
[0007]步骤1：获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨图和真实的雨图，所述合成的雨图采用图像工具生成不同形状的雨纹图像随机到无雨图像上进行合成；
[0008]步骤2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括雨纹估计模块和背景清除模块，所述雨纹估计模块用于根据输入的雨图生成雨纹估计图像，所述背景清除模块用于根据输入的雨图生成无雨图像，所述判别器用于判别输入的雨图是生成器合成的雨图还是真实的雨图；
[0009]步骤3：利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；
[0010]步骤4：将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。
[0011]优选地，步骤2中，所述雨水纹估计模块包括5个跨步卷积块、9个残差块和四个转置卷积块，其中，所述第i个跨步卷积输出与第i个转置卷积块的输入连接，所述残差块为ResBlock结构。
[0012]优选地，所述雨纹估计模块的损失函数为：
[0013][0014]式中，x表示输入的雨图，z表示雨纹图像，M(x)表示生成雨纹估计图像。
[0015]优选地，步骤2中，所述背景清除模块包括编码器和解码器；所述编码器包括5个卷积层，其核大小分别为5X5、3X3、4X4、4X4、4X4并且通道数分别为64、64、64、512、1024；所述解码器包括5个反卷积层，其核大小分别为4X4、4X4、4X4、4X4、3X3，其通道数分别为1024、512、256、64、3。
[0016]优选地，步骤2中，所述判别器包括5个卷积层，每个卷积层后面都有一个BN层、一个LeakyReLU函数激活层和一个sigmoid函数激活层，所述判别器的输入包括训练后的雨纹图像和无雨图像合成的雨图像以及真实的雨图。
[0017]优选地，所述生成对抗网络模型的损失函数为：
[0018]L＝αL
MAE
+βL
C
+γL
ls
[0019][0020][0021][0022]式中，L表示总损失函数，y表示真实的无雨图像，M(x)表示生成雨纹估计图像，L
MAE
表示合成损失函数，L
ls
表示生成对抗网络的损失函数，L
C
表示合成损失,C(x)表示生成的无雨图像，表示判别器的函数。α、β、γ为权重系数，α＝1、β＝50、γ＝50。a和b表示偏置超参数，其中a＝1，b＝0。
[0023]优选地，利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型包括：
[0024]步骤31：将所述训练图像数据集分为训练集和测试集；
[0025]步骤32：利用所述训练集对所述生成对抗网络模型进行训练，利用所述测试集对所述生成对抗网络模型进行测试；
[0026]步骤33：在所述测试结果达到预设准确率时，得到优化后的所述生成对抗网络模型。
[0027]第二方面，一种基于生成对抗网络的雨天图像去雨装置，包括：
[0028]获取模块，用于获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨图和真实的雨图，所述合成的雨图采用图像工具生成不同形状的雨纹图像随机到无雨图像上进行合成；
[0029]构建模块，用于构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括雨纹估计模块和背景清除模块，所述雨纹估计模块用于根据输入的雨图生成雨纹估计图像，所述背景清除模块用于根据输入的雨图生成无雨图像，所述判别器用于判别输入的雨图是生成器合成的雨图还是真实的雨图；
[0030]训练模块，用于利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；
[0031]去雨模块，用于将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。
[0032]第三方面，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述
计算机程序被处理器执行时实现上述任一项所述方法的步骤。
[0033]本专利技术的有益效果体现在：本专利技术提供了一种基于合成生成对抗网络用于无人驾驶车辆雨天图像去雨方法及装置，增强了去雨效果，提高了雨天图像的判别性；解决了现有技术中雨天环境图像存在的颜色偏差、背景模糊、对比度和能见度低等问题，降低了恶劣环境对无人驾驶车辆的影响。
附图说明
[0034]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0035]图1为本专利技术实施例所提供的一种基于生成对抗网络的雨天图像去雨方法的流程图；
[0036]图2为本专利技术实施例所提供的生成器的结构示意图；
[0037]图3为本专利技术实施例所提供的一种基于生成对抗网络的雨天图像去雨装置的结构示意图；
[0038]图4为本专利技术实施例所提供的一种处理设备的结构示意图。
具体实施方式
[0039]下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只作为示例，而不能以此来限制本专利技术的保护范围。
[0040]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。
[0041]如图1所示，本专利技术实施例提高了一种基于生成对抗网络的雨天图像去雨方法包括：
[0042]步骤1：获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于生成对抗网络的雨天图像去雨方法，其特征在于，包括：步骤1：获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨图和真实的雨图，所述合成的雨图采用图像工具生成不同形状的雨纹图像随机到无雨图像上进行合成；步骤2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括雨纹估计模块和背景清除模块，所述雨纹估计模块用于根据输入的雨图生成雨纹估计图像，所述背景清除模块用于根据输入的雨图生成无雨图像，所述判别器用于判别输入的雨图是生成器合成的雨图还是真实的雨图；步骤3：利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；步骤4：将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。2.根据权利要求1所述的一种基于生成对抗网络的雨天图像去雨方法，其特征在于，步骤2中，所述雨水纹估计模块包括5个跨步卷积块、9个残差块和5个转置卷积块，其中，所述第i个跨步卷积输出与第i个转置卷积块的输入连接，所述残差块为ResBlock结构。3.根据权利要求2所述的一种基于生成对抗网络的雨天图像去雨方法，其特征在于，所述雨纹估计模块的损失函数为：式中，x表示输入的雨图，z表示雨纹图像，M(x)表示生成雨纹估计图像。4.根据权利要求3所述的一种基于生成对抗网络的雨天图像去雨方法，其特征在于，步骤2中，所述背景清除模块包括编码器和解码器；所述编码器包括5个卷积层，其核大小分别为5X5、3X3、4X4、4X4、4X4并且通道数分别为64、64、64、512、1024；所述解码器包括5个反卷积层，其核大小分别为4X4、4X4、4X4、4X4、3X3，其通道数分别为1024、512、256、64、3。5.根据权利要求4所述的一种基于生成对抗网络的雨天图像去雨方法，其特征在于，步骤2中，所述判别器包括5个卷积层，每个卷积层后面都有一个BN层、一个LeakyReLU函数激活层和一个sigmoid函数激活层，所述判别器的输入包括训练后的雨纹图像和无雨图像合成的雨图像以及真实的雨图。6.根据权利要求5所述的一种基于生成对抗网络的雨天图像去雨方法，其特征...
【专利技术属性】
技术研发人员：许达文，张祥建，张旻晋，
申请(专利权)人：成都视海芯图微电子有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。