基于GAN的车辆视觉感知数据增强方法及相关设备技术

本发明专利技术提供一种基于GAN的车辆视觉感知数据增强方法、装置、设备及可读存储介质，该方法包括：将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型；将车辆视觉感知数据库中正常天气图像输入到所述极端天气图像生成模型中，得到第一极端天气图像；以传统增强方法处理得到的图像、所述第一极端天气图像和车辆原始数据集和作为训练集。本发明专利技术可以有效提高车辆视觉感知模型的训练效果，可以使训练集中的数据分布更均匀，同时还可以补充数据集中缺少的样本。补充数据集中缺少的样本。补充数据集中缺少的样本。

【技术实现步骤摘要】
基于GAN的车辆视觉感知数据增强方法及相关设备


[0001]本专利技术涉及数据处理领域，尤其涉及一种基于GAN的车辆视觉感知数据增强方法、装置、设备及可读存储介质。

技术介绍

[0002]在人工智能和传感器技术飞速发展的趋势下，自动驾驶成为当下热门的研究领域。自动驾驶中对车辆的感知能力的要求很高，导致基于深度学习的目标检测模型对用于训练数据的需求量比较大，一般采用数据增强的方法使模型获得更好的感知能力。现有的数据增强方法在自动驾驶的领域不能很好的使模型性能得到显著的提升，主要是因为增强后的数据脱离了车辆实际驾驶的场景。具体是指车辆驾驶场景的数据在旋转和平移等方式下会不符合实际车辆摄像头看到的场景。

技术实现思路

[0003]本专利技术的主要目的在于提供一种基于GAN的车辆视觉感知数据增强方法、装置、设备及可读存储介质，旨在解决车辆感知数据能力不强，感知数据训练效果不好，脱离实际车辆驾驶场景的问题。
[0004]第一方面，本专利技术提供一种基于GAN的车辆视觉感知数据增强方法，所述基于GAN的车辆视觉感知数据增强方法包括：
[0005]将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型；
[0006]将车辆视觉感知数据库中正常天气图像输入到所述极端天气图像生成模型中，得到第一极端天气图像；
[0007]以传统增强方法处理得到的图像、所述第一极端天气图像和车辆原始数据集和作为训练集。
[0008]可选的，所述将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型的步骤之前，包括：
[0009]获取网络上公开的天气图像；
[0010]获取车辆摄像头采集的道路图像；
[0011]将所述公开的天气图像和所述车辆采集的道路图像进行分类标注，得到所述数据集。
[0012]可选的，所述将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型的步骤包括：
[0013]将所述训练集输入到所述对抗网络中，将所述训练集中的数据进行预处理，得到数据张量；
[0014]利用所述预设数据张量，使用小批量随机梯度下降方法和适应性矩估计优化方法对所述原始生成模型进行训练，得到极端天气图像生成模型；
[0015]对原始生成模型持续训练，当所述对抗网络中生成器和判别器的损失函数值相对
稳定且所述极端天气图像生成模型输出的极端天气图像结果达到预设图像标准时，固定所述极端天气图像生成模型，结束训练。
[0016]可选的，所述将车辆视觉感知数据库中正常天气图像输入到所述极端天气图像生成模型中，得到第一极端天气图像的步骤包括：
[0017]从车辆视觉感知数据库中选取一部分正常天气图像，输入到所述极端天气图像生成模型中；
[0018]使用前向传播得到所述第一极端天气图像。
[0019]可选的，以传统增强方法处理得到的图像、所述第一极端天气图像和车辆原始数据集和作为训练集的步骤之后，还包括：
[0020]将所述训练集输入到车辆原始感知模型中；
[0021]利用所述训练集，对所述车辆原始感知模型进行训练，通过迭代得到强感知模型。
[0022]第二方面，本专利技术还提供一种基于GAN的车辆视觉感知数据增强装置，所述基于GAN的车辆视觉感知数据增强装置包括：
[0023]第一控制模块，用于：
[0024]将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型；
[0025]第二控制模块，用于：
[0026]将车辆视觉感知数据库中正常天气图像输入到所述极端天气图像生成模型中，得到第一极端天气图像；
[0027]以传统增强方法处理得到的图像、所述第一极端天气图像和车辆原始数据集和作为训练集。
[0028]可选的，所述第一控制模块还用于：
[0029]将所述训练集输入到所述对抗网络中，将所述训练集中的数据进行预处理，得到数据张量；
[0030]利用所述预设数据张量，使用小批量随机梯度下降方法和适应性矩估计优化方法对所述原始生成模型进行训练，得到极端天气图像生成模型；
[0031]对原始生成模型持续训练，当所述对抗网络中生成器和判别器的损失函数值相对稳定且所述极端天气图像生成模型输出的极端天气图像结果达到预设图像标准时，固定所述极端天气图像生成模型，结束训练。
[0032]可选的，所述第二控制模块还用于：
[0033]从车辆视觉感知数据库中选取一部分正常天气图像，输入到所述极端天气图像生成模型中；
[0034]使用前向传播得到所述第一极端天气图像。
[0035]可选的，所述基于GAN的车辆视觉感知数据增强装置还包括采集模块，用于：
[0036]获取网络上公开的天气图像；
[0037]获取车辆摄像头采集的道路图像；
[0038]将所述公开的天气图像和所述车辆采集的道路图像进行分类标注，得到所述数据集。
[0039]可选的，所述基于GAN的车辆视觉感知数据增强装置还包括迭代模块，用于：
[0040]将所述训练集输入到车辆原始感知模型中；
[0041]利用所述训练集，对所述车辆原始感知模型进行训练，通过迭代得到强感知模型。
[0042]第三方面，本专利技术还提供一种基于GAN的车辆视觉感知数据增强设备，所述基于GAN的车辆视觉感知数据增强设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于GAN的车辆视觉感知数据增强程序，其中所述基于GAN的车辆视觉感知数据增强程序被所述处理器执行时，实现如上所述的基于GAN的车辆视觉感知数据增强方法的步骤。
[0043]第四方面，本专利技术还提供一种可读存储介质，所述可读存储介质上存储有基于GAN的车辆视觉感知数据增强程序，其中所述基于GAN的车辆视觉感知数据增强程序被处理器执行时，实现如上所述的基于GAN的车辆视觉感知数据增强方法的步骤。
[0044]本专利技术提供一种基于GAN的车辆视觉感知数据增强方法、装置、设备及可读存储介质，该方法包括：将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型；将车辆视觉感知数据库中正常天气图像输入到所述极端天气图像生成模型中，得到第一极端天气图像；以传统增强方法处理得到的图像、所述第一极端天气图像和车辆原始数据集和作为训练集。本专利技术可以有效提高车辆视觉感知模型的训练效果，可以使训练集中的数据分布更均匀，同时还可以补充数据集中缺少的样本。
附图说明
[0045]图1为本专利技术实施例方案涉及的基于GAN的车辆视觉感知数据增强方法第一实施例的流程示意图；
[0046]图2为本专利技术实施例方案涉及的基于GAN的车辆视觉感知数据增强装置第一实施例的功能模块示意图；
[0047]图3为本专利技术实施例方案中涉及的基于GAN的车辆视觉感知数据增强设备的硬件结构示意图。
[0048]本专利技术目的的实现、功能特点及优点将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAN的车辆视觉感知数据增强方法，其特征在于，所述基于GAN的车辆视觉感知数据增强方法包括：将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型；将车辆视觉感知数据库中正常天气图像输入到所述极端天气图像生成模型中，得到第一极端天气图像；以传统增强方法处理得到的图像、所述第一极端天气图像和车辆原始数据集和作为训练集。2.如权利要求1所述的基于GAN的车辆视觉感知数据增强方法，其特征在于，所述将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型的步骤之前，包括：获取网络上公开的天气图像；获取车辆摄像头采集的道路图像；将所述公开的天气图像和所述车辆采集的道路图像进行分类标注，得到所述数据集。3.如权利要求1所述的基于GAN的车辆视觉感知数据增强方法，其特征在于，所述将数据集输入到对抗网络中，训练原始生成模型，得到极端天气图像生成模型的步骤包括：将所述训练集输入到所述对抗网络中，将所述训练集中的数据进行预处理，得到数据张量；利用所述预设数据张量，使用小批量随机梯度下降方法和适应性矩估计优化方法对所述原始生成模型进行训练，得到极端天气图像生成模型；对原始生成模型持续训练，当所述对抗网络中生成器和判别器的损失函数值相对稳定且所述极端天气图像生成模型输出的极端天气图像结果达到预设图像标准时，固定所述极端天气图像生成模型，结束训练。4.如权利要求3所述的基于GAN的车辆视觉感知数据增强方法，其特征在于，所述将车辆视觉感知数据库中正常天气图像输入到所述极端天气图像生成模型中，得到第一极端天气图像的步骤包括：从车辆视觉感知数据库中选取一部分正常天气图像，输入到所述原始生成模型中；使用前向传播得到所述第一极端天气图像。5.如权利要求1所述的基于GAN的车辆视觉感知数据增强方法，其特征在于，所述以传统增强方法处理得到的图像、所述第一极端天气图像和车辆原始数据集和作为训练集的步骤之后，还包括：将所述训练集输入到车辆原始感知模型中；利用所述训练集，对所述车辆原始感知模型进...

【专利技术属性】
技术研发人员：王绍政，
申请(专利权)人：岚图汽车科技有限公司，
类型：发明
国别省市：