一种自动驾驶长尾数据增强方法技术

本发明专利技术公开了一种自动驾驶长尾数据增强方法，包括扩增阶段，所述扩增阶段包括获取场景信息不同的多张训练图片；基于第一生成式对抗网络的训练模型分别对多张训练图片进行编码，得到多个隐变量；选取具有目标车型的至少一张车型图片；根据隐变量与车型图片，基于第二生成式对抗网络的训练模型生成目标车型处于多种不同场景信息下的扩增图片；其中，第一生成式对抗网络和第二生成式对抗网络的训练模型由训练阶段得到；将得到的扩增图片添加到数据集中。本发明专利技术通过训练两个生成式对抗网络对长尾数据进行扩增，提升训练模型的性能；并且根据目标车型快速、准确地生成不同场景中车型不变的图像，以实现少量样本扩充，解决数据长尾问题。长尾问题。长尾问题。

【技术实现步骤摘要】
一种自动驾驶长尾数据增强方法


[0001]本专利技术涉及智能驾驶
，尤其涉及一种自动驾驶长尾数据增强方法。

技术介绍

[0002]自动驾驶的数据集是自动驾驶领域感知模块的关键要素，有了数据就有了算法的各种应用；然而现今状况下很多数据集有长尾效应的问题出现，所谓的长尾效应是指在训练数据中，一小部分的类别(头部类别)占据了大多数的训练样本，而大部分的类别(尾部类别)只有极少数的训练样本；例如，有一辆新款的车，在采集的过程中出现的频率很低或者某些场景下没有出现这种车型，导致最后算法检测不出这种车型。
[0003]而现有技术中，对长尾数据的扩增只是在测试用例层面进行数据扩增，并没有增加训练出来模型的性能；此外，这种扩增方式仅仅只能用于分类模型，在检测任务上并没有实际对生成的图像中车型进行限制，并且由于训练过程中并没有这些生成的图像场景，反而会导致准确率下降。
[0004]因此，需要一种自动驾驶长尾数据增强方法，能够生成不同场景中车型不变的图像，以实现少量样本扩充，解决数据长尾问题。

技术实现思路

[0005]针对上述现有技术中存在的问题，本专利技术提供了一种自动驾驶长尾数据增强方法，能够生成不同场景中车型不变的图像，以实现少量样本扩充，解决数据长尾问题，准确率高，适用范围广泛。所述技术方案如下：
[0006]本专利技术提供了一种自动驾驶长尾数据增强方法，包括扩增阶段，所述扩增阶段包括：
[0007]获取场景信息不同的多张训练图片；
[0008]基于第一生成式对抗网络的训练模型分别对多张所述训练图片进行编码，得到与所述场景信息对应的多个隐变量；
[0009]选取具有目标车型的至少一张车型图片；
[0010]根据所述隐变量与所述车型图片，基于第二生成式对抗网络的训练模型生成所述目标车型处于多种不同所述场景信息下的扩增图片；其中，所述第一生成式对抗网络的训练模型和所述第二生成式对抗网络的训练模型由训练阶段得到；
[0011]将得到的所述扩增图片添加到数据集中。
[0012]进一步地，在所述扩增阶段之前，所述方法还包括训练阶段，所述训练阶段包括：
[0013]获取场景信息不同的多张训练图片；
[0014]基于第一生成式对抗网络分别对多张所述训练图片进行编码，得到与所述场景信息对应的多个训练隐变量；
[0015]选取具有目标车型的至少一张车型图片；
[0016]根据所述训练隐变量与所述车型图片，基于第二生成式对抗网络生成所述目标车
型处于多种不同所述场景信息下的扩增图片。
[0017]进一步地，所述第一生成式对抗网络用于将所述训练图片进行编码得到所述训练隐变量，所述第一生成式对抗网络包括第一生成模型和第一判别模型：
[0018]所述第一生成模型用于根据起始隐变量生成场景图片，所述第一判别模型用于判别生成的所述场景图片与获取的所述训练图片的真假；
[0019]所述第二生成式对抗网络用于根据所述训练隐变量和所述车型图片生成所述扩增图片，所述第二生成式对抗网络包括第二生成模型和第二判别模型：
[0020]所述第二生成模型用于根据所述训练隐变量和所述车型图片生成所述扩增图片，所述第二判别模型用于判别生成的所述扩增图片的车型与选取的所述目标车型是否一致。
[0021]进一步地，所述基于第一生成式对抗网络分别对多张所述训练图片进行编码，得到与所述场景信息对应的多个训练隐变量包括：
[0022]随机初始化一个起始隐变量；
[0023]通过卷积神经网络将所述起始隐变量生成场景图片；
[0024]将所述场景图片与所述训练图片进行二分类判别；
[0025]若为同一场景，则将所述训练图片中的所述场景信息编码为对应的训练隐变量；
[0026]若不为同一场景，则不进行编码。
[0027]进一步地，所述通过卷积神经网络将所述起始隐变量生成场景图片包括：
[0028]在vgg16结构中将所述起始隐变量反解码，以使得所述卷积神经网络中的卷积层替换为反卷积，生成所述场景图片。
[0029]进一步地，所述根据所述训练隐变量与所述车型图片，基于第二生成式对抗网络生成所述目标车型处于多种不同所述场景信息下的扩增图片包括：
[0030]将所述车型图片输入编码器，得到特征图；所述特征图中包含所述目标车型的信息；
[0031]对所述训练隐变量进行编码，得到与所述训练隐变量对应的编码信息；
[0032]将所述编码信息与所述特征图直接相加，得到目标向量；
[0033]在解码器中对所述目标向量解码，生成所述扩增图片。
[0034]进一步地，所述特征图与所述编码信息的维度一致。
[0035]进一步地，所述编码器与所述解码器的基础卷积神经网络为resnet50，至少用于将所述解码器中的卷积层替换为反卷积。
[0036]进一步地，在所述根据所述训练隐变量与所述车型图片，基于第二生成式对抗网络生成所述目标车型处于多种不同所述场景信息下的扩增图片之后，所述方法还包括：
[0037]对所述扩增图片进行判别；
[0038]若所述扩增图片的车型与所述目标车型一致，且所述扩增图片的场景信息与所述训练图片的所述场景信息一致，则所述训练隐变量、所述第一生成式对抗网络的训练模型和所述第二生成式对抗网络的训练模型均训练完成；
[0039]将所述训练隐变量作为所述扩增阶段的初始隐变量，进入所述扩增阶段。
[0040]进一步地，所述训练阶段的所述扩增图片与所述训练阶段的其中一张所述训练图片相同；所述扩增阶段的所述扩增图片与所述扩增阶段的所述训练图片不同。
[0041]实施本专利技术，具有如下有益效果：
[0042]1、本专利技术将生成式对抗网络应用于自动驾驶的训练集中，通过人为干预选取车型来训练两个生成式对抗网络的训练模型，提升训练模型的性能，并且能够将训练模型直接应用，对更多长尾数据集的车型进行数据扩增，适用范围广泛。
[0043]2、通过两个训练完成的生成式对抗网络对长尾数据进行数据扩增，扩增快速，准确性高，能够保证车型相同而场景不同；通过选取不同的目标车型，能够快速、大量地扩增目标车型的仿真数据，针对性地对长尾数据集进行扩增，生成大量仿真数据并入总的数据集中以满足检测任务的需求。
附图说明
[0044]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0045]图1为本专利技术实施例提供的一种自动驾驶长尾数据增强方法扩增阶段的逻辑结构图；
[0046]图2为本专利技术实施例提供的一种自动驾驶长尾数据增强方法训练阶段的逻辑结构图；
[0047]图3为本专利技术的一个可能的实施方式中训练隐变量的训练方法流程图；...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶长尾数据增强方法，其特征在于，包括扩增阶段，所述扩增阶段包括：获取场景信息不同的多张训练图片；基于第一生成式对抗网络的训练模型分别对多张所述训练图片进行编码，得到与所述场景信息对应的多个隐变量；选取具有目标车型的至少一张车型图片；根据所述隐变量与所述车型图片，基于第二生成式对抗网络的训练模型生成所述目标车型处于多种不同所述场景信息下的扩增图片；其中，所述第一生成式对抗网络的训练模型和所述第二生成式对抗网络的训练模型由训练阶段得到；将得到的所述扩增图片添加到数据集中。2.根据权利要求1所述的一种自动驾驶长尾数据增强方法，其特征在于，在所述扩增阶段之前，所述方法还包括训练阶段，所述训练阶段包括：获取场景信息不同的多张训练图片；基于第一生成式对抗网络分别对多张所述训练图片进行编码，得到与所述场景信息对应的多个训练隐变量；选取具有目标车型的至少一张车型图片；根据所述训练隐变量与所述车型图片，基于第二生成式对抗网络生成所述目标车型处于多种不同所述场景信息下的扩增图片。3.根据权利要求2所述的一种自动驾驶长尾数据增强方法，其特征在于，所述第一生成式对抗网络用于将所述训练图片进行编码得到所述训练隐变量，所述第一生成式对抗网络包括第一生成模型和第一判别模型：所述第一生成模型用于根据起始隐变量生成场景图片，所述第一判别模型用于判别生成的所述场景图片与获取的所述训练图片的真假；所述第二生成式对抗网络用于根据所述训练隐变量和所述车型图片生成所述扩增图片，所述第二生成式对抗网络包括第二生成模型和第二判别模型：所述第二生成模型用于根据所述训练隐变量和所述车型图片生成所述扩增图片，所述第二判别模型用于判别生成的所述扩增图片的车型与选取的所述目标车型是否一致。4.根据权利要求2所述的一种自动驾驶长尾数据增强方法，其特征在于，所述基于第一生成式对抗网络分别对多张所述训练图片进行编码，得到与所述场景信息对应的多个训练隐变量包括：随机初始化一个起始隐变量；通过卷积神经网络将所述起始隐变量生成场景图片；将所述场景图片与所述训练图片...

【专利技术属性】
技术研发人员：李嘉琦，李丰军，周剑光，
申请(专利权)人：中汽创智科技有限公司，
类型：发明
国别省市：