感知模型的训练和使用方法技术

本申请公开了一种感知模型的训练和使用方法

【技术实现步骤摘要】
感知模型的训练和使用方法、装置、存储介质及设备


[0001]本申请涉及自动驾驶
，特别涉及一种感知模型的训练和使用方法
、
装置
、
存储介质及设备
。

技术介绍

[0002]自动驾驶系统通过自动驾驶车辆的车身上安装的多种传感器采集传感器数据，并通过预训练的感知模型对传感器数据进行分析，以获取周围环境的语义信息，从而为自动驾驶车辆的规划和控制提供基础
。
[0003]然而，现有的感知模型只能对与其训练数据的分布接近的传感器数据进行分析，如果传感器的采集角度发生变化，使得采集到的传感器数据与训练数据的分布不同，则会导致感知模型的性能下降
。
不同车型的传感器系统的结构可能会有所不同，且其结构可能会由于设计升级而随时间变化，因此，为特定传感器系统训练的感知模型的使用效果会下降
。
另外，由于不同车企研发的自动驾驶车辆通常配备有不同的传感器系统，这就使得一家车企训练的感知模型很难应用于另一家车企，这将成为自动驾驶社区进一步扩大和发展的障碍
。
[0004]虽然很多研究人员从感知模型的泛化能力入手来改进感知模型，但由于神经网络是一个黑盒子，所以，并没有特别有效的方法来增强感知模型的通用性
。

技术实现思路

[0005]本申请提供了一种感知模型的训练和使用方法
、
装置
、
存储介质及设备，用于解决感知模型不能在具有不同采集角度的传感器系统之间通用的问题
。
所述技术方案如下：
[0006]一方面，提供了一种感知模型的训练方法，所述方法包括：
[0007]创建感知模型，所述感知模型包括条件生成对抗网络
CGAN
模型和识别模型，所述
CGAN
模型包括生成器和判别器；
[0008]获取多组训练样本，所述训练样本包括传感器组合中的三个传感器同时采集的三组传感器数据
、
两个外侧传感器之间的第一位置偏差角度
、
中间传感器与预定方位的一个外侧传感器之间的第二位置偏差角度，所述传感器组合包括安装在自动驾驶车辆的车身周围的多个同种类型的传感器，所述传感器数据用于表示车身周围的环境画面；
[0009]对于每组训练样本，将两个外侧传感器采集的两组传感器数据
、
所述第一位置偏差角度和所述第二位置偏差角度作为所述生成器的输入内容，将所述生成器的输出内容和中间传感器采集的一组传感器数据作为所述判别器的输入内容，对所述
CGAN
模型进行训练；
[0010]对所述识别模型进行训练
。
[0011]在一种可能的实现方式中，所述对所述识别模型进行训练，包括：
[0012]在训练所述生成器的过程中，获取所述生成器生成的隐空间，所述隐空间是所述生成器的输入内容的高维表示空间；
[0013]获取中间传感器采集的一组传感器数据的标注信息，所述标注信息用于标识所述传感器数据对应的环境画面中的各个对象；
[0014]根据所述隐空间和所述标注信息训练所述识别模型
。
[0015]在一种可能的实现方式中，所述对所述识别模型进行训练，包括：
[0016]在训练所述生成器的过程中，获取所述生成器生成的输出内容；
[0017]获取中间传感器采集的一组传感器数据的标注信息，所述标注信息用于标识所述传感器数据对应的环境画面中的各个对象；
[0018]根据所述输出内容和所述标注信息训练所述识别模型
。
[0019]在一种可能的实现方式中，所述获取多组训练样本，包括：
[0020]从所述传感器组合中任意选择三个传感器；
[0021]对于所述三个传感器，根据每个传感器的位置信息确定所述第一位置偏差角度和所述第二位置偏差角度；
[0022]获取所述三个传感器在同一时刻采集到的传感器数据；
[0023]将三组传感器数据
、
所述第一位置偏差角度和所述第二位置偏差角度组成一组训练样本
。
[0024]在一种可能的实现方式中，所述传感器为普通相机或深度相机，所述传感器数据为图像数据；或者，所述传感器为激光雷达，所述传感器数据为点云数据
。
[0025]一方面，提供了一种感知模型的使用方法，用于如上方法训练得到的感知模型中，所述方法包括：
[0026]获取两个外侧传感器同时采集的两组传感器数据以及所述两个外侧传感器之间的第一位置偏差角度；
[0027]获取第二位置偏差角度，所述第二位置偏差角度表示预估的传感器数据的采集位置与预定方位的一个外侧传感器之间的位置偏差角度；
[0028]利用所述生成器对所述两组传感器数据
、
所述第一位置偏差角度和所述第二位置偏差角度进行处理，得到生成结果；
[0029]利用所述识别模型对所述生成结果进行识别，得到感知结果，所述感知结果表示所述采集位置对应的环境画面中的对象
。
[0030]在一种可能的实现方式中，当所述处理结果是所述隐空间时，所述利用所述识别模型对所述生成结果进行识别，得到感知结果，包括：
[0031]利用所述识别模型对所述隐空间进行识别，得到感知结果
。
[0032]在一种可能的实现方式中，当所述处理结果是所述输出内容时，所述利用所述识别模型对所述生成结果进行识别，得到感知结果，包括：
[0033]利用所述识别模型对所述输出内容进行识别，得到感知结果
。
[0034]一方面，提供了一种感知模型的训练装置，所述装置包括：
[0035]创建模块，用于创建感知模型，所述感知模型包括条件生成对抗网络
CGAN
模型和识别模型，所述
CGAN
模型包括生成器和判别器；
[0036]获取模块，用于获取多组训练样本，所述训练样本包括传感器组合中的三个传感器同时采集的三组传感器数据
、
两个外侧传感器之间的第一位置偏差角度
、
中间传感器与预定方位的一个外侧传感器之间的第二位置偏差角度，所述传感器组合包括安装在自动驾
驶车辆的车身周围的多个同种类型的传感器，所述传感器数据用于表示车身周围的环境画面；
[0037]训练模块，用于对于每组训练样本，将两个外侧传感器采集的两组传感器数据
、
所述第一位置偏差角度和所述第二位置偏差角度作为所述生成器的输入内容，将所述生成器的输出内容和中间传感器采集的一组传感器数据作为所述判别器的输入内容，对所述
CGAN
模型进行训练；
[0038]所述训练模块，还用于对所述识别模型进行训练
。
[0039]一方面，提供了一种感知模型，所述感知模型由如上方法训练得到，所述感知模型包括生成器和识别模型；
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种感知模型的训练方法，其特征在于，所述方法包括：创建感知模型，所述感知模型包括条件生成对抗网络
CGAN
模型和识别模型，所述
CGAN
模型包括生成器和判别器；获取多组训练样本，所述训练样本包括传感器组合中的三个传感器同时采集的三组传感器数据
、
两个外侧传感器之间的第一位置偏差角度
、
中间传感器与预定方位的一个外侧传感器之间的第二位置偏差角度，所述传感器组合包括安装在自动驾驶车辆的车身周围的多个同种类型的传感器，所述传感器数据用于表示车身周围的环境画面；对于每组训练样本，将两个外侧传感器采集的两组传感器数据
、
所述第一位置偏差角度和所述第二位置偏差角度作为所述生成器的输入内容，将所述生成器的输出内容和中间传感器采集的一组传感器数据作为所述判别器的输入内容，对所述
CGAN
模型进行训练；对所述识别模型进行训练
。2.
根据权利要求1所述的感知模型的训练方法，其特征在于，所述对所述识别模型进行训练，包括：在训练所述生成器的过程中，获取所述生成器生成的隐空间，所述隐空间是所述生成器的输入内容的高维表示空间；获取中间传感器采集的一组传感器数据的标注信息，所述标注信息用于标识所述传感器数据对应的环境画面中的各个对象；根据所述隐空间和所述标注信息训练所述识别模型
。3.
根据权利要求1所述的感知模型的训练方法，其特征在于，所述对所述识别模型进行训练，包括：在训练所述生成器的过程中，获取所述生成器生成的输出内容；获取中间传感器采集的一组传感器数据的标注信息，所述标注信息用于标识所述传感器数据对应的环境画面中的各个对象；根据所述输出内容和所述标注信息训练所述识别模型
。4.
根据权利要求1所述的感知模型的训练方法，其特征在于，所述获取多组训练样本，包括：从所述传感器组合中任意选择三个传感器；对于所述三个传感器，根据每个传感器的位置信息确定所述第一位置偏差角度和所述第二位置偏差角度；获取所述三个传感器在同一时刻采集到的传感器数据；将三组传感器数据
、
所述第一位置偏差角度和所述第二位置偏差角度组成一组训练样本
。5.
根据权利要求1至4中任一项所述的感知模型的训练方法，其特征在于，所述传感器为普通相机或深度相机，所述传感器数据为图像数据；或者，所述传感器为激光雷达，所述传感器数据为点云数据
。6.
一种感知模型的使用方法，其特征在于，用于如权利要求1至5中任一项训练得到的感知模型中，所述方法包括：获取两个外侧传感器同时采集的两组传感器数据以及所述两个外侧传感器之间的第一位置偏差角度；
获取第二位置偏差角度，所述第二位置偏差角度表示预估的传感器数据的采集位置与预定方位的一个外侧传感器之间的位置偏差角度；利用所述生成器对所述两组传感器数据
、
所述第一位置偏差角度和所述第二位置偏差角度进行处理，得到生成结果；利用所述识别模型对所述生成结果进行识别，得到感知结果，所...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：贵州翰凯斯智能技术有限公司，
类型：发明
国别省市：