模型训练方法、物体识别方法、装置、车辆及存储介质制造方法及图纸

本公开涉及自动驾驶领域，涉及一种模型训练方法、物体识别方法、装置、车辆及存储介质，所述方法包括：获取相机对第一对象采集得到的第一图像以及雷达对第一对象采集得到的第一点云数据；通过雷达特征提取网络提取第一点云数据的特征，得到第一特征；通过相机特征提取网络提取第一图像的特征，得到第二特征；将第一特征转换至鸟瞰图表征空间，得到对应于第一点云数据的第一鸟瞰图特征；将第二特征转换至鸟瞰图表征空间，得到对应于第一图像的第二鸟瞰图特征；根据第一鸟瞰图特征、第二鸟瞰图特征对雷达特征提取网络和相机特征提取网络进行训练。这样能够利用相机和雷达采集的无标签数据进行模型训练，从而减少了模型训练过程对标注样本的依赖。标注样本的依赖。标注样本的依赖。

【技术实现步骤摘要】
模型训练方法、物体识别方法、装置、车辆及存储介质


[0001]本公开涉及自动驾驶
，尤其涉及模型训练方法、物体识别方法、装置、车辆及存储介质。

技术介绍

[0002]在自动驾驶领域中，可以通过训练得到的模型实现诸多功能。例如，可以通过图像数据训练图像识别模型，从而通过图像识别模型识别车辆所处环境的图像信息。又或者，可以通过激光数据训练激光模型，从而对相关的激光数据进行处理。
[0003]然而，在相关模型训练方式中，可能需要较多的标注样本。但由于标注样本的数量较少，因此容易出现训练数据不足、模型效果较差的问题。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供一种模型训练方法、物体识别方法、装置、车辆及存储介质。
[0005]根据本公开实施例的第一方面，提供一种模型训练方法，包括：获取相机对第一对象采集得到的第一图像以及雷达对所述第一对象采集得到的第一点云数据；通过雷达特征提取网络提取所述第一点云数据的特征，得到第一特征；通过相机特征提取网络提取所述第一图像的特征，得到第二特征；将所述第一特征转换至鸟瞰图表征空间，得到对应于所述第一点云数据的第一鸟瞰图特征；将所述第二特征转换至所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征；根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络和所述相机特征提取网络进行训练。
[0006]可选地，所述根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络和所述相机特征提取网络进行训练，包括：根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算目标损失值；根据所述目标损失值对所述雷达特征提取网络和所述相机特征提取网络进行训练。
[0007]可选地，所述根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算目标损失值，包括：根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算中心核损失值；计算所述第一鸟瞰图特征以及所述第二鸟瞰图特征之间的对比学习损失值；其中，所述目标损失值包括所述中心核损失值以及所述对比学习损失值。
[0008]可选地，所述根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算目标损失
值，包括：通过如下计算式计算目标损失值loss：通过如下计算式计算目标损失值loss：通过如下计算式计算目标损失值loss：其中，loss1为中心核损失值，L为所述第一鸟瞰图特征的核函数，K为所述第二鸟瞰图特征的核函数，HSIC为希尔伯特
‑
施密特独立性指标，loss2为对比学习损失值，CE为交叉熵损失函数，L
e
为第一鸟瞰图特征，I
e
为第二鸟瞰图特征，R=0,1,2,
⋯
,n；n为模型训练的批量大小值，t为超参数，α为权重系数。
[0009]可选地，所述通过雷达特征提取网络提取所述第一点云数据的特征，得到第一特征，包括：基于所述第一点云数据生成雷达图像；通过雷达特征提取网络提取所述雷达图像的特征，得到所述第一特征。
[0010]可选地，所述将所述第二特征转换至所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征，包括：通过特征转换网络将所述第二特征转换至所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征；所述根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络和所述相机特征提取网络进行训练，包括：根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络、所述相机特征提取网络以及所述特征转换网络进行训练。
[0011]根据本公开实施例的第二方面，提供一种物体识别方法，包括：获取相机对第二对象采集得到的第二图像以及雷达对所述第二对象采集得到的第二点云数据；通过雷达特征提取网络提取所述第二点云数据的特征，得到第三特征；通过相机特征提取网络提取所述第二图像的特征，得到第四特征；将所述第三特征和所述第四特征输入至识别网络，得到所述第二对象的识别结果；其中，所述雷达特征提取网络以及所述相机特征提取网络通过上述第一方面中任一项所述的模型训练方法训练得到。
[0012]根据本公开实施例的第三方面，提供一种模型训练装置，包括：第一获取模块，被配置为获取相机对第一对象采集得到的第一图像以及雷达对所述第一对象采集得到的第一点云数据；第一特征提取模块，被配置为通过雷达特征提取网络提取所述第一点云数据的特征，得到第一特征；
第二特征提取模块，被配置为通过相机特征提取网络提取所述第一图像的特征，得到第二特征；第一特征转换模块，被配置为将所述第一特征转换至鸟瞰图表征空间，得到对应于所述第一点云数据的第一鸟瞰图特征；第二特征转换模块，被配置为将所述第二特征转换至所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征；训练模块，被配置为根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络和所述相机特征提取网络进行训练。
[0013]可选地，所述训练模块，包括：第一计算子模块，被配置为根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算目标损失值；第一训练子模块，被配置为根据所述目标损失值对所述雷达特征提取网络和所述相机特征提取网络进行训练。
[0014]可选地，所述第一计算子模块，包括：第一计算子单元，被配置为根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算中心核损失值；第二计算子单元，被配置为计算所述第一鸟瞰图特征以及所述第二鸟瞰图特征之间的对比学习损失值；其中，所述目标损失值包括所述中心核损失值以及所述对比学习损失值。
[0015]可选地，所述第一计算子模块，被配置为通过如下计算式计算目标损失值loss：可选地，所述第一计算子模块，被配置为通过如下计算式计算目标损失值loss：可选地，所述第一计算子模块，被配置为通过如下计算式计算目标损失值loss：其中，loss1为中心核损失值，L为所述第一鸟瞰图特征的核函数，K为所述第二鸟瞰图特征的核函数，HSIC为希尔伯特
‑
施密特独立性指标，loss2为对比学习损失值，CE为交叉熵损失函数，L
e
为第一鸟瞰图特征，I
e
为第二鸟瞰图特征，R=0,1,2,
⋯
,n；n为模型训练的批量大小值，t为超参数，α为权重系数。
[0016]可选地，所述第一特征提取模块，包括：雷达图像生成子模块，被配置为基于所述第一点云数据生成雷达图像；特征提取子模块，被配置为通过雷达特征提取网络提取所述雷达图像的特征，得到所述第一特征。
[0017]可选地，所述第二特征转换模块，包括：特征转换子模块，被配置为通过特征转换网络将所述第二特征转换至所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征；所述训练模块，包括：
第二训练子模块，被配置为根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络、所述相机特征提取网络以及所述特征转换网络进行训练。
[0018]根据本公开实施例的第四方面，提供一种模型训练装置，包括：处理器；用于存储处理器可执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取相机对第一对象采集得到的第一图像以及雷达对所述第一对象采集得到的第一点云数据；通过雷达特征提取网络提取所述第一点云数据的特征，得到第一特征；通过相机特征提取网络提取所述第一图像的特征，得到第二特征；将所述第一特征转换至鸟瞰图表征空间，得到对应于所述第一点云数据的第一鸟瞰图特征；将所述第二特征转换至所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征；根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络和所述相机特征提取网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络和所述相机特征提取网络进行训练，包括：根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算目标损失值；根据所述目标损失值对所述雷达特征提取网络和所述相机特征提取网络进行训练。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算目标损失值，包括：根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算中心核损失值；计算所述第一鸟瞰图特征以及所述第二鸟瞰图特征之间的对比学习损失值；其中，所述目标损失值包括所述中心核损失值以及所述对比学习损失值。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一鸟瞰图特征以及所述第二鸟瞰图特征计算目标损失值，包括：通过如下计算式计算目标损失值loss：loss：loss：其中，loss1为中心核损失值，L为所述第一鸟瞰图特征的核函数，K为所述第二鸟瞰图特征的核函数，HSIC为希尔伯特
‑
施密特独立性指标，loss2为对比学习损失值，CE为交叉熵损失函数，L
e
为第一鸟瞰图特征，I
e
为第二鸟瞰图特征，R=0,1,2,
⋯
,n；n为模型训练的批量大小值，t为超参数，α为权重系数。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述通过雷达特征提取网络提取所述第一点云数据的特征，得到第一特征，包括：基于所述第一点云数据生成雷达图像；通过雷达特征提取网络提取所述雷达图像的特征，得到所述第一特征。6.根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述第二特征转换至
所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征，包括：通过特征转换网络将所述第二特征转换至所述鸟瞰图表征空间，得到对应于所述第一图像的第二鸟瞰图特征；所述根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络和所述相机特征提取网络进行训练，包括：根据所述第一鸟瞰图特征、所述第二鸟瞰图特征对所述雷达特征提取网络、所述相机特征提取网络以及所述特征转换网络进行训练。7.一种物体识别方法，其特征在于，包括：获取相机对第二对象采集...

【专利技术属性】
技术研发人员：周天宝，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：