一种3D多数据集联合训练方法、电子设备及存储介质技术

本申请提供一种3D多数据集联合训练方法，该方法包括：获取若干3D数据集；利用若干3D数据集联合训练3D目标检测模型，其中3D目标检测模型包括数据级校正操作和语义级耦合

【技术实现步骤摘要】
一种3D多数据集联合训练方法、电子设备及存储介质


[0001]本专利技术属于目标检测
，特别涉及一种3D多数据集联合训练方法、电子设备及存储介质。

技术介绍

[0002]3D目标检测技术是自动驾驶领域中发挥非常关键的作用，能够帮助车辆感知周围的环境。同时，基于LiDAR(激光雷达)的3D目标检测技术旨在使用LiDAR传感器来识别和定位给定场景中的实例对象。得益于大规模带标注的3D LiDAR数据集的快速发展，该技术最近取得了巨大进展。不幸的是，目前主流的3D目标检测模型都是遵循经典的单数据集训练
‑
测试范式来设计的，这会导致这些检测模型难以直接部署到具有不同数据分布的另一个数据集中。例如，当基线检测模型在Waymo上进行训练并且另一个不同的数据集如nuScenes上进行评估时，检测模型的检测精度会发生严重的退化(从74.60％降至17.31％)。因此，这种单一数据集训练
‑
测试范式无法在不同的数据集上表现良好，进一步损害了当前3D感知模型的数据集级别的泛化能力。
[0003]为了减少不同3D数据集之间的差异，一些研究人员试图利用无监督域适配(Unsupervised Domain Adaptation，UDA)技术，该技术旨在将预训练的源域检测器迁移到新的领域(或数据集)。尽管这些基于UDA的3D目标检测工作在新的目标域上实现了良好的检测精度增益，但它们仍然是从源域到目标域的单向模型迁移过程，而不是双向的多数据集泛化过程。而多数据集泛化是未来实现自动驾驶感知能力提升的重要保障。
[0004]现有的3D目标检测技术采用单数据集训练
‑
测试范式，当这些3D目标检测模型直接部署在另一个数据集中时，通常会面临严重的检测精度下降。且现有3D数据集面临严重的传感器分布差异、数据分布差异的挑战，导致数据集之间存在明显的数据隔阂。

技术实现思路

[0005]本说明书实施例的目的是提供一种3D多数据集联合训练方法、电子设备及存储介质。
[0006]为解决上述技术问题，本申请实施例通过以下方式实现的：
[0007]第一方面，本申请提供一种3D多数据集联合训练方法，该方法包括：
[0008]获取若干3D数据集；
[0009]利用若干3D数据集联合训练3D目标检测模型，其中3D目标检测模型包括数据级校正操作和语义级耦合
‑
重新组合模块，数据级校正操作用于对齐若干3D数据集的点云数据分布差异，语义级耦合
‑
重新组合模块用于挖掘来自不同3D数据集的可重用的特征表达。
[0010]在其中一个实施例中，数据级校正操作包括：
[0011]采用数据集具体的均值方差分布，正则每一个神经网络层的特征表达：
[0012][0013]其中，表示第t个数据集的第j个网络层的特征表达，ξ是为了保证数值计算稳定；表示第t个数据集第j个网络层的均值，表示第t个数据集第j个网络层的方差；表示第t个数据集的第j个网络层的点云数据；
[0014]一种参数可学习的变换过程被用来恢复模型特征的表达能力，具体计算方式如下：
[0015][0016]其中，表示第t个数据集的第j个网络层的输出特征，γ
j
和β
j
均表示第j个网络层的可学习参数。
[0017]在其中一个实施例中，语义级耦合
‑
重新组合模块用于：
[0018]将若干数据集的输出特征耦合，并学习数据集间可迁移的特征表达，得到数据集共享的特征表达；
[0019]根据数据集共享的特征表达进行数据集内部的特征重新组合操作，恢复数据集的鸟瞰场景的特征表达。
[0020]在其中一个实施例中，将若干数据集的输出特征耦合，并学习数据集间可迁移的特征表达，得到数据集共享的特征表达，包括：
[0021]将若干数据集的输出特征拼接为统一的特征表达，并学习数据集共享的鸟瞰场景特征的特征表达，得到数据集共享的特征表达。
[0022]在其中一个实施例中，将若干数据集的输出特征拼接为统一的特征表达，并学习数据集共享的鸟瞰场景特征的特征表达，得到数据集共享的特征表达包括：
[0023][0024][0025]其中，[...，...]表示通道级别的拼接操作；和表示第i个和第j个数据集的鸟瞰场景特征；φ
spatial
表示空间显著性增强操作；φ
sp
表示数据集级别的显著性增强操作；
⊙
代表逐元素乘法操作。
[0026]在其中一个实施例中，根据数据集共享的特征表达进行数据集内部的特征重新组合操作，恢复数据集的鸟瞰场景的特征表达，包括：
[0027]对数据集共享的特征表达利用通道级别的重新加权操作，恢复数据集的鸟瞰场景的特征表达。
[0028]在其中一个实施例中，对数据集共享的特征表达利用通道级别的重新加权操作，恢复数据集的鸟瞰场景的特征表达，包括：
[0029][0030][0031]其中，SE表示压缩
‑
激励网络。
[0032]在其中一个实施例中，3D目标检测模型的损失函数为：
[0033][0034]其中，是来自于第k个数据集模型所预测的误差损失，H
k
代表第k个数据集所决
定的检测头部。
[0035]第二方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的3D多数据集联合训练方法。
[0036]第三方面，本申请提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的3D多数据集联合训练方法。
[0037]由以上本说明书实施例提供的技术方案可见，该方案提供的3D多数据集联合训练方法中的数据级校正操作和语义级耦合
‑
重新组合模块，能够从多个3D数据集中学习到更具代表性的特征描述，从而提高3D检测模型的泛化能力。
附图说明
[0038]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为本申请提供的Ui3D框架示意图；
[0040]图2为本申请提供的3D多数据集联合训练方法的流程示意图；
[0041]图3为本申请提供的语义级耦合
‑
重新组合模块示意图；
[0042]图4为本申请提供的电子设备的结构示意图。
具体实施方式
[0043]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D多数据集联合训练方法，其特征在于，所述方法包括：获取若干3D数据集；利用所述若干3D数据集联合训练3D目标检测模型，其中所述3D目标检测模型包括数据级校正操作和语义级耦合
‑
重新组合模块，所述数据级校正操作用于对齐所述若干3D数据集的点云数据分布差异，所述语义级耦合
‑
重新组合模块用于挖掘来自不同3D数据集的可重用的特征表达。2.根据权利要求1所述的方法，其特征在于，所述数据级校正操作包括：采用数据集具体的均值方差分布，正则每一个神经网络层的特征表达：其中，表示第t个数据集的第j个网络层的特征表达，ξ是为了保证数值计算稳定；表示第t个数据集第j个网络层的均值，表示第t个数据集第j个网络层的方差；表示第t个数据集的第j个网络层的点云数据；一种参数可学习的变换过程被用来恢复模型特征的表达能力，具体计算方式如下：其中，表示第t个数据集的第j个网络层的输出特征，γ
j
和β
j
均表示第j个网络层的可学习参数。3.根据权利要求2所述的方法，其特征在于，所述语义级耦合
‑
重新组合模块用于：将所述若干数据集的输出特征耦合，并学习数据集间可迁移的特征表达，得到数据集共享的特征表达；根据所述数据集共享的特征表达进行数据集内部的特征重新组合操作，恢复数据集的鸟瞰场景的特征表达。4.根据权利要求3所述的方法，其特征在于，所述将所述若干数据集的输出特征耦合，并学习数据集间可迁移的特征表达，得到数据集共享的特征表达，包括：将所述若干数据集的输出特征拼接为统一的特征表达，并学习数据集共享的鸟瞰场景特征的特征表达，得到数据集共享的特征表达。5.根据权利要求4所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：李怡康，张铂，石博天，闫翔超，袁家康，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：