感知模型训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种感知模型训练方法、装置、计算机设备和存储介质。所述方法包括：获取基于终端模型确定的未标注数据；将所述未标注数据输入多个云端模型，生成第一伪标注数据，并基于所述第一伪标注数据对多个所述云端模型进行自训练；将所述未标注数据输入终端模型，生成第二伪标注数据；根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型。采用本方法能够提高感知模型的训练效率。高感知模型的训练效率。高感知模型的训练效率。

【技术实现步骤摘要】
感知模型训练方法、装置、计算机设备和存储介质


[0001]本申请涉及智能感知
，特别是涉及一种感知模型训练方法、装置、计算机设备和存储介质。

技术介绍

[0002]当前自动驾驶领域的感知策略大都基于深度学习算法进行开发迭代，而该方法的效果依赖算法模型的规模大小以及标注数据的数量和质量，考虑到成本等主要因素，自动驾驶实际使用在车端的感知模型规模远小于云端感知模型，所以云端大模型的效果远优于车端小模型。
[0003]为了提高车端小模型的效果，主流的优化方向为知识蒸馏，主要思路是将云端大模型的信息迁移到车端小模型。例如将云端大模型的中间特征或者其生成的结果作为伪标签训练车端小模型，以提高车端小模型的感知效果。
[0004]然而，这种分离式数据闭环系统中的AI模型训练，仅优化车端模型，导致整个模型训练过程训练效率低下。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高感知模型训练效率的感知模型训练方法、装置、计算机设备和存储介质。
[0006]第一方面，本申请提供了一种感知模型训练方法。所述方法包括：获取基于终端模型确定的未标注数据；将所述未标注数据输入多个云端模型，生成第一伪标注数据，并基于所述第一伪标注数据对多个所述云端模型进行自训练；将所述未标注数据输入终端模型，生成第二伪标注数据；根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型。
[0007]在其中的一个实施例中，所述未标注数据包括连续多帧未标注数据。
[0008]在其中的一个实施例中，所述将所述未标注数据输入多个云端模型，生成第一伪标注数据包括：通过多个所述云端模型对所述未标注数据进行识别，生成多个第一伪标签以及多个第一中间特征；通过目标跟踪算法对多个所述第一伪标签在连续多帧未标注数据中进行跟踪，生成第一跟踪伪标签；根据第一跟踪伪标签以及连续多帧未标注数据的时间顺序，对所述多个第一伪标签以及多个第一中间特征进行关联处理，生成第一连续帧伪标签以及第一连续帧中间特征；将所述第一连续帧伪标签以及第一连续帧中间特征作为第一伪标注数据。
[0009]在其中的一个实施例中，所述将所述未标注数据输入终端模型，生成第二伪标注数据包括：通过所述终端模型对所述未标注数据进行识别，生成多个第二伪标签以及多个第二中间特征；通过目标跟踪算法对多个所述第二伪标签在连续多帧未标注数据中进行跟
踪，生成第二跟踪伪标签；根据第二跟踪伪标签以及连续多帧未标注数据的时间顺序，对所述多个第二伪标签以及多个第二中间特征进行关联处理，生成第二连续帧伪标签以及第二连续帧中间特征；将所述第二连续帧伪标签以及第二连续帧中间特征作为第二伪标注数据。
[0010]在其中的一个实施例中，所述根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型包括：根据所述第一伪标注数据以及第二伪标注数据，确定难例伪标签数据；根据所述难例伪标签数据通过蒸馏训练更新所述终端模型，得到终端更新模型。
[0011]在其中的一个实施例中，所述根据所述第一伪标注数据以及第二伪标注数据，确定难例伪标签数据包括：计算所述第一伪标注数据与第二伪标注数据之间的欧氏距离和/或损失值；将所述欧氏距离和/或损失值超过预设阈值，对应的所述第一伪标注数据作为难例伪标签数据。
[0012]在其中的一个实施例中，所述根据所述难例伪标签数据通过蒸馏训练更新所述终端模型，得到终端更新模型包括：将第二连续帧伪标签作为终端模型的检测头的标签进行中心点训练，并且，将第一连续帧中间特征和终端模型的主干网络特征进行欧氏距离训练，以更新所述终端模型，得到终端更新模型。
[0013]在其中的一个实施例中，所述蒸馏训练包括单帧蒸馏训练和多帧时序蒸馏训练，其中，所述单帧蒸馏训练基于云端感知模型的中间特征或伪标签进行；所述多帧时序蒸馏训练基于所述云端感知模型或云端预标注模型的多帧结果或伪标签进行。
[0014]在其中的一个实施例中，所述基于所述第一伪标注数据对多个所述云端模型进行自训练包括：根据所述第一伪标注数据，确定所述第一伪标注数据中多个所述第一伪标签之间的差异值；基于所述差异值对所述第一伪标注数据进行数据剔除，得到剔除后的第一伪标注数据；获取预标注数据；根据剔除后的所述第一伪标注数据和所述预标注数据，对多个所述云端模型进行自训练。
[0015]第二方面，本申请还提供了一种感知模型训练装置。所述装置包括：获取模块，用于获取基于终端模型确定的未标注数据；自训练模块，用于将所述未标注数据输入多个云端模型，生成第一伪标注数据，并基于所述第一伪标注数据对多个所述云端模型进行自训练；计算模块，用于将所述未标注数据输入终端模型，生成第二伪标注数据；蒸馏训练模块，用于根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型。
[0016]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取基于终端模型确定的未标注数据；将所述未标注数据输入多个云端模型，生成第一伪标注数据，并基于所述第一伪标注数据对多个所述云端模型进行自训练；将所述未标注数据输入终端模型，生成第二伪标注数据；根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型。
[0017]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取基于终端模型确定的未标注数据；将所述未标注数据输入多个云端模型，生成第一伪标注数据，并基于所述第一伪标注数据对多个所述云端模型进行自训练；将所述未标注数据输入终端模型，生成第二伪标注数据；根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型。
[0018]上述感知模型训练方法、装置、计算机设备、存储介质和计算机程序产品，获取基于终端模型确定的未标注数据；将所述未标注数据输入多个云端模型，生成第一伪标注数据，并基于所述第一伪标注数据对多个所述云端模型进行自训练；将所述未标注数据输入终端模型，生成第二伪标注数据；根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型。解决了感知模型训练效率低下的问题，实现了提高感知模型训练效率的技术效果。
附图说明
[0019]图1为一个实施例中感知模型训练方法的应用环境图；图2为一个实施例中感知模型训练方法的流程示意图；图3为一个实施例中云端模型自训练的示意图；图4为一个优选实施例中感知模型训练方法的示意图；图5为一个实施例中车端感知小模型优化的架构图；图6为另一个实施例中2D车端感知小模型通过云端多模型优化方法的示意图；图7为一个实施例中感知模型训练装置的结构框图；图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种感知模型训练方法，其特征在于，所述方法包括：获取基于终端模型确定的未标注数据；将所述未标注数据输入多个云端模型，生成第一伪标注数据，并基于所述第一伪标注数据对多个所述云端模型进行自训练；将所述未标注数据输入终端模型，生成第二伪标注数据；根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型。2.根据权利要求1所述的感知模型训练方法，其特征在于，所述未标注数据包括连续多帧未标注数据。3.根据权利要求2所述的感知模型训练方法，其特征在于，所述将所述未标注数据输入多个云端模型，生成第一伪标注数据包括：通过多个所述云端模型对所述未标注数据进行识别，生成多个第一伪标签以及多个第一中间特征；通过目标跟踪算法对多个所述第一伪标签在连续多帧未标注数据中进行跟踪，生成第一跟踪伪标签；根据第一跟踪伪标签以及连续多帧未标注数据的时间顺序，对所述多个第一伪标签以及多个第一中间特征进行关联处理，生成第一连续帧伪标签以及第一连续帧中间特征；将所述第一连续帧伪标签以及第一连续帧中间特征作为第一伪标注数据。4.根据权利要求1所述的感知模型训练方法，其特征在于，所述将所述未标注数据输入终端模型，生成第二伪标注数据包括：通过所述终端模型对所述未标注数据进行识别，生成多个第二伪标签以及多个第二中间特征；通过目标跟踪算法对多个所述第二伪标签在连续多帧未标注数据中进行跟踪，生成第二跟踪伪标签；根据第二跟踪伪标签以及连续多帧未标注数据的时间顺序，对所述多个第二伪标签以及多个第二中间特征进行关联处理，生成第二连续帧伪标签以及第二连续帧中间特征；将所述第二连续帧伪标签以及第二连续帧中间特征作为第二伪标注数据。5.根据权利要求1所述的感知模型训练方法，其特征在于，所述根据所述第一伪标注数据以及第二伪标注数据通过蒸馏训练更新所述终端模型，得到终端更新模型包括：根据所述第一伪标注数据以及第二伪标注数据，确定难例伪标签数据；根据所述难例伪标签数据通过蒸馏训练更新所述终端模型，得到终端更新模型。6.根据权利要求5所述的感知模型训练方法，其特征在于，所述根据所述第一伪标注数据以及第二伪标注数据，确定难例伪标签数据包括：计...

【专利技术属性】
技术研发人员：洪伟，李帅君，朱子凌，
申请(专利权)人：福思杭州智能科技有限公司，
类型：发明
国别省市：