一种感知模型训练方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种感知模型训练方法、装置及电子设备和存储介质，涉及计算机技术领域，该方法包括：获取云端感知模型；其中，云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；将云端感知模型分解为基础分支和抗干扰分支；其中，基础分支包括第一预设数量个基础元网络，抗干扰分支包括第二预设数量个抗干扰元网络；基于正常场景数据训练基础分支，基于干扰场景数据训练抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于正常场景数据和干扰场景数据训练中间云端感知模型得到训练完成的云端感知模型。本申请提高了车端感知模型的鲁棒性。知模型的鲁棒性。知模型的鲁棒性。

【技术实现步骤摘要】
一种感知模型训练方法、装置及电子设备和存储介质


[0001]本申请涉及计算机
，更具体地说，涉及一种感知模型训练方法、装置及电子设备和存储介质。

技术介绍

[0002]感知系统是自动驾驶的关键组成部分，用于感知和理解车辆周围环境，当前主流的自动驾驶感知模型，通常以摄像机、激光雷达等传感器采集的数据作为输入，输出对周围环境的感知结果，如道路目标检测、车道线检测、可行驶区域分割等。基于深度学习的感知模型已取得显著进展，但模型鲁棒性仍面临严重挑战，面对交通场景中的各种恶劣环境因素（如炫光、弱光、雨、雪）、传感器故障（摄像机损坏、激光雷达损坏等）以及恶意攻击等情况，模型准确性难以保证，对自动驾驶安全构成严重威胁。
[0003]当前提升感知模型鲁棒性的方法通常只针对一种或某几种干扰因素，没有涵盖尽可能多的干扰因素，所获得的模型只能在一种或某几种干扰因素下具备较好的鲁棒性，当模型部署到车端，仍容易遭受其他干扰因素的影响，如针对恶劣天气因素训练的模型，仍会受到恶意攻击的影响，导致鲁棒性下降，威胁自动驾驶安全。
[0004]因此，如何提高感知模型的鲁棒性是本领域技术人员需要解决的技术问题。

技术实现思路

[0005]本申请的目的在于提供一种感知模型训练方法、装置及一种电子设备和一种计算机可读存储介质，提高了感知模型的鲁棒性。
[0006]为实现上述目的，本申请提供了一种感知模型训练方法，包括：获取云端感知模型；其中，所述云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；将所述云端感知模型分解为基础分支和抗干扰分支；其中，所述基础分支包括第一预设数量个基础元网络，所述抗干扰分支包括第二预设数量个抗干扰元网络；基于正常场景数据训练所述基础分支，基于干扰场景数据训练所述抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型。
[0007]其中，所述云端感知模型包括依次连接的输入模块、基础网络、云端元网络、元知识融合网络和任务网络，所述云端元网络包括基础元网络组和抗干扰元网络组，所述基础元网络组包括第一预设数量个基础元网络，所述抗干扰元网络组包括第二预设数量个抗干扰元网络；所述基础分支包括依次连接的所述输入模块、所述基础网络、所述基础元网络组、所述元知识融合网络和所述任务网络，所述抗干扰分支包括依次连接的所述输入模块、所述基础网络、所述抗干扰元网络组、所述元知识融合网络和所述任务网络。
[0008]其中，所述输入模块包括多个单模态的输入单元，每个所述输入单元通过对应的
基础网络连接多模态融合网络，所述多模态融合网络连接所述云端元网络。
[0009]其中，所述基础网络包括依次连接的预处理模块、骨干网络和多尺度特征提取网络。
[0010]其中，所述基础元网络包括第一基础子网络、第二基础子网络、第三基础子网络，所述第一基础子网络、所述第二基础子网络、所述第三基础子网络包括多层卷积神经网络或全连接层或注意力层。
[0011]其中，所述抗干扰元网络包括第一抗干扰子网络、第二抗干扰子网络、第三抗干扰子网络，所述第一抗干扰子网络的模型结构与所述第一基础子网络的模型结构相同，所述第二抗干扰子网络包括所有所述第二基础子网络、每个所述第二基础子网络对应的特征学习模型和与所有所述特征学习模型连接的特征融合模块，所述第三抗干扰子网络包括多层卷积神经网络或全连接层或注意力层。
[0012]其中，所述特征学习模型用于将对应的第二基础子网络输出的特征与对应的学习参数相乘得到对应的学习特征。
[0013]其中，所述特征融合模块用于对所有所述学习特征采用均值融合方式进行聚合得到聚合特征。
[0014]其中，所述基于正常场景数据训练所述基础分支，包括：在正常场景数据中采样正常训练样本，将所述正常训练样本输入所述基础分支中，基于所述任务网络的损失对所述基础分支的模型参数进行训练，得到训练完成的基础分支。
[0015]其中，所述基于干扰场景数据训练所述抗干扰分支，包括：基于训练完成的基础分支初始化所述抗干扰分支，并冻结初始化完成的抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数；在干扰场景数据中采样干扰训练样本，将所述干扰训练样本输入所述初始化完成的抗干扰分支中，基于所述任务网络的损失对所述初始化完成的抗干扰分支的模型参数进行训练，得到训练完成的抗干扰分支。
[0016]其中，所述基于训练完成的基础分支初始化所述抗干扰分支，包括：基于训练完成的基础分支中基础元网络中的第一基础子网络的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数；基于训练完成的基础分支中基础元网络中的第二基础子网络构建所述抗干扰分支中每个抗干扰元网络中的第二抗干扰子网络。
[0017]其中，所述基于训练完成的基础分支中基础元网络中的第一基础子网络的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数，包括：对训练完成的基础分支中基础元网络中的所有第一基础子网络的参数进行均值融合，基于融合后的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数。
[0018]其中，所述任务网络包括多个子任务网络。
[0019]其中，所述基于所述任务网络的损失对所述初始化完成的抗干扰分支的模型参数进行训练，得到训练完成的抗干扰分支，包括：计算所述任务网络中多个所述子任务网络的损失和，基于所述损失和计算所述初
始化完成的抗干扰分支中每个抗干扰元网络的输出特征的每个维度的梯度，对每个所述输出特征的每个维度的梯度进行绝对值求和得到每个所述输出特征的梯度和；对所有所述输出特征的梯度和由大至小进行排序，确定排序结果中前第五预设数量个输出特征对应的抗干扰元网络作为目标抗干扰元网络；冻结除所述目标抗干扰元网络之外的其他抗干扰元网络的参数，更新所述目标抗干扰元网络的参数，得到训练完成的抗干扰分支。
[0020]其中，所述干扰训练样本包括干扰数据和对应的标注，所述标注包括任务标注和干扰因素类型。
[0021]其中，所述合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，包括：对训练完成的基础分支中的基础网络的参数和训练完成的抗干扰分支中的基础网络的参数进行加权合并，得到中间云端感知模型中基础网络的参数；对训练完成的基础分支中的元知识融合网络的参数和训练完成的抗干扰分支中的元知识融合网络的参数进行加权合并，得到中间云端感知模型中基础网络的参数；对训练完成的基础分支中的任务网络的参数和训练完成的抗干扰分支中的任务网络的参数进行加权合并，得到中间云端感知模型中任务网络的参数；将训练完成的基础分支中的基础元网络组和训练完成的抗干扰分支中的抗干扰元网络组合并为中间云端感知模型中的云端元网络。
[0022]其中，所述基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种感知模型训练方法，其特征在于，包括：获取云端感知模型；其中，所述云端感知模型包括第一预设数量个基础元网络和第二预设数量个抗干扰元网络；将所述云端感知模型分解为基础分支和抗干扰分支；其中，所述基础分支包括第一预设数量个基础元网络，所述抗干扰分支包括第二预设数量个抗干扰元网络；基于正常场景数据训练所述基础分支，基于干扰场景数据训练所述抗干扰分支，合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，基于所述正常场景数据和所述干扰场景数据训练所述中间云端感知模型得到训练完成的云端感知模型。2.根据权利要求1所述感知模型训练方法，其特征在于，所述云端感知模型包括依次连接的输入模块、基础网络、云端元网络、元知识融合网络和任务网络，所述云端元网络包括基础元网络组和抗干扰元网络组，所述基础元网络组包括第一预设数量个基础元网络，所述抗干扰元网络组包括第二预设数量个抗干扰元网络；所述基础分支包括依次连接的所述输入模块、所述基础网络、所述基础元网络组、所述元知识融合网络和所述任务网络，所述抗干扰分支包括依次连接的所述输入模块、所述基础网络、所述抗干扰元网络组、所述元知识融合网络和所述任务网络。3.根据权利要求2所述感知模型训练方法，其特征在于，所述输入模块包括多个单模态的输入单元，每个所述输入单元通过对应的基础网络连接多模态融合网络，所述多模态融合网络连接所述云端元网络。4.根据权利要求2所述感知模型训练方法，其特征在于，所述基础网络包括依次连接的预处理模块、骨干网络和多尺度特征提取网络。5.根据权利要求2所述感知模型训练方法，其特征在于，所述基础元网络包括第一基础子网络、第二基础子网络、第三基础子网络，所述第一基础子网络、所述第二基础子网络、所述第三基础子网络包括多层卷积神经网络或全连接层或注意力层。6.根据权利要求5所述感知模型训练方法，其特征在于，所述抗干扰元网络包括第一抗干扰子网络、第二抗干扰子网络、第三抗干扰子网络，所述第一抗干扰子网络的模型结构与所述第一基础子网络的模型结构相同，所述第二抗干扰子网络包括所有所述第二基础子网络、每个所述第二基础子网络对应的特征学习模型和与所有所述特征学习模型连接的特征融合模块，所述第三抗干扰子网络包括多层卷积神经网络或全连接层或注意力层。7.根据权利要求6所述感知模型训练方法，其特征在于，所述特征学习模型用于将对应的第二基础子网络输出的特征与对应的学习参数相乘得到对应的学习特征。8.根据权利要求7所述感知模型训练方法，其特征在于，所述特征融合模块用于对所有所述学习特征采用均值融合方式进行聚合得到聚合特征。9.根据权利要求6所述感知模型训练方法，其特征在于，所述基于正常场景数据训练所述基础分支，包括：在正常场景数据中采样正常训练样本，将所述正常训练样本输入所述基础分支中，基于所述任务网络的损失对所述基础分支的模型参数进行训练，得到训练完成的基础分支。10.根据权利要求9所述感知模型训练方法，其特征在于，所述基于干扰场景数据训练所述抗干扰分支，包括：基于训练完成的基础分支初始化所述抗干扰分支，并冻结初始化完成的抗干扰分支中
每个抗干扰元网络中的第一抗干扰子网络的参数；在干扰场景数据中采样干扰训练样本，将所述干扰训练样本输入所述初始化完成的抗干扰分支中，基于所述任务网络的损失对所述初始化完成的抗干扰分支的模型参数进行训练，得到训练完成的抗干扰分支。11.根据权利要求10所述感知模型训练方法，其特征在于，所述基于训练完成的基础分支初始化所述抗干扰分支，包括：基于训练完成的基础分支中基础元网络中的第一基础子网络的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数；基于训练完成的基础分支中基础元网络中的第二基础子网络构建所述抗干扰分支中每个抗干扰元网络中的第二抗干扰子网络。12.根据权利要求11所述感知模型训练方法，其特征在于，所述基于训练完成的基础分支中基础元网络中的第一基础子网络的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数，包括：对训练完成的基础分支中基础元网络中的所有第一基础子网络的参数进行均值融合，基于融合后的参数初始化所述抗干扰分支中每个抗干扰元网络中的第一抗干扰子网络的参数。13.根据权利要求11所述感知模型训练方法，其特征在于，所述任务网络包括多个子任务网络。14.根据权利要求13所述感知模型训练方法，其特征在于，所述基于所述任务网络的损失对所述初始化完成的抗干扰分支的模型参数进行训练，得到训练完成的抗干扰分支，包括：计算所述任务网络中多个所述子任务网络的损失和，基于所述损失和计算所述初始化完成的抗干扰分支中每个抗干扰元网络的输出特征的每个维度的梯度，对每个所述输出特征的每个维度的梯度进行绝对值求和得到每个所述输出特征的梯度和；对所有所述输出特征的梯度和由大至小进行排序，确定排序结果中前第五预设数量个输出特征对应的抗干扰元网络作为目标抗干扰元网络；冻结除所述目标抗干扰元网络之外的其他抗干扰元网络的参数，更新所述目标抗干扰元网络的参数，得到训练完成的抗干扰分支。15.根据权利要求10所述感知模型训练方法，其特征在于，所述干扰训练样本包括干扰数据和对应的标注，所述标注包括任务标注和干扰因素类型。16.根据权利要求1所述感知模型训练方法，其特征在于，所述合并训练完成的基础分支和训练完成的抗干扰分支得到中间云端感知模型，包括：对训练完成的基础分支中的基础网络的参数和训练完成的抗干扰分支中的基础网络的参数进行加权合并，得到中间云端感知模型中基础网络的参数；对训练完成的基础分支中的元知识融合网络的参数和训练完成的抗干扰分支中的元知识融合网络的参数进行加权合并，得到中间云端感知模型中基础网络的参数；对训练完成的基础分支中的任务网络的参数和训练完成的抗干扰分支中的任务网络的参数进行加权合并，得到中间云端感知模型中任务网络的参数；将训练完成的基础分支中的基础元网络组和训练完成的抗干扰分支中的抗干扰元网
络组合并为中间云端感知模型中的云端元网络。17.根据权利要求2所述感知模型训练方法，其特征在于，所述基于所述正常场景数据和所述干扰场景数据训练...

【专利技术属性】
技术研发人员：张腾飞，李茹杨，刘广庆，张恒，邓琪，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：