一种感知模型训练方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种感知模型训练方法、装置及电子设备和存储介质，涉及计算机技术领域，该方法包括：获取云端感知模型；云端感知模型包括基础元网络组和抗干扰元网络组，基础元网络组包括多个基础元网络，抗干扰元网络组包括多个干扰因素分别对应的多个抗干扰元网络，基础元网络包括依次连接的多个网络模块，抗干扰元网络包括依次连接的多个网络模块，基础元网络组中部分或全部基础元网络中的第一个网络模块的参数共享，相同干扰因素对应的抗干扰元网络中的第一个网络模块的参数共享；基于正常场景数据和干扰场景数据训练云端感知模型得到训练完成的云端感知模型；干扰场景数据包括多个干扰因素对应的干扰样本。本申请提高了感知模型的鲁棒性。知模型的鲁棒性。知模型的鲁棒性。

【技术实现步骤摘要】
一种感知模型训练方法、装置及电子设备和存储介质


[0001]本申请涉及计算机
，更具体地说，涉及一种感知模型训练方法、装置及电子设备和存储介质。

技术介绍

[0002]感知系统是自动驾驶的关键组成部分，用于感知和理解车辆周围环境，当前主流的自动驾驶感知模型，通常以摄像机、激光雷达等传感器采集的数据作为输入，输出对周围环境的感知结果，如道路目标检测、车道线检测、可行驶区域分割等。基于深度学习的感知模型已取得显著进展，但模型鲁棒性仍面临严重挑战，面对交通场景中的各种恶劣环境因素（如炫光、弱光、雨、雪）、传感器故障（摄像机损坏、激光雷达损坏等）以及恶意攻击等情况，模型准确性难以保证，对自动驾驶安全构成严重威胁。
[0003]当前提升感知模型鲁棒性的方法通常只针对一种或某几种干扰因素，没有涵盖尽可能多的干扰因素，所获得的模型只能在一种或某几种干扰因素下具备较好的鲁棒性，当模型部署到车端，仍容易遭受其他干扰因素的影响，如针对恶劣天气因素训练的模型，仍会受到恶意攻击的影响，导致鲁棒性下降，威胁自动驾驶安全。
[0004]因此，如何提高感知模型的鲁棒性是本领域技术人员需要解决的技术问题。

技术实现思路

[0005]本申请的目的在于提供一种感知模型训练方法、装置及一种电子设备和一种计算机可读存储介质，提高了感知模型的鲁棒性。
[0006]为实现上述目的，本申请提供了一种感知模型训练方法，包括：获取云端感知模型；其中，所述云端感知模型包括云端元网络，所述云端元网络包括基础元网络组和抗干扰元网络组，所述基础元网络组包括多个基础元网络，所述抗干扰元网络组包括多个干扰因素分别对应的多个抗干扰元网络，所述基础元网络包括依次连接的多个网络模块，所述抗干扰元网络包括依次连接的多个网络模块，所述基础元网络组中每目标数量个基础元网络中的第一个网络模块的参数共享，相同干扰因素对应的抗干扰元网络中的第一个网络模块的参数共享；基于正常场景数据和干扰场景数据训练所述云端感知模型得到训练完成的云端感知模型；其中，所述干扰场景数据包括多个所述干扰因素对应的干扰样本。
[0007]其中，所述网络模块包括卷积神经网络层或全连接层或注意力层。
[0008]其中，所述云端感知模型还包括每个所述干扰因素对应的元特征编码网络，所述干扰因素对应的元特征编码网络用于提取所述干扰因素对应的干扰样本的元特征；所述抗干扰元网络的第一个网络模块包括目标网络单元和参数特异化网络，所述目标网络单元为所述卷积神经网络层或所述全连接层或所述注意力层，所述参数特异化网络为1
×1×
K的卷积神经网络，K为所述抗干扰元网络对应的干扰因素的元特征的维度，所述参数特异化网络的参数基于所述干扰因素的元特征初始化，所述干扰因素的元特征为所
述干扰因素对应的所有干扰样本的元特征的均值，所述抗干扰元网络的第一个网络模块的输出特征为所述目标网络单元的输出特征与所述参数特异化网络的输出特征相加。
[0009]其中，所述元特征编码网络包括依次连接的编码模块和解码模块，所述方法还包括：将所述干扰因素对应的干扰样本输入所述干扰因素对应的元特征编码网络，依次经过所述编码模块和所述解码模块得到重构样本，计算所述干扰样本与所述重构样本之间的重构损失，基于所述重构损失训练所述干扰因素对应的元特征编码网络，得到训练完成的所述干扰因素对应的元特征编码网络；所述干扰因素对应的元特征编码网络具体用于利用所述干扰因素对应的训练完成的元特征编码网络中的编码模块提取所述干扰因素对应的干扰样本的元特征。
[0010]其中，所述编码模块包括依次连接的一个或多个卷积神经网络、特征变形单元、一个或多个全连接层，所述解码模块包括依次连接的一个或多个全连接层、特征变形单元、一个或多个卷积神经网络。
[0011]其中，所述重构损失的计算公式为：；其中，为重构损失，K为所述干扰样本包含的元素数量，为所述干扰样本中的第k个元素，为所述重构样本中的第k个元素。
[0012]其中，所述云端感知模型包括依次连接的输入模块、基础网络、云端元网络、元知识融合网络和任务网络，所述云端元网络包括所述基础元网络组和所述抗干扰元网络组。
[0013]其中，所述输入模块包括多个单模态的输入单元，每个所述输入单元通过对应的基础网络连接多模态融合网络，所述多模态融合网络连接所述云端元网络。
[0014]其中，所述基础网络包括依次连接的预处理模块、骨干网络和多尺度特征提取网络。
[0015]其中，所述任务网络包括多个子任务网络。
[0016]其中，所述基于正常场景数据和干扰场景数据训练所述云端感知模型得到训练完成的云端感知模型，包括：确定正常训练样本的第一采样率或干扰训练样本的第二采样率；其中，所述第一采样率与所述第二采样率的和为一；基于所述第一采样率或所述第二采样率在正常场景数据中采样正常训练样本、在干扰场景数据中采样干扰训练样本；将所述干扰训练样本输入所述云端感知模型中，基于所述云端感知模型中任务网络的损失对所述云端感知模型的模型参数进行训练，得到训练完成的云端感知模型。
[0017]其中，将所述干扰训练样本输入所述云端感知模型中，基于所述云端感知模型中任务网络的损失对所述云端感知模型的模型参数进行训练，得到训练完成的云端感知模型，包括：确定所述干扰训练样本对应的标注；其中，所述标注包括任务标注和干扰因素；将所述干扰训练样本输入所述云端感知模型中所述干扰因素对应的抗干扰元网
络中，得到任务网络的输出结果，基于所述输出结果和所述任务标注计算任务网络的损失；基于所述任务网络的损失对所述云端感知模型的模型参数进行训练，得到训练完成的云端感知模型。
[0018]为实现上述目的，本申请提供了一种感知模型训练方法，包括：获取云端感知模型；其中，所述云端感知模型包括云端元网络，所述云端元网络包括基础元网络组和抗干扰元网络组，所述基础元网络组包括多个基础元网络，所述抗干扰元网络组包括多个干扰因素分别对应的多个抗干扰元网络，所述基础元网络包括依次连接的多个网络模块，所述抗干扰元网络包括依次连接的多个网络模块，所述基础元网络组中每目标数量个基础元网络中的第一个网络模块的参数共享，相同干扰因素对应的抗干扰元网络中的第一个网络模块的参数共享；基于正常场景数据和干扰场景数据训练所述云端感知模型得到训练完成的云端感知模型；其中，所述干扰场景数据包括多个所述干扰因素对应的干扰样本；基于所述训练完成的云端感知模型构建车端感知模型；其中，所述车端感知模型包括多个基础元网络和多个抗干扰元网络，所述车端感知模型包含的基础元网络数量小于所述云端感知模型包含的基础元网络数量，所述车端感知模型包含的抗干扰元网络数量小于所述云端感知模型包含的抗干扰元网络数量；基于所述正常场景数据和所述干扰场景数据训练所述车端感知模型得到训练完成的车端感知模型。
[0019]其中，所述车端感知模型包括依次连接的输入模块、基础网络、车端元网络、元知识融合网络和所述任务网络，车端元网络包括多个所述基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种感知模型训练方法，其特征在于，包括：获取云端感知模型；其中，所述云端感知模型包括云端元网络，所述云端元网络包括基础元网络组和抗干扰元网络组，所述基础元网络组包括多个基础元网络，所述抗干扰元网络组包括多个干扰因素分别对应的多个抗干扰元网络，所述基础元网络包括依次连接的多个网络模块，所述抗干扰元网络包括依次连接的多个网络模块，所述基础元网络组中每目标数量个基础元网络中的第一个网络模块的参数共享，相同干扰因素对应的抗干扰元网络中的第一个网络模块的参数共享；基于正常场景数据和干扰场景数据训练所述云端感知模型得到训练完成的云端感知模型；其中，所述干扰场景数据包括多个所述干扰因素对应的干扰样本。2.根据权利要求1所述感知模型训练方法，其特征在于，所述网络模块包括卷积神经网络层或全连接层或注意力层。3.根据权利要求2所述感知模型训练方法，其特征在于，所述云端感知模型还包括每个所述干扰因素对应的元特征编码网络，所述干扰因素对应的元特征编码网络用于提取所述干扰因素对应的干扰样本的元特征；所述抗干扰元网络的第一个网络模块包括目标网络单元和参数特异化网络，所述目标网络单元为所述卷积神经网络层或所述全连接层或所述注意力层，所述参数特异化网络为1
×1×
K的卷积神经网络，K为所述抗干扰元网络对应的干扰因素的元特征的维度，所述参数特异化网络的参数基于所述干扰因素的元特征初始化，所述干扰因素的元特征为所述干扰因素对应的所有干扰样本的元特征的均值，所述抗干扰元网络的第一个网络模块的输出特征为所述目标网络单元的输出特征与所述参数特异化网络的输出特征相加。4.根据权利要求3所述感知模型训练方法，其特征在于，所述元特征编码网络包括依次连接的编码模块和解码模块，所述方法还包括：将所述干扰因素对应的干扰样本输入所述干扰因素对应的元特征编码网络，依次经过所述编码模块和所述解码模块得到重构样本，计算所述干扰样本与所述重构样本之间的重构损失，基于所述重构损失训练所述干扰因素对应的元特征编码网络，得到训练完成的所述干扰因素对应的元特征编码网络；所述干扰因素对应的元特征编码网络具体用于利用所述干扰因素对应的训练完成的元特征编码网络中的编码模块提取所述干扰因素对应的干扰样本的元特征。5.根据权利要求4所述感知模型训练方法，其特征在于，所述编码模块包括依次连接的一个或多个卷积神经网络、特征变形单元、一个或多个全连接层，所述解码模块包括依次连接的一个或多个全连接层、特征变形单元、一个或多个卷积神经网络。6.根据权利要求4所述感知模型训练方法，其特征在于，所述重构损失的计算公式为：；其中，为重构损失，K为所述干扰样本包含的元素数量，为所述干扰样本中的第k个元素，为所述重构样本中的第k个元素。7.根据权利要求1所述感知模型训练方法，其特征在于，所述云端感知模型包括依次连接的输入模块、基础网络、云端元网络、元知识融合网络和任务网络，所述云端元网络包括
所述基础元网络组和所述抗干扰元网络组。8.根据权利要求7所述感知模型训练方法，其特征在于，所述输入模块包括多个单模态的输入单元，每个所述输入单元通过对应的基础网络连接多模态融合网络，所述多模态融合网络连接所述云端元网络。9.根据权利要求7所述感知模型训练方法，其特征在于，所述基础网络包括依次连接的预处理模块、骨干网络和多尺度特征提取网络。10.根据权利要求7所述感知模型训练方法，其特征在于，所述任务网络包括多个子任务网络。11.根据权利要求1所述感知模型训练方法，其特征在于，所述基于正常场景数据和干扰场景数据训练所述云端感知模型得到训练完成的云端感知模型，包括：确定正常训练样本的第一采样率或干扰训练样本的第二采样率；其中，所述第一采样率与所述第二采样率的和为一；基于所述第一采样率或所述第二采样率在正常场景数据中采样正常训练样本、在干扰场景数据中采样干扰训练样本；将所述干扰训练样本输入所述云端感知模型中，基于所述云端感知模型中任务网络的损失对所述云端感知模型的模型参数进行训练，得到训练完成的云端感知模型。12.根据权利要求11所述感知模型训练方法，其特征在于，将所述干扰训练样本输入所述云端感知模型中，基于所述云端感知模型中任务网络的损失对所述云端感知模型的模型参数进行训练，得到训练完成的云端感知模型，包括：确定所述干扰训练样本对应的标注；其中，所述标注包括任务标注和干扰因素；将所述干扰训练样本输入所述云端感知模型中所述干扰因素对应的抗干扰元网络中，得到任务网络的输出结果，基于所述输出结果和所述任务标注计算任务网络的损失；基于所述任务网络的损失对所述云端感知模型的模型参数进行训练，得到训练完成的云端感知模型。13.一种感知模型训练方法，其特征在于，包括：获取云端感知模型；其中，所述云端感知模型包括云端元网络，所述云端元网络包括基础元网络组和抗干扰元网络组，所述基础元网络组包括多个基础元网络，所述抗干扰元网络组包括多个干扰因素分别对应的多个抗干扰元网络，所述基础元网络包括依次连接的多个网络模块，所述抗干扰元网络包括依次连接的多个网络模块，所述基础元网络组中每目标数量个基础元网络中的第一个网络模块的参数共享，相同干扰因素对应的抗干扰元网络中的第一个网络模块的参数共享；基于正常场景数据和干扰场景数据训练所述云端感知模型得到训练完成的云端感知模型；其中，所述干扰场景数据包括多个所述干扰因素对应的干扰样本；基于所述训练完成的云端感知模型构建车端感知模型；其中，所述车端感知模型包括多个...

【专利技术属性】
技术研发人员：张腾飞，李茹杨，张恒，邓琪，
申请(专利权)人：山东海量信息技术研究院，
类型：发明
国别省市：