自动驾驶模型的训练方法、部署方法、系统、介质和设备技术方案

本发明专利技术提供一种自动驾驶模型的训练方法、部署方法、系统、介质和设备，涉及机器学习领域，包括：获取数据集；数据集中的样本包括正常场景数据和干扰场景数据；从数据集中选取第一正常场景样本和第一干扰场景样本，利用第一算法训练得到第一感知模型；从数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型；将第二感知模型部署至自动驾驶系统中。本发明专利技术能避免高质量特征和低质量特征同时被蒸馏，提升了知识蒸馏的效果，便于对第二感知模型中低质量的抗干扰特征进行针对性的知识蒸馏，有效提升了第二感知模型的鲁棒性。有效提升了第二感知模型的鲁棒性。有效提升了第二感知模型的鲁棒性。

【技术实现步骤摘要】
自动驾驶模型的训练方法、部署方法、系统、介质和设备


[0001]本专利技术涉及机器学习领域，特别涉及一种自动驾驶模型的训练方法、部署方法、系统、介质和设备。

技术介绍

[0002]目前已有很多提高感知模型鲁棒性的方法，针对恶劣环境对模型鲁棒性的影响，主要采用数据增强的方式，利用采集或生成的容易导致模型鲁棒性下降的样本训练模型。
[0003]感知模型的鲁棒性可能受恶劣环境、传感器故障、恶意攻击等多种类型干扰因素的影响，然而，当前提升感知模型鲁棒性的方法通常只针对一种或某几种干扰因素，没有涵盖尽可能多的干扰因素，所获得的模型只能在一种或某几种干扰因素下具备较好的鲁棒性，当模型部署到车端，仍容易遭受其他干扰因素的影响，如针对恶劣天气因素训练的模型，仍会受到恶意攻击的影响，导致鲁棒性下降，威胁自动驾驶安全。此外，当前车端部署的感知模型主要为传统小模型，一方面小模型表达能力较弱，难以同时兼顾不同类型的干扰因素；另一方面，使用针对多种类型干扰因素增强的数据训练小模型，容易造成小模型在正常场景下性能下降。

技术实现思路

[0004]本专利技术的目的是提供一种自动驾驶模型的训练方法、系统、存储介质和电子设备，能够提升用于部署至自动驾驶系统的第二感知模型的鲁棒性。
[0005]为解决上述技术问题，本专利技术提供一种自动驾驶模型的训练方法，具体技术方案如下：获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；从所述数据集中选取第一正常场景样本和第一干扰场景样本，训练得到第一感知模型；从所述数据集中选取第二正常场景样本和第二干扰场景样本，基于所述第一感知模型使用知识蒸馏方法训练得到第二感知模型；所述第二感知模型用于部署至自动驾驶系统。
[0006]可选的，所述获取数据集包括：获取所述正常场景数据或所述干扰场景数据的数据帧；其中，每个所述数据帧至少包含一种模态。
[0007]可选的，获取数据集之后，还包括：对所述数据集中的样本进行特定任务标注和干扰因素标注。
[0008]可选的，所述从所述数据集中选取第一正常场景样本和第一干扰场景样本包括：按照相同概率从所述数据集中选取第一正常场景样本和第一干扰场景样本。
[0009]可选的，利用第一算法训练得到第一感知模型包括：将所述第一正常场景样本和所述第一干扰场景样本输入基础网络，得到多尺度特
征；所述基础网络包含骨干网络和多尺度特征提取网络；利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；将所述融合特征输入至任务网络，经过训练得到第一感知模型。
[0010]可选的，利用第一算法训练得到第一感知模型后，还包括：确定所述第一感知模型的损失函数，并利用反向传播优化器优化所述第一感知模型，直至所述第一感知模型完全收敛。
[0011]可选的，从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型包括：从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法训练得到初始第二感知模型；结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型。
[0012]可选的，从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法训练得到初始第二感知模型包括：将所述第二正常场景样本和所述第二干扰场景样本输入第二算法得到的基础网络，得到多尺度特征；所述基础网络包含骨干网络和多尺度特征提取网络；利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；将所述融合特征输入至任务网络，经过训练得到初始第二感知模型。
[0013]可选的，结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型包括：利用多模态融合网络融合所述样本多个模态的特征后，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异；在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征后，利用基础特征判别损失函数对所述融合特征进行预测，并根据预测结果进行特征值对齐。
[0014]可选的，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异包括：输入正常场景样本和干扰场景样本；对于所述第一感知模型，得到正常场景样本的第一多模态融合特征和第一元知识特征；对于第二感知模型，得到正常场景样本的第二多模态融合特征和第二元知识特征；
分别确定所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量；根据所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量确定所述前景特征和所述背景特征；对于所述前景特征，从标注的目标边界框内进行均匀的特征点采样，获得前景特征点；对于所述背景特征，从标注的目标边界框外的区域进行均匀的特征点采样，得到背景特征点根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异。
[0015]可选的，还包括：确定干扰场景样本的干扰特征点，并根据所述干扰特征点确定需要进行知识迁移的特征。
[0016]可选的，所述确定所述干扰场景样本的干扰特征点包括：确定子任务的损失函数；利用所述子任务的损失函数计算所述第二感知模型的干扰场景样本的多模态融合特征梯度和元知识特征梯度；沿通道方向对所述多模态融合特征梯度和所述元知识特征梯度求和，对宽、高维度上每个位置梯度值求绝对值，并按照梯度绝对值进行降序排序；取所述排序中前预设数量个梯度绝对值的位置索引，按照所述位置索引在所述第二感知模型的干扰场景样本的多模态融合特征中采样第一干扰特征点，按照所述位置索引在所述第一感知模型的干扰场景样本的多模态融合特征中采样第二干扰特征点。
[0017]可选的，根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异包括：根据所述第一感知模型和所述第二感知模型各自的多模态融合特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第一知识蒸馏损失；根据所述第一感知模型和所述第二感知模型各自的元知识特征的前景特征点、背景特征点和干扰特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶模型的训练方法，其特征在于，包括：获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；从所述数据集中选取第一正常场景样本和第一干扰场景样本，训练得到第一感知模型；从所述数据集中选取第二正常场景样本和第二干扰场景样本，基于所述第一感知模型使用知识蒸馏方法训练得到第二感知模型；所述第二感知模型用于部署至自动驾驶系统。2.根据权利要求1所述的自动驾驶模型的训练方法，其特征在于，所述获取数据集包括：获取所述正常场景数据或所述干扰场景数据的数据帧；其中，每个所述数据帧至少包含一种模态；所述模态包括图像数据和点云数据。3.根据权利要求1所述的自动驾驶模型的训练方法，其特征在于，所述获取数据集之后，还包括：对所述数据集中的样本进行特定任务标注和干扰因素标注。4.根据权利要求1所述的自动驾驶模型的训练方法，其特征在于，所述从所述数据集中选取第一正常场景样本和第一干扰场景样本包括：按照相同概率从所述数据集中选取第一正常场景样本和第一干扰场景样本。5.根据权利要求1或4所述的自动驾驶模型的训练方法，其特征在于，从所述数据集中选取第一正常场景样本和第一干扰场景样本，训练得到第一感知模型包括：将所述第一正常场景样本和所述第一干扰场景样本输入第一基础网络，得到多尺度特征；所述第一基础网络包含骨干网络和多尺度特征提取网络；利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；将所述融合特征输入至任务网络，经过训练得到第一感知模型。6.根据权利要求5所述的自动驾驶模型的训练方法，其特征在于，训练得到第一感知模型后，还包括：确定所述第一感知模型的损失函数，并利用反向传播优化器优化所述第一感知模型，直至所述第一感知模型完全收敛。7.根据权利要求5所述的自动驾驶模型的训练方法，其特征在于，从所述数据集中选取第二正常场景样本和第二干扰场景样本，基于所述第一感知模型使用知识蒸馏方法训练得到第二感知模型包括：从所述数据集中选取第二正常场景样本和第二干扰场景样本，对第二基础网络训练得到初始第二感知模型；结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法中至少一种对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型。8.根据权利要求7所述的自动驾驶模型的训练方法，其特征在于，从所述数据集中选取第二正常场景样本和第二干扰场景样本，对第二基础网络训练得到初始第二感知模型包
括：将所述第二正常场景样本和所述第二干扰场景样本输入至所述第二基础网络，得到多尺度特征；所述第二基础网络包含骨干网络和多尺度特征提取网络；利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；将所述融合特征输入至任务网络，经过训练得到初始第二感知模型。9.根据权利要求7所述的自动驾驶模型的训练方法，其特征在于，结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法中至少一种对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型包括：若使用干扰特征知识蒸馏方法，利用干扰特征知识蒸馏方法将第一感知模型的第一多模态融合特征和第一元知识特征对所述初始第二感知模型的第二多模态融合特征和第二元知识特征进行知识蒸馏，将第一感知模型中的干扰特征和正常场景的前背景特征间的关联关系知识迁移至所述第二感知模型；若元网络对抗知识蒸馏方法，利用元网络对抗知识蒸馏方法将所述第一感知模型的第一基础元网络组和第一抗干扰元网络组中的知识迁移至所述初始第二感知模型的第二基础元网络组和第二抗干扰元网络组中。10.根据权利要求9所述的自动驾驶模型的训练方法，其特征在于，利用干扰特征知识蒸馏方法将第一感知模型的第一多模态融合特征和第一元知识特征对所述初始第二感知模型的第二多模态融合特征和第二元知识特征进行知识蒸馏，将第一感知模型中的干扰特征和正常场景的前背景特征间的关联关系知识迁移至所述第二感知模型时，还包括：利用多模态融合网络融合所述样本多个模态的特征后，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异。11.根据权利要求10所述的自动驾驶模型的训练方法，其特征在于，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异包括：输入所述正常场景样本和所述干扰场景样本；对于所述第一感知模型，得到正常场景样本的第一多模态融合特征和第一元知识特征；对于第二感知模型，得到正常场景样本的第二多模态融合特征和第二元知识特征；分别确定所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量；根据所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量确定所述前景特征和所述背景特征；对于所述前景特征，从标注的目标边界框内进行均匀的特征点采样，获得前景特征点；对于所述背景特征，从标注的目标边界框外的区域进行均匀的特征点采样，得到背景特征点；根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异；
在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征后，利用基...

【专利技术属性】
技术研发人员：张腾飞，李茹杨，沈鸿翔，张恒，邓琪，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：