模型鲁棒性检测方法、相关装置及存储介质制造方法及图纸

本申请实施例公开了一种模型鲁棒性检测方法、相关装置及存储介质。所述方法包括：接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令。通过实施本申请实施例的方法可提高对模型的攻击效果以及缩短模型的迭代周期。效果以及缩短模型的迭代周期。效果以及缩短模型的迭代周期。

【技术实现步骤摘要】
模型鲁棒性检测方法、相关装置及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种模型鲁棒性检测方法、相关装置及存储介质。

技术介绍

[0002]随着计算机硬件水平的提升和大型自动驾驶数据集的创建，基于深度学习的感知技术在自主机器人、自动驾驶等领域应用越来越广泛。由于深度学习模型内部复杂的设计和基于数据驱动的原理，模型的可解释性较低且具有“黑盒”特性，因此模型容易受到难以察觉的攻击而出现与人的思维不符的结果，这可能在行车途中造成难以估量的损失。为验证检测模型的鲁棒性，需要设计多种测试场景，模拟对抗防御在不同场景的攻防的效果。
[0003]目前主要使用两种方法对模型进行模拟干扰，以检验模型的鲁棒性；第一种，在原有图像上直接添加扰动，然后将添加了扰动的数据输入到模型中；第二种，将在数字图像上做的攻击图像直接打印成实物，然后在现实场景通过相机将对抗攻击后的图像信息输入到模型。
[0004]然而，第一种现有技术在采集的图像上直接添加扰动得到的对抗样本，不能模拟车辆在运行过程中对车辆进行连续攻击的场景，攻击效果不好；第二种现有技术需要将对抗图案打印成实物，并且需要在现实场景中对对抗图案进行拍摄，会增加模型鲁棒性检测的时间成本，模型的迭代周期长。

技术实现思路

[0005]本申请实施例提供了一种模型鲁棒性检测方法、相关装置及存储介质，可以提高对模型的攻击效果以及缩短模型的迭代周期。
[0006]第一方面，本申请实施例提供了一种模型鲁棒性检测方法，所述方法应用于模型鲁棒性检测系统，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述方法包括：
[0007]接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
[0008]响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；
[0009]将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对
象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
[0010]在一些实施例中，所述第二区域中显示的驾驶场景为变道场景，所述目标车辆在第一车道，所述目标对象为在第二车道且与所述目标车辆同向行使的第一车辆，所述目标对抗样本为添加了所述目标对抗图案的所述第一车辆；所述接收用户针对目标对象的第一操作指令，包括：
[0011]接收用户针对所述第一车辆的第六操作指令，所述第六操作指令用于指示所述第一车辆添加分类标签为隐身的第二对抗图案；
[0012]所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：
[0013]响应于所述第六操作指令，对所述第一车辆添加用于对所述第一车辆隐身攻击的所述第二对抗图案，得到第二对抗样本；
[0014]将所述目标对抗样本输入所述车辆感知模型，得到识别结果，包括：
[0015]接收第三消息，所述第三消息用于指示所述目标车辆在第一预设时长内从所述第一车道变道至所述第二车道上；
[0016]将所述第二对抗样本输入所述车辆感知模型，得到所述第二车道的安全变道区域内无车辆行驶的识别结果。
[0017]在一些实施例中，所述第二区域中显示有与所述目标车辆保持相对速度的虚拟无人机，所述接收用户针对目标对象的第一操作指令，包括：
[0018]接收用户针对所述虚拟无人机的第七操作指令，所述第七操作指令用于指示所述虚拟无人机向所述目标对象的有效范围内投影所述目标对抗图案；
[0019]所述响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本，包括：
[0020]响应于所述第七操作指令，通过所述虚拟无人机将所述目标对抗图案投影至所述目标对象的有效范围内，得到所述目标对抗样本。
[0021]在一些实施例中，所述方法还包括：
[0022]接收用户针对所述目标车辆的第八操作指令，所述第八操作指令用于指示对所述目标车辆添加分类标签为隐身的第三对抗图案；
[0023]接收用户针对第二车辆的第九操作指令，所述第九操作指令用于指示所述第二车辆添加分类标签为隐身的第四对抗图案；
[0024]响应于所述第八操作指令，将所述第三对抗图案添加到所述目标车辆的有效范围内；
[0025]响应于所述第九操作指令，将所述第四对抗图案添加到所述第二车辆的有效范围内；
[0026]其中，所述第二车辆与所述目标车辆至少满足以下条件之一：
[0027]处于相同车道同向行驶，且所述第二车辆与所述目标车辆中的后车加速；
[0028]处于不同车道且会车；
[0029]处于不同车道同向行驶，且所述第二车辆或目标车辆变道。
[0030]第二方面，本申请实施例还提供了一种模型鲁棒性检测装置，所述模型鲁棒性检
测装置被配置于模型鲁棒性检测系统中，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述装置包括：
[0031]收发模块，用于接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；
[0032]处理模块，用于响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
[0033]在一些实施例中，所述驾驶场景仿真平台预设有多种候选驾驶场景，所述显示界面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型鲁棒性检测方法，其特征在于，所述方法应用于模型鲁棒性检测系统，所述模型鲁棒性检测系统包括驾驶场景仿真平台、车辆感知模型和虚拟控制器，所述驾驶场景仿真平台的显示界面包括第一区域和第二区域，所述第一区域显示有多个候选对抗图案，所述第二区域当前显示目标驾驶场景的画面，所述目标驾驶场景包括行驶中的目标车辆以及至少一个待攻击对象，且所述目标车辆在所述第二区域的图像和点云数据通过端口传输给所述车辆感知模型，所述方法包括：接收用户针对目标对象的第一操作指令，所述第一操作指令用于指示为所述目标对象添加目标对抗图案，所述目标对象为当前在所述第二区域中显示的待攻击对象，所述目标对抗图案为用户从多个所述候选对抗图案中选中的对抗图案；响应于所述第一操作指令，将所述目标对抗图案添加到所述目标对象的有效范围内，得到目标对抗样本；将所述目标对抗样本输入所述车辆感知模型，得到识别结果，所述识别结果用于控制所述虚拟控制器生成所述目标车辆的驾驶指令，所述识别结果指示第一置信度高于第二置信度，所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度，所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。2.根据权利要求1所述的方法，其特征在于，所述驾驶场景仿真平台预设有多种候选驾驶场景，所述显示界面还包括第三区域，所述第三区域中包括每种所述候选驾驶场景分别对应的场景图标；所述接收用户针对目标对象的第一操作指令之前，所述方法还包括：接收用户针对所述第三区域中目标场景图标的第二操作指令，所述目标场景图标为用户从多个所述场景图标中选中的场景图标；根据所述第二操作指令将所述第二区域中的驾驶场景设置为所述目标场景图标对应的目标驾驶场景。3.根据权利要求1所述的方法，其特征在于，所述驾驶场景仿真平台预设有多种天气参数，所述显示界面还包括第四区域，所述第四区域中包括每种所述天气参数分别对应的天气图标；所述将所述目标对抗样本输入所述车辆感知模型之前，所述方法还包括：接收用户针对所述第四区域中目标天气图标的第三操作指令，所述目标天气图标为用户从多个所述天气图标中选中的天气图标；根据所述第三操作指令将所述第二区域的天气参数设置为所述目标天气图标对应的目标天气参数。4.根据权利要求1所述的方法，其特征在于，所述驾驶场景仿真平台还预设有多个待添加对象，所述待添加对象为未在所述驾驶场景中添加的待攻击对象，所述显示界面还包括第五区域，所述第五区域中包括多个所述待添加对象；所述接收用户针对目标对象的第一操作指令之前，所述方法还包括：接收用户针对所述第五区域中目标待添加对象的第四操作指令，所述目标待添加对象为用户从多个所述待添加对象中选中的对象；根据所述第四操作指令将所述目标待添加对象添加至所述第四操作指令在第二区域中指定的位置，以在所述第二区域中显示所述目标待添加对象；将所述目标待添加对象确定为所述目标对象。
5.根据权利要求1所述的方法，其特征在于，所述将所述目标对抗样本输入所述车辆感知模型之前，所述方法还包括：配置所述模型鲁棒性检测系统，使得所述模型鲁棒性检测系统将所述车辆感知模型的输出作为所述虚拟控制器的输入；其中，所述车辆感知模型以所述目标车辆的第一人称视角获取所述目标车辆的视场范围内的第一人称视角画面，所述第一人称视角画面包括所述目标对抗样本，并基于...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：