一种对抗测试方法、系统及存储介质技术方案

本申请实施例涉及人工智能领域，提供一种对抗测试方法、系统及存储介质。方法应用于对抗测试系统，对抗测试系统包括仿真平台和自动驾驶车辆感知模型，仿真平台包括第一显示区域和第二显示区域；第二显示区域显示有按照预设脚本行驶状态的目标车辆，第一显示区域包含有多个候选对抗图案；该方法包括：获取对抗样本；以车载相机视角对包含对抗样本的仿真测试场景进行图像采集，得到视频流，传输至自动驾驶车辆感知模型；基于所述自动驾驶车辆感知模型对视频流进行处理，得到目标车辆的测试结果；对抗样本的获得方法包括：从预设目标对象库中获取当前测试环境所需的至少一个目标对象；对所述至少一个目标对象进行对抗扰动处理，得到目标对抗样本。目标对抗样本。目标对抗样本。

【技术实现步骤摘要】
一种对抗测试方法、系统及存储介质


[0001]本申请实施例涉及人工智能
，尤其涉及一种对抗测试方法、系统及存储介质。

技术介绍

[0002]自动驾驶即自主行驶，无需人为操作，汽车自动驾驶是目前汽车智能化发展的一个趋势，智能汽车为通过搭载先进传感器等装置，运用人工智能等新技术来实现具有自动驾驶功能。在研发汽车自动驾驶技术时需要对自动驾驶进行各项性能测试，包括限速信息识别及响应、跟车行驶等对抗方面，因此，自动驾驶汽车涉及到的AI算法越来越多样性，从而导致了自动驾驶汽车的环境感知算法安全问题层出不穷。为此，在对汽车自动驾驶进行对抗功能测试时，如何更加安全高效地进行自动驾驶对抗测评愈发重要。
[0003]相关技术中，主要是将在数字图像上做的攻击图像直接打印成实物，然后在现实场景通过相机将对抗攻击后的图像信息输入到车辆感知模型，对测试场景进行模拟干扰，以验证车辆感知模型的对抗效果。但是在真实环境中很难对对抗样本做出穷尽，存在对抗测试场景下对抗样本不够全面的问题，并且，会增加车辆感知模型对抗测试的时间成本，从而增加车辆感知模型的迭代周期。无法满足对抗攻击测评要求。

技术实现思路

[0004]为克服相关技术中存在的问题，本申请实施例提供一种对抗测试方法、系统及存储介质，可以降低对车辆感知模型对抗测试的时间成本，从而缩短车辆感知模型的迭代周期。
[0005]一种对抗测试方法，应用于对抗测试系统，所述对抗测试系统包括仿真平台和自动驾驶车辆感知模型，所述仿真平台显示界面包括第一显示区域和第二显示区域；所述第二显示区域显示有按照预设脚本行驶状态的目标车辆，第一显示区域包含有多个候选对抗图案；该方法包括：
[0006]获取对抗样本；
[0007]以车载相机视角对包含所述对抗样本的仿真测试场景进行图像采集，得到视频流，基于自动化接口导入所述自动驾驶车辆感知模型；
[0008]基于所述自动驾驶车辆感知模型对所述视频流进行处理，得到所述目标车辆的测试结果；
[0009]其中，所述对抗样本的获得方法包括：
[0010]从预设目标对象库中获取当前测试环境所需的至少一个目标对象；
[0011]对所述至少一个目标对象进行对抗扰动处理，得到对抗样本。
[0012]上述方法中，车辆感知模型对所述视频流进行处理包括：车辆感知模型对所述视频流中所述对抗样本进行识别，得到第一置信度和第二置信度，将第一置信度与第二置信度进行比较获得目标车辆的驾驶指令；
[0013]所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度；
[0014]所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
[0015]进一步的，所述从预设目标对象库中获取当前测试环境所需的至少一个目标对象包括：响应用户从所述第二显示区域选定目标对象的指令，从所述第二显示区域选定目标对象；
[0016]响应用户的选定对抗图案的第一操作指令，从所述预设算法库中选定对抗图案；利用所述对抗图案对所述目标对象的有效区域添加对抗扰动，得到所述对抗样本。
[0017]上述方法中，所述对抗图案与所述目标对象预置有对应关系；以及，所述响应用户的选定对抗图案的第一操作指令，从所述预设算法库中选定对抗图案包括，响应于所述第一操作指令，在与所述目标对象具有对应关系的数个对抗图案中选择确定的对抗图案。
[0018]进一步的，上述方法还包括：接收用户的第二操作指令；响应所述第二操作指令，在仿真平台预设的驾驶场景数据库中，从多个候选驾驶场景中选取一个驾驶场景，并加载显示到所述第二显示区域。
[0019]上述方法中，所述利用所述对抗图案对所述目标对象的有效区域添加对抗扰动包括：对所述目标对象的形状或/和颜色进行扰动处理。
[0020]进一步的，所述方法还包括：若所述第一置信度不高于所述第二置信度，则调整所述对抗图案，利用调整后的对抗图案对所述仿真测试场景中的所述至少一个目标对象重新进行扰动处理得到对抗样本，直至所述第一置信度高于所述第二置信度。
[0021]上述方法中，按照预设策略调整所述对抗图案，所述预设策略包括以下项中的至少一项：调整频率、对抗样本的攻击效果、对抗攻击场景、对抗攻击类型。
[0022]进一步，所述方法还包括：实体化所述目标对抗样本，将所述实体化后的目标对抗样本置于物理环境，得到安装有车辆感知模型的自动驾驶车辆在所述物理环境下的测试结果；以及，将所述自动驾驶车辆测试结果与所述对抗测试系统所述目标车辆测试结果进行比较。
[0023]上述方法又一实施例，所述方法还包括：向所述目标对象库中添加目标对象；以及，针对所述添加的目标对象，向所述对抗图案库中添加对抗图案。
[0024]本申请实施例还提供了一种对抗测试系统，包括仿真平台、车辆感知模型；
[0025]仿真平台，所述仿真平台的显示界面包括第一显示区域和第二显示区域，第一显示区域包含有多个候选对抗图案，所述第二显示区域显示有按照预设脚本行驶状态的目标车辆；
[0026]目标对象库，用于保存目标对象；
[0027]对抗样本生成单元，用于利用对抗图案对所述目标对象库中的目标对象进行扰动处理，获得对抗样本；
[0028]第一仿真处理器，用于以车载相机视角对包含所述对抗样本的仿真测试场景进行图像采集，得到视频流；
[0029]车辆感知模型，用于基于自动驾驶算法对所述视频流进行处理，得到测试结果。
[0030]上述系统中，所述车辆感知模型对所述视频流进行处理得到第一置信度和第二置
信度，若所述第一置信度不高于所述第二置信度，则调整所述对抗图案后对所述仿真测试场景中的所述至少一个目标对象重新进行扰动处理得到对抗样本；
[0031]所述第一置信度为所述车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度；
[0032]所述第二置信度为所述车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。
[0033]本申请实施例还提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的对抗测试方法。
[0034]本申请实施例提供的技术方案可以包括以下有益效果：
[0035]首先，本申请实施例技术方案提供一种对抗测试系统，用户通过与对抗测试系统中的仿真平台进行交互，可以手动直观地在仿真平台中的对抗图案添加到待攻击对象的有效区域内，得到目标对抗样本，然后系统自动将得到的目标对抗样本输入自动驾驶车辆感知模型，对自动驾驶车辆感知模型进行对抗测试，可见，本申请实施例技术方案提供的对抗测试系统使用简便高效，能够快速大量进行对抗测试，实现快速对自动驾驶车辆感知模型的迭代升级。并且用户和系统进行简单交互(例如在显示界面中选取目标对抗图案，并将目标对抗图案拖拽到待攻击对象上)即可生成对抗样本，系统操作简单。
[0036]其次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗测试方法，其特征在于，所述方法应用于对抗测试系统，所述对抗测试系统包括仿真平台和自动驾驶车辆感知模型，所述仿真平台显示界面包括第一显示区域和第二显示区域；所述第二显示区域显示有按照预设脚本行驶状态的目标车辆，所述第一显示区域包含有多个候选对抗图案；所述方法包括：获取对抗样本；以车载相机视角对包含所述对抗样本的仿真测试场景进行图像采集，得到视频流，基于自动化接口导入所述自动驾驶车辆感知模型；基于所述自动驾驶车辆感知模型对所述视频流进行处理，得到所述目标车辆的测试结果；其中，所述对抗样本的获得方法包括：从预设目标对象库中获取当前测试环境所需的至少一个目标对象；对所述至少一个目标对象进行对抗扰动处理，得到对抗样本。2.根据权利要求1所述的方法，其特征在于，所述基于所述自动驾驶车辆感知模型对所述视频流进行处理包括：基于所述自动驾驶车辆感知模型对所述视频流中所述对抗样本进行识别，得到第一置信度和第二置信度，将第一置信度与第二置信度进行比较获得目标车辆的驾驶指令；所述第一置信度为所述自动驾驶车辆感知模型将所述目标对抗样本识别为非所述目标对象时的置信度；所述第二置信度为所述自动驾驶车辆感知模型将所述目标对抗样本识别为所述目标对象时的置信度。3.根据权利要求2所述的方法，其特征在于，所述从预设目标对象库中获取当前测试环境所需的至少一个目标对象，对所述至少一个目标对象进行对抗扰动处理，得到对抗样本包括：响应所述用户从所述第二显示区域选定目标对象的指令，从所述第二显示区域选定所述目标对象；响应所述用户的选定对抗图案的第一操作指令，从所述预设算法库中选定对抗图案；利用所述对抗图案对所述目标对象的有效区域添加对抗扰动，得到所述对抗样本。4.根据权利要求3所述的方法，其特征在于：所述对抗图案与所述目标对象预置有对应关系；以及，所述响应用户的选定对抗图案的第一操作指令，从所述预设算法库中选定...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：