一种黑盒对抗样本生成方法、装置、设备及存储介质制造方法及图纸

技术编号:40914999 阅读:38 留言:0更新日期:2024-04-18 14:42
本申请公开了一种黑盒对抗样本生成方法、装置、设备及存储介质,涉及深度学习安全技术领域,包括:利用预先获取的数据集对初始目标检测模型进行训练,将训练好的目标检测模型确定为黑盒目标检测模型;将目标图像输入黑盒目标检测模型中,获取若干个预测结果,基于预测结果及预设热图生成算法生成热图;基于热图生成目标掩码,利用目标技术生成对抗扰动,利用目标掩码限制对抗扰动的扰动区域,根据相应的限制后对抗扰动确定对抗样本。由此,本申请能够将对抗扰动的覆盖区域限制在有效攻击的区域,进而根据生成的对抗样本对黑盒目标检测模型进行攻击测试。

【技术实现步骤摘要】

本专利技术涉及深度学习安全,特别涉及一种黑盒对抗样本生成方法、装置、设备及存储介质


技术介绍

1、随着超大型数据集的兴起和计算机算力的显著增强,以深度学习为代表的人工智能技术正在经历迅猛的发展,并逐渐成熟。在计算机视觉、语音识别、自然语言处理等多个领域,这些技术取得了引人注目的成就。然而,深度学习技术本身存在对大规模数据集的高度依赖和较差的可解释性等固有特点,因此以深度学习为核心的人工智能技术面临着许多潜在的安全威胁。这些威胁涵盖了投毒攻击、后门攻击、对抗攻击、隐私攻击等多个方面。在计算机视觉领域中主要焦点聚焦的对抗攻击问题上。对抗攻击(adversarial attacks)是人工智能安全领域的一个概念,特别在计算机视觉领域备受关注。这种攻击是指攻击者有意对输入图像进行微小、几乎不可察觉的修改,旨在欺骗计算机视觉模型,如分类或目标检测模型,以导致模型做出错误的决策或预测。这些微小的修改通常被称为对抗扰动(adversarial perturbations),而添加了对抗扰动的输入图像通常被称为对抗样本或对抗性示例(adversarial example本文档来自技高网...

【技术保护点】

1.一种黑盒对抗样本生成方法,其特征在于,包括:

2.根据权利要求1中所述的黑盒对抗样本生成方法,其特征在于,所述预测结果包括所述目标图像中的目标类别置信度和边界框。

3.根据权利要求2中所述的黑盒对抗样本生成方法,其特征在于,所述基于所述预测结果以及预设热图生成算法生成热图,包括:

4.根据权利要求3中所述的黑盒对抗样本生成方法,其特征在于,所述基于所述目标图像中的目标类别置信度和边界框相对应的各属性以及预设热图生成算法生成热图,包括:

5.根据权利要求1中所述的黑盒对抗样本生成方法,其特征在于,所述基于所述热图生成目标掩码,包括:...

【技术特征摘要】

1.一种黑盒对抗样本生成方法,其特征在于,包括:

2.根据权利要求1中所述的黑盒对抗样本生成方法,其特征在于,所述预测结果包括所述目标图像中的目标类别置信度和边界框。

3.根据权利要求2中所述的黑盒对抗样本生成方法,其特征在于,所述基于所述预测结果以及预设热图生成算法生成热图,包括:

4.根据权利要求3中所述的黑盒对抗样本生成方法,其特征在于,所述基于所述目标图像中的目标类别置信度和边界框相对应的各属性以及预设热图生成算法生成热图,包括:

5.根据权利要求1中所述的黑盒对抗样本生成方法,其特征在于,所述基于所述热图生成目标掩码,包括:

6.根据权利要求1至5任一项中所述的黑盒对抗样本生成方法,其特征在于,所述目标技术包括掩盖像素法、随机噪声法和快速梯度符号法其中的任意一种或几种的组合。

7.根据权利要求1中所述的黑盒对抗样本...

【专利技术属性】
技术研发人员:陈咏涛米建勋程晓田鹏陈涛吕小红向菲钟加勇厉仄平江金洋李松浓况彭燕彭文鑫戴豪礽张哲宇徐凯赵祥金
申请(专利权)人:国网重庆市电力公司电力科学研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1