一种黑盒攻击对抗样本生成方法及系统技术方案

本发明专利技术公开了一种黑盒攻击对抗样本生成方法及系统，在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解，根据当前最优解的适应度值与原始图像的正确类别置信度值的比值将候选解集合划分为两部分，对每一部分分别进行候选解计算，依据贪婪选择确定最终下一代的候选解并更新当前最优解，采用自适应最优引导局部寻优策略，本发明专利技术不需要攻击者了解模型的具体细节信息，并且无需要利用梯度信息或训练替代模型，就可以成功生成对抗样本，对图像分类模型进行规避攻击的情境，适用于目标攻击和非目标攻击，能够以高效率、低成本生成对抗样本，实现测试深度学习模型的可信性。试深度学习模型的可信性。试深度学习模型的可信性。

【技术实现步骤摘要】
一种黑盒攻击对抗样本生成方法及系统


[0001]本专利技术属于机器学习安全领域，具体涉及一种黑盒攻击对抗样本生成方法及系统。

技术介绍

[0002]深度学习的快速发展为复杂问题求解提供了新的方法，已被证实能够成功应用于图像检测、语音识别、同声翻译、无人驾驶、医疗等众多复杂问题上。与传统方法相比较而言，在海量数据上其准确率与性能均更优，取得了令人瞩目的成果。然而深度学习计算复杂度高、内存消耗严重也限制了众多研究成果的实际应用，并且要将科研产出成功应用于实际，其安全性也是研究人员与系统使用者不得不考虑的问题。虽然深度学习在众多领域取得了颠覆性的优势，然而对抗样本的出现揭示了深度学习模型的脆弱性，且对抗样本不仅存在于攻击者恶意制作下，也存在于真实的物理世界中，这对于深度学习模型的部署及实际应用提出了挑战，尤其是对安全性要求较高的实际应用场景下。比如，在无人驾驶应用中使用深度学习进行路标识别时，攻击者可通过对拍摄的路标图像进行对抗攻击，致使模型给出错误的预测，从而导致无人驾驶决策系统做出错误判断，在很大程度上增加了安全事故发生的概率。因此，机器学习系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种黑盒攻击对抗样本生成方法，其特征在于，包括以下步骤：S1，在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解；S2，根据当前最优解的适应度值与原始图像的正确类别置信度值的比值将候选解集合划分为两部分，对每一部分分别进行候选解计算，依据贪婪选择确定最终下一代的候选解并更新当前最优解；S3，根据更新后的最优解获取对应候选解的选择概率，根据选择概率值Prob选择满足rand(0,1)<Prob
i
的候选解进一步探索，采用自适应最优引导局部寻优策略；S4，检查当前所有候选解的评估次数trial，如果某候选解对应的trial值大于设定的阈值时，通过初始化生成新的候选解替换当前候选解；对步骤S2到步骤S4迭代执行，直到生成对抗样本或者查询数量达到最大查询数量，完成对抗样本的生成。2.根据权利要求1所述的一种黑盒攻击对抗样本生成方法，其特征在于，随机扰动由均匀分布生成，每一个元素均处于[
‑
a
×
δ
max
，a
×
δ
max
]区间内，每一个候选解遵循公式进行初始化，共生成En个候选解集合S，在目标攻击中计算非目标攻击下计算为适应度值，同一个候选解每查询一次，其评估次数trial加1，选择适应度值最小的候选解作为当前最优解。3.根据权利要求1所述的一种黑盒攻击对抗样本生成方法，其特征在于，将候选解集合S划分为S1和S2两部分，划分方法为：其中，BF为当前最优解对应的适应度值，conf
ori
为原始测试图像X在模型f上的输出类别c的置信度。4.根据权利要求3所述的一种黑盒攻击对抗样本生成方法，其特征在于，对S1中的每一个候选解采用人工蜂群算法的搜索方式生成新的候选解，搜索公式为5.根据权利要求3所述的一种黑盒攻击对抗样本生成方法，其特征在于，对S2中的每一个候选解集采用最优解引导探索可...

【专利技术属性】
技术研发人员：孙钦东，林凯，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：