一种黑盒攻击对抗样本生成方法及系统技术方案

本发明专利技术公开了一种黑盒攻击对抗样本生成方法及系统，在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解，根据当前最优解的适应度值与原始图像的正确类别置信度值的比值将候选解集合划分为两部分，对每一部分分别进行候选解计算，依据贪婪选择确定最终下一代的候选解并更新当前最优解，采用自适应最优引导局部寻优策略，本发明专利技术不需要攻击者了解模型的具体细节信息，并且无需要利用梯度信息或训练替代模型，就可以成功生成对抗样本，对图像分类模型进行规避攻击的情境，适用于目标攻击和非目标攻击，能够以高效率、低成本生成对抗样本，实现测试深度学习模型的可信性。试深度学习模型的可信性。试深度学习模型的可信性。

【技术实现步骤摘要】
一种黑盒攻击对抗样本生成方法及系统


[0001]本专利技术属于机器学习安全领域，具体涉及一种黑盒攻击对抗样本生成方法及系统。

技术介绍

[0002]深度学习的快速发展为复杂问题求解提供了新的方法，已被证实能够成功应用于图像检测、语音识别、同声翻译、无人驾驶、医疗等众多复杂问题上。与传统方法相比较而言，在海量数据上其准确率与性能均更优，取得了令人瞩目的成果。然而深度学习计算复杂度高、内存消耗严重也限制了众多研究成果的实际应用，并且要将科研产出成功应用于实际，其安全性也是研究人员与系统使用者不得不考虑的问题。虽然深度学习在众多领域取得了颠覆性的优势，然而对抗样本的出现揭示了深度学习模型的脆弱性，且对抗样本不仅存在于攻击者恶意制作下，也存在于真实的物理世界中，这对于深度学习模型的部署及实际应用提出了挑战，尤其是对安全性要求较高的实际应用场景下。比如，在无人驾驶应用中使用深度学习进行路标识别时，攻击者可通过对拍摄的路标图像进行对抗攻击，致使模型给出错误的预测，从而导致无人驾驶决策系统做出错误判断，在很大程度上增加了安全事故发生的概率。因此，机器学习系统的安全性问题不容忽视。
[0003]在深度学习模型训练正确的情况下，攻击者在预测正确的原始测试样本中恶意加入人体感知系统不可感知的微小扰动，致使模型对加入微小扰动后的合成样本给出错误的预测结果。这种与原始样本视觉差异极难察觉但预测值不同的合成样本即对抗样本。所谓“对抗”，是指对机器学习系统的攻击。
[0004]对抗样本在计算机视觉、图像领域具有极大的研究空间。现有图像对抗样本生成方法众多，可将其分为不同类别。依据攻击者对目标模型的了解程度，可将其分为白盒攻击与黑盒攻击。白盒攻击是指攻击者了解模型结构、参数、目标函数等所有细节信息，而黑盒攻击情境下，攻击者仅能访问模型输入与输出。依据攻击者在生成对抗样本是是否指定对抗样本的分类输出类别，可将对抗样本生成算法分类为两大类：目标攻击和非目标攻击。非目标攻击是指只要对抗样本的分类输出类别与原始样本不同即可。而目标攻击是在算法运行之前指定对抗样本的分类输出类别。深度神经网络的高维线性是对抗样本生成的原因，并且对抗样本通常具有迁移性，即被一个模型错误分类的对抗样本也经常被另外一个模型错误分类，因此，需要进一步的针对对抗样本改善深度网络模型，提高深度学习模型的可信性；而目前已有通用对抗扰动，是指扰动的计算与原始测试图像无关，仅与模型有关，只要是该分类模型可以识别的图像，叠加上通用对抗扰动，有很大的概率都被该分类模型错误分类，通用对抗扰动通常在模型间也具有迁移性。
[0005]常用的白盒对抗样本生成方法需要攻击者了解模型的所有细节信息，然而在真实场景下，白盒攻击的严格前提很难满足，且现有的训练替代模型与采用梯度评估生成对抗样本方案均需要较多的查询与较大的时间复杂度，无法形成有效的对抗样本对深度学习模型进行测试验证。

技术实现思路

[0006]本专利技术的目的在于提供一种黑盒攻击对抗样本生成方法及系统，以克服现有技术的不足。
[0007]为达到上述目的，本专利技术采用如下技术方案：
[0008]一种黑盒攻击对抗样本生成方法，包括以下步骤：
[0009]S1，在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解；
[0010]S2，根据当前最优解的适应度值与原始图像的正确类别置信度值的比值将候选解集合划分为两部分，对每一部分分别进行候选解计算，依据贪婪选择确定最终下一代的候选解并更新当前最优解；
[0011]S3，根据更新后的最优解获取对应候选解的选择概率，根据选择概率值Prob选择满足rand(0，1)＜Prob
i
的候选解进一步探索，采用自适应最优引导局部寻优策略；
[0012]S4，检查当前所有候选解的评估次数trial，如果某候选解对应的trial值大于设定的阈值时，通过初始化生成新的候选解替换当前候选解；对步骤S2到步骤S4迭代执行，直到生成对抗样本或者查询数量达到最大查询数量，完成对抗样本的生成。
[0013]进一步的，随机扰动由均匀分布生成，每一个元素均处于[
‑
a
×
δ
max
，a
×
δ
max
]区间内，每一个候选解遵循公式内，每一个候选解遵循公式进行初始化，共生成EN个候选解集合S，在目标攻击中计算非目标攻击下计算为适应度值。同一个候选解每查询一次，其评估次数trial加1，选择适应度值最小的候选解作为当前最优解。
[0014]进一步的，将候选解集合S划分为S1和S2两部分，划分方法为：
[0015][0016]其中，BF为当前最优解对应的适应度值，conf
ori
为原始测试图像X在模型f上的输出类别c的置信度。
[0017]进一步的，对S1中的每一个候选解采用人工蜂群算法的搜索方式生成新的候选解，搜索公式为
[0018]进一步的，对S2中的每一个候选解集采用最优解引导探索可行解，具体搜索策略为
[0019]进一步的，在生成下一代候选解后，计算每一个的候选解适应度值，并比较候选解和的适应度值，依据贪婪选择确定最终下一代的候选解，若被抛弃，设置新候选解评估次数trial为1，否则其对应trial加1，并更新当前最优解。
[0020]进一步的，根据更新后的最优解获取对应候选解的选择概率，选择概率公式为：
[0021][0022]式中，是t+1代中食物源i的适应度值，是第i个解的概率。
[0023]进一步的，采用自适应最优引导局部寻优策略，更新每一个候选解中以概率rate随机选择的个元素的值，rate计算公式如下，
[0024][0025]式中，ME为设置的最大查询数量，evalCount表示当下所用的查询数量。
[0026]进一步的，设Points为选择的元素集合，采用最优解引导策略为Points计算更新值探索新蜜源，计算更新值的适应度并进行贪婪选择。
[0027]一种黑盒攻击对抗样本生成系统，包括初始化候选模块，优化模块，选择模块和生成模块；
[0028]初始化候选模块用于在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解；
[0029]优化模块用于根据当前最优解的适应度值与原始图像的正确类别置信度值的比值将候选解集合划分为两部分，对每一部分分别进行候选解计算，依据贪婪选择确定最终下一代的候选解并更新当前最优解；
[0030]选择模块用于根据更新后的最优解获取对应候选解的选择概率，根据选择概率值Prob选择满足rand(0，1)＜Prob
i
的候选解进一步探索，采用自适应最优引导局部寻优策略；
[0031]生成模块用于检查当前所有候选解的评估次数，如果某候选解对应的评估次数trial本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种黑盒攻击对抗样本生成方法，其特征在于，包括以下步骤：S1，在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解；S2，根据当前最优解的适应度值与原始图像的正确类别置信度值的比值将候选解集合划分为两部分，对每一部分分别进行候选解计算，依据贪婪选择确定最终下一代的候选解并更新当前最优解；S3，根据更新后的最优解获取对应候选解的选择概率，根据选择概率值Prob选择满足rand(0,1)<Prob
i
的候选解进一步探索，采用自适应最优引导局部寻优策略；S4，检查当前所有候选解的评估次数trial，如果某候选解对应的trial值大于设定的阈值时，通过初始化生成新的候选解替换当前候选解；对步骤S2到步骤S4迭代执行，直到生成对抗样本或者查询数量达到最大查询数量，完成对抗样本的生成。2.根据权利要求1所述的一种黑盒攻击对抗样本生成方法，其特征在于，随机扰动由均匀分布生成，每一个元素均处于[
‑
a
×
δ
max
，a
×
δ
max
]区间内，每一个候选解遵循公式进行初始化，共生成En个候选解集合S，在目标攻击中计算非目标攻击下计算为适应度值，同一个候选解每查询一次，其评估次数trial加1，选择适应度值最小的候选解作为当前最优解。3.根据权利要求1所述的一种黑盒攻击对抗样本生成方法，其特征在于，将候选解集合S划分为S1和S2两部分，划分方法为：其中，BF为当前最优解对应的适应度值，conf
ori
为原始测试图像X在模型f上的输出类别c的置信度。4.根据权利要求3所述的一种黑盒攻击对抗样本生成方法，其特征在于，对S1中的每一个候选解采用人工蜂群算法的搜索方式生成新的候选解，搜索公式为5.根据权利要求3所述的一种黑盒攻击对抗样本生成方法，其特征在于，对S2中的每一个候选解集采用最优解引导探索可...

【专利技术属性】
技术研发人员：孙钦东，林凯，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：