可迁移图像对抗样本生成与深度神经网络测试方法及系统技术方案

本发明专利技术提出了一种可迁移图像对抗样本生成与深度神经网络测试方法及系统，目的是测试深度神经网络模型在真实环境下的鲁棒性。首先收集数据，训练得到与待测试模型功能相同的代理模型。然后生成输入图像样本的多样化近邻样本。在代理模型上得到损失函数相对近邻图像样本的梯度并对梯度进行标准化操作，将梯度的平均作为扰动方向。最后根据动态约束对不符合约束条件的像素值进行裁剪。重复上述步骤达到最大的迭代次数，得到可迁移图像对抗样本，使用这些样本对待测试模型进行测试。该方法通过近邻图像样本的多样化、梯度标准化和动态约束生成对样本的生成方法进行创新，在提升可迁移图像对抗样本生成成功率的同时提升生成图像的质量。质量。质量。

【技术实现步骤摘要】
可迁移图像对抗样本生成与深度神经网络测试方法及系统


[0001]本专利技术涉及一种可迁移图像对抗样本生成与深度神经网络模型的测试方法及系统，属于人工智能测试领域。

技术介绍

[0002]虽然深度神经网络在很多计算机任务和实际的应用中都取得了较好的效果，但是最近的研究表明，针对图像处理任务的DNNs特别容易受到添加微小扰动的图像对抗样本(Adversarial Example)的攻击，这些扰动人无法察觉，却能够使AI系统发生严重的错误，这给DNNs的实际部署带来了安全隐患。
[0003]目前DNNs安全性主要通过生成待测试模型的图像对抗样本，测试深度神经网络模型在生成的图像样本上是否能够正确预测。虽然图像对抗样本广泛存在，但是白盒攻击所产生的图像对抗样本的威胁并不是紧迫的，因为白盒攻击需要目标模型(待测试模型)足够的内部信息，而真实应用场景中攻击者无法获得目标模型(Target Model)的结构、参数等信息。另一类是黑盒攻击，黑盒攻击大致上又可以分为两种，一类是基于查询的攻击，另一类是基于迁移的攻击。基于查询的攻击一般需要多次访问DNNs才能获得更加准确的梯度信息，需要较大的计算代价并且容易被系统检测到。基于迁移的攻击则不同，其将相同任务能力的DNNs模型作为代理模型(Surrogate Model)，在代理模型上生成图像对抗样本去攻击目标模型，使目标模型产生错误的输出。这种攻击方法产生的可迁移图像对抗样本成本较低，不再受到目标模型信息的限制，在真实部署环境下威胁性更大。所以测试目标DNNs模型应对可迁移图像对抗样本攻击的安全性具有较强的现实意义。
[0004]目前，一些生成可迁移图像对抗样本的方法已经被提出，其中效果较好的有：(1)基于动量的MI
‑
FGSM方法通过累计迭代过程中上一次的的梯度，使得优化的方向更加稳定；(2)基于输入变换的DMI对输入的图像样本进行随机缩放，增加输入图像样本的多样性；(3)基于梯度平滑的TMI使用高斯卷积核对生成的梯度进行高斯平滑，增大了模型在输入图像样本上的判别区域；(4)基于近邻梯度方差调整的VMI，通过生成输入图像样本的多个近邻图像样本，求得多个近邻图像样本的梯度与当前输入图像样本的梯度差作为下次梯度的修正方向，进一步稳定了优化的方向。虽然上述方法有了较好的效果，但是这些方法普遍存在以下问题：
[0005](1)针对可迁移图像对抗样本的神经网络的测试方法还存在发现错误的能力较弱的情况，其中优化方向不稳定是导致发现错误的能力较弱的主要原因之一；
[0006](2)目前的测试方法盲目追求发现错误的能力却忽略了扰动的“不可察觉性”约束条件，导致生成的图像样本的质量较差。

技术实现思路

[0007]专利技术目的：考虑到可迁移图像对抗样本对真实环境下深度神经网络模型部署的安全威胁更大并且目前的可迁移图像对抗样本生成方法在测试的过程中遇到的问题。本专利技术
提供一种可迁移图像对抗样本生成与深度神经网络测试方法及系统，从稳定扰动的梯度方向提升可迁移图像对抗样本发现错误的能力和扰动约束的动态生成提升生成的图像样本的质量两个方面进行改进。
[0008]技术方案：为实现上述专利技术目的，本专利技术所述的一种可迁移图像对抗样本生成方法，包括如下步骤：
[0009]设置参数信息，包括最大的扰动变化值ε，最大的迭代次数T，近邻图像样本的扰动半径种类个数N，每个半径上近邻图像样本个数M，半径系数β，比例系数最大值inter，以及衰减系数μ；生成扰动步长λ＝ε/T，近邻图像样本扰动的放大系数α＝λ
×
β，不同的近邻扰动半径相对放大系数α的比例系数组R；获取输入图像样本，根据每个像素与周围像素的关系生成该图像样本的扰动约束范围；
[0010]根据如下步骤迭代生成输入图像样本的可迁移图像对抗样本：
[0011]生成输入图像样本的多样化近邻图像样本，计算代理模型相对近邻图像样本的梯度，并对梯度进行标准化操作，将梯度的平均作为扰动方向，根据扰动方向和扰动步长获得当前轮次迭代的扰动；其中第i迭代轮次在第r个半径上的第j个近邻图像样本x
i,r,j
表示为x
i,r,j
＝x
i
+R(r)
×
α
×
p
j
，x
i
为第i迭代轮次输入的图像样本，R(r)表示比例系数组R的第r个数值，p
j
为服从均匀分布与图像样本大小一样的随机张量；
[0012]将生成的扰动加入到输入的图像样本中，并根据扰动约束对加入扰动的图像样本进行微调，使其满足约束条件，获得当前轮次迭代的中间图像样本；
[0013]判断迭代次数是否达到最大迭代次数T，如果是则将当前轮次迭代得到的中间图像样本作为可迁移图像对抗样本，否则将中间图像样本重新作为输入，进行下一轮次迭代。
[0014]进一步地，根据如下方法生成图像样本的扰动约束范围：
[0015]获取输入图像样本每个像素点的邻域像素值并进行排序；
[0016]取输入图像样本每个像素的邻域像素中的最大值的最小值分别作为当前像素扰动上下限值，即图像中像素的扰动约束。
[0017]进一步地，所述根据梯度方向和扰动步长获得当前轮次迭代的扰动的方法包括：
[0018]对每个半径上代理模型相对每个近邻图像样本的梯度进行标准化，并计算M个近邻图像样本的梯度平均，将第i迭代轮次N个不同半径的梯度取平均作为最终的梯度grad
i
；
[0019]使用基于动量的梯度累加策略，将上轮次迭代的梯度与本轮次迭代的梯度进行累加作为第i次迭代最终的梯度值n
i
：
[0020][0021]根据梯度值n
i
和符号函数sign()确定每个像素点的扰动方向，乘以相应的扰动步长作为本轮次迭代产生的扰动。
[0022]进一步地，R＝Linspace(0,inter,N+1)，Linspace表示从0到inter等距离生成N+1个数。
[0023]本专利技术提供的一种基于可迁移图像对抗样本的深度神经网络测试方法，包括如下步骤：
[0024]获取待测试深度神经网络相应的图像数据集和相应的标签信息；
[0025]读取收集到的图像数据集和标签，并进行数据预处理，将处理后的图像数据放入
干净的图像样本集合中；
[0026]使用预处理后的训练数据训练与待测试深度神经网络模型功能相同的代理模型并保存；
[0027]从干净的图像样本集合中获取输入图像样本，采用所述的可迁移图像对抗样本生成方法可迁移图像对抗样本，
[0028]保存到可迁移图像对抗样本数据集合中作为测试用例；
[0029]使用可迁移图像对抗样本集合中的测试用例对目标深度神经网络模型进行模型测试。
[0030]进一步地，所述测试方法还包括将读取到的图像样本数据和标签预处理成模型输入需要的大小和数值范围本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可迁移图像对抗样本生成方法，其特征在于，包括如下步骤：设置参数信息，包括最大的扰动变化值ε，最大的迭代次数T，近邻图像样本的扰动半径种类个数N，每个半径上近邻图像样本个数M，半径系数β，比例系数最大值inter，以及衰减系数μ；生成扰动步长λ＝ε/T，近邻图像样本扰动的放大系数α＝λ
×
β，不同的近邻扰动半径相对放大系数α的比例系数组R；获取输入图像样本，根据每个像素与周围像素的关系生成该图像样本的扰动约束范围；根据如下步骤迭代生成输入图像样本的可迁移图像对抗样本：生成输入图像样本的多样化近邻图像样本，计算代理模型相对近邻图像样本的梯度，并对梯度进行标准化操作，将梯度的平均作为扰动方向，根据扰动方向和扰动步长获得当前轮次迭代的扰动；其中第i迭代轮次在第r个半径上的第j个近邻图像样本x
i,r,j
表示为x
i,r,j
＝x
i
+R(r)
×
α
×
p
j
，x
i
为第i迭代轮次输入的图像样本，R(r)表示比例系数组R的第r个数值，p
j
为服从均匀分布与图像样本大小一样的随机张量；将生成的扰动加入到输入的图像样本中，并根据扰动约束对加入扰动的图像样本进行微调，使其满足约束条件，获得当前轮次迭代的中间图像样本；判断迭代次数是否达到最大迭代次数T，如果是则将当前轮次迭代得到的中间图像样本作为可迁移图像对抗样本，否则将中间图像样本重新作为输入，进行下一轮次迭代。2.根据权利要求1所述的一种可迁移图像对抗样本生成方法，其特征在于，根据如下方法生成图像样本的扰动约束范围：获取输入图像样本每个像素点的邻域像素值并进行排序；取输入图像样本每个像素的邻域像素中的最大值的最小值分别作为当前像素扰动上下限值，即图像中像素的扰动约束。3.根据权利要求1所述的一种可迁移图像对抗样本生成方法，其特征在于，所述根据梯度方向和扰动步长获得当前轮次迭代的扰动的方法包括：对每个半径上代理模型相对每个近邻图像样本的梯度进行标准化，并计算M个近邻图像样本的梯度平均，将第i迭代轮次N个不同半径的梯度取平均作为最终的梯度grad
i
；使用基于动量的梯度累加策略，将上轮次迭代的梯度与本轮次迭代的梯度进行累加作为第i次迭代最终的梯度值n
i
：根据梯度值n
i
和符号函数sign()确定每个像素点的扰动方向，乘以相应的扰动步长作为本轮次迭代产生的扰动。4.根据权利要求1所述的一种可迁移图像对抗样本生成方法，其特征在于，R＝Linspace(0,inter,N+1)Linspace表示从0到inter等距离生成N+1个数。5.一种基于可迁移图像对抗样本的深度神经网络测试方法，其特征在于，包括如下步骤：获取待测试深度神经网络相应的图像数据集和相应的标签信息；读取收集到的图像数据集和标签，并进行数据预处理，将处理后的图像数据放入干净
的图像样本集合中；使用预处理后的训练数据训练与待测试深度神经网络模型功能相同的代理模型并保存；从干净的图像样本集合中获取输入图像样本，采用根据权利要求1所述的可迁移图像对抗样本生成方法生成该图像样本的可迁移图像对抗样本，保存到可迁移图像对抗样本数据集合中作为测试用例；使用可迁移图像对抗样本集合中的测试用例对目标深度神经网络模型进行模型测试。6.根据权利要求5所述的一种基于可迁...

【专利技术属性】
技术研发人员：张鹏程，任彬，吉顺慧，蔡涵博，肖明轩，
申请(专利权)人：河海大学，
类型：发明
国别省市：