【技术实现步骤摘要】
一种基于通用扰动的对抗样本生成方法及系统
[0001]本专利技术涉及机器学习领域，特别是涉及一种基于通用扰动的对抗样本生成方法及系统。
技术介绍
[0002]随着深度学习技术的成熟，基于神经网络构建的模型被广泛应用于各种分类任务中，例如用于对图像进行分类、对文本进行分类、对语音进行分类等。卷积神经网络具有局部感知和权重共享的特性，在计算机视觉中发挥着重要的作用。但是近年来，大量研究发现它们非常容易受到对抗性噪声的影响：在输入中嵌入人类难以察觉的干扰很容易误导模型的决策。在实际应用中，为了使模型对包含扰动的对象进行正确的决策，就需要模型具有较强的抗干扰能力。对抗学习是目前提高模型抗干扰性能的最有效的防御方法。它的主要思路是将原始训练样本转化为对抗样本重新输入到网络模型中进行训练，以此提高网络模型的鲁棒性。然而由于对抗学习需要在训练网络的同时，不断迭代生成所需的对抗样本，训练效率低下，难以应用到大型数据集中。目前，如何提高模型对抗训练效率成为深度模型防御领域最亟需解决的问题之一。
[0003]Transformers作为...
【技术保护点】
【技术特征摘要】
1.一种基于通用扰动的对抗样本生成方法，应用于ViT模型的训练，其特征在于，所述基于通用扰动的对抗样本生成方法包括：获取训练样本集；所述训练样本集中包括多张样本图像；随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像；将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。2.根据权利要求1所述的基于通用扰动的对抗样本生成方法，其特征在于，所述根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像，具体包括：针对第n次迭代，将第n
‑
1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像；根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵；根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵；根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标；根据所述优化目标，对第n
‑
1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像；当迭代次数大于或等于样本图像的数量或优化目标收敛时，将当前扰动图像作为最佳通用扰动图像。3.根据权利要求2所述的基于通用扰动的对抗样本生成方法，其特征在于，所述根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵，具体包括：根据第n张样本图像及ViT模型，得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵；根据各单元中各注意力算子的自注意权重矩阵，确定各单元的平均注意力权重矩阵；根据前l
‑
1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵，得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。4.根据权利要求3所述的基于通用扰动的对抗样本生成方法，其特征在于，根据以下公式，得到第l个单元的平均注意力权重矩阵：其中，为第l个单元的平均注意力权重矩阵，M为第l个单元中注意力算子的个数，为第l个单元中第m个算子的自注意权重矩阵，L为单元的数量。
5.根据权利要求3所述的基于通用扰动的对抗样本生成方法，其特征在于，根据以下公式，得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵：式，得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵：其中，x为样本图像，为第n张样本图像x
n
在第l个单元中第m个算子的第一继承式注意力权重矩阵，为第i个单元的平均注意力权重矩阵，为第l个单元中第m个注...
【专利技术属性】
技术研发人员：胡浩棋，孙广玲，陆小锋，张天行，钟宝燕，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。