一种多模态特征异构对抗攻击方法技术

本发明专利技术设计了一种多模态特征异构攻击方法，旨在提高对抗样本在多模态任务中的攻击性和迁移性。首先，我们提出了基于三重对比学习的特征异质化方法，增强攻击性。该方法使用跨模态引导攻击不同模态特征，并在同模态内让对抗样本学习其他不同样本的差异信息。最后，使用文本模态的全局特征和图像模态的局部特征互相干扰，使模态间的特征差异进一步扩大，从而得到更强大的攻击能力。此外，我们还提出了基于跨模态方差聚合的多域特征扰动方法，以增强迁移性。该方法在图像空间域和频域上使用文本模态引导的特征攻击，计算双采样聚合梯度方差信息，并结合上一次迭代的梯度动量信息，干扰模态一致特征，从而得到更好的迁移性。

【技术实现步骤摘要】

本专利技术属于视觉语言多模态分类领域，具体涉及视觉语言预训练模型的对抗样本生成方法。

技术介绍

1、视觉语言预训练模型在多模态任务中取得了显著成功，例如在图文检索、视觉问答，视觉蕴含、视觉定位等方面表现出了出色结果，但它们却显示出对对抗样本的脆弱性。尽管对抗性攻击有害，但它对揭示视觉-语言预训练模型的弱点并增强其鲁棒性具有价值。然而，对它们的对抗性鲁棒性的现有研究存在一些不足。

2、对抗攻击可以分为黑盒攻击和白盒攻击。白盒攻击是指在攻击过程中可以获取受害者模型的信息，包括模型参数、梯度和架构等。因此，在白盒攻击中，攻击者可以利用这些信息制作出对抗样本，并达到较高的成功率。然而，在实际攻击中，获取受害者模型的参数非常困难。为了克服这个限制，黑盒攻击常常采用一种具有迁移性的对抗样本制作方法。这意味着通过使用替代模型(即白盒模型)制作的对抗样本仍然可以对其他模型产生攻击效果。

3、考虑到多模态任务的特殊性，仅仅考虑图像或者文本单个模态进行攻击是不够充分的，因此zhang等人首先提出的co-attack方法创新性的在白盒设置下探索了对多模态本文档来自技高网...

【技术保护点】

1.一种多模态特征异构对抗攻击方法，具体步骤如下：

【技术特征摘要】

1.一种多模态特征异构对抗...

【专利技术属性】
技术研发人员：陈玉玲，陈龙，秦永彬，豆慧，张洋文，
申请(专利权)人：贵州大学，
类型：发明
国别省市：