一种基于扩散模型的图文检索后门攻击方法、装置及设备制造方法及图纸

本发明专利技术涉及自然语言处理和计算机视觉的交叉技术领域，提出了一种基于扩散模型的图文检索后门攻击方法、装置及设备，包括：从数据集中提取样本图像，在所述样本图像中生成区域掩膜；利用扩散模型将所述区域掩膜替换为触发器图片；将后门攻击目标标签与所述触发器图片组合生成脏图文对；将所述脏图文对输入图文检索预训练模型进行微调，得到图文检索后门攻击模型，以便推动后门攻击防御领域的发展。本文设计的基于扩散模型的图文检索后门攻击方法实现了图文检索后门攻击的可行性、隐蔽性，提高了后门攻击的成功率，对于多模态后门攻击防御技术的改进有重要意义。技术的改进有重要意义。技术的改进有重要意义。

【技术实现步骤摘要】
一种基于扩散模型的图文检索后门攻击方法、装置及设备


[0001]本专利技术涉及自然语言处理和计算机视觉的交叉
，尤其是指一种基于扩散模型的图文检索后门攻击方法、装置及设备。

技术介绍

[0002]图文检索任务是多模态深度学习领域中最热门的挑战之一，涉及对语言和视觉领域的语义理解、跨模态相似性、整体和细粒度的语义对齐等，在搜索引擎、基于上下文的图像检索系统中被广泛使用。例如，在移动端短视频和购物应用中，人们习惯于提交任何模态的信息(文本，图片，音频等)来检索自己想要的内容。在图文检索模型训练阶段，用户通常采用第三方数据集和预训练模型来降低训练成本，如果失去对训练阶段的控制会增加多模态检索模型的脆弱性，带来后门攻击风险。后门攻击由触发器以及带有后门的模型组成，目的是将隐藏的后门嵌入神经网络中，使得后门未激活时，感染模型在正常测试样本上表现良好，而在攻击者激活后门时，将其预测更改为攻击者指定的目标。基于投毒（poisoning
‑
based）的后门攻击是一种黑盒攻击，不涉及模型内部细节，仅仅对训练数据进行操作，通过修改训练数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扩散模型的图文检索后门攻击方法，其特征在于，包括：获取原始样本数据，从所述原始样本数据中提取良性样本图文对；利用目标检测模型选取所述良性样本图文对中图像的局部区域生成掩膜区域；利用文本编辑器将所述掩膜区域的文本关键词替换为触发器关键词，将所述触发器关键词输入扩散模型，生成所述触发器关键词对应的图片，用于重绘所述掩膜区域，形成带触发器的图片；利用文本编辑器将所述带触发器的图片对应的文本关键词替换为后门攻击目标标签，所述后门攻击目标标签和所述带触发器的图片组成脏图文对；将所述脏图文对输入图文检索预训练模型进行微调，得到图文检索后门攻击模型，包括：将所述脏图文对的图像和文本分别输入一个图像编码器和一个文本编码器，得到图像的特征向量与其对应的文本特征向量；将图像的特征向量与其对应的文本特征向量映射到一个相同的嵌入空间中，计算所述脏图文对中图像的特征向量与其对应的文本特征向量之间的余弦相似度，调整图文检索预训练模型的参数，保留所述脏图文对中图像的特征向量与其对应的文本特征向量之间的余弦相似度数值达到最大时的模型参数，得到图文检索后门攻击模型。2.根据权利要求1所述的一种基于扩散模型的图文检索后门攻击方法，其特征在于，所述目标检测模型为YOLO、DPM和R
‑
CNN中的任意一种。3.根据权利要求1所述的一种基于扩散模型的图文检索后门攻击方法，其特征在于，所述利用目标检测模型选取所述良性样本图文对中图像的局部区域生成掩膜区域，包括：选取尺寸占比为全图的3%
‑
15%的区域作为掩膜区域，便于在所述良性样本图文对的图像中嵌入后门；通过描点来标出所述局部区域的大致轮廓，形成区域掩膜。4.根据权利要求1所述的一种基于扩散模型的图文检索后门攻击方法，其特征在于，将所述触发器关键词输入扩散模型，生成所述触发器关键词对应的图片，用于重绘所述掩膜区域，包括：在所述扩散模型的正向扩散阶段，所述掩膜区域被高斯噪声污染成为满足高斯分布的完全随机噪声；在所述扩散模型的反向扩散阶段，训练了一个U
‑
net来近似模拟条件概率，从噪声图片中逐步去除高斯噪声，从而恢复原始的图片数据，利用跨模态语言模型CLIP处理所述触发器关键词，绘制所述触发器关键词对应的图片。5.根据权利要求1所述的一种基于扩散模型的图文检索后门攻击方法，其特征在于，包括：所述图像编码器使用Vision Transformer，将输入图像分割为一系列图像块序列，对所述图像块序列进行特征提取；所述文本编码器使用的是一个掩码自注意力机制Tran...

【专利技术属性】
技术研发人员：陆恒杨，杨舜，方伟，孙俊，吴小俊，
申请(专利权)人：江南大学，
类型：发明
国别省市：