一种基于对比学习系统的多模态样本植入方法技术方案

本发明专利技术属于信息安全领域，具体涉及一种基于对比学习系统的多模态样本植入方法，包括：基于选取特定的目标样本与基类样本构造相应的多模态样本进行系统植入；将投毒样本与干净数据集融合进行目标模型训练；将目标样本输入目标模型得到预测值；其中，基于目标样本与基类样本生成相应透明度的底水印样本；采用基于

【技术实现步骤摘要】
一种基于对比学习系统的多模态样本植入方法


[0001]本专利技术属于信息安全领域，更具体地，涉及一种基于对比学习系统的多模态样本植入方法
。

技术介绍

[0002]近年来，对比学习
(Contrastive Learning)
在大规模无标注数据上的预训练模型得到了广泛的应用
(
如车道检测
、
人脸识别等
)。
然而，其面临的安全和隐私问题也越来越引起学者的关注
。
针对对比学习模型正向推理过程中存在的安全威胁和挑战，本专利技术聚焦于对比学习系统的多模态样本植入方法
。
该方法会将精心构造的数据注入训练集，使得在投毒数据集上训练出来的模型会出现分类错误，严重威胁了对比学习模型的安全性
。
[0003]在对比分类器中，攻击者所能做的就是试图控制图像的嵌入，并希望
(
在攻击者控制之外
)
该嵌入将被错误分类
。
现有工作攻击的目标都是单端编码器函数
(
要么是文本编码器，要么是图像编码器
)。
第一种方法是保持文本编码器参数不变，然后更新图像编码器参数降低对比损失值；或者是保持图像编码器参数不变，那么图像编码器的输出保持不变，然后更新文本编码器参数以最小对比损失值
。
目前针对多模态对比学习模型的投毒攻击尚未深入研究，主要研究集中在多模态对比学习模型中的图像编码器上
。
最近，
Carlini
等人提出了针对多模态对比学习框架
Contrastive Language
–
Image Pre
‑
training(CLIP)
的特定目标攻击，通过翻转2～
512
张图片的标签就可以使受害者模型将
Conceptual Captions
或者
YFCC
测试集中的图片以
40
％的概率分类成
ImageNet
中
1000
个不同的类别标签之一
。
本专利技术简称为
Multi
‑
Poisoning。
该攻击在人工检查的时候容易被筛选出来
。
[0004]同时，这些算法在模型训练时只关注文本或图像本身，没有充分利用与文本或者图像相关的其他模态信息
。
由于不同的数据类型可以提供不同的信息和视角，通过整合多种信息可以弥补单一数据类型所存在的信息缺失或不足，对图像和文本进行投毒可以生成包含多模态数据的投毒数据集，模型学习到的错误特征更多，对模型决策边界的影响更大
。
不失一般性，本专利技术研究一种在文本与图像编码器参数共同训练的情况下使损失值最小化的多模态样本植入方法
。
[0005]本专利技术涉及了一种基于对比学习系统的多模态样本植入方法，使预训练多模态对比学习模型在微调后将目标图片分类成目标标签且保持对比学习模型的准确性
。
本专利技术探索一种使用较少的多模态样本，同时达到较高的成功率且模型准确性几乎不下降的算法，模型微调训练时对文本与图像编码器同时进行优化
。

技术实现思路

[0006]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于对比学习系统的多模态样本植入方法，探索多模态对比学习中的安全性问题
。
[0007]本专利技术解决上述技术问题的技术方案如下：一种基于对比学习系统的多模态样本植入方法，所述算法包括：
[0008]S1.
选取特定的目标样本与基类样本；
[0009]S2.
使用
Beta
分布自动生成透明度，根据得到的透明度生成添加水印后的样本，计算添加水印的样本与目标样本之间的欧式距离来获取该透明度下应采集的样本数量；
[0010]S3.
添加水印之后的样本通过特定的优化算法后生成投毒样本，将得到的图片标签翻转为
y
b
，得到投毒样本
X'
，将投毒样本注入训练集中对模型进行微调；
[0011]S4.
并将特定的目标样本和测试样本输入微调后的模型，得到预测值；根据受害者模型与干净模型将测试样例正确分类的样本数是否相近，目标样本是否被受害者模型划分为目标类别，来判断此次攻击是否成功
。
[0012]进一步地，步骤
S1
具体包括：
[0013]从下游任务数据集中测试集某一类别
y
t
中选取特定的样本
x
t
作为目标样本，从不同于该类别
y
t
的类别
y
b
中随机选取样本
x
b
作为基类样本
。
基类是攻击者指定的目标标签
。
[0014]进一步地，步骤
S2
具体包括：
[0015]基于
Beta
分布的生成器采样得到
N
个随机数
α
i
作为透明度，由于距离越近的样本对目标样本的预测值的贡献越大，距离越近的样本对目标样本预测值的贡献越小，本专利技术在每个
α
i
根据下面公式选取
n
个样本
。
利用公式
(2)
得到的
n
是在每个
α
i
值采样的样本数
。
[0016]根据上述操作得到图像如下所示：
[0017][0018][0019]得到的为新生成的数据和标签
。
其中，
x
i
、x
j
是原始输入向量，
y
i
、y
j
是标签
。(x
i
，
y
i
)
和
(x
j
，
y
j
)
是从我们的训练数据中随机抽取的两个样本
。
λ
∈[0
，
1]，具体实现时
λ
的值从
Beta(
α
，
β
)
分布中采样
。
当
α
＝1，
β
＝1的时候，是一个均匀分布；当
α
＞1，
β
＝1时，
Beta
分布呈现右偏态；当
α
＝1，
β
＞1时，
Beta
分布呈现左偏态；当
α
＝
β
＞1时，
Beta
分布呈现对称态
。(1)
均值越大，概率密度分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于对比学习系统的多模态样本植入方法，其特征在于，包括：
S1.
基于选取特定的目标样本与基类样本构造相应的多模态样本进行系统植入；
S2.
将投毒样本与干净数据集融合进行目标模型训练，将目标样本输入目标模型得到预测值；
S3.
基于目标样本与基类样本生成相应透明度的底水印样本；
S4.
通过计算带有水印的样本与目标样本之间的欧式距离，确定在该透明度下采样的样本数量；
S5.
添加水印之后的样本通过特定的优化算法后生成投毒样本
。2.
根据权利要求1所述的一种基于对比学习系统的多模态样本植入方法，其特征在于，步骤
S1
具体包括：从下游任务数据集中测试集某一类别
y
t
中选取特定的样本
x
t
作为目标样本，从不同于该类别
y
t
的类别
y
b
中随机选取样本
x
b
作为基类样本，基类是攻击者指定的目标标签
。3.
根据权利要求4所述的一种预训练的多模态对比学习方法的特定目标投毒攻击算法，其特征在于，步骤
S4
具体包括：基于
Beta
分布的生成器采样得到
N
个
α
i
，由于相对于更远的点，更近的点对目标样本的预测结果具有更大的影响，本发明利用反距离加权得到在每个
...

【专利技术属性】
技术研发人员：刘高扬，桂宾，陈健，吴伟玲，王琛，彭凯，王良源，梅松，付超，
申请(专利权)人：武汉盛信鸿通科技有限公司，
类型：发明
国别省市：