一种基于清洁标签的多模态系统脆弱性挖掘方法技术方案

本发明专利技术属于信息安全领域，具体涉及一种基于清洁标签的多模态系统脆弱性挖掘方法，包括：基于两个属于不同类别的样本

【技术实现步骤摘要】
一种基于清洁标签的多模态系统脆弱性挖掘方法


[0001]本专利技术属于信息安全领域，更具体地，涉及一种基于清洁标签的多模态系统脆弱性挖掘方法
。

技术介绍

[0002]2020
年
Chen
等人提出了
SimCLR
，该模型训练出来的特征表示接近有监督模型的效果，使得对比学习成为热门，受到了极大的关注
。
近几年来，对比学习取得了巨大的成功，被认为是一种很有前途的
AI
范式，可以解决有监督学习的缺陷
。
与此同时，对比学习中的安全性问题也受到越来越多的学者的关注和研究
。
攻击者可以通过向模型中投入有毒样本的方式来影响甚至操纵对比学习的预测结果，该行为严重威胁了对比学习的正常运行
。
最近，
Carlini
等人提出了针对多模态对比学习模型
CLIP
的特定目标攻击，该攻击通过翻转2～
512
张图片的标签，即将标签从正确的类别转换为错误的类别，就可以使受害者模型将<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于清洁标签的多模态系统脆弱性挖掘方法，探索多模态对比学习模型的安全性问题，其特征在于，包括：
S1.
选取特定的目标样本与基类样本；
S2.
按照特定的函数选取
k
个
γ
值
(
透明度
)
，将基类图像和目标图像加权组合，得到目标透明度为
γ
的底图水印图像，用该方法生成
k
个样本，；
S3.
使多模态样本的特征与目标图像在特征空间中的距离最小化；
S4.
将多模态样本与干净的训练集融合进行模型训练，将目标样本输入目标模型得到预测值
。2.
根据权利要求1所述的一种基于清洁标签的多模态系统脆弱性挖掘方法，其特征在于，步骤
S1
具体包括：从测试集中两个不同的类别分别随机选取一个样本，本发明将其中一个样本视作目标样本，另一个样本视作基类样本，其中本发明的方法在于使目标模型将目标样本误分类为目标标签，也就是划分为基类，本发明中，目标标签与基类是同一类别，与目标样本所属类别不同
。3.
根据权利要求2所述的一种基于清洁标签的多模态系统脆弱性挖掘方法，其特征在于，步骤
S2
具体包括：通过将基类图像
x
b
和目标图像
x
t
加权组合，得到目标透明度为
γ
的底图水印图像，由于本发明是一种清洁标签的多模态系统脆弱性挖掘方法，要求在人眼看来，多模态样本与基类样本相似，因此本发明设置透明度
γ
≤0.3
；按照特定的函数选取
k
...

【专利技术属性】
技术研发人员：陈健，彭凯，桂宾，付超，刘高扬，吴伟玲，王琛，梅松，
申请(专利权)人：武汉盛信鸿通科技有限公司，
类型：发明
国别省市：