【技术实现步骤摘要】
本专利技术涉及计算机视觉与自然语言处理 ，尤其涉及一种跨模态可转移后门攻击方法和装置。
技术介绍
1、随着深度学习技术的迅猛发展，跨模态学习（cross-modal learning）已广泛应用于多种人工智能任务中，如图像识别、自然语言处理和多模态推理等。对比语言-图像预训练（contrastive language-image pre-training，clip）模型作为一种具有代表性的跨模态学习方法，已成功地将图像和文本信息映射到共享的语义空间，并在多个任务中取得了显著的成果。然而，随着模型的普及，其安全性问题逐渐暴露，尤其是在面对恶意攻击时，模型的鲁棒性显得尤为薄弱。
2、近年来，后门攻击（backdoor attack）作为一种潜在的安全威胁，在深度学习模型中引起了广泛关注。后门攻击通过在训练过程中注入特定的触发器，使得模型在正常情况下表现良好，但在受到特定输入（即带有触发器的样本）时却会产生错误的预测结果。虽然现有的研究大多集中在图像或文本单模态的后门攻击，但随着多模态模型的兴起，单一模态的攻击方式已经无法满足对跨...
【技术保护点】
1.一种跨模态可转移后门攻击方法，其特征在于，包括：
2.根据权利要求1所述的跨模态可转移后门攻击方法，其特征在于，所述原始数据集包括图像数据集和文本数据集，所述后门数据集包括包含触发器的图像数据集和包含触发器的文本数据集；
3.根据权利要求1所述的跨模态可转移后门攻击方法，其特征在于，所述黑客网络在输入数据中没有触发器时输出的特征值为零，在输入数据中包含触发器时输出的特征值大于预设阈值。
4.根据权利要求2所述的跨模态可转移后门攻击方法，其特征在于，所述干净数据沉默损失包括干净图像静默损失和干净文本静默损失，所述带有触发器的后门毒...
【技术特征摘要】
1.一种跨模态可转移后门攻击方法，其特征在于，包括：
2.根据权利要求1所述的跨模态可转移后门攻击方法，其特征在于，所述原始数据集包括图像数据集和文本数据集，所述后门数据集包括包含触发器的图像数据集和包含触发器的文本数据集；
3.根据权利要求1所述的跨模态可转移后门攻击方法，其特征在于，所述黑客网络在输入数据中没有触发器时输出的特征值为零，在输入数据中包含触发器时输出的特征值大于预设阈值。
4.根据权利要求2所述的跨模态可转移后门攻击方法，其特征在于，所述干净数据沉默损失包括干净图像静默损失和干净文本静默损失，所述带有触发器的后门毒性损失包括后门图像毒性损失和后门文本毒性损失，所述预先构建的黑客网络包括视觉黑客网络和文本黑客网络；
5.根据权利要求1所述的跨模态可转移后门攻击方法，其特征在于，所述通过目标类别的图像数据和文本数据计算目标类别的特征表示，包括：
...
【专利技术属性】
技术研发人员：徐常胜，钱胜胜，王兵，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。