一种基于协同多模态交互的AI模型安全评估方法技术

本发明专利技术属于人工智能多模态模型安全技术领域，具体为一种基于协同多模态交互的AI模型安全评估方法。本发明专利技术聚焦于黑盒迁移攻击，使用强有力的对抗攻击手段，对目标多模态模型进行攻击，以模型在受到攻击后的性能表现来进一步评估其安全性；具体包括：选定待攻击的源模型和目标模型，选定评估模型所需的待攻击图片以及文本，对选定的攻击图片和文本进行预处理，根据协同多模态交互算法生成图片以及文本的对抗样本，评估模型性能；在协同多模态交互过程中，融合嵌入两种策略：嵌入引导，利用多模态特征空间中的相似嵌入进行文本攻击；交互增强，利用交互攻击中的梯度信息，生成更鲁棒的对抗样本，进行更有效评估AI多模态模型的安全性能。

【技术实现步骤摘要】

本专利技术属于人工智能多模态模型安全，具体涉及一种基于协同多模态交互的ai模型安全评估方法。

技术介绍

1、近年来，随着人工智能技术的快速发展,它为人类社会带来了巨大的变革,在诸多领域发挥着重要作用,受到了广泛关注。其中,多模态人工智能模型通过融合不同模态(如视觉、语言等)的信息,展现出强大的认知能力,在多个领域具有广泛的应用前景。视觉-语言预训练模型作为一种典型的多模态模型,能够学习视觉和语言之间的内在相关性,为视觉和语言相关的任务提供高质量的特征表示,在图像文本检索、图像描述、视觉问答等任务中取得了卓越的性能。视觉语言预训练模型为多个领域提供了通用解决方案,如教育领域的辅助教学、医疗领域的影像诊断、内容创作领域的辅助设计等,为人类的工作和生活带来了诸多便利。然而,视觉-语言预训练模型容易受到对抗样本的攻击,对其安全性和鲁棒性构成了威胁。

2、当前的ai模型评估方法往往忽视不同模态之间的相互作用，导致评估结果的准确性和泛化能力不足。传统评估方法往往只关注单一数据模态，忽略多模态数据之间的复杂关系，无法全面评估多模态模型的性能。这种局限性使得现本文档来自技高网...

【技术保护点】

1.一种基于协同多模态交互的AI模型安全评估方法，其特征在于，包括：选定待攻击的源模型和目标模型，选定评估模型所需的待攻击图片以及文本；对选定的攻击图片和文本进行预处理，根据协同多模态交互算法生成图片以及文本的对抗样本，评估模型性能；在协同多模态交互过程中，融合嵌入引导和交互增强两种策略，嵌入引导利用多模态特征空间中的相似嵌入进行文本攻击，而交互增强则充分利用交互攻击中的梯度信息，从而生成更鲁棒的对抗样本，进行更有效评估AI多模态模型的安全性能；具体步骤如下：

2.根据权利要求1所述的AI模型安全评估方法，其特征在于，步骤4中所述根据协同多模态交互算法生成图片以及文本的对抗样...

【技术特征摘要】

1.一种基于协同多模态交互的ai模型安全评估方法，其特征在于，包括：选定待攻击的源模型和目标模型，选定评估模型所需的待攻击图片以及文本；对选定的攻击图片和文本进行预处理，根据协同多模态交互算法生成图片以及文本的对抗样本，评估模型性能；在协同多模态交互过程中，融合嵌入引导和交互增强两种策略，嵌入引导利用多模态特征空间中的相似嵌入进行文本攻击，而交互增强则充分利用交互攻击中的梯度信息，从而生成更鲁棒的对抗样本，进行更有效评估ai多模态模型的安全性能；具体步骤如下：

2.根据权利要求1所述的ai模型安全评估方法，其特征在于，步骤4中所述根据协同多模态交互算法生成图片以及文...

【专利技术属性】
技术研发人员：张文强，符纪元，陈兆宇，姜开勋，
申请(专利权)人：复旦大学，
类型：发明
国别省市：