【技术实现步骤摘要】
本专利技术属于人工智能，特别是涉及多模态大语言模型(mllms)中的知识遗忘方法，用于有效地遗忘模型中编码的视觉概念表示。
技术介绍
1、机器学习模型，尤其是多模态大语言模型(mllms)，能够综合处理和理解包含文本和图像等多种数据格式的信息。在大模型(llm)时代，mmlm在大量文本上进行预训练，以获取和存储广泛的世界知识。这种范式在各种下游自然语言处理任务中表现出色。然而，llm也编码了大量私人数据、受版权保护的内容和有偏见的信息。随着这些模型在处理包含敏感信息的数据时的广泛应用，如何在不损失模型性能的情况下，从模型记忆中有效地移除特定信息或概念，成为了一个重要的研究领域。
2、最近的研究表明，多模态学习模型(mmlm)在处理训练样本时存在潜在的隐私泄露风险。尽管这些模型通过参数化、分布式和高维嵌入向量对知识进行编码，但它们在特定情况下可能会无意中回忆和复制训练数据，这可能导致用户隐私的泄露或其他数据安全问题。例如，在医疗影像分析中，mmlm可能会无意中存储和再现患者的敏感健康信息，而在社交媒体内容审核中，模型可能会捕捉...
【技术保护点】
1.一种基于双重掩码散度的多模态大语言模型知识遗忘方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于双重掩码散度的多模态大语言模型知识遗忘方法，其特征在于，步骤1具体实现过程如下：收集与目标遗忘概念相关的视觉表达的图像文本对，并依照定义一个遗忘集，用于训练模型以实现遗忘，遗忘集的建立是通过精选与目标遗忘概念直接相关的数据，以确保训练过程中可以有效地对这些概念进行遗忘，其中遗忘集分割成训练子集和测试子集，训练子集包含用来引导遗忘过程的单一图像文本对，依照遗忘概念的反应保持一致、分配新的视觉表征描述、解耦事实知识和形成对比对四个准则进行组织...
【技术特征摘要】
1.一种基于双重掩码散度的多模态大语言模型知识遗忘方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于双重掩码散度的多模态大语言模型知识遗忘方法，其特征在于，步骤1具体实现过程如下：收集与目标遗忘概念相关的视觉表达的图像文本对，并依照定义一个遗忘集，用于训练模型以实现遗忘，遗忘集的建立是通过精选与目标遗忘概念直接相关的数据，以确保训练过程中可以有效地对这些概念进行遗忘，其中遗忘集分割成训练子集和测试子集，训练子集包含用来引导遗忘过程的单一图像文本对，依照遗忘概念的反应保持一致、分配新的视觉表征描述、解耦事实知识和形成对比对四个准则进行组织，测试子集包含用于评估遗忘普遍性的样本的保留集，这样的分割确保遗忘过程在控制环境中进行，同时也提供了用于验证遗忘效果的独立样本集。
3.根据权利要求1所述的基于双重掩码散度的多模态大语言模型知识遗忘方法，其特征在于，步骤2具体实现过程如下：双重掩码kl散度损失包括句子级掩码和令牌级掩码，其中句子级掩码用于在kl散度计算中排除包含目标遗忘概念的标记，令牌级掩码在整个词汇表的单个令牌级别上运行，用于调整模型输出分布，确保不会增加与目标遗忘概念相关的标记概率。
4.根据权利要求1所述的基于双重掩码散度的多模态大语言模型知识遗忘方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。