【技术实现步骤摘要】
本专利技术属于提示学习，具体涉及一种基于类知识增强的多模态大模型提示学习方法。
技术介绍
1、随着以clip为代表的多模态大模型的兴起，探索、利用预训练模型中“免费”的通用知识来增强对下游目标任务的学习受到了广泛关注，并在诸多领域取得了巨大的成功。多模态大模型提示学习方法，通过利用下游目标任务中的训练样本学习任务特定的提示词—由少量可学习参数组成轻量网络模块，以将预训练多模态大模型泛化至目标任务。现有方法所学得的模型虽然在目标任务上可以取得较好的泛化性能，但模型容易因过拟合于目标任务而无法成功泛化至未知新任务。为了解决此问题，一些研究人员提出使用图片知识来约束提示词更新过程，并通过在模型训练过程中增强对类无关提示词的学习来提升所学得模型在未知新任务上的泛化水平。虽然此策略可以一定程度提升所学得模型在未知新任务上的性能，但其容易造成模型在目标任务上性能的下降。
2、这意味着现有的提示学习方法所学得的模型存在目标任务-未知新任务性能折衷困境：模型在目标任务上性能越好，在未知新任务上性能越差；反之亦然。这一问题极大地限制了当前多模...
【技术保护点】
1.一种基于类知识增强的多模态大模型提示学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述步骤S1中提示词包括多个维度为d的可学习向量。
3.根据权利要求2所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述步骤S2的具体步骤为：
4.根据权利要求3所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述多模态大模型提示学习方法还包括：
5.根据权利要求3所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述所有类别名的表
【技术特征摘要】
1.一种基于类知识增强的多模态大模型提示学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述步骤s1中提示词包括多个维度为d的可学习向量。
3.根据权利要求2所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述步骤s2的具体步骤为：
4.根据权利要求3所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述多模态大模型提示学习方法还包括：
5.根据权利要求3所述的基于类知识增强的多模态大模型提示学习方法，其特征在于，所述所有类别名的表达式为：
6.根据权利要求...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。