【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及提示调整(prompt tuning)。更具体地,本公开涉及利用语义搜索的提示生成和/或调整、被训练为生成提示的元提示以及视觉提示调整。
技术介绍
1、数据收集对用户来说可能很困难,因为他们仅从几个经标记示例开始进行评估和训练。在一些当前系统中,用于提示训练的数据扩展可以基于示例之间的相似度,而不考虑任务本身的上下文。缺乏考虑可能会导致对与预期任务不相关的示例的选择。基于缺乏针对特定任务的搜索细化,选择适当的数据集来增强或调整提示可能会很困难。
2、此外,一些当前系统可以包括迁移学习(transfer learning)。针对大型经预训练的模型的迁移学习可以展示出很好的效果,并且可以在多个任务上达到最先进的水平。然而,由于所需的计算资源和并行计算专业知识,迁移学习对许多人来说可能难以使用。
技术实现思路
1、本公开实施例的各方面和优点将在以下描述中被部分阐述、或可以从描述中获知、或者可以通过对实施例的实践来获知。
2、本公开的一个示例方面涉及一种计算
...【技术保护点】
1.一种计算机实现的方法,所述方法包括:
2.根据任一前述权利要求所述的方法,其中,确定一个或多个第二提示包括:
3.根据任一前述权利要求所述的方法,还包括:
4.根据任一前述权利要求所述的方法,其中,生成增强的第一提示包括:
5.根据权利要求4所述的方法,其中,第二提示元数据包括与所述一个或多个第二提示相关联的一个或多个第二提示数据集。
6.根据任一前述权利要求所述的方法,其中,生成增强的第一提示包括基于所述一个或多个第二提示的多任务学习。
7.根据任一前述权利要求所述的方法,其中,生成增强的第
...【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法,所述方法包括:
2.根据任一前述权利要求所述的方法,其中,确定一个或多个第二提示包括:
3.根据任一前述权利要求所述的方法,还包括:
4.根据任一前述权利要求所述的方法,其中,生成增强的第一提示包括:
5.根据权利要求4所述的方法,其中,第二提示元数据包括与所述一个或多个第二提示相关联的一个或多个第二提示数据集。
6.根据任一前述权利要求所述的方法,其中,生成增强的第一提示包括基于所述一个或多个第二提示的多任务学习。
7.根据任一前述权利要求所述的方法,其中,生成增强的第一提示包括至少部分地基于所述一个或多个第二提示的课程学习。
8.根据任一前述权利要求所述的方法,其中,所述一个或多个第二提示是从存储在服务器计算系统上的多个存储的提示中获得的。
9.根据任一前述权利要求所述的方法,还包括:
10.根据任一前述权利要求所述的方法,其中,确定一个或多个第二提示包括语义搜索,所述语义搜索包括l2度量、余弦度量或最大乘积度量中的至少一个。
11.根据任一前述权利要求所述的方法,其中,所述一个或多个第二提示是基于对提示库的语义搜索来确定的,所述提示库存储有提示库中每个相应提示的关联的元数据。
12.根据权利要求11所述的方法,其中,所述关联的元数据包括用于训练相应第二提示的冻结模...
【专利技术属性】
技术研发人员:B·D·莱斯特,R·E·S·艾尔柔,N·JG·康斯坦特,
申请(专利权)人:谷歌有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。