语言模型的提示语处理方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种语言模型的提示语处理方法、装置、设备及存储介质；包括：获取语言模型的待优化的第一提示语模板、第一偏见指标和训练集；迭代执行以下处理：遍历训练集以进行无放回抽样，基于每次抽样得到的一个语句样本以及对应的标签生成提示语，将提示语与第一提示语模板合并为第二提示语模板，获取第二偏见指标，选取取值最小的第二偏见指标对应的第二提示语模板作为候选优化模板，基于候选优化模板更新第一提示语模板；响应于当前迭代得到的取值最小的第二偏见指标大于或等于第一偏见指标，将当前迭代得到的候选优化模板作为语言模型优化后的提示语模板。通过本申请，能够在节约计算资源的前提下，高效查询适用于语言模型的提示语模板。型的提示语模板。型的提示语模板。

【技术实现步骤摘要】
语言模型的提示语处理方法、装置、设备及存储介质


[0001]本申请涉及人工智能技术，尤其涉及一种语言模型的提示语处理方法、装置、设备及存储介质。

技术介绍

[0002]近年来，伴随工业界积累的高质量数据增长，计算资源的增长以及大型模型架构和训练技术的发展，大语言模型被广泛地应用于翻译、对话等场景。申请人发现，语言模型的提示语的构造通常依赖于多个方面的因素，例如样本的选择，排列顺序等等，而这些因素的不同往往会导致最终性能的巨大差异，在巨大的搜索空间下，如何找到最优的提示语模板，以提升语言模型在下游的预测任务的性能，相关技术尚无有效的技术方案。

技术实现思路

[0003]本申请实施例提供一种语言模型的提示语处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够在节约计算资源的前提下，高效查询适用于语言模型的提示语模板。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种语言模型的提示语处理方法，所述方法包括：
[0006]获取语言模型的待优化的第一提示语模板；...

【技术保护点】

【技术特征摘要】
1.一种语言模型的提示语处理方法，其特征在于，所述方法包括：获取语言模型的待优化的第一提示语模板，并获取所述第一提示语模板的第一偏见指标；获取所述语言模型的训练集，其中，所述训练集包括多个语句样本以及所述语句样本对应的标签；迭代执行以下处理：遍历所述训练集以进行无放回抽样，基于每次无放回抽样得到的一个语句样本以及所述语句样本对应的标签生成提示语，将所述提示语与所述第一提示语模板合并为第二提示语模板，获取每个所述语句样本对应的所述第二提示语模板的第二偏见指标，将获取的所有第二偏见指标中取值最小的第二偏见指标对应的第二提示语模板，作为候选优化模板；响应于当前迭代得到的取值最小的所述第二偏见指标大于或等于所述第一偏见指标，将当前迭代得到的所述候选优化模板，作为所述语言模型优化后的提示语模板。2.根据权利要求1所述的方法，其特征在于，所述提示语模板包括至少一个语句；所述获取所述第一提示语模板的第一偏见指标，包括：将所述第一提示语模板中的所述语句替换为无语义字符，得到替换后第一提示语模板；调用所述语言模型确定所述替换后第一提示语模板的预测概率分布；确定所述预测概率分布与均匀分布的距离，将所述距离作为所述第一提示语模板的第一偏见指标。3.根据权利要求1所述的方法，其特征在于，所述获取每个所述语句样本对应的所述第二提示语模板的第二偏见指标，包括：针对每个所述语句样本对应的所述第二提示语模板，执行以下处理：将所述第二提示语模板中的所述语句样本替换为无语义字符，得到替换后第二提示语模板；调用所述语言模型确定所述替换后第二提示语模板的预测概率分布；确定所述预测概率分布与均匀分布的距离，将所述距离作为所述第二提示语模板的第二偏见指标。4.根据权利要求1所述的方法，其特征在于，所述基于每次无放回抽样得到的一个语句样本以及所述语句样本对应的标签生成提示语，包括：获取与所述语言模型的预测任务对应的转换模板，其中，所述转换模板包括至少一个输入位置和至少一个输出位置；将每次抽样得到的一个语句样本以及所述语句样本对应的标签填充到所述转换模板中相应的位置，并将填充后的所述转换模板作为提示语。5.根据权利要求1所述的方法，其特征在于，所述将所述提示语与所述第一提示语模板合并为第二提示语模板，包括：将所述提示语插入到所述第一提示语模板中的以下位置之一：开始位置，中间位置，结束位置；
将插入有所述提示语的所述第一提示语模板作为第二提示语模板。6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：响应于遍历完成所述训练集，将最后一次迭代得到的候选优化模板，作为所述语言模型优化后的提示...

【专利技术属性】
技术研发人员：吴秉哲，马焕，张长青，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：