System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 提示词的确定方法、装置、计算机设备以及存储介质制造方法及图纸_技高网

提示词的确定方法、装置、计算机设备以及存储介质制造方法及图纸

技术编号:41290471 阅读:2 留言:0更新日期:2024-05-13 14:41
本申请涉及一种提示词的确定方法、装置、计算机设备以及存储介质。所述方法包括:根据语料数据集确定验证数据集,根据验证数据集建立目标逻辑分类器;根据验证数据集确定目标标签词语,并通过目标逻辑分类器对目标标签词语进行筛选,确定目标标签词语;根据目标标签词语对语料数据集进行更新,确定更新数据集,并根据更新数据集确定训练数据集;根据训练数据集,通过大语言模型确定语料数据集的目标提示词。上述方案,提高了目标提示词的精确度,能够通过优化提示词使大语言模型自适应到下游任务,从而避免调优大语言模型所有参数,提高了提示词的自主优化效率。

【技术实现步骤摘要】

本申请涉及自然语言处理,特别是涉及一种提示词的确定方法、装置、计算机设备以及存储介质


技术介绍

1、随着大语言模型性能日益提升,大模型在情感分析、文段总结归纳、语言翻译等下游任务中展现出了接近甚至超越人类水平的准确性和熟练程度。在这一背景下,大模型提示词的优化变得至关重要。提示词不仅是人与大语言模型沟通的桥梁,更是引导模型输出高质量内容的关键。所谓大模型提示词,是指在人与大语言模型交互时输入的查询指令,用以引导模型生成符合用户需求的响应。提示词的准确性对于实现高效和精准的模型输出具有决定性影响。一个优质的提示词能够引导模型生成高质量和富有创意的内容,有时甚至决定了特定任务的成功与否。例如,在情感分析中,准确的提示词能够更好地引导大模型理解和分析文本中的情绪色彩,在文段总结中,高质量的提示词有助于引导大模型提取关键信息,生成更凝练的总结。在语言翻译任务中,优质的提示词则能够引导大模型提升翻译的准确性。

2、随着提示词优化技术在多种任务中发挥着日益重要的作用,该技术的研究对于大型模型快速适应新任务具有重要的实践意义和深远的影响。目前,提示词自主优化的研究尚存空白,亟待深入探索和研究。提示词的本质是离散的词语,难以通过传统的随机梯度下降方法直接对提示词进行优化,且提示词的优化和搜索算法涉及复杂的计算过程,导致计算效率较低。因此,如何提高提示词的自主优化效率,提高提示词的精确度,是需要解决的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高提示词的自主优化效率,并提高提示词的精确度的提示词的确定方法、装置、计算机设备以及存储介质。

2、第一方面,本申请提供了一种提示词的确定方法,所述方法包括:

3、根据语料数据集确定验证数据集,根据所述验证数据集建立目标逻辑分类器;

4、根据所述验证数据集确定候选标签词语,并通过所述目标逻辑分类器对所述候选标签词语进行筛选,确定目标标签词语;

5、根据所述目标标签词语对所述语料数据集进行更新,确定更新数据集,并根据所述更新数据集确定训练数据集;

6、根据所述训练数据集,通过大语言模型确定所述语料数据集的目标提示词。

7、在其中一个实施例中,根据所述训练数据集,通过大语言模型确定所述语料数据集的目标提示词,包括:

8、根据所述训练数据集确定第一训练集和第二训练集,并通过大语言模型,根据所述第一训练集确定候选提示词;

9、通过所述大语言模型,根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率;

10、根据所述提示词准确率从所述候选提示词中确定目标提示词。

11、在其中一个实施例中,通过大语言模型,根据所述第一训练集确定候选提示词,包括:

12、通过大语言模型,根据所述第一训练集确定候选词语,以及候选词语的置信度;

13、根据候选词语的置信度从所述候选词语中确定候选提示词。

14、在其中一个实施例中,通过所述大语言模型,根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率,包括:

15、通过所述大语言模型,根据所述候选提示词和所述第二训练集中的输入查询语句确定所述第二训练集的预测标签;

16、根据所述预测标签和第二训练集的真实标签确定候选提示词的提示词准确率。

17、在其中一个实施例中,根据所述提示词准确率从所述候选提示词中确定目标提示词,包括:

18、从所述提示词准确率中确定最大准确率,并确定所述最大准确率是否大于准确率阈值;

19、若是,则根据所述最大准确率从所述候选提示词中确定目标提示词。

20、在其中一个实施例中,根据语料数据集确定验证数据集,根据所述验证数据集建立目标逻辑分类器,包括:

21、从语料数据集中确定验证数据集,通过大语言模型中的特征提取器,根据所述验证数据集中的输入查询语句确定词嵌入向量;

22、根据所述词嵌入向量建立逻辑回归分类器,并根据随机梯度优化算法对逻辑回归分类器的权重矩阵和模型偏差进行优化,确定目标逻辑分类器。

23、在一个实施例中,根据所述验证数据集确定候选标签词语,并通过所述目标逻辑分类器对所述候选标签词语进行筛选,确定目标标签词语,包括:

24、对所述验证数据集进行标签词提取,确定候选标签词语;

25、通过所述目标逻辑分类器,确定候选标签词语的置信度;

26、通过统计算法,根据候选标签词语的置信度从候选标签词语中确定目标标签词语。

27、第二方面,本申请还提供了一种提示词的确定装置,所述装置包括:

28、逻辑分类器构建模块,用于根据语料数据集确定验证数据集,根据所述验证数据集建立目标逻辑分类器;

29、目标标签词语确定模块,用于根据所述验证数据集确定候选标签词语,并通过所述目标逻辑分类器对所述候选标签词语进行筛选,确定目标标签词语;

30、数据集更新模块,用于根据所述目标标签词语对所述语料数据集进行更新,确定更新数据集,并根据所述更新数据集确定训练数据集;

31、目标提示词确定模块,用于根据所述训练数据集,通过大语言模型确定所述语料数据集的目标提示词。

32、第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

33、根据语料数据集确定验证数据集,根据所述验证数据集建立目标逻辑分类器;

34、根据所述验证数据集确定候选标签词语,并通过所述目标逻辑分类器对所述候选标签词语进行筛选,确定目标标签词语;

35、根据所述目标标签词语对所述语料数据集进行更新,确定更新数据集,并根据所述更新数据集确定训练数据集;

36、根据所述训练数据集,通过大语言模型确定所述语料数据集的目标提示词。

37、第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

38、根据语料数据集确定验证数据集,根据所述验证数据集建立目标逻辑分类器;

39、根据所述验证数据集确定候选标签词语,并通过所述目标逻辑分类器对所述候选标签词语进行筛选,确定目标标签词语;

40、根据所述目标标签词语对所述语料数据集进行更新,确定更新数据集,并根据所述更新数据集确定训练数据集;

41、根据所述训练数据集,通过大语言模型确定所述语料数据集的目标提示词。

42、上述提示词的确定方法、装置、计算机设备以及存储介质,根据语料数据集确定验证数据集,根据验证数据集建立目标逻辑分类器;根据验证数据集确定目标标签词语,并通过目标逻辑分类器对目标标签词语进行筛选,确定目标标签词语;根据目标标签词语对语本文档来自技高网...

【技术保护点】

1.一种提示词的确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述训练数据集,通过大语言模型确定所述语料数据集的目标提示词,包括:

3.根据权利要求2所述的方法,其特征在于,通过大语言模型,根据所述第一训练集确定候选提示词,包括:

4.根据权利要求2所述的方法,其特征在于,通过所述大语言模型,根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率,包括:

5.根据权利要求2所述的方法,其特征在于,根据所述提示词准确率从所述候选提示词中确定目标提示词,包括:

6.根据权利要求1所述的方法,其特征在于,根据语料数据集确定验证数据集,根据所述验证数据集建立目标逻辑分类器,包括:

7.根据权利要求1所述的方法,其特征在于,根据所述验证数据集确定候选标签词语,并通过所述目标逻辑分类器对所述候选标签词语进行筛选,确定目标标签词语,包括:

8.一种提示词的确定装置,其特征在于,所述提示词的确定装置包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种提示词的确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述训练数据集,通过大语言模型确定所述语料数据集的目标提示词,包括:

3.根据权利要求2所述的方法,其特征在于,通过大语言模型,根据所述第一训练集确定候选提示词,包括:

4.根据权利要求2所述的方法,其特征在于,通过所述大语言模型,根据所述候选提示词和所述第二训练集确定所述候选提示词的提示词准确率,包括:

5.根据权利要求2所述的方法,其特征在于,根据所述提示词准确率从所述候选提示词中确定目标提示词,包括:

6.根据权利要求1所述的方法,其特征在于,根据语料数据集确定验证数...

【专利技术属性】
技术研发人员:娄坚姚宏伟秦湛任奎
申请(专利权)人:浙江大学杭州国际科创中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1