一种知识图谱增强提示词生成方法、装置、设备及介质制造方法及图纸

技术编号:44394552 阅读:12 留言:0更新日期:2025-02-25 10:08
本申请公开了一种知识图谱增强提示词生成方法、装置、设备及介质,涉及大语言模型技术领域,该方法包括将从知识图谱中检索出来的知识构造成思维导图的形式,通过提示大语言模型将知识在不同的组织形式间进行一轮或者两轮转换的多种方式,最后生成思维导图形式的多条候选知识提示词,并对这些候选提示词进行评分,选出每条训练数据对应的最优提示词组成伪提示数据集,用该伪提示数据集微调一个大语言模型作为知识提示优化器,微调后的知识提示优化器可根据输入和相关知识生成适应大语言模型的知识提示词,充分激发大语言模型的推理能力。

【技术实现步骤摘要】

本申请涉及大语言模型,特别是涉及一种知识图谱增强提示词生成方法、装置、设备及介质


技术介绍

1、大语言模型已被广泛应用于各垂直领域的问答任务上。但是,由于大语言模型缺乏事实知识,会产生幻觉,即生成错误的或者不真实的回答。基于知识图谱增强的提示技术是指在提示词中加入从外部知识图谱中检索出来的与输入相关的知识信息,让大语言模型基于结合外部知识的提示词生成输出,从而减轻幻觉。提示词的构造模式和优化技术多种多样,而大语言模型对提示词是十分敏感的,提示词结构和内容的细微修改会显著地影响大语言模型生成的结果。因此,如何有效地组织从知识图谱中检索出来的知识,生成知识图谱增强提示词,最大程度地激发大语言模型完成垂直领域问答的能力是目前需要解决的技术问题。

2、现有的提示词中知识部分的组织方法包括将知识转换成无序的三元组序列形式、知识路径形式以及自然语言文本形式。然而现有的提示词中知识部分的组织方法只能呈现较为单一的推理过程,在激发大语言模型推理能力上具有局限性。


技术实现思路

1、本申请的目的是提供一种知识图谱增强提示词生成方法、装置、设备及介质,可提高大语言模型在垂直领域问答任务上的推理能力。

2、为实现上述目的,本申请提供了如下方案:

3、第一方面,本申请提供了一种知识图谱增强提示词生成方法,包括:

4、获取样本输入文本;

5、对所述样本输入文本进行实体识别,得到关键实体提及集合;所述关键实体提及集合包括若干关键实体提及;关键实体提及为目标领域关键词;

6、对所述关键实体提及集合和目标领域知识图谱中的所有目标领域实体进行实体链接,确定实体对应组集合;每一实体对应组集合包括若干实体对应组,每一实体对应组包括一关键实体提及和一目标领域实体;

7、基于所述目标领域知识图谱,利用实体对应组集合确定所述样本输入文本对应的有向路径组成知识路径集合;有向路径组成知识路径集合中的两个端点实体均为实体对应组集合中的目标领域实体;

8、对于训练数据集中每一第一训练样本,利用第一大语言模型生成所述第一训练样本对应的知识候选提示词集合;知识候选提示词集合包括若干思维导图;每一所述第一训练样本包括样本输入文本、所述样本输入文本对应的有向路径组成知识路径集合以及所述样本输入文本对应的标准答案;

9、对于每一样本输入文本,根据所述样本输入文本所在第一训练样本对应的知识候选提示词集合确定所述样本输入文本对应的最终候选知识提示词;

10、采用伪提示训练数据集对第二大语言模型进行训练,得到知识提示优化器;伪提示训练数据集包括若干第二训练样本,每一第二训练样本包括样本输入文本、所述样本输入文本对应的最终候选知识提示词以及所述样本输入文本对应的标准答案;

11、采用知识提示优化器生成知识提示词。

12、第二方面,本申请提供了一种知识图谱增强提示词生成装置,包括:

13、文本获取模块,用于:获取样本输入文本;

14、实体识别模块,用于:对所述样本输入文本进行实体识别,得到关键实体提及集合;所述关键实体提及集合包括若干关键实体提及;关键实体提及为目标领域关键词;

15、实体链接模块,用于:对所述关键实体提及集合和目标领域知识图谱中的所有目标领域实体进行实体链接,确定实体对应组集合;每一实体对应组集合包括若干实体对应组,每一实体对应组包括一关键实体提及和一目标领域实体;

16、路径检索模块,用于:基于所述目标领域知识图谱,利用实体对应组集合确定所述样本输入文本对应的有向路径组成知识路径集合;有向路径组成知识路径集合中的两个端点实体均为实体对应组集合中的目标领域实体;

17、知识候选提示词集合生成模块,用于:对于训练数据集中每一第一训练样本,利用第一大语言模型生成所述第一训练样本对应的知识候选提示词集合;知识候选提示词集合包括若干思维导图;每一所述第一训练样本包括样本输入文本、所述样本输入文本对应的有向路径组成知识路径集合以及所述样本输入文本对应的标准答案;

18、最终候选知识提示词确定模块,用于:对于每一样本输入文本,根据所述样本输入文本所在第一训练样本对应的知识候选提示词集合确定所述样本输入文本对应的最终候选知识提示词;

19、训练模块,用于:采用伪提示训练数据集对第二大语言模型进行训练,得到知识提示优化器;伪提示训练数据集包括若干第二训练样本,每一第二训练样本包括样本输入文本、所述样本输入文本对应的最终候选知识提示词以及所述样本输入文本对应的标准答案;

20、知识提示词生成模块,用于:采用知识提示优化器生成知识提示词。

21、第三方面,本申请提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述知识图谱增强提示词生成方法。

22、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述知识图谱增强提示词生成方法。

23、根据本申请提供的具体实施例,本申请公开了以下技术效果:

24、本申请提供了一种知识图谱增强提示词生成方法、装置、设备及介质,识别输入中的关键实体提及,并根据关键实体提及与目标领域知识图谱中目标领域实体的嵌入相似度,将每一个关键实体提及链接到具体目标领域实体;然后,在目标领域知识图谱上检索出所有目标领域实体间的有向路径;接着,通过一轮和两轮提示大语言模型将检索出来的知识路径在不同形式间进行转换,最终生成多条思维导图形式的候选知识提示词,并使用这些候选提示词来提示大语言模型输出答案,根据输出答案与标准答案之间的嵌入相似度选出得分最高的提示词组成伪提示训练数据集,最后,用伪提示训练数据集来微调另一个大语言模型得到一个知识提示优化器。训练后的知识提示优化器可根据输入和检索出的相关知识路径生成有效思维导图形式的知识提示词。本申请采用思维导图的复杂形式组织提示中的知识部分,超越了知识路径、自然语言文本的提示能力,使大语言模型的推理更接近人类的思考方式,更大程度地激发大语言模型在垂直领域问答任务上的推理能力。

本文档来自技高网...

【技术保护点】

1.一种知识图谱增强提示词生成方法,其特征在于,所述知识图谱增强提示词生成方法包括:

2.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,对所述样本输入文本进行实体识别,得到关键实体提及集合,具体包括:

3.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,对所述关键实体提及集合和目标领域知识图谱中的所有目标领域实体进行实体链接,确定实体对应组集合,具体包括:

4.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,基于所述目标领域知识图谱,利用实体对应组集合确定所述样本输入文本对应的有向路径组成知识路径集合,具体包括:

5.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,利用第一大语言模型生成所述第一训练样本对应的知识候选提示词集合,具体包括:

6.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,根据所述样本输入文本所在第一训练样本对应的知识候选提示词集合确定所述样本输入文本对应的最终候选知识提示词,具体包括:

7.根据权利要求6所述的知识图谱增强提示词生成方法,其特征在于,根据所述标准答案嵌入编码和每一所述思维导图对应的输出回答嵌入编码确定最终思维导图,具体包括:

8.一种知识图谱增强提示词生成装置,其特征在于,所述知识图谱增强提示词生成装置包括:

9.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的知识图谱增强提示词生成方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-7中任一项所述的知识图谱增强提示词生成方法。

...

【技术特征摘要】

1.一种知识图谱增强提示词生成方法,其特征在于,所述知识图谱增强提示词生成方法包括:

2.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,对所述样本输入文本进行实体识别,得到关键实体提及集合,具体包括:

3.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,对所述关键实体提及集合和目标领域知识图谱中的所有目标领域实体进行实体链接,确定实体对应组集合,具体包括:

4.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,基于所述目标领域知识图谱,利用实体对应组集合确定所述样本输入文本对应的有向路径组成知识路径集合,具体包括:

5.根据权利要求1所述的知识图谱增强提示词生成方法,其特征在于,利用第一大语言模型生成所述第一训练样本对应的知识候选提示词集合,具体包括:

6.根据权利要求1所述的知识图...

【专利技术属性】
技术研发人员:李梦瑶赵俊峰姜丽红
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1