一种基于知识图谱增强思维链提示的大语言模型联合推理方法技术

技术编号:43338135 阅读:19 留言:0更新日期:2024-11-15 20:33
本发明专利技术属于自然语言推理相关技术领域,其公开了一种基于知识图谱增强思维链提示的大语言模型联合推理方法,包括:构建局部知识子图,将原始问题文本分解为S个子问题文本并对原始问题文本和S个子问题文本进行拼接,将拼接后的问题文本输入图推理模型,得到加权实体分布,从加权实体分布中抽取置信度最高的前G个答案实体,利用推理转移矩阵回溯各答案实体的推理过程,生成从问题实体到对应的答案实体的推理路径,利用推理路径辅助大语言模型预测原始问题文本的答案。通过以上方法,可以使得大语言模型能够快速准确地找到问题文本的答案。

【技术实现步骤摘要】

本专利技术属于自然语言推理相关,更具体地,涉及一种基于知识图谱增强思维链提示的大语言模型联合推理方法


技术介绍

1、大语言模型的知识增强是自然语言处理领域一个非常重要的任务。随着大规模预训练语言模型的发展,传统依赖参数知识的静态推理模式在处理知识密集型任务时容易受到幻觉的影响,输出存在事实性错误的回答。

2、为了解决大语言模型黑盒特性引发的幻觉问题,接入外部知识图谱是一种有效的解决手段。知识图谱中存储着结构化的知识三元组可以为大语言模型推理提供关联信息和背景知识,即此提升推理的准确性和可解释性。然而,由于数据结构差异,大语言模型难以直接检索并利用结构化的知识图谱。因此,知识图谱增强大语言模型任务被提出,其目的是提供有效的结构化知识检索和大语言模型增强方法,确保大语言模型可以有效的利用结构化外部知识,生成准确、可靠的自然语言回答。

3、目前通常利用可插拔的检索增强方法实现大语言模型的知识增强。但是,大语言模型的知识增强面临着如下问题:

4、(1)由于大语言模型的参数规模巨大、训练成本高昂,不会经常对其进行训练,因此模型内本文档来自技高网...

【技术保护点】

1.一种基于知识图谱增强思维链提示的大语言模型联合推理方法,其特征在于,包括:

2.如权利要求1所述的大语言模型联合推理方法,其特征在于,所述图推理模型为经过训练所得,训练方法包括:

3.如权利要求1所述的大语言模型联合推理方法,其特征在于,在所述实体分布输出模块中,所述将所有阶段的实体分布进行加权求和,包括:

4.如权利要求1所述的大语言模型联合推理方法,其特征在于,第t个所述交叉注意力模块计算所述p的交叉注意力表示的过程包括:

5.如权利要求1所述的大语言模型联合推理方法,其特征在于,所述关系分布矩阵Rt包含知识图谱中所有实体中两两之间...

【技术特征摘要】

1.一种基于知识图谱增强思维链提示的大语言模型联合推理方法,其特征在于,包括:

2.如权利要求1所述的大语言模型联合推理方法,其特征在于,所述图推理模型为经过训练所得,训练方法包括:

3.如权利要求1所述的大语言模型联合推理方法,其特征在于,在所述实体分布输出模块中,所述将所有阶段的实体分布进行加权求和,包括:

4.如权利要求1所述的大语言模型联合推理方法,其特征在于,第t个所述交叉注意力模块计算所述p的交叉注意力表示的过程包括:

5.如权利要求1所述的大语言模型联合推理方法,其特征在于,所述关系分布矩阵rt包含知识图谱中所有实体中两两之间有向连接边的置信度,rt中的第k个元素表示知识图谱中索引为k的连接边的置信度;

6.如权利要求1所述的...

【专利技术属性】
技术研发人员:赵峰赵瑞麟王隆
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1