System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于知识图谱的知识检索方法、装置、设备及存储介质制造方法及图纸_技高网

基于知识图谱的知识检索方法、装置、设备及存储介质制造方法及图纸

技术编号:40606800 阅读:7 留言:0更新日期:2024-03-12 22:13
本申请公开了一种基于知识图谱的知识检索方法、装置、设备及存储介质,涉及深度学习领域,应用于大语言模型,包括:基于预设知识图谱设置若干知识图谱节点,并在知识图谱节点中保存知识向量、身份向量和转移矩阵;获取输入向量,并基于转移矩阵和输入向量映射出查询向量;判断当前知识检索是否为首轮知识检索,若不是,则确定上一轮的第一知识图谱节点,并基于第一知识图谱节点和查询向量根据预设节点召回规则进行节点召回,得到若干第二知识图谱节点;基于若干第二知识图谱节点生成大语言模型的输出向量。通过结合知识图谱和大语言模型,让大语言模型中的知识分散在知识图谱的节点中,提升训练和检索的效率。

【技术实现步骤摘要】

本专利技术涉及深度学习领域,特别涉及一种基于知识图谱的知识检索方法、装置、设备及存储介质


技术介绍

1、知识图谱中存储的是高级抽象的知识(在知识图谱中叫做“实体”),以及知识之间的关联(在知识图谱中叫做“关系”),以实现“从一个知识检索出相关知识”的功能,这种检索方式无疑是最高效的。但是,知识图谱的构建极其麻烦,多数都是半自动的方式去实现构建。因此,如何将大语言模型的知识,抽象成知识图谱中的实体,并自动的去构建知识和知识之间的关系,以提升知识检索的效率,是本领域有待解决的问题。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种基于知识图谱的知识检索方法、装置、设备及存储介质,将知识图谱和大语言模型这两种技术结合在一起,让大语言模型中的知识能够分散在知识图谱的节点中,以提升训练和检索的效率。其具体方案如下:

2、第一方面,本申请提供了一种基于知识图谱的知识检索方法,应用于大语言模型,包括:

3、基于预设知识图谱设置若干知识图谱节点,并在所述知识图谱节点中保存预设的知识向量、身份向量和转移矩阵;所述身份向量用于表示所述知识图谱节点对应的身份,以便通过查询向量检索所述知识图谱节点;

4、获取输入所述大语言模型的输入向量,并基于所述转移矩阵和所述输入向量映射出所述查询向量;

5、判断当前知识检索是否为首轮知识检索,若不是,则确定上一轮检索出的第一知识图谱节点,并基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,得到若干第二知识图谱节点;

6、基于若干所述第二知识图谱节点生成所述大语言模型的输出向量。

7、可选的,所述在所述知识图谱节点中保存预设的知识向量、身份向量和转移矩阵之前,还包括:

8、根据所述知识图谱节点生成对应的低秩矩阵和满秩矩阵,并将所述低秩矩阵和所述满秩矩阵作为若干所述知识图谱节点的所述转移矩阵;

9、相应的,所述基于所述转移矩阵和所述输入向量映射出所述查询向量,包括:

10、通过所述满秩矩阵和所述输入向量映射出所述查询向量。

11、可选的,所述根据所述知识图谱节点生成对应的低秩矩阵和满秩矩阵,包括:

12、根据若干所述知识图谱节点生成相同数量的所述低秩矩阵和一个所述满秩矩阵,以通过所述低秩矩阵结合所述满秩矩阵进行所述知识图谱节点的节点控制。

13、可选的,所述基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,包括:

14、基于所述查询向量和所述第一知识图谱节点确定当前轮次的目标查询向量,并将所述目标查询向量和所述第一知识图谱节点的所述身份向量进行点积运算,得到若干第三知识图谱节点的关注程度;

15、根据所述第三知识图谱节点的所述关注程度和所述查询向量根据所述预设节点召回规则进行节点召回。

16、可选的,所述基于所述查询向量和所述第一知识图谱节点确定当前轮次的目标查询向量,包括:

17、通过每个所述第一知识图谱节点对应的所述关注程度和所述低秩矩阵确定当前轮次的所述目标查询向量。

18、可选的,所述基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,得到若干第二知识图谱节点,包括:

19、根据所述第三知识图谱节点的所述关注程度对若干所述第三知识图谱节点进行排序;

20、基于对所述第三知识图谱节点进行排序后的排序结果根据所述预设节点召回规则召回所述第二知识图谱节点;所述第二知识图谱节点的节点数量和所述第一知识图谱节点的节点数量相同。

21、可选的,所述基于若干所述第二知识图谱节点生成所述大语言模型的输出向量,包括:

22、根据预设计算规则通过若干所述第二知识图谱节点和所述第二知识图谱节点对应的所述知识向量得到合并向量,并将所述合并向量和所述输入向量进行求和得到所述大语言模型的所述输出向量。

23、第二方面,本申请提供了一种基于知识图谱的知识检索装置,包括:

24、节点设置模块,用于基于预设知识图谱设置若干知识图谱节点,并在所述知识图谱节点中保存预设的知识向量、身份向量和转移矩阵;所述身份向量用于表示所述知识图谱节点对应的身份,以便通过查询向量检索所述知识图谱节点;

25、向量映射模块,用于获取输入所述大语言模型的输入向量,并基于所述转移矩阵和所述输入向量映射出所述查询向量;

26、节点召回模块,用于判断当前知识检索是否为首轮知识检索,若不是,则确定上一轮检索出的第一知识图谱节点,并基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,得到若干第二知识图谱节点;

27、向量生成模块,用于基于若干所述第二知识图谱节点生成所述大语言模型的输出向量。

28、第三方面,本申请提供了一种电子设备,所述电子设备包括处理器和存储器;其中,所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现前述的基于知识图谱的知识检索方法。

29、第四方面,本申请提供了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述的基于知识图谱的知识检索方法。

30、本申请基于预设知识图谱设置若干知识图谱节点,并在所述知识图谱节点中保存预设的知识向量、身份向量和转移矩阵;所述身份向量用于表示所述知识图谱节点对应的身份,以便通过查询向量检索所述知识图谱节点;获取输入所述大语言模型的输入向量,并基于所述转移矩阵和所述输入向量映射出所述查询向量;判断当前知识检索是否为首轮知识检索,若不是,则确定上一轮检索出的第一知识图谱节点,并基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,得到若干第二知识图谱节点;基于若干所述第二知识图谱节点生成所述大语言模型的输出向量。这样一来,构建出一种大语言模型,将知识图谱和大语言模型这两种技术结合在一起,让大语言模型中的知识能够分散在知识图谱的节点中,不再需要大量的知识共享相同的ffn(position-wise feed-forward networks,前馈神经网络)参数,提高了训练和知识检索的效率。

本文档来自技高网...

【技术保护点】

1.一种基于知识图谱的知识检索方法,其特征在于,应用于大语言模型,包括:

2.根据权利要求1所述的基于知识图谱的知识检索方法,其特征在于,所述在所述知识图谱节点中保存预设的知识向量、身份向量和转移矩阵之前,还包括:

3.根据权利要求2所述的基于知识图谱的知识检索方法,其特征在于,所述根据所述知识图谱节点生成对应的低秩矩阵和满秩矩阵,包括:

4.根据权利要求2或3所述的基于知识图谱的知识检索方法,其特征在于,所述基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,包括:

5.根据权利要求4所述的基于知识图谱的知识检索方法,其特征在于,所述基于所述查询向量和所述第一知识图谱节点确定当前轮次的目标查询向量,包括:

6.根据权利要求5所述的基于知识图谱的知识检索方法,其特征在于,所述基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,得到若干第二知识图谱节点,包括:

7.根据权利要求6所述的基于知识图谱的知识检索方法,其特征在于,所述基于若干所述第二知识图谱节点生成所述大语言模型的输出向量,包括:

8.一种基于知识图谱的知识检索装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;其中,所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的基于知识图谱的知识检索方法。

10.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于知识图谱的知识检索方法。

...

【技术特征摘要】

1.一种基于知识图谱的知识检索方法,其特征在于,应用于大语言模型,包括:

2.根据权利要求1所述的基于知识图谱的知识检索方法,其特征在于,所述在所述知识图谱节点中保存预设的知识向量、身份向量和转移矩阵之前,还包括:

3.根据权利要求2所述的基于知识图谱的知识检索方法,其特征在于,所述根据所述知识图谱节点生成对应的低秩矩阵和满秩矩阵,包括:

4.根据权利要求2或3所述的基于知识图谱的知识检索方法,其特征在于,所述基于所述第一知识图谱节点和所述查询向量根据预设节点召回规则进行节点召回,包括:

5.根据权利要求4所述的基于知识图谱的知识检索方法,其特征在于,所述基于所述查询向量和所述第一知识图谱节点确定当前轮次的目标查询向量,包括:

6.根据权利要求5所述的基于知识...

【专利技术属性】
技术研发人员:严宇刘伟华马金民刘磊
申请(专利权)人:智慧眼科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1