System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种对大语言模型的生成文本进行校对的处理方法和装置制造方法及图纸_技高网

一种对大语言模型的生成文本进行校对的处理方法和装置制造方法及图纸

技术编号:41062804 阅读:2 留言:0更新日期:2024-04-24 11:15
本发明专利技术实施例涉及一种对大语言模型的生成文本进行校对的处理方法和装置,所述方法包括:步1构建知识图谱和检索模型;步2在处理智能问答任务时接收第一文本;步3将第一文本输入检索模型进行知识检索生成知识文句集合;步4将第一文本输入大语言模型进行文本生成任务处理得到生成文本;步5对生成文本进行三元语法文句转换得到转换文句集合;步6根据知识文句集合对转换文句集合进行文本内容正确性检验;步7检验失败时将第一文本和知识文句集合输入大语言模型进行文本生成任务处理得到新的生成文本并返回步5;步8检验成功时将最新的生成文本作为校对后的最终生成文本向用户反馈。通过本发明专利技术可以提高大语言模型的输出准确性。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别涉及一种对大语言模型的生成文本进行校对的处理方法和装置


技术介绍

1、在自然语言处理(nature language process,nlp)领域中,大语言模型(largelanguage models,llm)逐渐成熟并且拥有广阔的应用前景,智能问答场景就是其中一个应用场景。应用在智能问答场景之前预先会通过海量数据集对大语言模型完成预训练,再将完成预训练的大语言模型作为智能问答的文本生成引擎来处理智能问答任务。基于大语言模型强大的语言处理能力,将其应用在智能问答场景无疑会大大提高各项智能问答任务的处理效率。但大语言模型的幻觉(hallucination)问题也会给智能问答任务带来困扰,即大语言模型生成文本的文本信息有可能并非真实或正确的文本信息。


技术实现思路

1、本专利技术的目的,就是针对现有技术的缺陷,提供一种对大语言模型的生成文本进行校对的处理方法、装置、电子设备及计算机可读存储介质;本专利技术预先构建一个可对大语言模型的生成文本进行校对的第一知识图谱,并为该第一知识图谱配置一个对应的第一知识图谱检索模型;随后在每次基于大语言模型处理智能问答任务时,先由第一知识图谱检索模型根据用户输入的第一文本从第一知识图谱上检索出一系列相关知识并组成对应的第一知识文句集合;再将第一文本输入大语言模型进行不带上下文参考信息的答案文本生成任务处理从而得到对应的第一生成文本;再由第一知识文句集合对第一生成文本进行文本内容正确性检验;若检验成功,则将当前生成的第一生成文本作为最终生成文本向用户反馈;若检验失败则再将第一文本和第一知识文句集合输入大语言模型进行带有下文参考信息的答案文本生成任务处理从而得到新的第一生成文本、并继续由第一知识文句集合对新的第一生成文本进行文本内容正确性检验、若再一次检验失败则继续将第一文本和第一知识文句集合输入大语言模型进行带有下文参考信息的答案文本生成任务处理直到大语言模型最新输出的第一生成文本的文本内容正确性检验成功为止,并将最后正确性检验成功的第一生成文本作为校对后的最终生成文本向用户反馈。通过本专利技术可以基于一个内容正确无误的知识图谱对大语言模型的生成文本进行正确性校对并对最终生成文本的正确性进行保障,由此就能解决由大语言模型的幻觉问题造成的模型生成文本正确性可疑的技术缺陷,达到提高大语言模型输出准确性的目的。

2、为实现上述目的,本专利技术实施例第一方面提供了一种对大语言模型的生成文本进行校对的处理方法,所述方法包括:

3、步骤1,构建第一知识图谱和第一知识图谱检索模型;

4、步骤2,在处理智能问答任务时,接收第一用户输入的文本内容作为对应的第一文本;

5、步骤3,并将所述第一文本输入所述第一知识图谱检索模型;并由所述第一知识图谱检索模型根据所述第一文本对所述第一知识图谱进行知识检索处理生成对应的第一知识文句集合;所述第一知识文句集合包括多个第一知识文句;所述第一知识文句的语法格式为主谓宾三元语法格式,所述第一知识文句包括第一主语、第一谓语和第一宾语;

6、步骤4,并将所述第一文本输入预设的第一大语言模型;并由所述第一大语言模型将所述第一文本作为对应的第一输入问题文本,并根据所述第一输入问题文本进行不带上下文参考信息的答案文本生成任务处理生成对应的第一生成文本;

7、步骤5,并按主谓宾三元语法格式对所述第一生成文本进行三元语法文句转换处理生成对应的第一转换文句集合;所述第一转换文句集合包括多个第一转换文句;所述第一转换文句的语法格式为主谓宾三元语法格式,所述第一转换文句包括第二主语、第二谓语和第二宾语;

8、步骤6,并根据所述第一知识文句集合对所述第一转换文句集合进行文本内容正确性检验处理生成对应的第一检验结果;所述第一检验结果包括检验成功和检验失败;

9、步骤7,并在所述第一检验结果为检验失败时,将所述第一文本和所述第一知识文句集合输入所述第一大语言模型;并由所述第一大语言模型将所述第一文本作为新的所述第一输入问题文本、将所述第一知识文句集合作为对应的第一上下文参考文本,并根据新的所述第一输入问题文本和所述第一上下文参考文本进行带有上下文参考信息的答案文本生成任务处理生成新的所述第一生成文本;并返回步骤5;

10、步骤8,并在所述第一检验结果为检验成功时,将最新的所述第一生成文本作为校对后的最终生成文本向所述第一用户反馈。

11、优选的,所述第一知识图谱包括第一节点集合和第一节点边集合;

12、所述第一节点集合包括多个第一节点;每个所述第一节点对应一个知识点实体;每个所述第一节点的节点属性至少包括第一节点标识、第一实体名称和第一实体特征向量;所述第一节点标识为一个唯一的节点标识码;所述第一实体名称为对应的所述知识点实体的实体名称文本;所述第一实体名称的语法格式为名词或名词短语;所述第一实体特征向量为对应的所述第一实体名称的文本特征向量;

13、所述第一节点边集合包括多个第一节点边;每个所述第一节点边都是一个有向节点边;每个所述第一节点边连接两个所述第一节点,分别记为对应的第一起始节点和第一结束节点;每个所述第一节点边的边属性至少包括第一节点边标识、第一起始节点标识、第一结束节点标识和第一节点边关联关系;所述第一节点边标识为一个唯一的节点边标识码;所述第一起始节点标识和所述第一结束节点标识分别为对应的所述第一起始节点和所述第一结束节点的所述第一节点标识;所述第一节点边关联关系用于标记对应的所述第一起始节点与所述第一结束节点的节点关联关系;所述第一节点边关联关系的语法格式为单谓语格式或谓语短语格式;

14、所述第一知识图谱检索模型包括第一文本实体提取模块、第一编码模块、第一检索模块和第一文句组装模块;所述第一文本实体提取模块与所述第一编码模块连接,所述第一编码模块与所述第一检索模块连接;所述第一检索模块还与所述第一知识图谱连接。

15、优选的,所述由所述第一知识图谱检索模型根据所述第一文本对所述第一知识图谱进行知识检索处理生成对应的第一知识文句集合,具体包括:

16、由所述第一文本实体提取模块基于预设的实体名称提取规则对所述第一文本进行实体名称提取处理得到对应的一个或多个提取实体名称;并由得到的所有所述提取实体名称组成对应的提取实体名称序列向所述第一编码模块发送;

17、并由所述第一编码模块对所述提取实体名称序列中的各个所述提取实体名称进行文本特征编码处理生成对应的第一文本特征向量;并由得到的所有所述第一文本特征向量组成对应的第一文本特征张量向所述第一检索模块发送;所述第一编码模块使用的文本特征向量编码算法与所述第一知识图谱中使用的实体特征向量编码算法保持一致;

18、并由所述第一检索模块对所述第一文本特征张量中的各个所述第一文本特征向量进行遍历;并在遍历时,将当前遍历的所述第一文本特征向量作为对应的当前文本特征向量;并对所述第一知识图谱的各个所述第一节点的所述第一实体特征向本文档来自技高网...

【技术保护点】

1.一种对大语言模型的生成文本进行校对的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,

3.根据权利要求2所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,所述由所述第一知识图谱检索模型根据所述第一文本对所述第一知识图谱进行知识检索处理生成对应的第一知识文句集合,具体包括:

4.根据权利要求2所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,

5.根据权利要求1所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,所述按主谓宾三元语法格式对所述第一生成文本进行三元语法文句转换处理生成对应的第一转换文句集合,具体包括:

6.根据权利要求1所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,所述根据所述第一知识文句集合对所述第一转换文句集合进行文本内容正确性检验处理生成对应的第一检验结果,具体包括:

7.根据权利要求6所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,所述基于本次获得的所有所述一、二类知识文句对所述当前转换文句进行文句正确性检验得到对应的第一文句检验结果,具体包括:

8.一种用于执行权利要求1-7任一项所述的对大语言模型的生成文本进行校对的处理方法的装置,其特征在于,所述装置包括:知识图谱与检索模型准备模块、文本接收模块、检索模型处理模块、一次大语言模型处理模块、转换文句处理模块、文本正确性检验模块、二次大语言模型处理模块和文本输出模块;

9.一种电子设备,其特征在于,包括:存储器、处理器和收发器;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行权利要求1-7任一项所述的方法。

...

【技术特征摘要】

1.一种对大语言模型的生成文本进行校对的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,

3.根据权利要求2所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,所述由所述第一知识图谱检索模型根据所述第一文本对所述第一知识图谱进行知识检索处理生成对应的第一知识文句集合,具体包括:

4.根据权利要求2所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,

5.根据权利要求1所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,所述按主谓宾三元语法格式对所述第一生成文本进行三元语法文句转换处理生成对应的第一转换文句集合,具体包括:

6.根据权利要求1所述的对大语言模型的生成文本进行校对的处理方法,其特征在于,所述根据所述第一知识文句集合对所述第一转换文句集合进...

【专利技术属性】
技术研发人员:蔡恒兴高志锋张林峰孙伟杰
申请(专利权)人:北京深势科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1