System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种解决法律大语言模型的幻觉问题的方法及系统技术方案_技高网

一种解决法律大语言模型的幻觉问题的方法及系统技术方案

技术编号:40769082 阅读:3 留言:0更新日期:2024-03-25 20:18
本发明专利技术公开一种解决法律大语言模型的幻觉问题的方法,包括如下步骤S1:基于大语言模型对向其输入的初始问题,生成初始答案;S2:将初始问题和初始答案组成提示词,再输入至大语言模型中,以生成与初始问题和初始答案相关的若干个验证问题;S3:将基于S2获取的验证问题输入至大语言模型,生成验证问题的验证答案;S4:检测S3得到的验证答案与S1得到的初始答案是否相符合,并依据检测的结果,判断初始答案是否准确,若初始答案不准确,则对其进行修正。本发明专利技术基于一种利用验证链提示词的方法,通过强制模型在生成大语言模型的每个断言时,提供证据链,从而降低幻觉发生的概率。

【技术实现步骤摘要】

本专利技术涉及自然语言处理和机器学习的,尤其涉及一种解决法律大语言模型的幻觉问题的方法及系统


技术介绍

1、随着大数据和人工智能的发展,大型语言模型在众多领域得到了广泛应用,包括生成文本、问答系统、文本摘要等。但随着模型的规模增大,幻觉问题也越来越严重。幻觉问题指的是大模型在生成文本时,常会产生看似有逻辑,但实际上无法站得住脚的答案。这类现象在法律语言模型应用中尤为明显,在律师咨询、法律文书生成等场景下,模型给出的答案往往以偏概全,或者基于错误的推理,导致了大量虚假信息的产生。而现有的解决方案大多依赖于模型的训练数据,但未能从源头上解决幻觉问题。


技术实现思路

1、本专利技术的目的是提供一种解决法律大语言模型的幻觉问题的方法及系统,其是基于一种利用验证链提示词的方法,通过强制模型在生成大语言模型的每个断言时,提供证据链,从而降低幻觉发生的概率。

2、为实现上述目的,采用以下技术方案:

3、一种解决法律大语言模型的幻觉问题的方法,包括如下步骤

4、s1:基于大语言模型对向其输入的初始问题,生成初始答案;

5、s2:将初始问题和初始答案组成提示词,再输入至大语言模型中,以生成与初始问题和初始答案相关的若干个验证问题;

6、s3:将基于s2获取的验证问题输入至大语言模型,生成验证问题的验证答案;

7、s4:检测s3得到的验证答案与s1得到的初始答案是否相符合,并依据检测的结果,判断初始答案是否准确,若初始答案不准确,则对其进行修正。

8、进一步的,所述s2中是采用few shots prompt算法,生成与初始问题和初始答案相关的若干个验证问题。

9、进一步的,所述s3中,大语言模型是采用检索增强算法,结合搜索引擎及大语言模型自身的判断,生成验证问题的验证答案。

10、进一步的,所述检索增强算法包括指令意图理解模型,用于理解用户的搜索意图,在这个模型中,会将用户的搜索任务细分为16个独立的类别,同时,通过构造特定的输入提示,以生成符合用户期望的输出。

11、进一步的,所述检索增强算法还包括搜索结果模型,用于优化和提高搜索结果的相关性。

12、进一步的,在搜索结果模型中,包括

13、搜索结果相关性模型,用于对从搜索内容和知识库中获取的信息进行相关性评分;

14、奖励模型,用于在强化学习训练阶段进一步优化指令意图理解模型;

15、rlhf模型,用于搜索结果的训练和优化。

16、进一步的,所述s4中对初始答案进行修正包括更换或重新生成回答、删除误导性信息、调整模型参数。

17、进一步的,还包括步骤s5:利用修正的信息改进初始答案。

18、进一步的,所述s5具体为:将大语言模型在回答初始问题的对话过程中的上下文,组成提示词的语料,并加上初始问题一起再输送给大语言模型,以生成最终的答案,其中,提示词包括需要添加的内容,或需要删除的内容,或需要重新表述的内容。

19、一种解决法律大语言模型的幻觉问题的系统,包括处理器、存储器、输入输出接口;所述处理器分别与存储器和输入输出接口相连,其中,所述输入输出接口用于接收数据及输出数据,所述存储器用于存储计算机程序,所述处理器用于调用计算机程序,以使得计算机设备执行上述的方法。

20、采用上述方案,本专利技术的有益效果是:

21、本专利技术采用一种自我验证的方式,使得模型在回答问题时,必须提供支持其问题的证据链,进而有效地解决了大型语言模型的幻觉问题,提高了模型生成回答的准确率和可靠性。

本文档来自技高网...

【技术保护点】

1.一种解决法律大语言模型的幻觉问题的方法,其特征在于,包括如下步骤S1:基于大语言模型对向其输入的初始问题,生成初始答案;

2.根据权利要求1所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述S2中是采用few shots prompt算法,生成与初始问题和初始答案相关的若干个验证问题。

3.根据权利要求1所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述S3中,大语言模型是采用检索增强算法,结合搜索引擎及大语言模型自身的判断,生成验证问题的验证答案。

4.根据权利要求3所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述检索增强算法包括指令意图理解模型,用于理解用户的搜索意图,在这个模型中,会将用户的搜索任务细分为16个独立的类别,同时,通过构造特定的输入提示,以生成符合用户期望的输出。

5.根据权利要求4所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述检索增强算法还包括搜索结果模型,用于优化和提高搜索结果的相关性。

6.根据权利要求5所述的解决法律大语言模型的幻觉问题的方法,其特征在于,在搜索结果模型中,包括

7.根据权利要求1所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述S4中对初始答案进行修正包括更换或重新生成回答、删除误导性信息、调整模型参数。

8.根据权利要求1所述的解决法律大语言模型的幻觉问题的方法,其特征在于,还包括步骤S5:利用修正的信息改进初始答案。

9.根据权利要求8所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述S5具体为:将大语言模型在回答初始问题的对话过程中的上下文,组成提示词的语料,并加上初始问题一起再输送给大语言模型,以生成最终的答案,其中,提示词包括需要添加的内容,或需要删除的内容,或需要重新表述的内容。

10.一种解决法律大语言模型的幻觉问题的系统,其特征在于,包括处理器、存储器、输入输出接口;所述处理器分别与存储器和输入输出接口相连,其中,所述输入输出接口用于接收数据及输出数据,所述存储器用于存储计算机程序,所述处理器用于调用计算机程序,以使得计算机设备执行权利要求1-9任一项所述的方法。

...

【技术特征摘要】

1.一种解决法律大语言模型的幻觉问题的方法,其特征在于,包括如下步骤s1:基于大语言模型对向其输入的初始问题,生成初始答案;

2.根据权利要求1所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述s2中是采用few shots prompt算法,生成与初始问题和初始答案相关的若干个验证问题。

3.根据权利要求1所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述s3中,大语言模型是采用检索增强算法,结合搜索引擎及大语言模型自身的判断,生成验证问题的验证答案。

4.根据权利要求3所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述检索增强算法包括指令意图理解模型,用于理解用户的搜索意图,在这个模型中,会将用户的搜索任务细分为16个独立的类别,同时,通过构造特定的输入提示,以生成符合用户期望的输出。

5.根据权利要求4所述的解决法律大语言模型的幻觉问题的方法,其特征在于,所述检索增强算法还包括搜索结果模型,用于优化和提高搜索结果的相关性。

6.根据权利要求5所述的解决法律大...

【专利技术属性】
技术研发人员:徐雯李敬泉胡伟徐伟招
申请(专利权)人:深圳夸夸菁领科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1