【技术实现步骤摘要】
本申请涉及自然语言处理,尤其涉及大模型幻觉缓解方法、装置、设备及存储介质。
技术介绍
1、在传统的文本生成任务中,生成模型主要依赖于从训练数据中直接学习并生成文本的模式。这种模式在处理简单、常规的文本任务时,往往能够取得不错的效果。然而,当面对更加复杂、知识密集型或具有强烈时效性的问题时,其局限性便逐渐显现。复杂问题往往需要综合多个领域的知识和深入理解背景信息,而传统的生成模型由于缺乏外部信息的补充,往往难以准确捕捉这些细节,导致生成的答案在准确性和详细性上都有所欠缺。
2、为了克服这一挑战,引入了rag(retrieval augmented generation,检索增强生成)技术。结合了信息检索的优势,通过检索外部知识库中的相关信息来丰富生成模型的输入,从而提高其输出的质量和准确性。在rag框架下,首先利用检索模型(如bm25、dpr等)从大型知识库中筛选出与输入问题高度相关的文档或片段。随后,这些检索到的信息被整合到生成模型的输入中,作为额外的知识支撑,使得模型在生成答案时能够参考更广泛、更深入的信息来源。
< ...【技术保护点】
1.一种大模型幻觉缓解方法,其特征在于,所述大模型幻觉缓解方法包括:
2.如权利要求1所述的大模型幻觉缓解方法,其特征在于,所述对所述初始问答对进行幻觉判断,获取幻觉判断结果的步骤包括:
3.如权利要求2所述的大模型幻觉缓解方法,其特征在于,所述生成所述初始问答对的目标语言变体问答对,计算初始问答对和目标语言变体问答对的一致性评分的步骤包括:
4.如权利要求1所述的大模型幻觉缓解方法,其特征在于,所述对初始问答对进行幻觉判断,获取幻觉判断结果的步骤还包括:
5.如权利要求1所述的大模型幻觉缓解方法,其特征在于,所述对初始
...【技术特征摘要】
1.一种大模型幻觉缓解方法,其特征在于,所述大模型幻觉缓解方法包括:
2.如权利要求1所述的大模型幻觉缓解方法,其特征在于,所述对所述初始问答对进行幻觉判断,获取幻觉判断结果的步骤包括:
3.如权利要求2所述的大模型幻觉缓解方法,其特征在于,所述生成所述初始问答对的目标语言变体问答对,计算初始问答对和目标语言变体问答对的一致性评分的步骤包括:
4.如权利要求1所述的大模型幻觉缓解方法,其特征在于,所述对初始问答对进行幻觉判断,获取幻觉判断结果的步骤还包括:
5.如权利要求1所述的大模型幻觉缓解方法,其特征在于,所述对初始问答对进行幻觉判断,获取幻觉判断结果的步骤还包括:
6.如权利要求1所述的大模型幻觉缓解方法,其特征在于,所述当所述幻觉判断结果为可能存在幻觉时,通过证据集结合...
【专利技术属性】
技术研发人员:龙榜,周明振,李奇蓉,何流红,贺涛,
申请(专利权)人:深圳市法本信息技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。