一种增强大语言模型知识边界感知能力的方法和系统技术方案

技术编号:41295117 阅读:28 留言:0更新日期:2024-05-13 14:44
本发明专利技术公开了一种增强大语言模型知识边界感知能力的方法和系统,方法包括:获取用户问题;通过检索器,基于问题检索外部知识,得到与问题相关的外部知识,并将其与问题拼接成输入内容;构建第一判别器:在输入大语言模型前,判别回答输入内容是否超出知识边界;通过大语言模型,基于输入内容,得到输出内容;构建第二判别器:在大语言模型输出后,判别输出内容是否合理;构建第三判别器:判断输入内容和输出内容的外部知识是否一致;根据不同情况分别给出最终回复。本发明专利技术能增强大语言模型知识边界感知能力;能辅助大语言模型判别输出内容的真实性和准确性;能缓解大语言模型的文本生成“幻觉”问题,使输出内容更真实可信。

【技术实现步骤摘要】

本专利技术涉及大语言模型,尤其涉及一种增强大语言模型知识边界感知能力的方法和系统


技术介绍

1、大语言模型是指采用深度学习技术使用大量无标记文本数据进行自监督训练得到的大规模神经网络模型,大语言模型在各种传统自然语言处理任务(如文本生成,情感分类,阅读理解,对话系统等)上表现出色,典型的大语言模型有openai开发的chatgpt,gpt-4,阿里巴巴的通义千问,百度的文心一言,清华大学的chatglm等。

2、文本生成是指面向一种或多种自然语言,自动生成人类可理解文本的过程。一般而言,文本生成任务在接收到结构化的数据、文本或者图片后,自动生成一段和输入指令相关联的文本。而文本生成“幻觉”是指大语言模型生成自然流畅,语法正确但实际上毫无意义或包含事实错误的文本,给人带来的“以假乱真”的“幻觉”。文本生成产生“幻觉”可能的原因包括:大语言模型训练数据的分布缺陷、样本不充分以及上下文理解方面的不足、领域知识的约束等。即使运用检索增强等技术加以约束,大语言模型仍然难以避免强加因果,知识错误等问题,即“一本正经的胡说八道”。随着大语言模型在包括金融服本文档来自技高网...

【技术保护点】

1.一种增强大语言模型知识边界感知能力的方法,其特征在于,包括:

2.根据权利要求1所述的增强大语言模型知识边界感知能力的方法,其特征在于,所述通过大语言模型,基于输入内容,得到输出内容包括:构建提示词,让大语言模型根据输入内容得到输出内容。

3.根据权利要求1所述的增强大语言模型知识边界感知能力的方法,其特征在于,所述构建第二判别器:基于输入内容,采用大语言模型判别输出内容是否合理,并过滤出大语言模型认为输出内容不合理的问题作为第二类超出知识边界的问题包括:

4.根据权利要求1所述的增强大语言模型知识边界感知能力的方法,其特征在于,所述构建第三判别器...

【技术特征摘要】

1.一种增强大语言模型知识边界感知能力的方法,其特征在于,包括:

2.根据权利要求1所述的增强大语言模型知识边界感知能力的方法,其特征在于,所述通过大语言模型,基于输入内容,得到输出内容包括:构建提示词,让大语言模型根据输入内容得到输出内容。

3.根据权利要求1所述的增强大语言模型知识边界感知能力的方法,其特征在于,所述构建第二判别器:基于输入内容,采用大语言模型判别输出内容是否合理,并过滤出大语言模型认为输出内容不合理的问题作为第二类超出知识边界的问题包括:

4.根据权利要求1所述的增强大语言模型知识边界感知能力的方法,其特征在于,所述构建第三判别器:基于检索器检索出的与输出内容相关的外部知识,判断其与问题相关外部知识是否一致,并过滤出外部知识不一致的...

【专利技术属性】
技术研发人员:司成良杨兰王欣刘峻枫李昆展华益
申请(专利权)人:四川启睿克科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1