一种针对文本生成任务中的幻觉检测与修复的方法与装置制造方法及图纸

技术编号：41251992 阅读：5 留言：0更新日期：2024-05-10 00:00

本发明专利技术提供一种针对文本生成任务中的幻觉检测与修复的方法与装置，属于人工智能领域，本发明专利技术在幻觉检测阶段，首先通过规则匹配等策略预处理文本，随后结合命名实体识别(NER)和实体关系(ER)模型来构建实体三元组，进而定位幻觉实体以及对应的幻觉内容。在幻觉修复阶段，通过引入提示工程的方法，本发明专利技术结合外部知识利用LLM有效地修正这些表现出幻觉的句子。在真实场景下应用的积极反馈，强有力地证明了我们的方法在纠正由LLM生成的幻觉以及预防新幻觉产生方面的高效性，从而大大增强了结果的可靠性和信赖度。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及人工智能领域，尤其涉及一种针对文本生成任务中的幻觉检测与修复的方法与装置。

技术介绍

1、大型语言模型(llms)在自然语言理解任务中已经取得了重要的突破。然而，训练过程中的数据不准确或破损问题可能会导致输出的结果出现错误。这些输出虽然看似合理，但实际上并非正确，与源输入无关。这种现象被我们称之为“幻觉现象”，它严重地削弱了模型的可信度，并阻碍了该领域的更深入发展。目前对幻觉的缓解尝试通常分为两大类：一是捕捉不确定性，二是应用外部知识。第一个方法尝试通过测量每个令牌级别的不确定性，但受限于api访问，因此存在一定的局限性。第二个方法则是利用额外获取的外部知识来引导更准确的生成响应，这种方法已经受到广泛的欢迎。当前，减轻llms的幻觉问题的方法通常依赖于额外的模型来预测句子级别的幻觉行为，但这种方法依赖于许多参数，使得结果既不确定且耗时。

技术实现思路

1、为了解决以上技术问题，本专利技术提供了一种针对文本生成任务中的幻觉检测与修复的方法，自动化检测和修复幻觉文本，可以有效解决大语言模型生成内容中的虚假信息，提高模型生成文本的可信度。

2、本专利技术的技术方案是：

3、一种针对文本生成任务中的幻觉检测与修复的方法，在幻觉检测阶段，首先通过规则匹配策略预处理文本，随后结合命名实体识别和实体关系模型来构建实体三元组，进而定位幻觉实体以及对应的幻觉内容；在幻觉修复阶段，通过引入提示工程的方法，结合外部知识库利用llm修正这些表现出幻觉的句子。

<p>4、此外，本专利技术还提供了一种针对文本生成任务中的幻觉检测与修复的装置，包括：

5、预处理模块，首先利用nltk技术将原始文本切分成独立的句子，以此形成句子实体。随后，为每一个句子采集相关的外部知识，从而构建一套包含事实信息的数据集。随后采用规则匹配的方式，从原文中提取出时间、电话号码等实体信息，并对其进行标准化处理。

6、实体抽取模块，本专利技术实施了一种基于实体关系对信息进行进一步验证的实体抽取方法，并借助先进的模型及词性标签来构建实体群组。再者，在细微之处也下工夫，精心筛选并去除了低相关性的元素，如连词及助词，只留下重要的组成部分，如名词、动词、形容词、介词、数字、名称、地点及组织等。

7、实体关系构建模块，用于从产生幻觉的句子中构造出实体三元组。此过程首先利用所有的动词和介词生成一个潜在关系的列表，记为relations＝[v_set,p_set]。模块会遍历句子中的被视为潜在实体的关键名词包括时间、地点、名字、地方、机构等其他类别下的每个实体，形成实体关系对。若模块无法从潜在列表中提取出相关关系，它便会指导llms直接从句子中执行关系提取工作。

8、在幻觉句子定位模块中，本专利技术以实体三元组为基础，进行幻觉实体的检测和幻觉句子的定位。首先，通过规则判断句子与其相应的三元组是否一致，只有当所有的三元组都在支持三元组集内，句子才被定义为非幻觉。对于不符合规则的三元组，采用一种先进的相似性检测模型，并通过词嵌入对其进行相似性比较。当相似性超过预设阈值时，该三元组将被视为"真实信息"。如此，本模块就成功地提取出了可能的幻觉句子及其相应的实事，这些结果将传递给下一个设计用于减轻幻觉效果的模块。

9、对于幻觉修复模块，本专利技术首先对产生幻觉的句子与支持数据之间的语义相似性进行判断，当原始句子未能得到支持数据的协助时，主要的处理方式是进行删除。接着，从剩下的句子中生成修正指令，并输入到大型语言模型(llm)中，以便重新生成无幻觉元素的内容。此外，模型还努力保留那些无幻觉的内容，同时避免添加无法证实的信息。

10、本专利技术的有益效果是

11、本专利技术运用实体抽取模型、实体关系构建模型、本地知识库以及大型语言模型，成功地解决了内容生成中的模型幻觉问题，而且无需大规模的人工数据收集，具备操作简便、维护轻松、适用场景广泛等优势。

本文档来自技高网...

【技术保护点】

1.一种针对文本生成任务中的幻觉检测与修复的方法，其特征在于，

2.一种针对文本生成任务中的幻觉检测与修复的装置，其特征在于，包括

3.根据权利要求求2所述的装置，其特征在于，

4.根据权利要求求2所述的装置，其特征在于，

5.根据权利要求求4所述的装置，其特征在于，

6.根据权利要求求2所述的装置，其特征在于，

7.根据权利要求求6所述的装置，其特征在于，

8.根据权利要求求7所述的装置，其特征在于，

9.根据权利要求求2所述的装置，其特征在于，

【技术特征摘要】

1.一种针对文本生成任务中的幻觉检测与修复的方法，其特征在于，

2.一种针对文本生成任务中的幻觉检测与修复的装置，其特征在于，包括

3.根据权利要求求2所述的装置，其特征在于，

4.根据权利要求求2所述的装置，其特征在于，

5...

【专利技术属性】
技术研发人员：黄登蓉，郭冬升，张其来，张思嘉，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人