提升内容正确性的对话生成方法和装置制造方法及图纸

本申请提出了一种提升内容正确性的对话生成方法，涉及自然语言处理技术领域，其中，该方法包括：获取对话历史，并根据对话历史检索相关知识内容；根据对话历史和相关知识内容构建知识具象化上下文和反事实场景上下文；将知识具象化上下文和反事实场景上下文输入逐词相减的解码模型中，输出对话结果。采用上述方案的本发明专利技术能够有效提升对话生成内容的准确性。性。性。

【技术实现步骤摘要】
提升内容正确性的对话生成方法和装置


[0001]本申请涉及自然语言处理
，尤其涉及提升内容正确性的对话生成方法和装置。

技术介绍

[0002]知识具象化的对话系统旨在于通过合理引入知识性内容来增加生成对话的准确性和信息丰富度。但是，即使使用了最先进的大规模语言模型(包括通用语言模型以及对话预训练模型等)，对话系统依然不定时地会生成与事实冲突的错误信息，这样不可预测的错误会极大破坏对话系统的可信性和真诚度，导致对话的质量严重下滑。这种生成与事实冲突的对话内容的现象被称为对话系统的“幻觉”，也被称为知识偏误、事实偏误等。
[0003]现有的知识具象化的对话系统(KGD)主要包括两个部分：一个对外部知识进行搜索的检索器；基于大模型或其他生成模型的生成器。为了增加对话系统生成内容的可信度和正确性，现有的方法主要从两个方面去进行改进：
[0004]其一是对检索器进行提升的方法，这类方法主要通过使用带有外部知识增强的对话数据集来训练一个更强的网络检索器，从而控制检索知识的质量，进而提升生成结果的事实正确性。
>[0005]其二是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升内容正确性的对话生成方法，其特征在于，包括以下步骤：获取对话历史，并根据所述对话历史检索相关知识内容；根据所述对话历史和所述相关知识内容构建知识具象化上下文和反事实场景上下文；将所述知识具象化上下文和反事实场景上下文输入逐词相减的解码模型中，输出对话结果。2.如权利要求1所述的方法，其特征在于，所述根据所述对话历史和所述相关知识内容构建知识具象化上下文和反事实场景上下文，包括：将所述历史对话与所述相关知识内容进行组合，得到知识具象化上下文；设计反事实场景，保留与所述检索相关知识内容相关联的对话内容，删除或替换剩余对话内容，组合成所述反事实场景上下文。3.如权利要求1所述的方法，其特征在于，通过衰减函数防止在对话生成过程中过强的衰减导致的解码模型崩溃，其中，所述衰减函数表示为：λ(i)＝α
i
‑1其中，α表示衰减系数。4.如权利要求3所述的方法，其特征在于，所述将所述知识具象化上下文和反事实场景上下文输入逐词相减的解码模型中，表示为：g
i
＝C
d,k
||w[1:i]||w[1:i]其中，C
d,k
、分别代表所述知识具象化上下文和所述反事实场景上下文，w是句子中的每一个词，w代表整个可搜索词表。5.一种提升内容正确性的...

【专利技术属性】
技术研发人员：张笑涵，于济凡，李涓子，侯磊，
申请(专利权)人：清华大学，
类型：发明
国别省市：