一种知识对话生成中主题驱动的知识选择方法技术

本发明专利技术公开了一种知识对话生成中主题驱动的知识选择方法。首先构建融合主题信息的上下文编码器与知识编码器,上下文编码器和知识编码器用于提取训练语料中第t轮对话的上下文信息x

【技术实现步骤摘要】
一种知识对话生成中主题驱动的知识选择方法


[0001]本专利技术涉及自然语言处理以及对话系统
，具体为一种知识对话生成中主题驱动的知识选择方法。

技术介绍

[0002]开放域对话生成系统显示出巨大的潜力，可以赋予机器使用自然语言与人类对话的能力。然而，在许多真实场景中，响应生成的性能仍然远远不能令人满意。例如，在对话系统中，仅以输入文本为条件，文本生成系统通常会产生由语料库中的频繁单词或短语组成的一般或无意义的反应，例如对于给定的输入文本，“我的皮肤太干了”它通常会生成“我也是”或者“哦，我的上帝！”与蕴含丰富知识的人类回复相比，这些回复缺乏有意义的内容。一般或无意义的回复通常是由机器和人类之间的常识知识差距引起的。常识知识提供了上下文中概念之间关系的信息，从而潜在地指导人类捕捉概念之间的隐含逻辑。这样，真实对话中的人类通常会将上下文与他们的常识知识联系起来，做出信息量丰富的回复。为了解决这个问题，研究人员引入了一些大规模的知识库来增强对话生成的结果。许多知识语料库也极大地推进了这一研究主题的发展。知识的形式可以是非结构化的知识文本、结构化的知识图谱或它们的混合表示。
[0003]以知识为基础的对话生成旨在基于话语语境和外部知识生成信息丰富的回复。它主要致力于解决两个研究问题：(1)知识选择：根据对话上下文和之前选择的知识选择合适的知识；(2)知识感知生成：注入所需的知识以生成有意义和信息丰富的回复。选择合适的知识是基于知识的对话系统成功的先决条件。现有的知识选择模型一般分为两类。第一类是非顺序选择，它只捕获当前上下文和背景知识之间的关系。为了从上下文和知识两方面进一步利用对话历史，研究倾向于使用第二类顺序选择。即模型不仅依赖于当前环境，还使用以前选择的知识来促进知识选择。
[0004]然而，以往的研究大多忽视了主题信息在知识选择中的指导作用，仅将其用于知识感知的生成。这可能会导致整个对话与所选知识之间的主题不匹配，导致生成的回复与上下文不一致。对话系统可以更好地选择与上下文匹配的知识，并在对话主题信息的引导下生成更合适的响应。因此，有必要在知识选择中考虑主题信息。

技术实现思路

[0005]本专利技术的目的是为了克服现有技术中的不足，提供一种知识对话生成中主题驱动的知识选择方法。该方法探索了主题信息对知识选择的指导作用。具体来说，我们在主题信息的指导下，通过使用Kullback
‑
Leibler散度损失(KL损失)最小化训练阶段知识选择的先验分布和后验分布的距离，以便在测试阶段没有后验分布时，可以使用先验分布来选择知识。其结果相较于现有模型在ACC，BLEU
‑
2，BLEU
‑
4和ROUGE
‑
2指标上取得了较好的结果。
[0006]本专利技术的目的是通过以下技术方案实现的：一种知识对话生成中主题驱动的知识选择方法，包括以下步骤：
[0007](1)构建融合主题信息的上下文编码器与知识编码器：
[0008]上下文编码器和知识编码器用于提取训练语料中第t轮对话的上下文信息x
t
，真实回复信息y
t
，主题信息f
t
和外部知识信息k
t
；它不仅充分利用大量数据预训练的优势，还通过双向注意力机制将主题信息和上下文信息进行融合编码得到
[0009](2)构建主题驱动的知识选择器：
[0010]主题驱动的知识选择器的主要目的是根据主题信息和上下文信息从候选知识句子中选择出合适的知识。为了选择更合适的知识，我们构建的知识选择器还关注先前轮选择的知识信息并将其建模为潜在变量，从而对多轮知识选择和回复生成进行联合推理。具体来说，给定编码的主题信息f
t
上下文信息x
t
、知识k
t
、先前选择的知识和真实回复信息y
t
(仅在训练阶段)，知识选择器将充分利用这些信息选择合适的
[0011](3)构建知识感知生成解码器：
[0012]知识感知生成解码器的主要目的是根据知识选择器选择出的知识信息上下文信息x
t
和主题信息f
t
生成第t轮对话的回复y
t
。
[0013]有益效果
[0014]1、本专利技术利用主题信息在知识选择中的指导作用，通过整个对话与所选知识之间的主题匹配，生成的回复与上下文一致。
[0015]2、对话系统可以更好地选择与上下文匹配的知识，并在对话主题信息的引导下生成更合适的响应。
附图说明
[0016]图1为知识对话生成中主题驱动的知识选择方法框架图。
具体实施方式
[0017]以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0018]以知识对话数据集Wizard of Wikipedia为例给出本专利技术的实施方法。整个系统算法流程包括数据集的处理、构建融合主题信息的上下文编码器与知识编码器、构建主题驱动的知识选择器、构建知识感知生成解码器以及回复生成这4个步骤。
[0019]具体步骤如下：
[0020](1)数据集的处理
[0021]Wizard of Wikipedia数据集包括18430个训练对话、1948个验证对话和1933个测试对话。测试集分为两个子集，可见测试和不可见测试。可见测试包含965个主题出现在训练集或验证集中的对话，不可见测试包含968个主题从未出现在训练集和测试集中的对话。
[0022](2)构建融合主题信息的上下文编码器与知识编码器
[0023]上下文编码器和知识编码器由基于transformer的bert编码器组成，它由N层多头注意力机制和前馈神经网络构成。它将上下文信息x
t
,外部知识信息k
t
和真实回复信息y
t
分别与主题信息f
t
进行编码得到相应的输出，具体计算公式如下所示：
[0024][0025][0026][0027][0028](3)构建主题驱动的知识选择器
[0029]在训练阶段，真实回复信息y
t
被用于伪标签来帮助选择合适的知识信息，此时知识的选择基于后验分布，表示为
[0030][0031]其中其中是GRU网络的隐藏状态，是GRU网络的隐藏状态，是另一个GRU网络的隐藏状态。初始化状态W
post
是可训练的参数，随后由以下公式采样得出。
[0032][0033]在测试阶段，由于真实回复信息是未知的，此时的知识选择基于先验知识分布，表示为
[0034][0035][0036]这里W
prior
是可训练的参数，在测试阶段，知识的选择由以下公式得出：
[0037][0038]紧接着将采样到的知识信息送入知识感知生成解码器用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识对话生成中主题驱动的知识选择方法，其特征在于，包括以下步骤：(1)构建融合主题信息的上下文编码器与知识编码器上下文编码器和知识编码器用于提取训练语料中第t轮对话的上下文信息x
t
，真实回复信息y
t
，主题信息f
t
和外部知识信息k
t
；它不仅充分利用大量数据预训练的优势，还通过双向注意力机制将主题信息和上下文信息进行融合编码得到(2)构建主题驱动的知识选择器主题驱动的知识选择器的主要目的是根据主题信息和上下文信息从候选知识句子中选择出合适的知识；为了选择更合适的知识，我们构建的知识选择器还关注先前轮选择的知识信息并将其建模为潜在变量，从而对多轮知识选择和回复生成进行联合推理；具体来说，给定编码的主题信息f
t
、上下文信息x
t
、外部知识信息k
t
、先前选择的知识和真实回复信息y
t
，知识选择器将充分利用这些信息选择合适的(3)构建知识感知生成解码器知识感知生成解码器的主要目的是根据知识选择器选择出的知识信息上下文信息x
t
和主题信息f
t
生成第t轮对话的真实回复信息y
t
；步骤(1)中，在训练语料中的每段对话由上下文，回复和给定的知识信息构成；其中，每段对话中的上下文信息表示为其中，每段对话中的上下文信息表示为表示对话上下文信息中的第i个单词；每段对话中的真实回复信息表示为第i个单词；每段对话中的真实回复信息表示为表示回复信息中的第j个单词；候选知识信息表示为首先，上下文编码器和知识编码器由基于transformer的bert编码器组成，它由N层多头注意力机制和前馈神经网络构成；它将上下文信息x
t
，外部知识信息k
t
和真实回复信息y
t
分别与主题信息f
t
进行编码得到相应的输出，具体计算公式如下所示：相应的输出，具体计算公式如下所示：相应的输出，具体计算公式如下所示：相应的输出，具体计算公式如下所示：2.根据权利要求1所述一种知识对话生成中主题驱动的知识选择方法，其特征在于，步骤(2)中，知识选择模块的主要目标是根据主题信息和上下文信息从候选知识句子中选择合适的知识，关注先前选择的知识信息，将其建模为潜在变量，从而对多轮知识选择和响应生成进行联合推理；具体来说，给定编码的主题信息f
t
、上下文信息x
t
、外部知识信息k
t
、先前选择的知识和仅在训练阶段的真实响应y
t
，知识选择方法将充分利用这些信息选择合适的在训练阶段，真实回复信息y
t
被用于伪标签来帮助选择合适的知识信息，此时知识的选择基于后验分布，表示为
其...

【专利技术属性】
技术研发人员：王龙标，王士权，党建武，
申请(专利权)人：天津大学，
类型：发明
国别省市：