基于图知识增强的端到端任务型对话系统技术方案

本发明专利技术提出了一种基于图知识增强的端到端任务型对话系统，包括：图结构上下文编码器模块：采用图结构的形式对上下文进行编码，获得对话历史信息的向量表示；图知识模块：采用图结构的形式对知识库信息进行编码，获得知识库信息的向量表示；解码器模块：根据知识库中的知识库信息的向量表示和对话历史信息的向量表示计算得到实体分布。本发明专利技术能够通过图结构将对话信息和知识库分别进行编码，有效的捕获到实体与实体的结构信息以及对话中单词之间的结构信息，从而提高模型对实体的预测能力。力。力。

【技术实现步骤摘要】
基于图知识增强的端到端任务型对话系统


[0001]本专利技术涉及自然语言处理
，特别是涉及一种基于图知识增强的端到端任务型对话系统。

技术介绍

[0002]虽然近年来基于记忆网络的端到端的任务型对话系统借助记忆网络的多跳注意力机制取得了不错的进步，但是生成的实体仍然时不时存在一定的偏差。主要是目前流行三元组的形式表示知识已经提高了一定的精准率，但是模型在对知识进行建模的时候仍然可能存在信息的丢失，因为如果采用三元组的形式表示每个实体这种方式，最主要的缺点就是实体与实体之间往往不是独立的个体，实体与实体之间存在着某种特殊的关系，三元组无法表示这种关系，如果忽略了实体与实体之间的依赖关系，那么模型就难以捕获知识库中嵌入的大量信息，从而严重影响了结果的准确性。并且，在目前流行的端到端的任务型对话系统中，往往重点在于如何探究对话句子之间的上下文关系，而间接忽略了句子中每个单词的依赖关系。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于图知识增强的端到端任务型对话系统。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图知识增强的端到端任务型对话系统，其特征在于，包括：图结构上下文编码器模块：采用图结构的形式对上下文进行编码，获得对话历史信息的向量表示；图知识模块：采用图结构的形式对知识库信息进行编码，获得知识库信息的向量表示；解码器模块：根据知识库中的知识库信息的向量表示和对话历史信息的向量表示计算得到实体分布。2.根据权利要求1所述的一种基于图知识增强的端到端任务型对话系统，其特征在于，所述采用图结构的形式对知识库信息进行编码是通过图上下文编码器进行编码的，编码过程如下：x
t
为输入句子在t时刻的输入单词，P(t)＝(p1,p2,..,p
k
)为x
t
的一组前序单词的对话图表示，p
i
表示和x
t
关联的单词，p
i
∈P(t)，k为x
t
前序单词的总数量；前序单词的一组隐藏向量表示为H＝(h1,h2,
…
,h
k
)，其中每个h
j
表示第j个前序单词p
j
的隐藏向量，h
j
∈H；首先，在隐藏向量上循环k次，分别计算它们的重置门，使用公式(1)计算r
j
作为第j个隐藏向量的重置门：r
j
＝σ(W
r
x
t
+U
r
h
j
)#(1)其中，W
r
和U
r
都是可训练的参数；σ是sigmoid激活函数；x
t
和h
j
分别是当前t时刻的输入单词和第j个前序单词在t时刻的隐藏向量；为了捕获t时刻的全部特征，根据重置门r
j
和隐藏向量h
j
的相乘结果的累计求和运算，然后加到当前输入单词x
t
，计算当前时刻的候选隐藏状态具体计算过程如公式(2)：其中，W
t
和U
t
都是可学习的权重参数矩阵；k表示x
t
前序单词的总数量单词数量；为了获得表示能力，首先对输入x
t
的和隐藏状态h
j
应用线性变换：应用线性变换：其中，W
l
和U
l
都是可学习的参数；t为当前时刻；隐藏状态H
′
由前序单词的隐藏状态经过线性变换后得到的隐藏状态和当前的输入x
t
的候选隐藏状态组成为了能够捕获这些不同输入的不同的影响，将掩码注意力机制应用到模型上学习不同时间步的前序单词的重要性，计算注意力机制的过程如下：α
j
＝softmax([e
j
]
m
)#(6)
其中，W
e
，W
w
和b
e
表示模型可学习的参数；表示对输入单词x
t
应用线性变换；表示H
′
中的第j个向量；α
j
表示H
′
中的第j个向量的注意力权重；[
·
]
m
表示掩码操作；最后在t时刻隐藏状态h
t
的输出向量为：并且，为了获得对话历史的更加丰富的双向表示，根据公式(1)
‑
(7)，可以分别计算正向图表示和反向图表示h
n
＝{h
t
}；和即为顺序关系的向量表示；然后把它们拼接起来作为对话历史信息的向量表示拼接起来作为对话历史信息的向量表示就是编码器的最后时刻输出的隐藏向量，编码器输出的一组隐藏向量为3.根据权利要求1所述的一种基于图知识增强的端到端任务型对话系统，其特征在于，采用图结构的形式对知识库信息进行编码是通过在图上采用图多跳推理机制进行多跳推理实现的，包括以下步骤：在图知识结构上有两组可训练的嵌入矩阵，E＝(E1,E2,
…
,E
K+1
)和V＝(V1,V2,
…
,V
K+1
)，E
k
∈E表示第k个将实体映射到向量表示的嵌入矩阵，V
k
∈V表示第k个计算自注意力系数的权重向量矩阵，K表示最大的跳数；在节点之间运用自注意力机制并且计算注意力系数，具体计算过程如公式(8)所示：其中，e
i,j
表示图知识中第i个节点和第j个节点之间的注意力系数；V
k
表示第k个计算自注意力系数的权重向量矩阵；
T
为转置符号；表示使用嵌入矩阵E获取图知识中第i个节点在第k跳的连续向量表示；表示使用嵌入矩阵E获取图知识中第j个节点在第k跳的连续向量表示；表示对和进行拼接操作；对于每个节点i和它的一阶邻近节点使用公式(9)进行归一化相关系数运算操作：其中，N
i
表示节点i的一阶邻近节点；m表示一阶邻近节点数量；exp表示指数函数；
e
i,m
表示图知识中第i个节点和第m个节点之间的注意力系数；使用节点i的一阶邻近节点的加权和来更新节点i的表示，具体计算过程如公式(10)所示：示：表示计算加权和后的表示；表示使用嵌入矩阵E获取图知识中第j个节点在第k跳的连续向量表...

【专利技术属性】
技术研发人员：翟福森，金燕，张继，王业义，张涛，刘明龙，李刚，吴尧，
申请(专利权)人：中铁建重庆投资集团有限公司，
类型：发明
国别省市：