【技术实现步骤摘要】
一种针对多跳知识图谱问答的序列流控制模型
[0001]本专利技术涉及知识图谱问答和多跳推理技术，具体讲，提出了一种针对多跳知识图谱问答的序列流控制模型，并且融合了近期提出的可微分知识图谱表示技术，在该领域的公开数据集上显著地提升了效果。
技术背景
[0002]基于知识图谱的问答旨在根据结构化的知识图谱回答自然语言表述的问题。在真实的应用场景下，问题往往是较为复杂的，需要在知识图谱上进行多跳推理才能正确回答问题。现有的方法流派主要分为三种：基于语义解析的方法、基于嵌入的方法和基于路径的方法。其中，基于路径的方法由于其同时具有较好的可解释性和可拓展性，近年来出现了越来越多的工作。而我们的专利技术也属于基于路径的方法。
[0003]现有的基于路径的方法已经取得了不错的效果。KV MemNN[1]使用sentence
‑
level的问题表示和知识库中的key
‑
value memory计算交叉注意力，得到当前应该关注的知识。IRN[2]使用sentence
‑
level的...
【技术保护点】
【技术特征摘要】
1.一种针对多跳知识图谱问答的序列流控制模型，其特征在于，所述模型包括序列推理自注意力机制、GRU启发的流控制框架和输出模块；所述序列推理自注意力机制在原始Self
‑
Attention机制的基础上，引入时序逻辑，用于获取当前时刻的推理信息；所述GRU启发的流控制框架利用GRU的时序建模结构将时序依赖显式地引入到多跳推理过程生成当前的推理判断；所述输出模块用于根据当前推理时刻的问题表示在知识图谱上进行推理；其中，所述序列推理自注意力模块获取当前时刻的推理信息过程：将问题输入到预训练语言模型得到问题的token级别的问题表示，作为初始的问题表示H0；给定第(t
‑
1)hop的问题表示H
t
‑1和初始问题表示H0，使用线性变换层F
k
对H
t
‑1进行变换生成H
k
；H
k
＝F
k
(H
t
‑1)按照如下公式将变换后的结果H
k
与初始的问题表示H0进行矩阵相乘获得注意力矩阵S；S＝H
k
×
H0按照如下公式对注意力矩阵S进行Softmax行归一化得到新的注意力矩阵S
q
，作用到过去的问题表示H
t
‑1获得更新的推理信息S
q
＝row
‑
wise softmax(S)其中，row
‑
wise Softmax表示Softmax行归一化操作。2.根据权利要求1所述的一种针对多跳知识图谱问答的序列流控制模型，其特征在于，所述GRU启发的流控制框架利用GRU的时序建模结构将时序依赖显式地引入到多跳推理过程得到当前的推理判断；通过所述序列推理自注意力机制中的候选推理信息结合门控机制筛选出过去推理信息中对当前推理有用的信息；通过重置门机制筛选出过去的推理信息U
t
‑1中有用的信息；利用GRU的重置门R
t
筛选出过去的推理信息U
t
‑1中有用的部分和当前时刻的候选推理信息相加，得到当前时刻的推理信息U
t
：其中，
⊙
表示元素乘法；通过采用残差机制将初始的问题表示H0添加到所述当前时刻的推理信息U
t
上，得到第t时刻的问题表示H
t
：其中，SGU是Self
‑
GateUnit门控...
【专利技术属性】
技术研发人员：张鹏，谢明辉，张烁，郝楚战，吴斌，
申请(专利权)人：起硕天津智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。