一种结合门控网络的专家再学习推理问答方法技术

本发明专利技术公开了一种结合门控网络的专家再学习推理问答方法，使用预训练语言模型，进行打分、预处理，得到问题上下文及推理图，最后通过专家网络，深度学习两种表示形式的语义特征，结合门控网络，动态调整两种表示形式对答案预测的贡献度；实验结果证明本文提出的方法对于问题答案预测有很好的效果，通过增加对问题文本表示及推理后的知识图谱表示两种表示形式对答案预测贡献度不同的综合考虑，可以提高预测准确率；在公共数据集上实验验证，该方法也取得了较好的效果，说明该方法不仅适用于固定的问题

【技术实现步骤摘要】
一种结合门控网络的专家再学习推理问答方法


[0001]本专利技术属于自然语言处理
，具体涉及一种结合门控网络的专家再学习推理问答方法。

技术介绍

[0002]近年来，随着问答系统不断发展，问题回答任务不仅需要机器对问题上下文和问题本身进行理解，还需要通过引用外部知识对问题实体及实体关系进行关系推理。通常，大型预训练语言模型(Language Models,LM)能够在微调过程中获取非结构化文本编码中的隐式知识(文本关系等)，经过预训练的语言模型在很多问答任务中都取得了显著的效果，但它们在结构化推理上的表现仍不佳。另外,结构化知识图谱(Knowledge Graphs,KGs))表示实体之间的关系知识，并具有多边关系，其中实体被表示为节点，它们之间的关系被表示为边。而知识图谱更适用于结构化推理，但在无法获得非结构化文本的语义特征。因此，如何有效地利用非结构化及结构化两种知识源进行推理仍然是一个重要的开放问题，其中一个重点研究方向就是结合语言模型和知识图谱(LM+KG)完成问答任务，利用LM编码问题上下文并通过构建图神经网络来完成外部知识图谱本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合门控网络的专家再学习推理问答方法，其特征在于，包括以下步骤：Step1：读取问题文本与答案选项，将问题文本与答案选项连接，获得问题上下文；然后使用语言模型组合成f
head
(f
enc
(x))函数，其中编码器f
enc
将本文输入(x)映射到上下文表示h
LM
上，h
LM
为附加到输入序列(x)的[CLS]标记的输出表示，以此获得QA上下文的表示，并从知识图谱中检索与问题文本、问题答案选项相关的子图G
sub
；Step2：引入一个表示问题上下文的问题上下文节点z，将和表示为问题中提到的知识图谱实体集；并将z连接到主题实体V
q,a
，从而在两个知识来源上得到推理图G
T
；使用预训练语言模型计算问题上下文节点与G
T
中其他节点的相关性得分，并将该分数作为每个G
T
节点的附加特征，以此来自适应地捕获问题上下文节点和G
T
中其他节点之间的关系；Step3：然后G
T
在基于注意力的GNN模块上进行多轮消息传递；它通过图上邻居之间的迭代消息传递来节点表示；并在图神经网络上的每一层，更新每个节点t的表示Step4：融合推理后的知识图谱(G
T
)表示及问题文本表示，通过专家网络多层感知机和ReLU激活函数，进一步学习每种表示形式的组合特性；利用门控网络softmax层，产生不同的专家组合权重，从而得到不同表示形式针对问题的注意力权重，最终利用专家网络的结果更精确的预测答案得分。2.根据权利要求1所述一种结合门控网络的专家再学习推理问答方法，其特征在于，所述Step1中具体步骤为：Step1.1：模型的输入为完整的问题文本与问题答案选项，使用预训练语言模型对问题文本与问题答案选项进行预处理添加[CLS]标记并将问题文本和问答答案选项连接起来，形成问题上下文[q；a]，通过编码器f
enc
将本文输入[q；a]映射到问题上下文表示h
LM
上；Step1.2：将知识库G与上述问题文本、问题答案选项中标记的主题实体进行匹配；使用路径查找的方法，对于每个主题实体找到它们之间的3
‑
hop邻居，形成G
sub
。3.根据权利要求2所述一种结合门控网络的专家再学习推理问答方法，其特征在于，所述知识库选用ConmeceptNet。4.根据权利要求1所述一种结合门控网络的专家再学习推理问答方法，其特征在于，所述Step2中具体步骤为：Step2.1：引入一个表示问题上下文的问题上下文节点z，将和表示为问题中提到的知识图谱实体集；并将z连接到主题实体V
q,a
，形成用于答案推理的推理图G
T
；Step2.2：先使用预先训练好的语言模型对每个子图节点v∈V
sub
在QA上下文条件下的相关性进行评分；对于每个节点v，将QA上下文文本text(z)与KG实体文本text(v)连接起来，并计算相关性得分如1所示：ρ
v
＝f
head
(f
enc
[text(z)；text(v)])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)表示由LM计算的text(v)的概率。5.根据权利要求4所述一种结合门控网络的专家再学习推理问答方法，其特征在于，所述V
q,a
:＝V
q
∪V
a
，来表示在问题或答案选择中出现的所有实体。6.根据权利要求1所述一种结合门控网络的专家再学习推理问答方法，其特征在于，所述Step3中具体步骤为：Step3.1：利用图上邻居之间的迭代消息传递来节点表示，并在图神经网络上的每一
层，通过公式2更新每个节点t∈V
T
的表示的表示其中N
t
表示节点t的邻域，m
st
∈R
D
记录了每个邻居节点从s到t的消息，而α
st
是一个注意权重，它将每个消息m
st
从s扩展到t；然后，将消息和通过一个两层MLP，f
n
:R
D
→
R
D
，并进行批处理归一化；对于每个节点t∈V

【专利技术属性】
技术研发人员：王红斌，房晓，线岩团，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：