一种基于门控全局注意力机器阅读理解模型的问答方法技术

本发明专利技术属于自然语言处理领域，具体涉及一种基于门控全局注意力机器阅读理解模型的问答方法，包括：获取待回答的文章，对文章进行特征提取，将文章表征

【技术实现步骤摘要】
一种基于门控全局注意力机器阅读理解模型的问答方法


[0001]本专利技术属于自然语言处理领域，具体涉及一种基于门控全局注意力机器阅读理解模型的问答方法
。

技术介绍

[0002]机器阅读理解，要求机器阅读并理解人类自然语言文本，在此基础上，解答跟文本信息相关的问题
。
该任务通常被用来衡量机器自然语言理解能力，可以帮助人类从大量文本中快速聚焦相关信息，降低人工信息获取成本，在文本问答
、
信息抽取
、
对话系统等领域具有极强的应用价值
。
[0003]目前大多数工作的预训练模型缺少对全文信息的考虑，只是将整片文章截断输入到模型中
。
因此，如何构建一个更加精准利用全文信息以及上下文信息的模型，对于提升问答系统的效率和准确性有非常大的帮助
。

技术实现思路

[0004]为解决以上现有技术存在的问题，本专利技术提出了一种基于门控全局注意力机器阅读理解模型的问答方法，该方法包括：获取待回答的文章，将待回答的文章输入到训练后的门控全局注意力机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于门控全局注意力机器阅读理解模型的问答方法，其特征在于，包括：获取待回答的文章，将待回答的文章输入到训练后的门控全局注意力机器阅读理解模型，得到问题结果；门控全局注意力机器阅读理解模型包括嵌入层
、
编码层
、
注意力交互层以及答案输出层；对门控全局注意力机器阅读理解模型进行训练的过程包括：
S1
：获取训练数据集，该数据集包括文章
、
问题以及选项；
S2
：将训练集中的数据输入到嵌入层中进行特征提取，得到文章表征
、
问题表征以及选项表征；
S3
：将文章表征
、
问题表征以及选项表征分别输入到编码层中，得到文章的上下文信息表征
、
问题的上下文信息表征以及选项的上下文信息表征；
S4
：采用注意力交互层对文章的上下文信息表征
、
问题的上下文信息表征以及选项的上下文信息表征进行信息交互，得到问题
‑
文章
‑
答案的深度交互信息；
S5
：将问题
‑
文章
‑
答案的深度交互信息输入到答案输出层中，得到问题结果；
S6
：根据问题结果构建模型的损失函数；调整模型的参数，当损失函数收敛时完成模型的训练
。2.
根据权利要求1所述的一种基于门控全局注意力机器阅读理解模型的问答方法，其特征在于，编码层为门控循环单元，其中编码层对文章表征
、
问题表征以及选项表征进行处理的过程包括：理的过程包括：理的过程包括：理的过程包括：理的过程包括：其中，表示门控循环单元中第
t
时间步文本位置为
i
的隐藏状态，表示当前时间步
t
左更新门神经元状态，
W
l
为第一网络可训练参数，
U
l
为第二网络可训练参数，
V
l
为第三网络可训练参数
,b
l
为第一偏差参数，
r
it
表示当前时间步
t
右更新门神经元状态，
W
r
为第四网络可训练参数，
U
r
为第五网络可训练参数，
V
r
为第六网络可训练参数
,b
r
为第二偏差参数，表示当前时间步
t
的更新门神经元状态，
W
z
为第七网络可训练参数，
U
z
为第八网络可训练参数，
V
z
为第九网络可训练参数
,b
z
为第三偏差参数，
softmax()
为
softmax
函数，
σ
为
sigmoid
函数，为文本位置为
i
的单词与其相邻2个单词之间的上一个
t
‑1时间步隐藏状态的拼接
,[]
为拼接操作，
g
t
‑1为上一个
t
‑1时间步句子级别的结点的隐藏信息，
x
i
是文本位置为
i
的单词特征表示，表示当前时间步
t
的记忆门神经元状态，
⊙
表示按位点乘
。3.
根据权利要求2所述的一种基于门控全局注意力机器阅读理解模型的问答方法，其特征在于，当前时间步
t
的记忆门神经元状态的计算公式为：
其中，
W
为第十网络可训练参数，
U
为第十一网络可训练参数，
V
为第十二网络可训练参数，
b
为第四偏差参数，
tanh()
为
tanh
函数，
f
it
表示当前时间步
t
的重置门神经元状态，
W
f
为第十三网络可训练参数，
U
f
为第十四网络可训练参数，
V
f
为第十五网络可训练参数
,b
f
为第五偏差参数
。4.
根据权利要求2所述的一种基于门控全局注意力机器阅读理解模型的问答方法，其特征在于，第
t
时间步句子级别的结点的隐藏信息
g
t
的表达式为：的表达式为：的表达式为：的表达式为：的表达式为：其中，表示第
t
‑1时间步文本位置为
i
的隐藏状态，表示当前时间步
t
的全局信息
g
t
更新门神经元状态，
W
g
为第十六网络可训练参数，
U
g
为第十七网络可训练参数，
V
g
为第十八网络可训练参数
,b
g
为第六偏差参数，表示当前时间步
t
全局隐藏状态，表示当前时间步
t
的隐藏状态更新门神经元状态，
W
...

【专利技术属性】
技术研发人员：孙开伟，段雨辰，纪志阳，李奕佳，曾雅苑，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：