一种适用于数值推理任务的胶囊网络结构制造技术

本发明专利技术公开了一种适用于数值推理任务的胶囊网络结构，所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层，引入了RoBerta神经网络他能够识别出合法的数字和重要的词语，除此以外，还引入了一个双向的注意力机制用于精细地捕捉问题和相关文档之间的关系；同时利用胶囊网络将底层的特征语义特征聚合到高层的特征中，不同于max

【技术实现步骤摘要】
一种适用于数值推理任务的胶囊网络结构


[0001]本专利技术涉及计算机科学中的自然语言处理方向领域，具体涉及一种适用于数值推理任务的胶囊网络结构。

技术介绍

[0002]现有的提升机器阅读理解模型数值推理能力的方法并不多见。其主要方法是通过对文本和问题中的数字进行提取，然后利用数字的类型和数字的数值关系，构建有向图，然后再利用图神经网络(图注意力网络)对有向图进行运算、推理，最终利用运算的结果辅助答案的预测。
[0003]尽管现有的方法可以在一定程度上，提升机器阅读理解的准确性。但仍然有两个难点没有解决:1)如何识别分布在多个句子中的合法数值。2)对于每个问题，如何区分出重叠的数值语义。

技术实现思路

[0004]为解决上述问题，提出了一种适用于数值推理任务的胶囊网络结构；
[0005]一种适用于数值推理任务的胶囊网络结构，其特征在于：所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层；
[0006]具体实施步骤如下；
[0007]S1、问题预测层由描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于数值推理任务的胶囊网络结构，其特征在于：所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层；具体实施步骤如下；S1、问题预测层由描述文本和问题作为整个模型的输入S，分为问题序列S
q
和文档序列S
d
；S2、然后利用Roberta编码器对输入层进行编码，得到输入层的编码表示H；S3、推理层和胶囊网络层以编码表示作为输入进行计算；S4、推理层和胶囊网络层的结果作为问题预测层的输入，通过问题预测层获得最终的答案P(ans)。2.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述输入层采用S
q
代表问题序列，S
d
代表文档序列；所述文档序列S
d
包含m个词；所述问题序列S
q
包含n个词语；用S表示S
d
和S
q
的合并结果，公式表示如下：3.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述Roberta编码层以Roberta网络作为基本的编码器，将输入S被编码为H，即：H＝RoBerta
‑
Encoder(S)
ꢀꢀꢀꢀ
(4)利用Roberta网络结构的后四层输出作为后续层的输入，即：RoBerta
out
＝[H
N
‑3，H
N
‑2，H
N
‑1，H
N
]
ꢀꢀꢀꢀ
(5)。4.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述Roberta编码层内部设有一个双向的注意力网络，即：Roberta编码层内部设有一个双向的注意力网络，即：Roberta编码层内部设有一个双向的注意力网络，即：其中代表问题的隐藏层向量，代表文档的隐藏层向量；Attention机制采用表中的attention算法，将隐藏层向量分别乘不同的矩阵W
Q
，W
K and W
V
分别作为query，key和value向量。5.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述胶囊网络的胶囊是一组向量，其中胶囊的方向表示一种特定类型的数字特征，而胶囊的长度表示这些特征存在的可能性；来自高层的活动胶囊通过矩阵变换进行预测，而高层胶囊则是由低层胶囊聚类的，而低层胶囊则具有更多的抽象特征，当多个预测结果一致时，高层胶囊就会生效；在数值推理的任务中，将所有的通过Roberta编码层抽取得到的底层语义信息投射到一定数量的底层胶囊中，每一个向量表示一个胶囊，每一个向量通过非线性函数Squash函数进行激活，Squash函数可以缩小向量的长度至0到1的范围内，表示该胶囊的概率，即：
在底层胶囊捕获到数值语义后，高层胶囊通过收集底层胶囊的信息得到，即：其...

【专利技术属性】
技术研发人员：贾维嘉，刘天一，宋羽珩，沈平，
申请(专利权)人：北京师范大学珠海校区，
类型：发明
国别省市：