基于双视图对比学习与图剪枝的多跳阅读理解方法及系统技术方案

本发明专利技术涉及一种基于双视图对比学习与图剪枝的多跳阅读理解方法及系统，该方法包括以下步骤：步骤A：采集问题、文章上下文、答案和支持事实数据，构建多跳阅读理解训练集；步骤B：使用训练集训练用于多跳阅读理解的基于双视图对比学习与图剪枝的深度学习网络模型D；步骤C：将问题、文章数据依次输入深度学习网络模型D中，输出当前的问题的相应答案。该方法及系统有利于提高多跳阅读理解答案预测的准确性。统有利于提高多跳阅读理解答案预测的准确性。统有利于提高多跳阅读理解答案预测的准确性。

【技术实现步骤摘要】
基于双视图对比学习与图剪枝的多跳阅读理解方法及系统


[0001]本专利技术属于自然语言处理领域，具体涉及一种基于双视图对比学习与图剪枝的多跳阅读理解方法及系统。

技术介绍

[0002]机器阅读理解是人机问答系统的重要组成部分，其目标为使计算机拥有与人类相媲美的文章理解能力。与信息检索任务不同，机器阅读理解不是简单地让机器根据问题匹配文本数据库中相似度最高的字符串，而是让机器能够理解用户所描述的自然语言问题，这些问题的答案可能存在于文本段落中，可能是“是或否”，也有可能是无法回答的，甚至需要机器根据自己的理解生成或计算出正确的答案。多跳阅读理解是指给出的问题无法在单个段落或单个文档中回答，需要经过至少两次文档跳转的推理链才能得到答案。相较于传统的阅读理解问题更需要提高模型的推理能力，要求模型具有更好的解释性和拓展性。对文本语义理解的准确性会影响人机问答系统下游的各种学习任务的性能，而仅通过文本和问题词的简单匹配忽略了未能获取到具体的文章语义信息。因此获得真实的文本语义信息至关重要。
[0003]近年来，随着GPT、BERT等预训练模型的出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双视图对比学习与图剪枝的多跳阅读理解方法，其特征在于，包括以下步骤：步骤A：采集问题、文章上下文、答案和支持事实数据，构建多跳阅读理解训练集；步骤B：使用训练集训练用于多跳阅读理解的基于双视图对比学习与图剪枝的深度学习网络模型D；步骤C：将问题、文章数据输入深度学习网络模型D中，输出当前问题的相应答案。2.根据权利要求1所述的基于双视图对比学习与图剪枝的多跳阅读理解方法，其特征在于，所述步骤B具体包括以下步骤：步骤B1：使用预训练模型Roberta对训练集中各个样本的各个段落包含黄金支持事实的概率进行计算，同时将各个样本的标题和段落的关系对与问题进行文本匹配，得到N个候选段落p
candi
＝{p1，p2，...，p
N
}；步骤B2：将步骤B1得到的候选段落p
candi
和问题、段落中句子、段落中实体词、超链接一同作为节点构造层次图G，并通过G中各节点边关系构造层次图的邻接矩阵A
adj
；步骤B3：将步骤B2得到的层次图G使用预训练模型Roberta获得所有图节点的初始表示，得到段落、句子、实体三种类型的节点表示以及问题节点表示f
q
，以此获得层次图的总体节点表示步骤B4：将步骤B2、B3得到的层次图的邻接矩阵A
adj
及节点表示F用随机删除边关系和随机掩蔽节点特征的方法对层次图分别进行两次损坏，两个损坏后的层次图即为双视图，从而得到两个视图的邻接矩阵A1，A2和节点表示F1，F2；然后将两个视图分别输入到图注意力网络中，得到更新后的节点表示步骤B5：使用门控注意力机制计算初始上下文嵌入E和更新后图节点表示得到相关性系数和上下文表征E
G
；同时，被损坏的两个视图的邻接矩阵A1，A2和特征矩阵F1，F2相互作为正负样本，以余弦相似度计算每一对样本相似性，得到两个图的对比学习损失最大化双视图正例对总体目标损失L
gra
；步骤B6：在步骤5中得到的上下文表征E
G
中包含候选答案节点将其与步骤B3得到的问题节点表示f
q
采用关系过滤方法生成注意力权重稀疏矩阵将其用来筛选当前候选答案节点；步骤B7：将步骤B4和B6得到的所有的不同类型节点分别输入多层感知机进行子任务预测，得到段落、支持事实、实体词、答案类型预测结果，使用交叉熵函数计算各类预测损失；随后根据答案类型预测结果返回相应类型的答案；然后根据目标损失函数，通过反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数；步骤B8：当深度学习网络模型产生的损失值小于设定的阈值或达到最大的迭代次数时，终止深度学习网络模型D的训练。3.根据权利要求2所述的基于双视图对比学习与图剪枝的多跳阅读理解方法，其特征在于，所述步骤B1具体包括以下步骤：步骤B11：对训练集进行遍历，对于训练集中的每个样本，使用Roberta模型作为编码器计算样本中每个段落包含黄金支持事实的概率P
ranking
，使用P
ranking
对段落进行排序，P
ranking
表示为：
P
ranking
＝Roberta
ranking
(P)其中，P＝(t
i
，p
i
)为样本中的段落集，t
i
为段落的标题，p
i
为段落文本；将问题中的短语跨度(q
start
，q
end
)与段落标题中的短语跨度相匹配；如果段落标题与问题匹配时有多个段落匹配成功，则选择P
ranking
前二的段落；如果标题匹配没有匹配到段落，则将问题中的实体词匹配段落中的实体词如果实体词匹配也失败，则取P
ranking
最高的段落，选取出的段落P
sel
表示为：其中，p
sel
表示段落标题与问题匹配成功的段落数量，表示此种情况所选择的P
ranking
前二的段落；e
sel
表示问题中的实体词与段落匹配是否成功，e
sel
＞0表示匹配成功；表示此种情况问题与段落实体词匹配到的段落；表示问题与段落实体词匹配结果；步骤B12：将步骤B11的结果P
sel
相对应的数据集中的超链接来搜索第二跳段落；第一跳选出的段落与问题构建双向边(q，p
i
)，若第二跳段落存在则构建两段落节点之间的双向边(p
i
，p
j
)，p
i
为第一跳中选中的段落，p
j
为第二跳中选中的段落；得到n个候选段落p
candi
＝{p1，p2，...，p
n
}，使用P
ranking
选择排名前N的段落，得到N个候选段落p
candi
＝{p1，p2，
…
，p
N
}。4.根据权利要求3所述的基于双视图对比学习与图剪枝的多跳阅读理解方法，其特征在于，所述步骤B2具体包括以下步骤：步骤B21：对于训练集中的每个样本，将步骤B1中匹配到的段落、各段落中的句子、各句子中的实体词与问题一起构建层次图G；定义层次图中存在四种节点和七种边关系：G＝{V，E}其中，V为问题节点q、匹配得到的段落节点p
candi
＝{p1，p2，..，p
N
}、各段落中的句子节点各句子中的实体词节点构成的集合，N，n
s
，n
e
分别表示层次图中限定的段落、句子、实体词节点的个数；E为七种边关系组成的集合；步骤B22：利用层次图G中各节点的边关系构造邻接矩阵A
adj
：其中，A
ij
非零表示两节点之间的关系属于集合E中的一种，为零则表示两节点之间不存在集合E中的关系。5.根据权利要求4所述的基于双视图对比学习与图剪枝的多跳阅读理解方法，其特征在于，所述步骤B3具体包括以下步骤：步骤B31：将每个训练样本中的问题对应的选定段落合并，并与问题连接，然后输入Roberta获得初始表征；经互注意力层获得问题表示和段落上下文表示其中，m和n分别为问题数量和段落数量，d表示表征向量维度；步骤B32：将问题和上下文表示分开处理，上下文表示中，对于不同类型的结点，均以跨度形式计算，经Bi
‑
LSTM网络提取段落、句子、实体三种类型的节点表示
其中，表示段落节点的起始位置和结束位置，句子结点和实体节点的表示类...

【专利技术属性】
技术研发人员：陈羽中，陈谨雯，
申请(专利权)人：福州大学，
类型：发明
国别省市：