基于外部知识增强的机器阅读理解方法、系统、装置制造方法及图纸

本发明专利技术属于自然语言处理技术领域，具体涉及一种基于外部知识增强的机器阅读理解方法、系统、装置，旨在解决现有机器阅读理解方法未利用三元组间的图结构信息，导致答案预测准确率较低的问题。本系统方法包括生成问题及原文文本中各实体的上下文表示；基于外部知识库，获取问题及原文文本中各实体的三元组集合及原文文本中各实体相邻实体的三元组集合；并基于三元组集合，通过外部知识图谱获取各实体的知识子图；通过图注意力网络更新融合知识子图，获取知识表示；通过哨兵机制将上下文表示和知识表示进行拼接，通过多层感知器和softmax分类器获取待回答问题的答案。本发明专利技术通过利用三元组之间的图结构信息，提高了答案预测的准确率。

Machine reading comprehension method, system and device based on external knowledge enhancement

【技术实现步骤摘要】
基于外部知识增强的机器阅读理解方法、系统、装置
本专利技术属于自然语言处理
，具体涉及一种基于外部知识增强的机器阅读理解方法、系统、装置。
技术介绍
机器阅读理解是在自然语言处理中非常重要的一个研究任务。机器阅读理解需要系统通过阅读一篇相关文章，来回答对应的问题。而在阅读理解任务中，利用外部知识是一个相当热门的研究方向。如何在阅读理解系统中使用外部知识也受到了广泛的关注。外部知识的来源主要分为两类，一类是非结构化的外部自然语言语料；另一类则是结构化的知识表示，比如说知识图谱。本专利技术主要关注如何利用结构化的知识表示。结构化的知识图谱中，通常将知识表示成若干个三元组，比如(shortage，related_to，lack)和(need，related_to，lack)。以往利用这类结构化知识时，通常根据阅读理解原文和问题信息检索回相关的三元组集合作为外部知识，然而，在对三元组建模时，只针对单独的三元组建模，即无法捕捉三元组之间的信息，也就是多跳的信息，换句话说，则是未捕捉原有的三元组间的图结构信息。因此，本专利提出一种基于外部知识增强的机器阅读理解模型。
技术实现思路
为了解决现有技术中的上述问题，即为了解决现有机器阅读理解方法未利用外部知识中三元组间的图结构信息，导致答案预测准确率较低的问题，本专利技术第一方面，提出了一种基于外部知识增强的机器阅读理解的方法，该方法包括：步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。在一些优选的实施方式中，步骤S100中“分别生成所述第一文本、所述第二文本中各实体的上下文表示”其方法为：通过BERT模型分别生成所述第一文本、所述第二文本中各实体的上下文表示。在一些优选的实施方式中，所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，其包括以所述相邻实体为head实体或tail实体的三元组集合。在一些优选的实施方式中，步骤S200中“基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱”，其方法为：通过Dismult模型初始化所述外部知识库，构建知识图谱。在一些优选的实施方式中，步骤S300中“通过图注意力网络融合各实体的知识子图”，其方法为：通过图注意力网络更新融合各实体知识子图中的节点；更新融合方法如下：其中，hj为知识子图中j节点的表示，αn为注意力机制算得的归一化的概率得分，tn为j节点邻居节点的表示，βn为与第n个邻居节点的逻辑得分，βj为与第j个邻居节点的逻辑得分，rn为边的表示，hn为知识子图中n节点的表示，wr、wh、wt为rn、hn、tn对应的可训练参数，Nj为知识子图中j节点的邻居节点个数，l为第l次迭代，T为转置，n、j为下标。在一些优选的实施方式中，步骤S400中“通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示”，其方法为：wi＝σ(W[tbi；tki])其中，ti'为知识增强后的文本表示，wi为控制知识流入的计算阈值，σ(·)为sigmoid函数，W为可训练参数，tbi为文本上下文表示，tki为知识表示，i为下标。本专利技术的第二方面，提出了一种基于外部知识增强的机器阅读理解的系统，该系统包括上下文表示模块、获取知识子图模块、知识表示模块、输出答案模块；所述上下文表示模块，配置为获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；所述获取知识子图模块，配置为基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；所述知识表示模块，配置为通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；所述输出答案模块，配置为通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。本专利技术的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。本专利技术的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。本专利技术的有益效果：本专利技术通过利用三元组之间的图结构信息，提高了答案预测的准确率。本专利技术通过外部知识库获取阅读理解原文文本及待回答问题文本中各实体的三元组集合及阅读理解原文文本各实体三元组集合中对应相邻实体的三元组集合，即将相关的三元组集合及三元组之间的信息作为外部知识。基于Dismult模型初始化外部知识库构建知识图谱，将这些三元组集合恢复其在知识图谱中的图结构信息，使其保持知识图谱中的子图结构信息，并通过图注意力网络动态更新融合子图结构信息。可以克服传统无法有效利用结构化外部知识里的结构信息，即外部知识中三元组之间的信息，以此来提高机器进行答案预测的准确率。附图说明通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。图1是本专利技术一种实施例的基于外部知识增强的机器阅读理解方法的流程示意图；图2是本专利技术一种实施例的基于外部知识增强的机器阅读理解系统的框架示意图；图3是本专利技术一种实施例的基于外部知识增强的机器阅读理解方法的详细系统架构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显本文档来自技高网...

【技术保护点】
1.一种基于外部知识增强的机器阅读理解方法，其特征在于，该方法包括：/n步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；/n步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；/n步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；/n步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。/n

【技术特征摘要】
1.一种基于外部知识增强的机器阅读理解方法，其特征在于，该方法包括：
步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。


2.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，步骤S100中“分别生成所述第一文本、所述第二文本中各实体的上下文表示”其方法为：通过BERT模型分别生成所述第一文本、所述第二文本中各实体的上下文表示。


3.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，其包括以所述相邻实体为head实体或tail实体的三元组集合。


4.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，步骤S200中“基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱”，其方法为：通过Dismult模型初始化所述外部知识库，构建知识图谱。


5.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，步骤S300中“通过图注意力网络融合各实体的知识子图”，其方法为：通过图注意力网络更新融合各实体知识子图中的节点；更新融合方法如下：









其中，hj为知识子图中j节点的表示，αn为注意力机制算得的归一化的概率得分，tn为j节点邻居节点的表示，βn为与第n个邻居节点的逻辑得分，βj为与第j...

【专利技术属性】
技术研发人员：刘康，张元哲，赵军，丘德来，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11