基于知识增强的注意力神经网络的隐式篇章关系识别方法技术

本发明专利技术公开一种基于知识增强的注意力神经网络的隐式篇章关系识别方法，包括如下步骤：1)构建基本论元表示层；2)构建外部知识表示层；3)构建知识增强的论元间交互注意力机制，目的是将外部知识作为关系向量与带有论元交互信息的矩阵相融合；4)知识增强的组合表示模块建模，将外部知识的注意力机制作用于基础论元表示上，从而获取具有外部知识指导且具有重要信息的论元表示，同时包含整个论元对的上下文信息；5)构建篇章关系识别模块，利用所得的带有外部知识信息的论元表示进行关系识别。该方法通过外部知识与内在关系识别特征相结合的方式，得到的隐式篇章关系识别结果相比于现有模型在相关评价指标上取得了更好的表现。

An implicit text relation recognition method based on knowledge enhanced attention neural network

【技术实现步骤摘要】
基于知识增强的注意力神经网络的隐式篇章关系识别方法
本专利技术涉及自然语言处理中篇章分析
，尤其是涉及篇章关系识别技术，具体为一种基于知识增强的注意力神经网络的隐式篇章关系识别方法。
技术介绍
篇章关系描述了两个相邻的文本单元(例如子句，句子和较大的句子组)如何在逻辑上彼此连接，通常被定义为带有两个论元的连词(分别为Arg1和Arg2)，例如时序关系，因果关系等。没有显式连接词的隐式篇章关系识别需要从特定的语境来推断两者之间的关系，这依然是一个具有挑战性的问题。隐式篇章关系识别有利于许多流行自然语言处理(NaturalLanguageProcessing,NLP)应用，如机器翻译、文本摘要、对话系统等。以往的研究主要包括：(1)传统的基于特征的模型，(2)基于神经网络的模型。前者采用人为设计的语言特征(如极性、词对、位置信息等)和复杂的规则等[2-4]。然而，隐性篇章关系根源于语义，难以从表面特征上进行识别[5,6]。后者通过编码两个没有交互信息的篇章论元获得了更好的论元表征，能够更准确地把握篇章关系。进一步的研究采用了较为复杂的神经网络与注意力机制、门控机制或记忆机制对论元对的交互信息和论元的重要指示信息进行挖掘。然而，他们忽略了两个论元之间的双向不对称交互，只关注到句子内部的信息[7-9]。认知心理学的研究认为，人类记忆和理解事物的能力不仅取决于不同类型的记忆(例如即时记忆，长期记忆)，还取决于它们之间的相互作用。直观地说，在判断篇章关系时，大脑会自动地唤醒相关的外部知识，这对关系识别很有帮助。为了模仿这一机制，利用相关知识来捕获有意义的信息，这可以丰富对篇章论元的语义理解。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提供一种基于知识增强的注意力神经网络的隐式篇章关系识别的方法(KANN)。利用外部知识建立关系矩阵，得到关系嵌入向量，由于关系矩阵增强了两个论元之间的非对称交互，因此关系嵌入向量丰富了论元表示，有利于篇章关系的识别。该方法为了更好进行隐式篇章关系识别，构建了基于知识增强的注意力神经网络，其引入外部知识，丰富了论元表示，有利于篇章关系的识别。该方法首先利用基本论元表示层得到论元对的嵌入向量，进而通过外部知识表示层得到论元中可能包含的所有实体对-关系的嵌入表示，然后通过知识增强的论元间交互注意力机制分别得到互注意力矩阵和知识增强注意力矩阵，再通过知识增强的组合表示模块得到含有外部知识特征和上下文信息的论元表示，最后通过关系识别模块进行篇章关系识别。本专利技术的目的是通过以下技术方案实现的：基于知识增强的注意力神经网络的隐式篇章关系识别方法，包括以下步骤：(1)构建基本论元表示层；首先根据索引进行查表操作实现单词嵌入；然后将篇章论元中原始单词表示转换为低维分布式表示；继而利用神经网络对所有篇章论元进行编码，最终获得基本的篇章论元表示；(2)构建外部知识表示层；通过TranslatingEmbedding(TransE)[1]实现篇章论元对中所有实体和实体关系的低维向量表示，其中，实体表示中蕴含了相应的实体关系信息，将实体表示作为隐式篇章关系识别的外部知识引入；整个过程包括对两个部分：1)外部知识的检索，利用外部知识得到实体关系向量表示；2)构建篇章论元对中所有实体的关系矩阵；(3)构建知识增强的论元间交互注意力机制；利用互注意力机制捕获带有重要信息的论元对间的交互信息，其中，引用注意力机制的神经网络能够动态学习到可体现篇章论元对交互信息的注意力矩阵；然后将步骤(2)中获得的实体关系矩阵作为外部知识投影到注意力矩阵上，即可获得使用外部知识增强基本论元对表示的注意力矩阵；(4)构建知识增强的组合表示模块；将步骤(3)中获得的知识增强注意力矩阵作用在基础论元表示上，即可获取带有外部知识信息的论元表示，同时包含整个论元对的上下文信息；(5)构建篇章关系识别模块，利用步骤(4)中获取到的带有外部知识信息的论元表示进行篇章关系识别，从而得到篇章关系。进一步的，步骤(1)具体包括：对于篇章论元的原始表示，首先通过嵌入向量函数查找出词汇表中的每个词w相应的向量表示其中d表示嵌入向量的维度；由于每个论元被看作是一个词向量的序列，因此在篇章关系中，论元被表示为：Arg1:Arg2:其中Arg1和Arg2分别包含n1,n2个单词；为了在上下文中表示论元，使用了双向长短时记忆网络(BidirectionalLongShort-TermMemory,BiLSTM)捕获在序列中每个位置t处的上下文相关的隐藏状态，公式如下：ht＝BiLSTM(wt,ht-1)(15)在公式(1)中，分别是前向网络层和后向的隐藏层状态，它们分别保存了历史和未来的信息，引入了单词的上下文信息，使单词表示更为符合语义表征；因此，Arg1中的第i个单词和Arg2中的第j个单词的隐藏层状态分别编码为和其中wt表示t时刻的单词表示；ht-1表示t-1时刻的隐藏层状态。进一步的，步骤(2)具体包括：构建外部知识表示层的目的是将带有关系信息的实体嵌入表示作为隐式篇章关系识别的外部知识引入；主要包括两部分：外部知识的检索和外部知识表示作为关系嵌入向量；外部知识的检索：利用WordNet作为外部知识库，将知识表示为一个三元组fi＝(subject,relation,object)，其中subject和object分别是主体和客体，realation表示关系；对于每个实例(Arg1,Arg2)，首先分别从Arg1和Arg2中抽取所有的实体E1,E2，即实体集合)；然后将组合成实体对，通过从WordNet中查找出的实体对来检索实体对拥有的相关知识；外部知识表示作为关系嵌入向量：检索到的知识由两个实体及其关系组成，关系被表示为从预训练的嵌入向量集中所获取的向量如果关系是词组形式，利用所有词的平均值作为关系的嵌入向量；如果第i个实体对有多个关系，则最终的关系嵌入向量由所有的关系嵌入向量经过加权求和计算得到，如公式(2)所示：其中rk代表第k个关系向量，μk表示第k个关系向量的权重，m表示一个实体对中包含的关系数量，其可通过公式(3)计算得到：公式(3)中，m表示一个实体对中包含的关系数量；rj表示m个关系向量中的第j个关系向量；从外部知识获取到实体关系后，会建立一个知识关系矩阵其元素由指示函数填充；其中，eij表示实体对(e1i,e2j)，然后得到相关的知识注意力矩阵K'＝f(K)，函数f是非线性函数，如relu或tanh。进一步的，步骤(3)具体包括：首先利用互注意力机制捕获带有重要信息的论元对间的交互信息，然后通过外部知识表示来扩充论元对间交互信息而得到知识增强的关系矩阵；主要包括两部分：互注意力机制，知识增强注意力机制；互注意力机制：在获得由BiLSTM产生的两个论元的隐藏层状态向量表示后，得到隐藏层状态向量表示矩阵和然后根据公式(5)计算得到互本文档来自技高网...

【技术保护点】
1.基于知识增强的注意力神经网络的隐式篇章关系识别方法，其特征在于，包括以下步骤：/n(1)构建基本论元表示层；首先根据索引进行查表操作实现单词嵌入；然后将篇章论元中原始单词表示转换为低维分布式表示；继而利用神经网络对所有篇章论元进行编码，最终获得基本的篇章论元表示；/n(2)构建外部知识表示层；通过Translating Embedding(TransE)实现篇章论元对中所有实体和实体关系的低维向量表示，其中，实体表示中蕴含了相应的实体关系信息，将实体表示作为隐式篇章关系识别的外部知识引入；整个过程包括两个部分：1)外部知识的检索，利用外部知识得到实体关系向量表示；2)构建篇章论元对中所有实体的关系矩阵；/n(3)构建知识增强的论元间交互注意力机制；利用互注意力机制捕获带有重要信息的论元对间的交互信息，其中，引用注意力机制的神经网络能够动态学习到可体现篇章论元对交互信息的注意力矩阵；然后将步骤(2)中获得的实体关系矩阵作为外部知识投影到注意力矩阵上，即可获得使用外部知识增强基本论元对表示的注意力矩阵；/n(4)构建知识增强的组合表示模块；将步骤(3)中获得的知识增强注意力矩阵作用在基础论元表示上，即可获取带有外部知识信息的论元表示，同时包含整个论元对的上下文信息；/n(5)构建篇章关系识别模块，利用步骤(4)中获取到的带有外部知识信息的论元表示进行关系识别，从而得到篇章关系。/n...

【技术特征摘要】
1.基于知识增强的注意力神经网络的隐式篇章关系识别方法，其特征在于，包括以下步骤：
(1)构建基本论元表示层；首先根据索引进行查表操作实现单词嵌入；然后将篇章论元中原始单词表示转换为低维分布式表示；继而利用神经网络对所有篇章论元进行编码，最终获得基本的篇章论元表示；
(2)构建外部知识表示层；通过TranslatingEmbedding(TransE)实现篇章论元对中所有实体和实体关系的低维向量表示，其中，实体表示中蕴含了相应的实体关系信息，将实体表示作为隐式篇章关系识别的外部知识引入；整个过程包括两个部分：1)外部知识的检索，利用外部知识得到实体关系向量表示；2)构建篇章论元对中所有实体的关系矩阵；
(3)构建知识增强的论元间交互注意力机制；利用互注意力机制捕获带有重要信息的论元对间的交互信息，其中，引用注意力机制的神经网络能够动态学习到可体现篇章论元对交互信息的注意力矩阵；然后将步骤(2)中获得的实体关系矩阵作为外部知识投影到注意力矩阵上，即可获得使用外部知识增强基本论元对表示的注意力矩阵；
(4)构建知识增强的组合表示模块；将步骤(3)中获得的知识增强注意力矩阵作用在基础论元表示上，即可获取带有外部知识信息的论元表示，同时包含整个论元对的上下文信息；
(5)构建篇章关系识别模块，利用步骤(4)中获取到的带有外部知识信息的论元表示进行关系识别，从而得到篇章关系。


2.根据权利要求1所述基于知识增强的注意力神经网络的隐式篇章关系识别方法，其特征在于，步骤(1)具体包括：
对于篇章论元的原始表示，首先通过嵌入向量函数查找出词汇表中的每个词w相应的向量表示其中d表示嵌入向量的维度；由于每个论元被看作是一个词向量的序列，因此在篇章关系中，论元被表示为：






其中Arg1和Arg2分别包含n1,n2个单词；为了在上下文中表示论元，使用了双向长短时记忆网络(BidirectionalLongShort-TermMemory,BiLSTM)捕获在序列中每个位置t处的上下文相关的隐藏状态，公式如下：
ht＝BiLSTM(wt,ht-1)(1)
在公式(1)中，分别是前向网络层和后向的隐藏层状态，它们分别保存了历史和未来的信息，引入了单词的上下文信息，使单词表示更为符合语义表征；因此，Arg1中的第i个单词和Arg2中的第j个单词的隐藏层状态分别编码为和其中wt表示t时刻的单词表示；ht-1表示t-1时刻的隐藏层状态。


3.根据权利要求1所述基于知识增强的注意力神经网络的隐式篇章关系识别方法，其特征在于，步骤(2)具体包括：
构建外部知识表示层的目的是将带有关系信息的实体嵌入表示作为隐式篇章关系识别的外部知识引入；主要包括两部分：外部知识的检索和外部知识表示作为关系嵌入向量；
外部知识的检索：利用WordNet作为外部知识库，将知识表示为一个三元组fi＝(subject,relation,object)，其中subject和object分别是主体和客体，realation表示关系；对于每个实例(Arg1,Arg2)，首先分别从Arg1和Arg2中抽取所有的实体E1,E2，即实体集合)；然后将组合成实体对，最后通过从WordNet中查找出的实体对来检索实体对拥有的相关知识；
外部知识表示作为关系嵌入向量：检索到的知识由两个实体及其关系组成，关系被表示为从预训练的嵌入向量集中所获取的向量如果关系是词组形式，利用所有词的平均值作为关系的嵌入向量；如果第i个实体对有多个关系，则最终的关系嵌入向量由所有的关系嵌入向量经过加权求和计算得到，如公式(2)所示：



其中rk代表第k个关系向量，μk表示第k个关系向量的权重，m表示一个实体对中包含的关系数量，其可通过公式(3)计算得到：



公式(3)中，m表示一个实体对中包含的关系数量；rj表示m个关系向量中的第j个关系向量；从外部知识获取到实体关系后，会建立一个知识关系矩阵其元素由指示函数填充；



其中，eij表示实体对(e1i,e2j)，然后得到相关的知识注...

【专利技术属性】
技术研发人员：贺瑞芳，郭凤羽，王建，党建武，贺迎春，朱永凯，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12