【技术实现步骤摘要】
本专利技术涉及计算机，具体涉及一种基于依存图神经网络的开放信息提取方法。
技术介绍
1、开放信息提取(openie)被用于以领域无关的方式从非结构化的自然语言文本中提取结构化信息，结构化信息通常以三元组或n元命题的形式表示。openie在许多下游的自然语言处理(nlp)任务中起着关键作用，如知识库构建、问答和信息检索等。
2、目前，openie主要是针对句子级别的提取。对于简单句子来说，无法进一步分解且通常只包含一个关系三元组，现有openie方法的提取结果非常接近和合理，难以进一步改进。然而，对于复杂句子来说，其中包含多个从句，每个从句通常包含一个关系三元组，现有方法的结果并不理想，仍有很大的改进空间。因此，处理复杂句子成为提高openie效果的关键因素之一。
3、针对复杂句子，一种有效的方法是基于从句的提取。基于从句的提取首先将复杂句子转化为一组简单从句，然后使用关系提取器从这些从句中提取三元组。然而，现有的传统的基于从句的方法主要依赖于从语法知识中提炼的启发式规则，存在着泛化能力较差的问题。同时，随着nlp技术的发展，越来越多的方法采用了语言模型等nlp技术来提高处理复杂句子的能力。但是，这种方法主要关注句子本身的语义信息，原因是所使用的模型对于捕捉句法信息的能力不足，学习句法特征的能力较弱。
4、传统的openie方法主要利用句法模式和启发式规则，或者自动构建训练数据来学习提取器。例如，clausie使用词性标注和依存解析信息，识别句子中的所有动词，并根据基于语法知识的人工规则识别动词
5、最近，深度学习技术在openie方面取得了优秀的性能。在这些神经网络方法中，openie主要被视为序列生成、序列标注和跨度选择任务。copyattention使用encoder-decoder框架，将openie视为sequence-to-sequence生成任务。它以句子作为输入，输出以指定分隔符分隔的关系三元组序列。senseoie将openie任务转化为序列标注问题。它使用多个openie系统的输出与少量标记数据作为训练数据，并使用不同的词向量、词性标注和依存解析等词汇和语法信息作为提取关系三元组的输入特征。spanoie将openie视为跨度选择任务。它通过引入谓词模块来找到谓词跨度，通过论元模块argument module来找到论元，从而确定每个跨度属于每个标签的得分。
6、句法信息和依存知识已经被证明对许多信息提取任务(如语义角色标注和关系抽取)非常有益。然而，以前的神经openie方法往往不将句法特征视为关键特征，以浅层方式利用句法特征，这在句子过长且句法结构复杂时会导致信息丢失的问题。另外，这些方法没有充分利用依存解析结果中包含的句法信息，难以捕捉多跳依存关系。
技术实现思路
1、本专利技术的目的是针对现有技术存在的不足，提供一种基于依存图神经网络的开放信息提取方法。
2、为实现上述目的，本专利技术提供了一种基于依存图神经网络的开放信息提取方法，包括：
3、将开放信息每个句子s中的每个单词wi映射到表示向量xi，由此获得句子s的嵌入序列x＝<x1,x2,…,xn>，n为大于2的自然数；
4、将所述句子s的嵌入序列x输入至上下文编码器中，以获取每个单词wi的词向量；
5、将句子s转化为依存解析树，并构建依存图；
6、将所述依存图输入至图注意力网络，以获得句法编码器，所述句法编码器通过对依存图的邻居节点进行加权求和，得到每一节点i的输出嵌入序列；
7、利用解码器接收所述句法编码器的输出嵌入序列，生成提取出的三元组序列。
8、进一步的，所述表示向量xi包括两个部分，第一部分为将单词wi转换为相应的字符向量其中，r为实数，dc通过全局词向量表示字符向量ec的维度，第二部分来自pos标签向量其中，而dp表示pos标签向量ep的维度，表示向量xi通过连接和来获得，具体如下：
9、
10、其中，表示向量连接。
11、进一步的，构建依存图的方式具体如下：
12、以每个单词wi的词向量作为依存图上的节点，并将有向解析树边转换为无向依赖边，以图结构的形式得到依存解析结果。
13、进一步的，所述节点i的输出嵌入序列为：
14、
15、其中，ui为节点i的输出嵌入序列，σ为激活函数，w表示共享的权重矩阵，表示节点i的邻居节点，αik为节点i与其任意邻居节点k的注意力系数，hk为节点i的任意邻居节点的隐藏节点嵌入序列。
16、进一步的，所述节点i与其邻居节点j的注意力系数αij为：
17、
18、其中，softmax为归一化函数，exp为以自然常数e为底的指数函数，eij为节点i与其邻居节点j之间的注意力值，eik为节点i与其任意邻居节点k之间的注意力值，
19、
20、其中，leakyrelu为激活函数，hi和hj分别为节点i与其邻居节点j的隐藏节点嵌入序列。
21、进一步的，所述上下文编码器采用双向lstm网络实现，。
22、进一步的，所述解码器基于堆叠的lstm实现。
23、进一步的，所述解码器生成提取出的三元组序列的方式具体如下：
24、yi＝max(p(yt))
25、p(yt)＝softmax(yt-1,ht,c)
26、ht＝lstm(yt-1,ht-1,c)
27、其中，yi为提取出的三元组序列的单词，max为求最大值函数，ht为解码器在时间步t的隐藏状态，yt-1为解码器在时间步t-1的输出，ht-1为解码器在时间步t-1的隐藏状态，c是通过连接所有节点的输出嵌入序列u＝<u1,u2,…,un>和句子s的嵌入序列x获得的。
28、有益效果：1、本专利技术采用encoder-decoder框架用于openie任务，并将图神经网络引入到openie模型的编码器模块中，因此dgnnie具有跨语言提取的潜力；
29、2、本专利技术与以往的openie方法不同，本专利技术更加关注句子的句法信息，除了使用常见的上下文编码器来编码句子的语义信息外，还提出了一个句法编码器，通过更多地关注句子的句法结构，本文档来自技高网...
【技术保护点】
1.一种基于依存图神经网络的开放信息提取方法，其特征在于，包括：
2.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，所述表示向量xi包括两个部分，第一部分为将单词wi转换为相应的字符向量其中，R为实数，dc通过全局词向量表示字符向量ec的维度，第二部分来自POS标签向量其中，而dp表示POS标签向量ep的维度，表示向量xi通过连接和来获得，具体如下：
3.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，构建依存图的方式具体如下：
4.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，所述节点i的输出嵌入序列为：
5.根据权利要求4所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，所述节点i与其邻居节点j的注意力系数αij为：
6.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，所述上下文编码器采用双向LSTM网络实现，。
7.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方法，其特征在于
8.根据权利要求7所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，所述解码器生成提取出的三元组序列的方式具体如下：
...【技术特征摘要】
1.一种基于依存图神经网络的开放信息提取方法，其特征在于，包括：
2.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，所述表示向量xi包括两个部分，第一部分为将单词wi转换为相应的字符向量其中，r为实数，dc通过全局词向量表示字符向量ec的维度，第二部分来自pos标签向量其中，而dp表示pos标签向量ep的维度，表示向量xi通过连接和来获得，具体如下：
3.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方法，其特征在于，构建依存图的方式具体如下：
4.根据权利要求1所述的一种基于依存图神经网络的开放信息提取方...
【专利技术属性】
技术研发人员：杨思恩，
申请(专利权)人：江苏苏宁银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。