System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于FFN和路径图注意力网络的事件关系抽取方法技术_技高网

一种基于FFN和路径图注意力网络的事件关系抽取方法技术

技术编号:40468436 阅读:10 留言:0更新日期:2024-02-22 23:23
本发明专利技术公开了一种基于FFN和路径图注意力网络的事件关系抽取方法,包括:获取文本数据,对文本数据进行预处理,将预处理后的文本数据输入至BERT模型进行编码;将特征向量矩阵输入至FFN网络中,利用FFN网络获得基于事件对上下文的关系序列表示;将特征向量矩阵输入至路径图注意力网络,根据节点级注意力机制和语义级注意力机制,聚合事件信息和文本信息得到语义图中各个节点的特征向量;将两个特征向量进行融合,利用融合之后的特征向量计算文本事件之间的事件关系。本发明专利技术通过前馈神经网络FFN获得基于事件上下文的关系序列表示,准确地获得文本节点与事件之间的关联程度,有效地整合事件相关信息,提高最终事件对关系的预测准确度。

【技术实现步骤摘要】

本专利技术涉及人工智能,特别涉及一种基于ffn和路径图注意力网络的事件关系抽取方法。


技术介绍

1、事件关系提取是事件知识图谱中的一个重要步骤。目前,在事件关系提取的任务中,大多数研究集中在提取因果关系和时间关系上。随着深度学习的发展,许多模型被用于这项任务中。hu等人在论文selfore:self-supervised relational feature learningfor open relation extraction中使用预训练的语言模型自适应地聚类化时间关系特征。jiang等人在论文tree framework with bert word embedding for the recognition ofchinese implicit discourse relations中提出了一种在分类中结合句法树结构的模型。人们还提出了处理文档级事件因果关系的不同思路,如trong等人在论文selectingoptimal context sentences for event-event relation extraction中设计了一种强化学习机制来从文档中选择关键上下文。xu等人在论文event temporal relationextraction with attention mechanism and graph neural network中提出了一种通过多层双向长短期记忆(bi-lstm)和注意机制来整合事件信息的事件信息集成模型和一种新的包含边缘属性的关系图注意网络(rgat)。zhuang等人在论文knowledge-enhanced eventrelation extraction via event ontology prompt中将事件本体中的潜在知识注入到提示文本中,并进一步引入了一种双层注意融合机制来增强关键知识的注入,以缓解知识噪声。

2、由于丰富的语言知识包含在句法依赖中,因此有很多基于句法依赖的方法被提出。如zhang等人在论文extracting temporal event relation with syntax-guidedgraph transformer中提出使用图转换器来捕捉语法图中的时间知识。mathur等人发表的论文timers:document-level temporal relation extraction和tran等人发表的论文exploiting document structures and cluster consistencies for eventcoreference resolution中在使用句法依赖性的同时,还引入了修辞、话语和语义等其他知识,通过不同图中节点之间的交互来丰富事件的表示。

3、然而,现有模型中运用的图注意力网络rgat,并不能考虑到区分事件节点和文本节点的特征差异和不同边缘种类的特征差异,并且需要通过多层结构实现对非邻居节点的特征聚合,这导致不能准确地获得文本节点与事件之间的关联程度,事件相关信息不能有效地整合,从而影响最终事件对关系的预测。


技术实现思路

1、专利技术目的:针对以上问题,本专利技术目的是提供一种基于ffn和路径图注意力网络的事件关系抽取方法。

2、技术方案:本专利技术的一种基于ffn和路径图注意力网络的事件关系抽取方法,包括以下步骤:

3、步骤1,获取文本数据,对文本数据进行预处理,将预处理后的文本数据输入至bert模型进行编码,生成对应语义的特征向量矩阵;

4、步骤2,将特征向量矩阵输入至ffn网络中,利用ffn网络获得基于事件对上下文的关系序列表示;

5、步骤3,将特征向量矩阵输入至路径图注意力网络,根据节点级注意力机制和语义级注意力机制,聚合事件信息和文本信息得到语义图中各个节点的特征向量;

6、步骤4,将步骤2中输出的特征向量和步骤3中输出的特征向量进行融合,利用融合之后的特征向量计算文本事件之间的事件关系,以实现事件关系的分类。

7、进一步,步骤1具体包括如下过程:

8、将输入的文本数据去除不需要的字段,统一格式,并标记好触发词,再利用bert模型将文本语句{w1,w2,…,wt}生成对应wi特征向量,利用特征向量组成特征向量矩阵v。

9、进一步,步骤2具体包括如下过程:

10、从特征向量矩阵v中抽取两个事件句[es1;es2]构成一个事件对,将两个事件句分别输入ffn网络,分别获得前向事件对表示和后向事件对表示,表达式分别为:

11、

12、

13、式中,uforward为前向事件对表示,ubackward为后向事件对表示,hi和hj是两个事件的词向量编码;

14、然后同时考虑前向和后向视角,挖掘基于上下文的事件关系信息,通过学习权重来自动推断出方向性序列表示,表达式为:

15、

16、式中,hseq表示方向性序列表示,w1和w2为可训练权重参数,b为偏差,表示特征向量之间的连接操作。

17、进一步,步骤3实现过程包括如下步骤:

18、步骤31,从特征向量矩阵v中抽取两个事件句[es1;es2],进行语句依赖解析,得到两个事件句的各自的依赖树,通过句法依赖树构造句子的语义图;

19、步骤32,通过节点级注意力机制聚合语义图中同一路径下的节点特征;

20、步骤33,利用语义级注意力机制将节点进行聚合,得到聚合文本和事件信息的特征向量。

21、进一步,步骤31中通过句法依赖树构造句子的语义图包括:

22、将句子的句法结构输入至句法依赖树中,将单词表示为节点,将句法依赖树中构造单词之间的依赖关系表示为边,实现句子转换为语义图结构进行表示;其中节点分别两类,一类为事件节点,用于表示事件触发词的节点,另一类为文本节点,用于表示非触发词的节点。

23、进一步,步骤31中通过句法依赖树构造句子的语义图的过程为:

24、从事件触发词开始,递归地搜索每个依赖树中的p跳节点,分别形成es1和es2的两个子图,使用一个触发词-触发词类型的边来连接两个事件触发器,以生成一个完整的语义图g,并在语义图g中设置了四种类型的边,分别为原始类型的边、反向类型的边、触发词-触发词类型的边,以及自指向类型的边;其中原始类型的边为语法依赖关系解析生成的原始依赖关系边,反向类型的边是与原始类型的边相对的附加边,触发词-触发词类型的边是在事件触发器之间连接的附加边,自指向类型的边是指向节点本身的附加边。

25、进一步,步骤32中通过节点级注意力机制聚合语义图中同一路径下的节点特征包括如下步骤:

26、步骤321,使用hi初始化{w1,w2,…,wt}对应的特征向量wi,计算表达式为:

27、hi=wi

28、式中,hi为节点i的词向量;

29、步骤322,给定一个通过路径φ连接的本文档来自技高网...

【技术保护点】

1.一种基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤1具体包括如下过程:

3.根据权利要求1所述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤2具体包括如下过程:

4.根据权利要求3述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤3实现过程包括如下步骤:

5.根据权利要求4所述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤31中通过句法依赖树构造句子的语义图包括:

6.根据权利要求5所述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤31中通过句法依赖树构造句子的语义图的过程为:

7.根据权利要求5所述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤32中通过节点级注意力机制聚合语义图中同一路径下的节点特征包括如下步骤:

8.根据权利要求7所述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤33中利用语义级注意力机制将节点进行聚合,得到聚合文本和事件信息的特征向量包括:

9.根据权利要求8所述的基于FFN和路径图注意力网络的事件关系抽取方法,其特征在于,步骤4实现过程包括如下步骤:

...

【技术特征摘要】

1.一种基于ffn和路径图注意力网络的事件关系抽取方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于ffn和路径图注意力网络的事件关系抽取方法,其特征在于,步骤1具体包括如下过程:

3.根据权利要求1所述的基于ffn和路径图注意力网络的事件关系抽取方法,其特征在于,步骤2具体包括如下过程:

4.根据权利要求3述的基于ffn和路径图注意力网络的事件关系抽取方法,其特征在于,步骤3实现过程包括如下步骤:

5.根据权利要求4所述的基于ffn和路径图注意力网络的事件关系抽取方法,其特征在于,步骤31中通过句法依赖树构造句子的语义图包括:

6....

【专利技术属性】
技术研发人员:刘文杰王至凡
申请(专利权)人:南京信息工程大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1