基于关系图注意力神经网络的事件时序关系识别方法技术

本发明专利技术公开了一种基于关系图注意力神经网络的时序关系识别方法，该方法主要包括以下步骤：首先对事件句进行依存关系分析，获取相关的依存树；然后使用一种图递归构建策略将依存树转化为时序图；随后利用关系图注意力神经网络对时序图进行信息更新，获取时序图中每个节点的隐藏状态；最后从节点隐藏状态集合中提取出有关触发词的隐藏状态和句子表示向量，并将其放入到softmax函数中实现事件时序关系识别。本发明专利技术能够有效处理长距离非局部语义信息，捕获融合深层次的隐藏信息，显著提升了事件时序关系识别的准确度。

【技术实现步骤摘要】
基于关系图注意力神经网络的事件时序关系识别方法
本专利技术涉及自然语言处理领域，具体涉及一种基于关系图注意力神经网络的事件时序关系识别方法。
技术介绍
事件时序关系识别是当前颇具挑战的一个自然语言处理任务，它能够帮助我们细致分析一些错综复杂的数据信息，并推动了许多下游任务的发展，比如信息检索、关系预测等。事件时序关系识别任务旨在探究不同事件句中的不同事件间的时序关系，并采用触发词表示被提及的事件。触发词通常是事件句中的一个或者多个连续的动词。下面是取自TimeBank-Dense语料的一个示例，描述了事件时序关系“BEFORE”,即事件“invite”发生在事件“visit”之前。事件句1：ThemainpositiveforCastrotoinvitethePopeisinternational,thisgovernmentisnotasclosed,asintolerant,astotalitarianassomemakeitouttobe。事件句2：OneofthescenarioswidelyadvancedbeforethevisitisthatthroughthePope,Cuba,stillledbyCastro,canbeginamoreproductiverelationshipwiththeworld。较早的事件时序关系识别方法普遍采用机器学习的方法，通过人工标注的句法、词性等特征并结合SVM等模型进行时序关系分类。但是频繁的人工标注造成了时间成本骤增，不适合大规模系统的应用。一些知识库的构建降低了时间成本，但识别性能仍得不到本质的提升。近几年，深度学习技术发展迅猛，CNN和RNN等模型均在不同任务中取得了不错的效果，一些研究者开始将其运用在事件时序关系识别任务中。通过对事件句进行语义依存分析，然后截取最短依存路径，并利用Bi-LSTM等模型进行表示学习，时序关系识别性能得到较高提升。但是当前的大多方法普遍基于顺序模型，不能有效处理长距离非局部语义信息，容易造成部分重要的深层次隐藏语义信息被丢失遗忘，导致事件时序关系整体识别性能的降低。
技术实现思路
本专利技术提供了基于关系图注意力神经网络的事件时序关系识别方法，旨在解决当前较多方法存在的难以有效处理长距离非局部语义信息并遗漏丢失部分重要的深层次隐藏语义信息的问题。本专利技术的技术方案如下：Step1：时序图构建。首先对事件句对进行语义依存分析，获得两个依存树。针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数。为了加强事件句对间的语义联系和长距离分词间的语义表示，后期加入了一些人工构造的边。为了简化操作和提升运算能力，本方法放弃了具体定义的依存关系，使用抽象的关系类型表示分词间的联系，定义的关系类型如下：Depend-Head类型边：通过依存分析工具获得的边。Head-Depend类型边：新定义的边，与Depend-Head类型边方向相反。Self-Loop类型边：新定义的边，该边指向分词本身。Head-Head类型边：新定义的边，边的两端均为触发词。根据上述的构建规则，可以得到一个时序图G＝(U，E)，其中，每个节点ui∈U，每个边(ui，uj)∈E。Step2：时序图学习。传统的顺序模型不能有效处理图结构数据，本步骤引入关系图注意力神经网络RGAT进行处理，定义每个节点的初始隐藏状态为每个节点的邻居集合为N(ui)。对于时序图G中的每个节点ui，它的第l层的隐藏状态可以通过下述公式进行计算：其中，Nr(ui)表示节点ui在关系类型r∈R下的邻居节点，表示第l-1层的节点ui与节点uj在关系类型r∈R下的的相关度，表示处理在关系r∈R下的第l-1层的邻居节点的权重矩阵，表示第l-1层处理触发词的权重矩阵，R表示关系类型的集合，σ表示激活函数。不同的邻居节点通常与中心节点存在不同的重要程度，如果对邻居节点按照同等权重进行处理，容易造成一些重要的语义信息被稀释丢失。因此，引入注意力机制对不同的邻居节点进行差异化处理。处于第l层的节点ui与节点uj在关系类型r∈R下的注意力系数的计算方法如下：其中，a表示一个共享的注意力权重矩阵。然后，根据上述的注意力系数计算处于第l层的不同节点间的相关度计算如下：Step3：时序分类。每个事件句中均存在对应的触发词，并且触发词通常包含最重要的关于事件的语义信息。因此，首先从隐藏状态集合中提取出触发词的隐藏状态和然后事件句s1和事件句s2中剩余的隐藏状态信息分别整合为句子表示向量和计算如下：最后，利用前馈神经网络FFNN和softmax函数对上述向量进行计算，预测不同事件间的时序关系，计算如下：本专利技术的有益效果是：本专利技术通过一种时序图构建策略将事件句转化为图结构，并利用关系图注意力神经网络对图结构进行语义学习。不同于传统的顺序模型，该方法能够有效捕获长距离非局部的语义信息，当图节点信息更新时，利用注意力机制对其邻居节点进行不同程度的融合操作，进一步获取深层次的隐藏信息。附图说明图1是本专利技术提出的基于关系图注意力神经网络的事件时序关系识别方法的流程图。图2是本专利技术提出的基于关系图注意力神经网络的事件时序关系识别方法中的递归1次的时序图示例。具体实施方式为了使技术人员更好的理解本专利技术，下面将结合附图和具体示例对本专利技术做进一步的解释，具体详细内容如下：本专利技术包括如下步骤：Step1：时序图构建。首先对事件句对进行语义依存分析，获得两个依存树。针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数。为了加强事件句对间的语义联系和长距离分词间的语义表示，后期加入了一些人工构造的边。为了简化操作和提升运算能力，本专利技术放弃了具体定义的依存关系，使用抽象的关系类型表示分词间的联系，定义的关系类型包括Depend-Head类型、Head-Depend类型、Self-Loop类型和Head-Head类型。上述示例递归1次的时序图如图2所示。对于触发词visit，它与分词advanced和分词before存在Head-Depend类型的边，与分词is存在Depend-Head类型的边，与触发词invite存在Head-Head类型的边，本身也存在一个Self-Loop类型的边。Step2：时序图学习。传统的顺序模型不能有效处理图结构数据，本步骤引入关系图注意力神经网络RGAT进行处理，定义每个节点的初始隐藏状态为每个节点的邻居集合为N(ui)。对于时序图G中的每个节点ui，它的第l层的隐藏状态可以通过下述公式进行计算：其中，N本文档来自技高网...

【技术保护点】
1.基于关系图注意力神经网络的事件时序关系识别方法，该方法包含如下步骤：/nStep1：时序图构建/n首先对事件句对进行语义依存分析，获得两个依存树；针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数；/n使用抽象的关系类型表示分词间的联系，定义的关系类型如下：/nDepend-Head类型边：通过依存分析工具获得的边；/nHead-Depend类型边：与Depend-Head类型边方向相反；/nSelf-Loop类型边：该边指向分词本身；/nHead-Head类型边：该边两端均为触发词；/n由此得到一个时序图G＝(U,E)，其中每个节点u

【技术特征摘要】
1.基于关系图注意力神经网络的事件时序关系识别方法，该方法包含如下步骤：
Step1：时序图构建
首先对事件句对进行语义依存分析，获得两个依存树；针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数；
使用抽象的关系类型表示分词间的联系，定义的关系类型如下：
Depend-Head类型边：通过依存分析工具获得的边；
Head-Depend类型边：与Depend-Head类型边方向相反；
Self-Loop类型边：该边指向分词本身；
Head-Head类型边：该边两端均为触发词；
由此得到一个时序图G＝(U,E)，其中每个节点ui∈U，每个边(ui,uj)∈E；
Step2：时序图学习
定义每个节点的初始隐藏状态为每个节点的邻居集合为N(ui)；对于时序图G中的每个节点ui，计算它的第l层的隐藏状态
利用注意力机制对不同的邻居节点进行差异化处理，以区别不同的邻居节点的权重；
根据注...

【专利技术属性】
技术研发人员：徐小良，高通，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33