【技术实现步骤摘要】
本专利技术涉及自然语言处理，特别是一种基于图神经网络的跨句事件因果关系识别系统及方法。
技术介绍
1、事件关系提取，是指在文本中识别事件实体之间的语义关系，是自然语言处理领域的一个重要研究内容，也在许多下游自然语言处理任务，如信息提取、智能问答以及事件预测等任务中发挥着重要的作用。
2、因果关系是事件之间的一种重要关系。如果一件事情的发生是由另外一件事情导致的，则说明这两个事件是具有因果关系的。因果关系的识别和提取已经成为了nlp领域的一个热门研究课题，主要任务是确定两个事件之间的因果关系，并预测因果方向。在早期的研究中，由于数据集的限制，对因果关系提取的研究通常是采用基于规则或模式匹配的方法，传统的事件关系抽取方法需要大量的人工干预，且查全率较低。近年来，随着深度学习研究的不断发展，神经网络也逐渐被应用于事件因果关系识别任务，从而改善了传统方法召回率低、需要大量人工干预的问题。
3、尽管现有研究已经取得了一定的效果，但仍存在模型表达能力不足的问题，不能准确捕捉到事件之间的深层语义和关联，包括上下文的深层表示和事件因果关系之间的推理，也难以识别隐含的因果关系。
技术实现思路
1、本专利技术的目的在于提供一种能够识别跨句事件的因果关系、识别准确率高的跨句事件因果关系识别系统及方法。
2、实现本专利技术目的的技术解决方案为：一种基于图神经网络的跨句事件因果关系识别系统，包括嵌入层、图构造层、图聚合层和图推理层，其中：
3、所述嵌入层，用于
4、所述图构造层，用于将事件文本构建成为一个无向图；
5、所述图聚合层，用于对无向图中每个节点进行更新，使节点获得上下文信息，得到事件因果图；
6、所述图推理层，用于预测事件因果图中的边缘类型，并对事件因果图执行路径推理以实现多跳推理，进而识别两个节点之间的因果关系状况，识别跨句事件的因果关系。
7、进一步地，所述的嵌入层，包括bert模型和bilstm网络。
8、进一步地，所述的图聚合层，包括图卷积网络。
9、一种基于图神经网络的跨句事件因果关系识别方法，包括以下步骤：
10、步骤1、在嵌入层，通过bert预训练模型与bilstm网络对输入的事件文本进行编码，得到初始节点表示；
11、步骤2、在图构造层，针对文本的层次结构、序列信息以及语法信息，将事件文本信息构建成为无向图；
12、步骤3、在图聚合层，使用图卷积网络对无向图中每个节点进行更新，使每个节点能够与其邻居相互交换信息，获得上下文信息，得到事件因果图；
13、步骤4、在图推理层，预测事件因果图中的边缘类型，并对事件因果图执行路径推理以实现多跳推理，进而识别两个节点之间的因果关系状况，识别跨句事件的因果关系。
14、进一步地，步骤1所述的在嵌入层，通过bert预训练模型与bilstm网络对输入的事件文本进行编码，得到初始节点表示，具体如下：
15、步骤1.1、在嵌入层，使用预训练的bert模型将输入的文本生成初步的单词表示和句子表示；
16、步骤1.2、使用bilstm作为编码层来获取文档中的句子表示；bilstm模型通过双向的lstm网络结构，得到文档中之前的上文信息和之后的下文信息，对文档的上下文信息进行了捕捉；bilstm的输出ht为：
17、
18、
19、
20、其中，xt为t时刻的输入词，[,]代表向量的拼接操作；表示在时间步t的正向lstm的隐藏状态，包含从序列的开始到当前时间步t的信息；表示在在时间步t的逆向lstm的隐藏状态，包含从序列的末尾到当前时间步t的信息；为在时间步t-1的正向lstm隐藏状态，为在时间步t+1的逆向lstm隐藏状态；和均为lstm函数。
21、进一步地，步骤2所述的在图构造层，针对文本的层次结构、序列信息以及语法信息，将事件文本信息构建成为无向图，具体如下：
22、所述无向图的节点类型包括提及节点、实体节点和文档节点；
23、所述无向图的边包括提及节点-提及节点边、提及节点-实体节点边、实体节点-实体节点边和实体节点-文档节点边；
24、所述提及节点-提及节点边：如果两个提及节点指向的是同一个对象，那么这两个提及节点之间存在一条提及节点-提及节点边；
25、所述提及节点-实体节点边：如果提及节点与文本段中某事件实体有关系，则图中在提及节点与这个实体节点之间创建一条提及节点-实体节点边；
26、所述实体节点-实体节点边：在同一句话中至少有一对事件实体被提及时，两个实体之间创建一条实体节点-实体节点边；
27、所述实体节点-文档节点边：每一个实体节点都与文档节点连接一条实体节点-文档节点边。
28、进一步地，步骤3所述的在图聚合层，使用图卷积网络对无向图中每个节点进行更新，使每个节点能够与其邻居相互交换信息，获得上下文信息，得到事件因果图，具体如下：
29、步骤3.1、在图聚合层，利用嵌入层中得到的每个实体的词嵌入向量与给定实体之间的相对距离，计算任意两个实体u和v之间的边在第i个句子上的边缘表示；边缘表示的公式为：
30、
31、
32、其中，c表示u、v两个实体中的一个，z是一个用于计算注意力分数的权重向量，zt表示z的转置；为当前词到实体c的相对距离，是第i个句子中第j个单词相对于实体c的注意力权重，hi,j是计算得到的第i个句子中第j个单词的特征表示，m为第i个句子中的单词总数；w1是用来转换hi,j的第一权重矩阵，w2是用来转换的第二权重矩阵，b1为第一偏置向量；w1、w2和b1都是能够训练的参数；
33、步骤3.2、对于u、v两个实体，分别执行注意力机制，得到第i个句子的两个边缘表示和通过向量的拼接操作将和连接起来，得到第i个句子的边缘表示hi，公式为：
34、
35、其中，w3是供训练的第三权重矩阵，b2为第二偏置向量；
36、步骤3.3、对于每一个实体节点u和v，边缘uv上所有句子的加权和的计算公式为：
37、
38、其中，σ(·)为sigmoid或relu激活函数，s为边缘uv上的句子总数，pc为节点的向量表示；hi为第i个句子的边缘表示，w4、w5和w6分别是供训练的第四、第五、第六权重矩阵，b3为第三偏置向量；
39、步骤3.4、将计算得到的节点u与v的表示拼接起来，并通过全连接层得到实体感知边缘表示公式为：
40、
41、其中，w7是供训练的第七权重矩阵，b4为第四偏置向量；
42、步骤3.5、将得到的边的信息通过图卷积网络进行计算，以更新节点表示；图卷积网络每个块都包含k个相互连接的子层，对于节点u，在第k个子层的节点表示本文档来自技高网...
【技术保护点】
1.一种基于图神经网络的跨句事件因果关系识别系统，其特征在于，包括嵌入层、图构造层、图聚合层和图推理层，其中：
2.根据权利要求1所述的基于图神经网络的跨句事件因果关系识别系统，其特征在于，所述的嵌入层，包括BERT模型和BiLSTM网络。
3.根据权利要求1所述的基于图神经网络的跨句事件因果关系识别系统，其特征在于，所述的图聚合层，包括图卷积网络。
4.一种基于图神经网络的跨句事件因果关系识别方法，其特征在于，包括以下步骤：
5.根据权利要求4所述的基于图神经网络的跨句事件因果关系识别方法，其特征在于，步骤1所述的在嵌入层，通过BERT预训练模型与BiLSTM网络对输入的事件文本进行编码，得到初始节点表示，具体如下：
6.根据权利要求4所述的基于图神经网络的跨句事件因果关系识别方法，其特征在于，步骤2所述的在图构造层，针对文本的层次结构、序列信息以及语法信息，将事件文本信息构建成为无向图，具体如下：
7.根据权利要求4所述的基于图神经网络的跨事件因果关系识别方法，其特征在于，步骤3所述的在图聚合层，使用图卷
8.根据权利要求4所述的基于图神经网络的跨句事件因果关系识别方法，其特征在于，步骤4所述的在图推理层，预测事件因果图中的边缘类型，并对事件因果图执行路径推理以实现多跳推理，进而识别两个节点之间的因果关系状况，识别跨句事件的因果关系，具体如下：
...【技术特征摘要】
1.一种基于图神经网络的跨句事件因果关系识别系统，其特征在于，包括嵌入层、图构造层、图聚合层和图推理层，其中：
2.根据权利要求1所述的基于图神经网络的跨句事件因果关系识别系统，其特征在于，所述的嵌入层，包括bert模型和bilstm网络。
3.根据权利要求1所述的基于图神经网络的跨句事件因果关系识别系统，其特征在于，所述的图聚合层，包括图卷积网络。
4.一种基于图神经网络的跨句事件因果关系识别方法，其特征在于，包括以下步骤：
5.根据权利要求4所述的基于图神经网络的跨句事件因果关系识别方法，其特征在于，步骤1所述的在嵌入层，通过bert预训练模型与bilstm网络对输入的事件文本进行编码，得到初始节点表示，具体如下：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。