一种基于上下文和图注意力的事件抽取方法技术

本发明专利技术涉及自然语言处理领域，尤其涉及一种基于上下文和图注意力的事件抽取方法，包括事件检测和事件论元抽取两大步骤。事件检测中，对预处理后的文本进行事件检测，判断出事件触发词和事件类型，所述事件检测模型提取句子间上下文特征；事件论元抽取中，基于获取的事件触发词和事件类型，通过图神经网络进行编码得到句法依赖信息，获取事件类型和论元信息。本发明专利技术的事件抽取方法整体性能高、召回率高、效率高。效率高。效率高。

【技术实现步骤摘要】
一种基于上下文和图注意力的事件抽取方法


[0001]本专利技术涉及自然语言处理领域，尤其涉及一种基于上下文和图注意力的事件抽取方法，能够从文本中抽取事件信息，包括事件类型信息和事件论元信息。

技术介绍

[0002]传感器种类复杂、分布零散、产生的数据量巨大，传统的信息组织和管理方式已经无法适用，知识图谱作为一种新的信息组织方式，能够组织和表达各种实体以及实体之间的复杂关系，在组织和管理信息上具备天然的优势。事件抽取技术能够从文本中抽取事件信息，是构建事件知识图谱的关键技术之一。
[0003]目前事件抽取研究主要关注模型整体性能(F1值)的提升，缺少结合实际问题对模型特定性能指标的关注，也忽视了对模型效率的要求。事件抽取面向的是网络文本信息，具有以下两个特点，其一：网络文本规模巨大，但大量文本中不包含目标事件信息，导致事件信息稀疏，而事件信息价值又十分巨大，这就要求模型应该尽可能全、尽可能多地挖掘和抽取出目标事件信息，而可以容许其中存在一定的误判；其二：网络信息变化迅速，可能出现新的事件类型和新的语言表述方式，模型需要能迅速地适应变化，及时进行完善和更新。针对传感器的文本信息的以上两个特点，事件抽取模型必须满足以下两个要求，其一：在保证模型整体性能(F1值)的前提下，更加关注召回率(查全率)的提升；其二：模型效率要高，即训练速度快、需要计算资源、语料资源少。当前通用的事件抽取模型无法完全满足上述要求，无法胜任事件抽取任务。

技术实现思路

[0004]针对现有问题，本专利技术提出了一种基于上下文和图注意力的事件抽取方法，包括事件检测和事件论元抽取两大步骤，该方法整体性能高、召回率高、效率高。具体技术方案如下：
[0005]S1：事件检测，对预处理后的文本进行事件检测，判断出事件触发词和事件类型，所述事件检测模型提取句子间上下文特征；
[0006]S2：事件论元抽取，基于所述步骤S1中获取的事件触发词和事件类型，通过图神经网络进行编码得到句法依赖信息，获取事件类型和论元信息。
[0007]进一步的，步骤S1包括：
[0008]S101：文本预处理，对文本进行分句、分词、词性标注、命名实体识别、句法依存分析，将文本转化为格式统一的词嵌入矩阵，得到句法依赖树；
[0009]S102：根据S101中所述句法依赖树构建句法图，采用双向长短时记忆力网络和多阶图注意力网络提取句子内文本特征，得到句子内信息嵌入；
[0010]S103：使用词嵌入矩阵表示句子间上下文特征，得到句子间上下文嵌入；
[0011]S104：将所述句子内信息嵌入与所述句子间上下文嵌入连接，得到最终嵌入h
i，sentCtx
＝ [h
i
，h
i_sentCtx
]，其中h
i
代表第i个句子的自身嵌入信息，h
i_sentCtx
代表这句话的上
下文嵌入；
[0012]S105：将S104得到的最终嵌入输入全连接层后，输入softmax分类器，输出事件触发词和事件类型。
[0013]进一步的，步骤S103具体包括：
[0014]将当前句子的上下文句子分别记作为Sentpre和Sentnext，根据词嵌入矩阵获取上下文句子中每个词的嵌入表示，得到上下文句子嵌入序列分别为：W
pre
＝[w1，w2，...，w
n
]表示前一个句子的句子内信息嵌入表示，其中w1，w2，...，w
n
表示句子中的n个单词， W
next
＝[w
′1，w
′2，...，w
′
m
]表示后一个句子的句子内信息嵌入表示，其中w
′1，w
′2，...，w
′
m
表示句子中的m个单词；用上下文句子的词嵌入序列的平均值作为上下文句子的句嵌入，分别为：前一个句子的平均信息嵌入其中h
pre，i
表示前一个句子的每个单词的嵌入表示， N
pre
表示前一个句子的单词数量，后一个句子的平均信息嵌入其中h
next，i
表示下一个句子的每个单词的嵌入表示，N
next
表示下一句话的单词数量，将二者拼接得到句子间上下文嵌入
[0015]进一步的，步骤S2具体包括：
[0016]S201：将当前句子输入预训练语言模型中，得到词嵌入矩阵、词性嵌入矩阵、实体嵌入矩阵、位置嵌入矩阵，并借助于Stanford Core NLP工具包得到句法依赖树，并且根据步骤S1 判断出的事件触发词得到事件触发词在当前句子中所处位置；
[0017]S202：将步骤S201中得到的词嵌入矩阵、位置嵌入矩阵、词性嵌入矩阵、实体类型嵌入矩阵作为双向长短时记忆网络BiLSTM的输入，根据步骤S201得到的句法依赖树构建句法图，提取实例特征，并得到对应的候选论元；
[0018]S203：计算事件触发词注意力加权特征；
[0019]S204：将所述实例特征、所述事件触发词注意力加权特征求和作为综合特征；
[0020]S205：根据所述候选论元和事件触发词的位置对步骤S204中得到的综合特征进行特征聚合，得到最终嵌入；
[0021]S206：将步骤S205得到的最终嵌入输入全连接层后，输入softmax分类器，判断候选触发词的事件类型。
[0022]进一步的，步骤S202中：
[0023]提取实例特征时，将步骤S201中得到的词嵌入矩阵、位置嵌入矩阵、词性嵌入矩阵、实体类型嵌入矩阵输入双向长短时记忆网络BiLSTM，得到每个词的综合嵌入；
[0024]根据步骤S201中得到的句法依赖树构建句法图，句子W的句法依赖树表示为有向图 G＝(V，E)，V和E分别表示结点和边的集合，结点v
i
对应句子W中单词w
i
，边(v
i
，v
j
)对应句法依赖树中单词w
i
到单词w
j
的有向句法弧；
[0025]使用正向句法弧(along)、反向句法弧((rev)、自循环边((loop)三种类型作为边类型，构建句法图如下：
[0026][0027]其中(v
i
，v
j
)∈ε表示该有向边属于句法图中，其中ε表示句法图。
[0028]在更新结点i时，采用MLP方式计算注意力得分，先计算不考虑句法图下的注意力系数 e
ij
＝a(Ch
i
，Ch
j
)，其中a表示单层前馈神经网络计算，C为权重矩阵，h
i
表示节点i的嵌入， h
j
表示节点j的嵌入，然后利用句法图进行mask操作，仅将注意力分配到结点i的邻居结点集 N
i
上，并使用softmax操作对邻居结点的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文和图注意力的事件抽取方法，其特征在于，包括如下步骤：S1：事件检测，对预处理后的文本进行事件检测，判断出事件触发词和事件类型，所述事件检测模型提取句子间上下文特征；S2：事件论元抽取，基于所述步骤S1中获取的事件触发词和事件类型，通过图神经网络进行编码得到句法依赖信息，获取事件类型和论元信息。2.根据权利要求1所述的事件抽取方法，其特征在于，步骤S1包括：S101：文本预处理，对文本进行分句、分词、词性标注、命名实体识别、句法依存分析，将文本转化为格式统一的词嵌入矩阵，得到句法依赖树；S102：根据S101中所述句法依赖树构建句法图，采用双向长短时记忆力网络和多阶图注意力网络提取句子内文本特征，得到句子内信息嵌入；S103：使用词嵌入矩阵表示句子间上下文特征，得到句子间上下文嵌入；S104：将所述句子内信息嵌入与所述句子间上下文嵌入连接，得到最终嵌入h
i,sentCtx
＝[h
i
,h
i_sentCtx
]，其中h
i
代表第i个句子的自身嵌入信息，h
i_sentCtx
代表这句话的上下文嵌入；S105：将S104得到的最终嵌入输入全连接层后，输入softmax分类器，输出事件触发词和事件类型。3.根据权利要求2所述的事件抽取方法，其特征在于，步骤S103具体包括：将当前句子的上下文句子分别记作为Sentpre和Sentnext，根据词嵌入矩阵获取上下文句子中每个词的嵌入表示，得到上下文句子嵌入序列分别为：W
pre
＝[w1,w2,
…
,w
n
]表示前一个句子的句子内信息嵌入表示，其中w1,w2,
…
,w
n
表示句子中的n个单词，W
next
＝[w
′1,w
′2,
…
,w
′
m
]表示后一个句子的句子内信息嵌入表示，其中w
′1,w
′2,
…
,w
′
m
表示句子中的m个单词；用上一句和下一句话的词嵌入序列的平均值作为上下文句子的句嵌入，分别为：前一个句子的平均信息嵌入其中h
pre,i
表示前一个句子的每个单词的嵌入表示，N
pre
表示前一个句子的单词数量，后一个句子的平均信息嵌入其中h
next,i
表示下一个句子的每个单词的嵌入表示，N
next
表示下一句话的单词数量，将二者拼接得到句子间上下文嵌入4.根据权利要求3所述的事件抽取方法，其特征在于，步骤S2具体包括：S201：将当前句子输入预训练语言模型中，得到词嵌入矩阵、词性嵌入矩阵、实体嵌入矩阵、位置嵌入矩阵，并借助于Stanford Core NLP工具包得到句法依赖树，并且根据步骤S1判断出的事件触发词得到事件触发词在当前句子中所处位置；S202：将步骤S201中得到的词嵌入矩阵、位置嵌入矩阵、词性嵌入矩阵、实体类型嵌入矩阵作为双向长短时记忆网络BiLSTM的输入，根据步骤...

【专利技术属性】
技术研发人员：王衍洋，唐文忠，孙书玮，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：