融合局部特征与深度学习的事件联合抽取方法技术

本发明专利技术公开了一种融合局部特征与深度学习的事件联合抽取方法。本发明专利技术融合局部特征与深度学习的事件联合抽取方法，包括：抽取实体、词性与依存分析，利用PV‑DM模型训练文档向量；学习隐藏特征，进入GCN；再次，识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别。本发明专利技术的有益效果：借助文档向量学习文章中的主旨信息，其次利用图卷积网络挖掘事件之间的联系，最后利用记忆单元与局部特征学习事件类型与事件元素之间的信息，以此完成事件联合抽取，提高其识别性能。

Joint Extraction of Events Based on Local Features and Deep Learning

【技术实现步骤摘要】
融合局部特征与深度学习的事件联合抽取方法
本专利技术涉及事件抽取领域，具体涉及一种融合局部特征与深度学习的事件联合抽取方法。
技术介绍
如何从互联网上海量的信息数据中快速、准确的抽取有价值的信息，已经成为人们面临的重大难题。在这背景下，信息抽取应运而生。信息抽取的任务包括实体识别与抽取、实体消解、关系抽取和事件抽取等。信息为特定的人、物在特定时间与特定地点相互作用的客观事实。事件抽取是从非结构化信息中抽取出用户感兴趣的事件，以结构化的方式存储在数据库中供用户查看。事件抽取的研究历史要追溯到20世纪80年代末。在MUC(消息理解会议)、ACE(自动内容抽取会议)及TAC(文本分析会议)等的推动下，事件抽取技术的研究得到蓬勃发展。早起的研究方法主要是通过在特定领域表现良好的模式匹配进行事件抽取；由于基于模式匹配的事件抽取方法可移植性较差，众多学者把目光集中于机器学习。近年来，随着深度学习在自然语言处理任务表现出众，已成为事件抽取研究的主流方法。目前深度学习技术在事件抽取任务上应用最为广泛。其中典型的工作是Mihaylov等人的基于双向LSTM的事件触发词与事件类型识别[1]、Ferguson等人的基于结构特征的事件元素识别[2]和Nguyen等人[3]于2016年提出的基于循环神经网络的事件联合抽取。(1)基于双向LSTM的事件触发词与事件类型识别Mihaylov等人的序列到序列模型主要分为三步骤：词表示层：该层包含词向量、词性向量、依存词向量与依存类型向量作为输入向量X。双向LSTM层：对词表示层进行编码，获得隐藏特征，得到h。SoftMax层：隐藏特征进入该层，对事件类型进行预测。(2)基于结构特征的事件元素识别该模型结合Evento、NomEvent和NewsSpike三个模型，当识别结果出现不同时，以Evento识别结果为标准。Evento模型：先使用马尔科夫随机场进行实体抽取，然后利用条件随机场进行触发词识别与事件元素识别，所用特征如表1、表2和表3所示。表1Evento模型实体抽取所用特征表2Evento和NomEvent触发词识别所用特征表3Evento事件元素识别所用特征NomEvent模型：先使用CRF对实体进行抽取，所用特征为词性、NER标签与词，然后用L2逻辑回归模型对事件类型进行分类，所用特征如表2所示。NewsSpike模型：基于开源事件抽取规则利用非监督方法进行事件抽取。(3)基于循环神经网络的事件联合抽取该模型框架如图1所示，对于输入语句W＝w1w2...wn,n为句子长度，wi表示句子的第i个词；E＝e1e2...en表示在该句子中的实体，k表示句子中实体的数量。该模型的主要思想是先对语句中词、实体等信息进行编码，然后通过双向循环神经网络学习词之间的隐藏信息，最后通过局部特征与记忆单元对触发词与事件元素进行预测，记忆单元记录预测结果中事件元素与触发词类型之间的信息，以便于反馈到下次对触发词与事件元素的预测。下面对图中的每一层进行简要阐述：语句编码层：输入向量X＝(x1，x2，...，xn)由三部分连接而成：1)词wi向量。2)wi的实体类型向量。3)依存树中词之间的二元向量。双向循环网络层：对于输入向量X,使用双向GRU作为表示层来获得xi对应的上下文表示hi。局部特征：1)实体描述含有的词。2)触发词与事件子类型。3)实体类型与子类型、实体角色。4)实体描述头部。5)候选事件元素与触发词之间的词汇距离。6)事件元素与触发词之间的相对位置(前，后等)。7)是否为相同事件类型最近的候选事件元素。8)是否为语句中相同的实体类型。9)事件元素与触发词之间的依存路径。10)事件元素与触发词之间的成分分析树中的路径。11)事件元素与触发词在依存分析中之间的路径长度。12)根节点、根节点与候选事件元素的路径。13)事件元素与触发词是否出现在同一个语句中。记忆单元：记忆单元主要分为三类：1)记忆事件触发词类型之间联系的单元，在时刻i，当t＝ti和时，2)记忆事件元素角色之间联系的单元，在时刻i,当ti≠other,a＝aij和时，3)记忆事件元素角色与触发词类型之间的单元，在时刻i，当ti≠other，t＝ti和时，触发词预测：进入前馈网络softmax层的向量由三部分拼接组成：1)双向GRU的输出向量hi。2)wi的上下文向量，3)记忆单元，通公式2.1得到最终触发词类型。事件元素预测：进入前馈网络softmax层的向量由四部分拼接组成：1)双向GRU的输出向量hi对于词wi，hij对于实体ej。2)词wi和实体ej的上下文向量3)前馈网络对二元向量Vij编码的Bij,由公式2.2所得。4)记忆单元与对事件元素最终的预测通过公式2.3所得。Bij＝Fbinary(Vij)(2.2)损失函数：训练神经网络通过使事件触发词类型与实际元素联合损失函数C最小所得，如公式2.4所示。[1]MihaylovT,FrankA.AIPHES-HDsystematTACKBP2016:NeuralEventTriggerSpanDetectionandEventTypeandRealisDisambiguationwithWordEmbeddings[C]//TAC.2016.[2]FergusonJ,LockardC,HawkinsN,etal.UniversityofWashingtonTAC-KBP2016SystemDescription[C]//TAC.2016.[3]NguyenTH,ChoK,GrishmanR.Jointeventextractionviarecurrentneuralnetworks[C]//Proceedingsofthe2016ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies.2016:300-309.传统技术存在以下技术问题：Mihaylov等人的基于双向LSTM的事件触发词与事件类型识别缺少文档级别信息；Ferguson等人的基于结构特征的事件元素识别在形成特征时，花费大量人力物力且无法挖掘词之间的隐藏特征，并且其管道模型存在错误传播问题；Nguyen等人的基于循环神经网络的事件联合抽取在针对多类型事件句时，无法有效识别所有事件。
技术实现思路
本专利技术要解决的技术问题是提供一种融合局部特征与深度学习的事件联合抽取方法，首先借助文档向量学习文章中的主旨信息，其次利用图卷积网络挖掘事件之间的联系，最后利用记忆单元与局部特征学习事件类型与事件元素之间的信息，以此完成事件联合抽取，提高其识别性能。为了解决上述技术问题，本专利技术提供了一种融合局部特征与深度学习的事件联合抽取方法，包括：抽取实体、词性与依存分析，利用PV-DM模型训练文档向量；学习隐藏特征，进入GCN；再次，识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别；给定语句，W＝w1w2...wn，语句中实体E＝e1e2...ek，在事件抽取中本文档来自技高网...

【技术保护点】
1.一种融合局部特征与深度学习的事件联合抽取方法，其特征在于，包括：抽取实体、词性与依存分析，利用PV‑DM模型训练文档向量；学习隐藏特征，进入GCN；再次，识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别；给定语句，W＝w1w2...wn，语句中实体E＝e1e2...ek，在事件抽取中，对于语句中每个词wi，判断是否为触发词，若是，再对其分配相应的事件类型，并且对候选实体分配相应的语义角色；表示层：输入向量X主要由四部分拼接组成：W中wi词向量、W中wi的词性向量、E中ej的实体向量和W的文档向量；文档向量由公式3.1所得。

【技术特征摘要】
1.一种融合局部特征与深度学习的事件联合抽取方法，其特征在于，包括：抽取实体、词性与依存分析，利用PV-DM模型训练文档向量；学习隐藏特征，进入GCN；再次，识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别；给定语句，W＝w1w2...wn，语句中实体E＝e1e2...ek，在事件抽取中，对于语句中每个词wi，判断是否为触发词，若是，再对其分配相应的事件类型，并且对候选实体分配相应的语义角色；表示层：输入向量X主要由四部分拼接组成：W中wi词向量、W中wi的词性向量、E中ej的实体向量和W的文档向量；文档向量由公式3.1所得。Bi-LSTM层：对于输入向量X,经过双向LSTM模型编码得到隐藏向量h；图卷积网络层：先利用StanfordCoreNLP获取事件间的依存联系，利用GCN(图卷积网络)处理依存数据；依存联系考察成图数据结构G＝(V，ε)，节点vi为每个词，边(vi，vj)∈ε，为了减少训练参数，定义边总共有三种类型：正向、反向、环；h为GCN的第一层输入向量，则最终的输出向量最终的输出向量由公式3.2、公式3.3、公式3.4和公式3.5得到。其中，WH、bH、WT、bT、和为相应的权重与偏置，Θ为元素积，σ为Sigmoid函数,K(vi，vj)为边的类型；记忆单元：采用的记忆单元为Gi，处理事件子类型与事件元素之间的联系；事件类型预测：对于词wi，预测该词是否为某类事件类型的触发词，最终隐藏层特征表示有以下两部分向量组成：·GCN的输出向量。·Gi-1[：][t]T：先前步骤中的记忆事件触发词与事件元素之间联系。通过拼接步骤，得到特征表示然后进入CRF层，得到其概率最大化事件类型即为该事件类型，由公式3.6所得。其中，by，by′为相应的权重与偏差。事件元素预测：对于事件元素预测阶段，首先检查该语句是否为事件句，即触...

【专利技术属性】
技术研发人员：孔芳，张俊青，周国栋，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32