基于门控机制的篇章级事件要素抽取方法、系统与计算机可读介质技术方案

本发明专利技术提供一种基于门控机制的篇章级事件要素抽取方法、系统与计算机可读介质，利用输入的篇章级文本，通过判别输入的文本中包含的事件类型及抽取除文本的事件要素信息，并结合预先定义的事件类型及事件要素类型，采用门控机制为相应的事件补充详细的事件要素，准确识别和提取出篇章级文本中的事件类型以及每个事件类型对应包含的事件要素类型。本发明专利技术提出的基于门控机制的篇章级事件要素抽取方法，支持在各个不同应用场景领域下的应用，例如金融机构公告、移动服务商套餐、上市公司信息披露等等特定领域，可通过特定领域的标注数据进行定向训练，从而适用于各个领域的篇章级事件要素抽取。要素抽取。要素抽取。

【技术实现步骤摘要】
基于门控机制的篇章级事件要素抽取方法、系统与计算机可读介质


[0001]本专利技术涉及自然语言处理
，具体而言涉及一种基于门控机制的篇章级事件要素抽取方法、系统与计算机可读介质。

技术介绍

[0002]随着自然语言处理和知识图谱技术的迅速发展，事件要素抽取作为事件知识图谱的重要先决条件，受到广泛关注，并在金融、舆情等相关领域得到了落地应用。事件要素抽取主要是针对输入文本进行事件类型的判别，并结合预先定义的事件要素类型，抽取文本中相应的事件要素。
[0003]传统基于短文本的事件要素抽取，往往仅针对单种事件进行抽取，或者对于输入文本仅抽取一个事件的相关要素。在日常工作中，可获得的篇章级文本众多，且文本中包含的事件类型也有多种，传统的事件要素抽取，会致使无法完成针对字段较长、包含多种事件类型，而且每个事件类型的数量可能有多个事件要素抽取。

技术实现思路

[0004]根据本专利技术目的的第一方面，提供一种基于门控机制的篇章级事件要素抽取方法，包括以下步骤：
[0005]步骤101：结合预定义的事件框架，输入作为训练样本数据的篇章级文本d
i
，i＝1,2,3,
…
,m，m表示篇章级的训练样本数据的数量；
[0006]步骤102：对步骤101中输入的篇章文本d
i
进行特征处理，获取特征信息；
[0007]步骤103：将步骤102中获取得到的特征信息输入到基于Transformer
‑
Encode结构的模型M的表征层中进行表征，得到模型编码特征En；
[0008]步骤104：将步骤103步骤获取的模型编码特征En输入到一个全连接层构成的事件判别层，通过softmax激活函数获取事件类型判别信息P
e
；
[0009]步骤105：将步骤103获取的模型编码特征En输入到一个CRF层构成的要素抽取模块，通过维特比解码获取输入文本的每个字的标签状态类型，得到事件要素抽取信息P
a
；
[0010]步骤106：融合步骤104获取的事件类型判别信息P
e
以及步骤105获取的事件要素抽取信息P
a
，输入到标准Transformer模型Decoder结构的编码器构成的融合层，在融合层中判别事件类型的个数及相应事件类型的详细的事件要素；
[0011]步骤107：以篇章级的训练样本数据为输入进行模型训练，其中在步骤104中对事件判别层的训练过程中，采用交叉熵损失函数Loss
event
，计算其损失值；在步骤105中对要素抽取模块的训练过程中，采用损失函数Loss
entity
计算其损失值；在步骤106中对融合层的训练过程中，采用交叉熵损失函数Loss
args
，计算其损失值，并通过联合训练的方法，将Loss
event
、Loss
entity
和Loss
args
动态加权，获取最终损失函数Loss，进行训练，获得篇章级事件要素抽取模型；
[0012]步骤108：将待处理的篇章级文本输入前述篇章级事件要素抽取模型，通过模型抽取输出每个事件类型及相应事件类型的事件要素，最终汇总得到最终抽取结果R。
[0013]作为可选的实施例，所述步骤101中，预定义的事件框架包含事件类型集合E，E＝{e1，e2，
…
，e
i
，
…
,e
n
}，其中e
i
表示第i个事件类型；
[0014]其中，每个事件类型均配置相应的多个事件要素类型，即对于任意一个事件类型，配置其对应的事件要素类型集合T
e
，T
e
＝{T
e1
，T
e2
，
…
，T
ei
，
…
，T
en
}，其中的T
e1
，T
e2
，
…
，T
ei
，
…
，T
en
表示某个事件类型e对应的n个事件要素类型；
[0015]将预定义的事件框架中的每个事件类型所配置的事件要素类型汇总，构成集合T，T＝{t1，t2，
…
，t
i
，
…
,t
k
}，k表示汇总的事件要素类型的总数量。
[0016]作为可选的实施例，在步骤103中，所述基于Transformer
‑
Encode结构的模型M包括12层的Transformer
‑
Encode结构，通过下述过程对输入的特征信息进行编码输出：
[0017]将特征信息进行词嵌入表征，获取文本的向量表征E：
[0018]E＝E
input
(input_id)+E
position
(position_id)
[0019]其中，E
input
(input_id)表示input_id特征进行嵌入表征后获得的字嵌入表征，E
position
(position_id)表示position_id特征进行嵌入表征后获得的位置嵌入表征；
[0020]将获取的向量表征E，输入到标准Transformer模型Encoder进行编码：
[0021]E
n
＝TransformerEncoder(E)
[0022]其中，TransformerEncoder表示标准Transformer模型的Encoder编码器，En为文本的向量表征E经过编码器编码输出的向量表征。
[0023]作为可选的实施例，在所述步骤104中，通过softmax激活函数获取事件类型判别信息P
e
，包括：
[0024]基于下述处理获取事件类型判别信息P
e
：
[0025][0026][0027]其中，表示事件类型判别信息概率，softmax为激活函数，W和b分别表示为该全连接层的权重以及偏置；P
e
表示事件类型判别信息，argmax表示取中概率值最大的事件类型判别信息。
[0028]作为可选的实施例，在所述步骤105中，通过维特比解码获取输入文本的每个字的标签状态类型，用于对事件要素信息进行抽取，得到事件要素抽取信息P
a
：
[0029][0030]其中，A是转移矩阵，表示从标签x
i
到标签x
i+1
转移的得分；x0和x
n
是句子的开始和结束标记，将其添加到一组可能的标记中。
[0031]本专利技术的实施例中，前述每个字的标签状态类型包括五种类型，分别为：B
‑
中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于门控机制的篇章级事件要素抽取方法，其特征在于，包括：步骤101：结合预定义的事件框架，输入作为训练样本数据的篇章级文本d
i
，i＝1,2,3,
…
,m，m表示篇章级的训练样本数据的数量；步骤102：对步骤101中输入的篇章文本d
i
进行特征处理，获取特征信息；步骤103：将步骤102中获取得到的特征信息输入到基于Transformer
‑
Encode结构的模型M的表征层中进行表征，得到模型编码特征En；步骤104：将步骤103步骤获取的模型编码特征En输入到一个全连接层构成的事件判别层，通过softmax激活函数获取事件类型判别信息P
e
；步骤105：将步骤103获取的模型编码特征En输入到一个CRF层构成的要素抽取模块，通过维特比解码获取输入文本的每个字的标签状态类型，得到事件要素抽取信息P
a
；步骤106：融合步骤104获取的事件类型判别信息P
e
以及步骤105获取的事件要素抽取信息P
a
，输入到标准Transformer模型Decoder结构的编码器构成的融合层，在融合层中判别事件类型的个数及相应事件类型的详细的事件要素；步骤107：以篇章级的训练样本数据为输入进行模型训练，其中在步骤104中对事件判别层的训练过程中，采用交叉熵损失函数Loss
event
，计算其损失值；在步骤105中对要素抽取模块的训练过程中，采用损失函数Loss
entity
计算其损失值；在步骤106中对融合层的训练过程中，采用交叉熵损失函数Loss
args
，计算其损失值，并通过联合训练的方法，将Loss
event
、Loss
entity
和Loss
args
动态加权，获取最终损失函数Loss，进行联合训练，获得篇章级事件要素抽取模型；步骤108：将待处理的篇章级文本输入前述训练的篇章级事件要素抽取模型，通过模型抽取输出每个事件类型及相应事件类型的事件要素，汇总得到最终抽取结果R。2.根据权利要求1所述的基于门控机制的篇章级事件要素抽取方法，其特征在于，所述步骤101中，预定义的事件框架包含事件类型集合E，E＝{e1，e2，
…
，e
i
，
…
,e
n
}，其中e
i
表示第i个事件类型；其中，每个事件类型均配置相应的多个事件要素类型，即对于任意一个事件类型，配置其对应的事件要素类型集合T
e
，T
e
＝{T
e1
，T
e2
，
…
，T
ei
，
…
，T
en
}，其中的T
e1
，T
e2
，
…
，T
ei
，
…
，T
en
表示某个事件类型e对应的n个事件要素类型。3.根据权利要求1所述的基于门控机制的篇章级事件要素抽取方法，其特征在于，所述步骤102中，所获取的特征信息包括input_ids特征和poisition_ids特征，其中：input_id为一个序列，序列中的每个元素为文本中每一个字对应字典的id序号；position_id为一个序列，序列中的元素从0开始，往后依次自增，表示文本中每一个字在文本中的位置。4.根据权利要求1所述的基于门控机制的篇章级事件要素抽取方法，其特征在于，在步骤103中，所述基于Transformer
‑
Encode结构的模型M包括12层的Transformer
‑
Encode结构，通过下述过程对输入的特征信息进行编码输出：将特征信息进行词嵌入表征，获取文本的向量表征E：E＝E
input
(input_id)+E
position
(position_id)其中，E
input
(input_id)表示input_id特征进行嵌入表征后获得的字嵌入表征，E
position
(position_id)表示position_id特征进行嵌入表征后获得的位置嵌入表征；
将获取的向量表征E，输入到标准Transforme...

【专利技术属性】
技术研发人员：沈盛宇，杜振东，王清琛，
申请(专利权)人：南京云问网络技术有限公司，
类型：发明
国别省市：