【技术实现步骤摘要】
本申请涉及自然语言处理事件抽取，特别是涉及一种基于多任务学习的工业领域事件联合抽取方法、装置和设备。
技术介绍
1、事件抽取是自然语言处理中的一个重要任务，旨在从文本中提取出描述事件的相关信息。现有的事件抽取技术主要可以分为两类：基于规则的方法和基于机器学习的方法。基于规则的方法通常依赖于人工设计的规则和模式来识别事件和事件元素。这种方法的优点是可解释性强，但缺点是需要大量的人工工作和领域知识，并且对于复杂的语言结构和多样性的事件表达形式可能不够灵活。基于机器学习的方法则通过训练模型来自动学习事件和事件元素的特征和模式。这种方法的优点是可以适应不同的语言和领域，并且可以通过大规模数据的训练来提高性能。然而，这种方法也存在一些挑战，如数据标注困难、模型泛化能力不足等。
2、当前现有的工作是将事件抽取人物分为若干子任务，然后将各个子任务的输出结果进行合并。也有的当前工作遵循流水线方法，在不同阶段分别识别触发器和事件参数等。相比之下，基于流水线的方法必然存在误差传播的问题。即前置模型的误差会在下游任务中越来越大，且无法通过有效的优化方法进行优化，最终导致结果的准确率下降。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够有效提高事件抽取精准度的基于多任务学习的工业领域事件联合抽取方法、装置和设备。
2、一种基于多任务学习的工业领域事件联合抽取方法，所述方法包括：
3、获取待处理的文本数据，将所述文本数据表示为由多个token组成的序列形式
4、分别对所述输入序列进行处理，得到对应其中各token的隐藏层特征、磁性特征、依存句法特征、词向量特征以及字符级卷积特征，通过拼接的方式将各特征进行融合得到对应各token的融合特征，并相应得到融合特征序列；
5、利用注意力机制以及循环神经网络对将述融合特征序列进行处理，得到对应的隐藏层语义特征序列；
6、通过利用第一指针网络根据所述隐藏层语义特征序列，预测触发词在所述输入序列中的位置确定触发词，并得到触发词抽取的隐藏层向量；
7、通过利用第二指针网络根据所述隐藏层语义特征序列以及所述触发词抽取的隐藏层向量，预测事件参数在所述输入序列中的位置确定事件参数，并得到事件参数抽取的隐藏层向量；
8、利用图卷积神经网络根据所述触发词抽取的隐藏层向量以及事件参数抽取的隐藏层向量进行信息聚合和更新，得到节点隐藏层；
9、利用前馈神经网络根据所述节点隐藏层、触发词抽取的隐藏层向量以及事件参数抽取的隐藏层向量分别预测，得到事件类别和角色标签；
10、根据所述触发词位置、事件参数位置、事件类别以及角色标签得到所述文本数据中的事件帧，以完成对所述文本数据的事件提取。
11、在其中一实施例中，在对所述输入序列进行处理时，其中各token的隐藏层特征采用预训练模型nezha得到。
12、在其中一实施例中，利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列时：
13、对于每一个时间步，由注意力机制根据所述融合特征序列进行处理后得到的加权句子嵌入，以及之前所有时间步生成元组嵌入作为所述循环神经网络输入，再由所述循环神经网络生成当前时间步中间的隐藏层语义特征序列。
14、在其中一实施例中，所述第一指针网络以及第二指针网络均包括双向循环神经网络以及前馈神经网络。
15、在其中一实施例中，在所述第一指针网络中，由所述双向循环神经网络对所述隐藏层语义特征序列进行处理，得到对应的所述触发词抽取的隐藏层向量，再由所述前馈神经网络根据所述触发词抽取的隐藏层向量得到起始位置和结束位置，根据所述起始位置和结束位置在所述输入序列中确定所述触发词；
16、在所述第二指针网络中，由所述双向循环神经网络对所述隐藏层语义特征序列以及触发词抽取的隐藏层向量进行处理得到所述事件参数抽取的隐藏层向量，再由所述前馈神经网络根据所述事件参数抽取的隐藏层向量得到起始位置和结束位置，根据所述起始位置和结束位置在所述输入序列中确定所述事件参数。
17、在其中一实施例中，所述利用前馈神经网络根据所述节点隐藏层、触发词抽取的隐藏层向量以及事件参数抽取的隐藏层向量分别预测，得到事件类别和角色标签包括：
18、利用第一前馈神经网络根据所述节点隐藏层以及触发词抽取的隐藏层向量进行处理得到多种事件类别的预测概率，根据预设阈值得到所述输入序列的事件类别；
19、利用第二前馈神经网络根据所述节点隐藏层以及事件参数抽取的隐藏层向量进行处理得到多种角色标签的预测概率，根据预设阈值得到所述输入序列的角色标签。
20、在其中一实施例中，根据所述第一指针网络、第二指针网络、图卷积神经网络、第一前馈神经网络以及第二前馈神经网络构建解码器，对所述隐藏层语义特征序列进行解码得到所述文本数据中的事件帧，以完成对所述文本数据的事件抽取。
21、在其中一实施例中，在对所述解码器进行训练时，采用一下损失函数对解码器进行训练：
22、
23、在上式中，b表示批大小，t表示一个文本数据中事件帧数量的最大值，b表示第b各句子，t表示第t时间步，分别表示事件参数起始和终止位置的最大值，分别表示触发词的起始和终止位置的概率，eb,t表示事件类别的概率，rb,t表示角色标签的概率。
24、本申请还提供了一种基于多任务学习的工业领域事件联合抽取装置，所述装置包括：
25、输入序列转换模块，用于获取待处理的文本数据，将所述文本数据表示为由多个token组成的序列形式，并称为输入序列；
26、特征融合模块，用于分别对所述输入序列进行处理，得到对应其中各token的隐藏层特征、磁性特征、依存句法特征、词向量特征以及字符级卷积特征，通过拼接的方式将各特征进行融合得到对应各token的融合特征，并相应得到融合特征序列；
27、语义表示模块，用于利用注意力机制以及循环神经网络对将述融合特征序列进行处理，得到对应的隐藏层语义特征序列；
28、触发词得到模块，用于通过利用第一指针网络根据所述隐藏层语义特征序列，预测触发词在所述输入序列中的位置确定触发词，并得到触发词抽取的隐藏层向量；
29、事件参数得到模块，用于通过利用第二指针网络根据所述隐藏层语义特征序列以及所述触发词抽取的隐藏层向量，预测事件参数在所述输入序列中的位置确定事件参数，并得到事件参数抽取的隐藏层向量；
30、节点隐藏层得到模块，用于利用图卷积神经网络根据所述触发词抽取的隐藏层向量以及事件参数抽取的隐藏层向量进行信息聚合和更新，得到节点隐藏层；
31、事件类别和角色标签得到模块，用于利用前馈神经网络根据所述节点隐藏层、触发词抽取的隐藏层向量以及事件参数抽取的隐藏层向量分别预测，得到事件类别和角色标签；
32、本文档来自技高网...
【技术保护点】
1.一种基于多任务学习的工业领域事件联合抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，在对所述输入序列进行处理时，其中各token的隐藏层特征采用预训练模型NEZHA得到。
3.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列时：
4.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，所述第一指针网络以及第二指针网络均包括双向循环神经网络以及前馈神经网络。
5.根据权利要求4所述的工业领域事件联合抽取方法，其特征在于，
6.根据权利要求5所述的工业领域事件联合抽取方法，其特征在于，所述利用前馈神经网络根据所述节点隐藏层、触发词抽取的隐藏层向量以及事件参数抽取的隐藏层向量分别预测，得到事件类别和角色标签包括：
7.根据权利要求6所述的工业领域事件联合抽取方法，其特征在于，根据所述第一指针网络、第二指针网络、图卷积神经网络、第一前馈神经网络以及第二前馈神经网
8.根据权利要求7所述的工业领域事件联合抽取方法，其特征在于，在对所述解码器进行训练时，采用一下损失函数对解码器进行训练：
9.一种基于多任务学习的工业领域事件联合抽取装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于多任务学习的工业领域事件联合抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，在对所述输入序列进行处理时，其中各token的隐藏层特征采用预训练模型nezha得到。
3.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列时：
4.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，所述第一指针网络以及第二指针网络均包括双向循环神经网络以及前馈神经网络。
5.根据权利要求4所述的工业领域事件联合抽取方法，其特征在于，
6.根据权利要求5所述的工业领域事件联合抽取方法，其特征在于，所述利用前馈神经网络根据所述节点隐藏层、触发...
【专利技术属性】
技术研发人员：滕磊，李霜，全文斌，刘耀澳，李佩，谢宇，胡丹，娄照辉，喻金星，
申请(专利权)人：中电工业互联网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。