【技术实现步骤摘要】
本申请涉及自然语言处理事件抽取，特别是涉及一种基于特征融合的工业领域事件联合抽取方法、装置和设备。
技术介绍
1、事件抽取是自然语言处理中的一个重要任务，旨在从文本中提取出描述事件的相关信息。现有的事件抽取技术主要可以分为两类：基于规则的方法和基于机器学习的方法。基于规则的方法通常依赖于人工设计的规则和模式来识别事件和事件元素。这种方法的优点是可解释性强，但缺点是需要大量的人工工作和领域知识，并且对于复杂的语言结构和多样性的事件表达形式可能不够灵活。基于机器学习的方法则通过训练模型来自动学习事件和事件元素的特征和模式。这种方法的优点是可以适应不同的语言和领域，并且可以通过大规模数据的训练来提高性能。然而，这种方法也存在一些挑战，如数据标注困难、模型泛化能力不足等。
2、当前现有的工作是将事件抽取人物分为若干子任务，然后将各个子任务的输出结果进行合并。也有的当前工作遵循流水线方法，在不同阶段分别识别触发器和事件参数等。相比之下，基于流水线的方法必然存在误差传播的问题。即前置模型的误差会在下游任务中越来越大，且无法通过有效的优化方法进行优化，最终导致结果的准确率下降。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够保证实践抽取结果准确率的基于特征融合的工业领域事件联合抽取方法、装置和设备。
2、一种基于特征融合的工业领域事件联合抽取方法，所述方法包括：
3、获取待处理的文本数据，将所述文本数据表示为由多个token组成的序列形式，并称
4、对所述输入序列进行处理，得到对应其中各token的隐藏层特征、磁性特征、依存句法特征、词向量特征以及字符级卷积特征，通过拼接的方式将各特征进行融合得到对应各token的融合特征，并相应得到融合特征序列；
5、利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列；
6、通过触发词信息融合层根据所述隐藏层语义特征序列，得到触发词跨度的隐藏层矩阵和触发词位置；
7、对所述触发词跨度的隐藏层矩阵以及隐藏层语义特征序列采用门控机制进行处理，得到第一过滤隐藏层特征；
8、通过事件参数信息融合层根据所述第一过滤隐藏层特征，得到事件参数跨度的隐藏层矩阵以及事件参数位置；
9、通过第一前馈神经网络根据所述触发词跨度的隐藏层矩阵以及隐藏层语义特征序列得到事件类别预测矩阵以及事件类别；
10、对所述事件类别预测矩阵采用门控机制进行处理，得到第二过滤隐藏层特征；
11、通过第二前馈神经网络根据所述第二过滤隐藏层特征以及事件参数跨度的隐藏层矩阵得到角色标签；
12、根据所述触发词位置、事件参数位置、事件类别以及角色标签得到所述文本数据中的事件帧，以完成对所述文本数据的事件抽取。
13、在其中一实施例中，在对所述输入序列进行处理时，其中各token的隐藏层特征采用预训练模型nezha得到。
14、在其中一实施例中，利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列时，对于每一个时间步，由注意力机制根据所述融合特征序列进行处理后得到的加权句子嵌入和之前所有时间步生成元组嵌入作为所述循环神经网络输入，再由所述循环神经网络生成当前时间步的隐藏层语义特征序列。
15、在其中一实施例中，所述通过触发词信息融合层根据所述隐藏层语义特征序列，得到触发词跨度的隐藏层矩阵和触发词位置包括：
16、在所述隐藏层语义特征序列中选取两个隐藏层语义特征分别计算候选触发词起始位置和触发词结束位置；
17、根据所述候选触发词起始位置和触发词结束位置计算选取的这两个隐藏层语义特征之间的触发词跨度隐藏层，遍历所述隐藏层语义特征序列后，继而得到所述触发词跨度的隐藏层矩阵；
18、根据所述触发词跨度隐藏层计算对应候选触发词起始位置和触发词结束位置概率，根据预设阈值确定触发词的起始位置和结束位置，以得到触发词位置。
19、在其中一实施例中，所述对所述触发词跨度的隐藏层矩阵以及隐藏层语义特征序列采用门控机制进行处理，得到第一过滤隐藏层特征，其过程表示为：
20、gi＝sigmoid(w3h’t+w4spani:j+b)
21、h”i＝gi⊙h’t+(1-gi)⊙spani:j
22、在上式中，w3、w4和b表示可训练参数，h”i表示所述第一过滤隐藏层特征，h't表示所述隐藏层语义特征序列，spani:j表示所述触发词跨度的隐藏层矩阵。
23、在其中一实施例中，所述通过第一前馈神经网络根据所述触发词跨度的隐藏层矩阵以及隐藏层语义特征序列得到事件类别预测矩阵，其过程表示为：
24、ti:j＝[h’t；spani:j|h’t-spani:j|h’t⊙spani:j；etype；espan]
25、在上式中，ti:j表示所述事件类别预测矩阵，h't表示所述隐藏层语义特征序列，spani:j表示所述触发词跨度的隐藏层矩阵，etype表示各个事件类别的嵌入表示，espan表示各个事件类别的跨度长度嵌入表示。
26、在其中一实施例中，根据所述触发词信息融合层、事件参数信息融合层、第一前馈神经网络以及第二前馈神经网络构建解码器，对所述隐藏层语义特征序列进行解码得到所述文本数据中的事件帧，以完成对所述文本数据的事件抽取。
27、在其中一实施例中，在对所述解码器进行训练时，通过计算预测触发词和事件参数的损失函数、预测事件类别损失函数以及预测角色标签的损失函数对解码器中的各可学习参数进行调整；
28、其中，所述预测触发词和事件参数的损失函数、预测事件类别损失函数以及预测角色标签的损失函数均为交叉熵损失函数。
29、一种基于特征融合的工业领域事件联合抽取装置，其特征在于，所述装置包括：
30、输入序列获取模块，用于获取待处理的文本数据，将所述文本数据表示为由多个token组成的序列形式，并称为输入序列；
31、特征融合模块，用于对所述输入序列进行处理，得到对应其中各token的隐藏层特征、磁性特征、依存句法特征、词向量特征以及字符级卷积特征，通过拼接的方式将各特征进行融合得到对应各token的融合特征，并相应得到融合特征序列；
32、语义表示模块，用于利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列；
33、触发词获取模块，用于通过触发词信息融合层根据所述隐藏层语义特征序列，得到触发词跨度的隐藏层矩阵和触发词位置；
34、第一门控过滤模块，用于对所述触发词跨度的隐藏层矩阵以及隐藏层语义特征序列采用门控机制进行处理，得到第一过滤隐藏层特征；
35、事件参数获取模块，用于通过事件参数信息融合层根据所述第一过滤隐藏层特征，得到事件本文档来自技高网...
【技术保护点】
1.一种基于特征融合的工业领域事件联合抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，在对所述输入序列进行处理时，其中各token的隐藏层特征采用预训练模型NEZHA得到。
3.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列时，对于每一个时间步，由注意力机制根据所述融合特征序列进行处理后得到的加权句子嵌入和之前所有时间步生成元组嵌入作为所述循环神经网络输入，再由所述循环神经网络生成当前时间步的隐藏层语义特征序列。
4.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，所述通过触发词信息融合层根据所述隐藏层语义特征序列，得到触发词跨度的隐藏层矩阵和触发词位置包括：
5.根据权利要求4所述的工业领域事件联合抽取方法，其特征在于，所述对所述触发词跨度的隐藏层矩阵以及隐藏层语义特征序列采用门控机制进行处理，得到第一过滤隐藏层特征，其过程表示为：
6.根据权利要求5所述的工业
7.根据权利要求6所述的工业领域事件联合抽取方法，其特征在于，根据所述触发词信息融合层、事件参数信息融合层、第一前馈神经网络以及第二前馈神经网络构建解码器，对所述隐藏层语义特征序列进行解码得到所述文本数据中的事件帧，以完成对所述文本数据的事件抽取。
8.根据权利要求7所述的工业领域事件联合抽取方法，其特征在于，在对所述解码器进行训练时，通过计算预测触发词和事件参数的损失函数、预测事件类别损失函数以及预测角色标签的损失函数对解码器中的各可学习参数进行调整；
9.一种基于特征融合的工业领域事件联合抽取装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于特征融合的工业领域事件联合抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，在对所述输入序列进行处理时，其中各token的隐藏层特征采用预训练模型nezha得到。
3.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，利用注意力机制以及循环神经网络对所述融合特征序列进行处理，得到对应的隐藏层语义特征序列时，对于每一个时间步，由注意力机制根据所述融合特征序列进行处理后得到的加权句子嵌入和之前所有时间步生成元组嵌入作为所述循环神经网络输入，再由所述循环神经网络生成当前时间步的隐藏层语义特征序列。
4.根据权利要求1所述的工业领域事件联合抽取方法，其特征在于，所述通过触发词信息融合层根据所述隐藏层语义特征序列，得到触发词跨度的隐藏层矩阵和触发词位置包括：
5.根据权利要求4所述的工业领域事件联合抽取方法，其特征在于，所述对所述触发词跨度的隐藏层矩阵以及隐藏层语义特征序列采用门控机制进行处理，得到第一过滤隐藏层特征，其...
【专利技术属性】
技术研发人员：滕磊，李霜，全文斌，刘耀澳，李佩，谢宇，胡丹，娄照辉，喻金星，
申请(专利权)人：中电工业互联网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。