事件论元抽取模型的训练方法和事件论元抽取方法技术

本公开提供了一种事件论元抽取模型的训练方法，包括：基于输入的文本数据，确定与第一事件论元信息对应的第一词嵌入特征数据和与第二事件论元信息对应的第二词嵌入特征数据，第一事件论元信息包括目标事件论元信息，第二事件论元信息包括目标事件论元信息和额外事件论元信息；将第一词嵌入特征数据和第二词嵌入特征数据输入预抽取模型，得到训练好的预抽取模型；基于训练好的预抽取模型，利用知识蒸馏的方法得到待训练的事件论元抽取模型；以及利用第一词嵌入特征数据训练待训练的事件论元抽取模型，得到经训练的事件论元抽取模型。本公开还提供了一种事件论元抽取方法，能够基于事件论元之间的隐式关系，提高抽取事件论元的准确率。的准确率。的准确率。

【技术实现步骤摘要】
事件论元抽取模型的训练方法和事件论元抽取方法


[0001]本公开涉及深度学习领域和自然语言处理领域，具体涉及一种事件论元抽取模型的训练方法和事件论元抽取方法。

技术介绍

[0002]在大数据时代，事件抽取是指从海量文本中进行事件抽取，从而获取人们感兴趣的信息和数据。事件要素又称事件论元，事件要素抽取是事件抽取的重要组成部分，事件要素抽取就是从非结构化的文本中提取事件中具有特定角色的实体，然后用结构化或半结构化的形式描述出来，供用户浏览、查询或者进一步分析利用。
[0003]在相关技术中，基于双向长短期记忆网络(Bi
‑
directional Long Short
‑
Term Memory，Bi
‑
LSTM)结合条件随机场算法(Conditional Random Field algorithm，CRF)的Bi
‑
LSTM+CRF，通过建模事件触发词和事件论元之间直接关系的方法，实现了事件论元的抽取。由于事件论元可以跨越多个句子，所以相关技术中事件论元和给定触发词之间存在远距离、跨句依赖问题，以及语义表示不充分的问题。此外，相关技术是通过建模事件触发词和事件论元之间直接关系进行的事件论元抽取，无法学习到事件论元之间的间接关系。

技术实现思路

[0004]鉴于上述问题，本公开提供了一种事件论元抽取模型的训练方法和事件论元抽取方法，用于提高事件论元抽取的精确度。
[0005]根据本公开的第一个方面，提供了一种事件论元抽取模型的训练方法，包括：基于输入的文本数据，确定与第一事件论元信息对应的第一词嵌入特征数据和与第二事件论元信息对应的第二词嵌入特征数据，第一事件论元信息包括目标事件论元信息，第二事件论元信息包括目标事件论元信息和额外事件论元信息；将第一词嵌入特征数据和第二词嵌入特征数据输入预抽取模型，得到训练好的预抽取模型；基于训练好的预抽取模型，利用知识蒸馏的方法得到待训练的事件论元抽取模型；以及利用第一词嵌入特征数据训练待训练的事件论元抽取模型，得到经训练的事件论元抽取模型。
[0006]根据本公开的实施例，其中，将第一词嵌入特征数据和第二词嵌入特征数据输入预抽取模型，得到训练好的预抽取模型包括：利用第一词嵌入特征数据和第二词嵌入特征数据迭代训练预抽取模型，其中，在每次训练过程中减小预设比例的第二词嵌入特征数据，直至在满足预设条件的情况下，得到训练好的预抽取模型。
[0007]根据本公开的实施例，还包括：基于输入的文本数据，利用预训练语言模型对输入的文本数据进行编码，确定第一词嵌入特征数据和第二词嵌入特征数据。
[0008]根据本公开的实施例，其中，事件论元抽取模型为问答形式的模型，文本数据为问答形式的文本数据；方法还包括：在利用预训练语言模型对文本数据进行编码之前，将原始文本数据转换为问答形式的文本数据。
[0009]根据本公开的实施例，还包括：利用多个全连接层确定目标事件论元的开始位置
和结束位置，其中，第一词嵌入特征数据和第二词嵌入特征数据均包括目标事件论元的开始位置和结束位置。
[0010]根据本公开的实施例，其中，额外事件论元信息包括额外事件论元的论元角色和文本内容。
[0011]根据本公开的实施例，其中，基于训练好的预抽取模型，利用知识蒸馏得到待训练的事件论元抽取模型包括：将训练好的预抽取模型作为教师模型，将事件论元抽取模型作为学生模型，将教师模型的输出特征迁移到学生模型，得到待训练的事件论元抽取模型。
[0012]根据本公开的第二个方面，提供了一种事件论元抽取方法，包括：基于输入的待抽取的文本数据，确定目标事件论元的词嵌入特征数据；将目标事件论元的词嵌入特征数据输入事件论元抽取模型，输出抽取的事件论元，其中事件论元抽取模型通过上述事件论元抽取模型的训练方法训练得到。
[0013]根据本公开的第三个方面，提供了一种事件论元抽取模型的训练装置，包括：第一确定模块，用于基于输入的文本数据，确定与第一事件论元信息对应的第一词嵌入特征数据和与第二事件论元信息对应的第二词嵌入特征数据，第一事件论元信息包括目标事件论元信息，第二事件论元信息包括目标事件论元信息和额外事件论元信息；第二确定模块，用于将第一词嵌入特征数据和第二词嵌入特征数据输入预抽取模型，得到训练好的预抽取模型；第三确定模块，用于基于训练好的预抽取模型，利用知识蒸馏的方法得到待训练的事件论元抽取模型；训练模块，用于利用第一词嵌入特征数据训练待训练的事件论元抽取模型，得到经训练的事件论元抽取模型。
[0014]根据本公开的第四个方面，提供了一种事件论元抽取装置，包括：第四确定模块，用于基于输入的待抽取的文本数据，确定目标事件论元的词嵌入特征数据；抽取模块，用于将目标事件论元的词嵌入特征数据输入事件论元抽取模型，输出抽取的事件论元，其中事件论元抽取模型通过上述事件论元抽取模型的训练方法训练得到。
[0015]根据本公开的第五个方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当一个或多个指令被一个或多个处理器执行时，使得一个或多个处理器实现上述事件论元抽取模型的训练方法和事件论元抽取方法。
[0016]根据本公开的第六个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述事件论元抽取模型的训练方法和事件论元抽取方法。
[0017]根据本公开的第七个方面，提供了一种计算机程序产品，计算机程序产品包括计算机可执行指令，指令在被执行时用于实现上述事件论元抽取模型的训练方法和事件论元抽取方法。
附图说明
[0018]通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
[0019]图1示意性示出了根据本公开实施例的事件论元抽取模型的训练方法的系统架构图；
[0020]图2示意性示出了根据本公开实施例的事件论元抽取模型的训练方法的流程图；
[0021]图3示意性示出了根据本公开实施例的获取预抽取模型方法的示意图；
[0022]图4示意性示出了根据本公开实施例的事件论元抽取模型的训练方法的流程示意图；
[0023]图5示意性示出了根据本公开实施例的获取事件论元抽取模型方法的流程图；
[0024]图6示意性示出了根据本公开实施例的事件论元抽取方法的流程图；
[0025]图7示意性示出了根据本公开实施例的事件论元抽取模型的训练装置的结构框图；
[0026]图8示意性示出了根据本公开实施例的事件论元抽取装置的结构框图；以及
[0027]图9示意性示出了根据本公开实施例的适于事件论元抽取方法的电子设备的方框图。
具体实施方式
[0028]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件论元抽取模型的训练方法，包括：基于输入的文本数据，确定与第一事件论元信息对应的第一词嵌入特征数据和与第二事件论元信息对应的第二词嵌入特征数据，所述第一事件论元信息包括目标事件论元信息，第二事件论元信息包括目标事件论元信息和额外事件论元信息；将所述第一词嵌入特征数据和所述第二词嵌入特征数据输入预抽取模型，得到训练好的预抽取模型；基于所述训练好的预抽取模型，利用知识蒸馏的方法得到待训练的事件论元抽取模型；以及利用所述第一词嵌入特征数据训练待训练的事件论元抽取模型，得到经训练的事件论元抽取模型。2.根据权利要求1所述的方法，其中，将所述第一词嵌入特征数据和所述第二词嵌入特征数据输入预抽取模型，得到训练好的预抽取模型包括：利用所述第一词嵌入特征数据和所述第二词嵌入特征数据迭代训练所述预抽取模型，其中，在每次训练过程中减小预设比例的所述第二词嵌入特征数据，直至在满足预设条件的情况下，得到训练好的预抽取模型。3.根据权利要求1所述的方法，还包括：基于输入的文本数据，利用预训练语言模型对所述输入的文本数据进行编码，确定所述第一词嵌入特征数据和所述第二词嵌入特征数据。4.根据权利要求3所述的方法，其中，所述事件论元抽取模型为问答形式的模型，所述文本数据为问答形式的文本数据；所述方法还包括：在利用所述预训练语言模型对所述文本数据进行编码之前，将原始文本数据转换为问答形式的文本数据。5.根据权利要求1所述的方法，还包括：利用多个全连接层确定目标事件论元的开始位置和结束位置，其中，所述第一词嵌入特征数据和所述第二词嵌入特征数据均包括所述目标事件论元的开始位置和结束位置。6.根据权利要求1所述的方法，其中，所述额外事件论元信息包...

【专利技术属性】
技术研发人员：张泽群，刘庆，金力，李树超，孙显，魏楷文，刘康，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：