【技术实现步骤摘要】
事件抽取模型的训练方法、抽取方法、装置、设备及介质
[0001]本公开涉及自然语言处理
，具体而言，涉及一种事件抽取模型的训练方法、事件抽取方法、事件抽取模型的训练装置、事件抽取装置、电子设备及计算机可读介质。
技术介绍
[0002]事件抽取是信息抽取的一项重要组成部分，旨在从文本中找出事件的触发词和相应的论元。事件抽取在很多领域具有广泛的应用，例如信息检索、文本摘要、知识库构建、舆情分析等。事件抽取主要包括以下步骤：1、事件触发词和事件类型的检测；2、与该事件相关的事件论元的抽取。
[0003]预先训练的语言模型可以有效提高事件抽取模型的性能，其训练包含预训练和微调两个步骤。目前的预训练方法没有涉及到对于事件的建模和学习，只在微调阶段建模事件的语义信息，缺乏对于事件抽取任务的预训练，从而导致事件抽取模型无法利用预训练方法充分利用数据中的信息，从而影响模型的性能。
[0004]鉴于此，本领域亟需一种事件抽取模型的训练方法，能够在预训练阶段充分地利用数据中的事件信息，提高事件抽取模型的性能。
[0...
【技术保护点】
【技术特征摘要】
1.一种事件抽取模型的训练方法，其特征在于，包括：从训练样本文档中获取训练数据，所述训练数据包括所述训练样本文档的每个事件中的触发词和论元，以及所述训练样本文档中的无关实体；其中，所述无关实体为所述训练样本文档中不属于任何事件的实体；将所述训练数据输入待训练的语言模型中，分别得到对应的触发词向量、论元向量和无关实体向量；基于同一事件中的触发词向量和论元向量得到正样本对，基于所述无关实体向量以及不同事件中的触发词向量和论元向量得到负样本对；将每一个正样本对的样本相似度分别与正样本标签进行对比，将每一个负样本对的样本相似度分别与负样本标签进行对比，并根据各个所述正样本对和所述负样本对的相似度对比结果计算得到模型损失；根据所述模型损失对所述语言模型的模型参数进行迭代训练，根据训练结果得到预训练语言模型，并基于所述预训练语言模型进行进一步训练得到事件抽取模型。2.根据权利要求1所述的事件抽取模型的训练方法，其特征在于，所述基于同一事件中的触发词向量和论元向量得到正样本对，包括：将每个事件中的触发词对应的触发词向量分别与同一事件中的各个论元对应的论元向量进行结合得到正样本对。3.根据权利要求1所述的事件抽取模型的训练方法，其特征在于，所述基于所述无关实体向量以及不同事件中的触发词向量和论元向量得到负样本对，包括：将属于不同事件的触发词向量和论元向量之间进行两两结合，得到负样本对；将所述无关实体向量与其他无关实体向量之间进行两两结合，得到负样本对；将所述无关实体向量与任意一个事件中的触发词向量或者论元向量进行两两结合，得到负样本对。4.根据权利要求1所述的事件抽取模型的训练方法，其特征在于，所述样本相似度包括每个所述正样本对或者所述负样本对中的两个词向量之间的余弦相似度。5.根据权利要求1所述的事件抽取模型的训练方法，其特征在于，所述根据各个所述正样本对和所述负样本对的相似度对比结果计算得到模型损失，包括：根据所述正样本对的样本相似度与所述正样本标签得到正样本相似度差值，根据所述负样本对的样本相似度与所述负样本标签得到负样本相似度差值；基于交叉熵损失函数以及所述正样本相似度差值和所述负样本相似度差值计算得到模型损失。6.根据权利要求1所述的事件抽取模型的训练方法，其特征在于，在基于所述预训练语言模型进行进一步训练得到事件抽取模型之前，所述方法还包括：根据所述预训练语言模型得到第一语言预测模型，并从所述训练样本文档中按照预设比例选择部分目标词语作为掩码任务对象；根据预设的替换比例将所述目标词语替换为原始目标词语、掩码替换词语和随机替换词语；将替换所述目标词语之后的所述训练样本文档输入所述第一语言预测模型中，得到所述掩码任务对象对应的预测值，并根据所述掩码任务对象对应的预测值和真实值之间的差
异得到第一模型损失；根据所述第一模型损失对所述第一语言预测模型进行迭代训练，并根据所述第一语言预测模型的训练结果更新所述预训练语言模型。7.根据权利要求6所述的事件抽取模型的训练方法，其特征在于，在根据所述第一语言预测模型的训练结果更新所述预训练语言模型...
【专利技术属性】
技术研发人员：姚顺雨，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。