基于多层级注意力机制的模型、事件论元抽取方法及系统技术方案

本发明专利技术公开了一种基于多层级注意力机制的模型、事件论元抽取方法及系统，首先，预处理包含事件类型以及描述该事件的输入文本，使用预训练语言模型对数据集中的文本进行编码，得到模型的初始文本表征；其次，将事件类型输入多层级注意力机制的模型，获取事件类型

【技术实现步骤摘要】
基于多层级注意力机制的模型、事件论元抽取方法及系统


[0001]本专利技术属于自然语言处理中信息抽取的事件论元抽取研究领域，具体涉及一种基于多层级注意力机制的模型、事件论元抽取方法及系统。

技术介绍

[0002]互联网发展到现在已全面进入大数据时代，每个人都被海量的数据裹挟。数据的形式多种多样，其中文本作为信息的重要表现形式之一，在各行各业被广泛使用。面对纷繁的文本数据，如何快速获取人们需要的信息则显得至关重要，信息抽取任务正是诞生于这种需求之下。
[0003]事件抽取是信息抽取领域内的核心任务，旨在将事件从自然文本中提取出来并以表格类的结构化形式用以表示。一个完整的事件由一个定义事件类型的事件触发词和多个事件涉及的论元构成，触发词和论元常为实体。按照抽取阶段划分，事件抽取任务可分解为事件触发词抽取和事件论元抽取两个子任务。事件论元抽取是在已知事件触发词及事件类型的基础上将该事件涉及的所有论元抽取出来。
[0004]现有事件论元抽取方法在抽取论元时对已知信息往往仅进行简单使用，在引入事件类别信息时仅将其类别向量拼接在文本表征之后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多层级注意力机制的模型构建方法，其特征在于：首先，构建事件类型
‑
论元角色层级关系、论元角色
‑
论元角色层级关系，并且分别使用二维矩阵进行表示；然后，将预先获得的文本表征和事件类型
‑
事件论元层级关系矩阵输入事件类型
‑
事件论元注意力模块，计算事件类型
‑
论元角色层级注意力特征；将预先获得的文本表征和事件论元
‑
事件论元层级关系矩阵输入事件论元
‑
事件论元注意力模块，计算论元角色
‑
论元角色层级注意力特征；最后，将事件类型
‑
论元角色层级注意力特征和论元角色
‑
论元角色层级注意力特征作为该模型的输出。2.根据权利要求1所述的多层级注意力机制的模型构建方法，其特征在于：计算事件类型
‑
论元角色层级注意力特征的具体过程如下：依据官方事件模板，分析事件类型与论元角色之间的所属关系并且使用二维矩阵表示，事件模板在定义事件时给出了特定类型事件包含的论元，以事件类型作为横坐标，论元角色作为纵坐标构建二维关系矩阵，若某一事件包含某一论元，则在二维矩阵中将其值置为1，否则置为0。3.根据权利要求1所述的多层级注意力机制的模型构建方法，其特征在于：计算论元角色
‑
论元角色层级注意力特征的具体过程如下：分析论元角色彼此之间的依赖关系并且使用二维矩阵表示，将论元角色包含的值属性抽象成上层概念，表达论元角色某一维度的属性，以论元角色类型作为横坐标，上层概念类型作为纵坐标构建二维关系矩阵，若某一论元拥有某一属性，则在二维矩阵中将其值置为1，否则置为0。4.根据权利要求1所述的多层级注意力机制的模型构建方法，其特征在于：所述文本表征通过应用预训练语言模型对原始数据集中的文本进行编码获取。5.一种基于多层级注意力机制的事件论元抽取方法，其特征在于：包括如下步骤：步骤1、预处理包含事件类型以及描述该事件的输入文本，使用预训练语言模型对数据集中的文本进行编码，得到模型的初始文本表征；步骤2、将步骤1中的事件类型输入权利要求1至4中任一项所述多层级注意力机制的模型，获取事件类型
‑
论元角色层级注意力特征和论元角色
‑
论元角色层级注意力特征；步骤3、将步骤1中得到的文本表征输入双仿射层，与事件类型
‑
论元角色层级注意力特征和论元角色
‑
论元角色层级注意力特征进行融合，获取最终的融合分类特征；步骤4、将融合分类特征作为最终分类层的输入，采用0/1标注格式对每个角色类型的事件论元的首尾索引进行预测，迭代训练，获取最优模型。6.根据权利要求5所述的基于多层级注意力机制的事件论元抽取方法，其特征在于：所述步骤1的具体过程如下：划分训练集和测试集，将文档中的长文档分隔为固定长度为200个字的句子集合，其中一个句子对应数据集中的...

【专利技术属性】
技术研发人员：吴昆，丁国栋，
申请(专利权)人：迈容智能科技上海有限公司，
类型：发明
国别省市：