一种基于对话状态追踪技术的事件抽取方法技术

本发明专利技术通过人工智能领域的方法，实现了一种基于对话状态追踪技术的事件抽取方法。方法整体由事件分类、序列问题生成模型和论元抽取模型三部分组成；事件分类检测输入文本是否是事件，如果文本不包含事件，则输出NULL，否则分类文本所属的事件类型；序列问题生成模型根据事件类型和已经预测的置信度高的论元结果自动生成问题；论元抽取模型将所述序列问题生成模型生成的问题和输入文本作为输入来预测论元位置，然后采用标签对齐机制将预测的论元中置信度高的论元加入训练集中。这一方法通过三部分模型，能对所有参数的预测结果和高置信度结果进行反馈；提取两个任务之间的共同信息和模式，并利用所学习到的语法和语义知识标记；并充分利用论元之间的相关性。

【技术实现步骤摘要】
一种基于对话状态追踪技术的事件抽取方法
本专利技术涉及人工智能领域，尤其涉及一种基于对话状态追踪技术的事件抽取方法。
技术介绍
事件提取是从文本中检测特定类型事件的发生，并提取与事件关联的参数(例如，事件参与者或其他属性)。它是支持许多自然语言处理任务的基本技术，如知识推理、文本摘要和事件预测。在现实世界中，标记大量数据是一项很高的成本。因此，研究如何从少量的标记数据和大量未标记的数据中检测事件并提取其参数是十分必要的。以前的研究是孤立地研究每个论点，没有利用论点之间的相关性。事件提取需要提取与每个事件对应的所有论元及其角色。这样做是具有挑战性的，因为一个事件往往与多个论点相关联，而这些论点在不同的语境中扮演着不同的角色。事件提取任务是复杂和多任务的。它需要识别事件的类型，查找事件触发器和事件参数，并对每个事件参数的角色进行分类。事件提取需要解决参数的重叠和分散问题，这就要求模型准确地学习文本的语义关系和单词的多语义表示。基于多回合对话框的序列事件提取通过构造问题依次识别参数。现有的事件抽取系统通常采用监督学习范式，必须依赖于标记训练数据，但是高质量训练数据的缺乏是一个常见的问题。通过将领域知识整合到问题集中，可以引导抽取框架专注于要从句子中抽取的基本语义。现有的方法没有利用多个论元之间的关系，留下了很大的改进空间。
技术实现思路
为此，本专利技术首先提出一种基于对话状态追踪技术的事件抽取方法，由事件分类、序列问题生成模型和论元抽取模型三部分组成；所述事件分类检测输入文本是否是事件，如果文本不包含事件，则输出NULL，否则分类文本所属的事件类型；所述序列问题生成模型根据事件类型和已经预测的置信度高的论元结果自动生成问题；所述论元抽取模型将所述序列问题生成模型生成的问题和输入文本作为输入来预测论元位置，然后采用标签对齐机制将预测的论元中置信度高的论元加入训练集中，最终输出每个文本中的所有事件类型和事件类型对应的论元；具体地，所述事件分类中的所述分类过程为：包含事件的文本被分别传入一个图神经网络模型和一个BERT模型中，分别学习文本的结构化知识和上下文知识，之后将所述图神经网络模型模型和所述BERT模型输出的字表征拼接，得到每个字的新的表征，再加入一个自注意力机制，学习新的字的上下文表征，最后模型经过FCN层后输出当前文本是否包含事件，如果包含事件则输出事件类型；构造事件类别数量预测任务提高事件分类性能，通过计算事件分类和事件类别数预测两个任务的联合损失，来差别考虑当前预测错误是因为预测错类别还是事件类别预测少了或者多了；所述预测论元位置的方法为：根据事件分类的结果，确定事件类型所包含的论元角色，对于每个论元角色，利用所述序列问题生成模块生成问题集，设计一个机器阅读理解模型，每次输入一个问题和对应的文本，之后将问题输入到一个BERT模型中，文本分别输入到一个图注意力模型来学习文本的结构化表征和BERT模型来学习文本的上下文表征，然后将两个模型的结果拼接在一起后经过一个自注意力机制，最后经过FCN层预测论元的开始和结束位置。所述图神经网络模型具体为：将每个文本构成一个图，每个字被为图中的一个节点，使用词汇知识连接字符并提出一个全局中继节点，以捕获局部组成和潜在的单词边界，节点间的连边包括四种：第一种连边是词内关系连边，即一个词内的字之间依次顺序相连，直到连接到最后一个字；第二种连边方式是词语之间构建一条连边，具体连接方式是前一个词的第一个字和后一个词的第一个字相连，每条边代表潜在的可能存在的词语的特征；中继节点的连边，由一个所述中继节点与图中所有边和节点都相连；以及共现概率高的节点之间构建的连边。所述生成问题的方法为：首先，根据事件分类模型预测的文本所属事件类型和事件类型对应的事件模板，构造所有论元的问题；然后预测每个论元的起始位置，判断这些论元中置信度最高的论元是否超过阈值，如果置信度没有超过阈值，认为当前的预测结果都可能存在错误信息传输，将所有论元预测结果输出，不再执行后面的步骤；如果超过阈值，则将该论元作为事件论元；接着构造下一个论元识别的问题，问题的构造包括事件类型、事件模板和已识别的论元，预测这些论元的起始位置，判断这些论元中置信度最高的论元是否超过阈值，如果超过阈值将当前论元的所构造的问题作为当前轮的问题，如果没有超过则同时识别所有论元，这一过程不断反复，直到识别所有论元；依次生成每个论元角色的问题集，对每个论元构造多个问题，具体地，首先识别第一个论元，问题的构造只包含事件类型信息和要识别的论元角色；依次识别所有的事件论元，选择置信度最高的论元作为第一个事件论元，然后构造第二个论元识别的问题，问题的构造包括事件类型和第一个论元，然后识别下一个置信度最高的论元，如此反复，直到识别所有论元；并设置一个置信度阈值，达到阈值时增加论元，如果一轮论元识别中没有增加论元，即剩下的论元识别结果置信度都不高，则同时添加所有的论元预测结果。所述标签对齐机制为：依次预测论元，将论元预测结果中置信度高的添加到问题中，为抽取下一个论元提供附加信息，对于置信度不高的论元角色，将事件模板中所有的论元识别完一轮后，重新识别置信度不高的论元，这样能利用上一轮中识别的论元信息，如此迭代，直到识别完所有论元，两轮没有新增的置信度高的论元，则同时识别剩下所有的论元。本专利技术所要实现的技术效果在于：1.本专利技术设计了一个问题生成器，并对所有参数的论元预测结果和高置信度结果进行反馈，以伪标签的形式加入到训练数据中。2.本专利技术提出了一种事件类型分类和参数提取任务的多任务模型，利用预先训练的共享BERT模型和基于词典的图注意网络，提取了这两个任务之间的共同信息和模式，并利用所学习到的语法和语义知识标记。3.本专利技术设计一种序列多回合对话模型，通过基于事件分类和预测事件论元过程中，将高置信度地论元预测结果加入下一轮对话中构建新问题来识别下一个论元，充分利用论元之间的相关性。附图说明图1事件抽取原理示意图；图2文本构建成graph的示意图；图3序列问题生成模型算法伪代码；图4方法的整体架构具体实施方式以下是本专利技术的优选实施例并结合附图，对本专利技术的技术方案作进一步的描述，但本专利技术并不限于此实施例。本专利技术提出了一种基于对话状态追踪技术的事件抽取方法，由事件分类、序列问题生成和论元抽取三部分组成。事件分类检测输入文本是否是事件，并分类文本所属的事件类型。序列问题生成器根据事件类型和已经预测的置信度高的论元结果自动生成问题。论元抽取将文本和问题作为输入预测论元位置，然后通过标签对齐机制将预测的论元中置信度高的论元加入训练集中。事件分类模型事件分类是确定每个句子是否是一个事件。此外，如果句子是一个事件，则该句子所属的一个或多个事件类型。因此，对每个事件的类型进行分类是一个多标签文本分类任务。事件分类模型判断当前文本是否包含事件。如果文本不包含事件，则输出NULL，不再执行后面的模块。否则，检本文档来自技高网...

【技术保护点】
1.一种基于对话状态追踪技术的事件抽取方法，其特征在于：由事件检测、序列问题生成模型和论元抽取模型三部分组成；所述事件检测输入文本是否是事件，并分类文本所属的事件类型；所述序列问题生成模型根据事件类型和已经预测的置信度高的论元结果自动生成问题；所述论元抽取模型将所述序列问题生成模型生成的问题和输入文本作为输入来预测论元位置，然后采用标签对齐机制将预测的论元中置信度高的论元加入训练集中，最终输出每个文本中的所有事件类型和事件类型对应的论元；/n具体地，所述事件检测中的所述检测过程为：包含事件的文本被分别传入一个图神经网络模型和一个BERT模型中，分别学习文本的结构化知识和上下文知识，之后将所述图神经网络模型模型和所述BERT模型输出的字表征拼接，得到每个字的新的表征，再加入一个自注意力机制，学习字的新的上下文表征，最后模型输出当前文本是否包含事件和所属事件类型；构造事件类别数量预测任务提高事件检测性能，通过计算事件分类和事件类别数预测两个任务的联合损失，来差别考虑当前预测错误所属类型；/n所述预测论元位置的方法为：根据事件分类的结果，确定事件类型所包含的论元角色，对于每个论元角色，利用所述序列问题生成模块生成问题集，设计一个机器阅读理解模型，每次输入一个问题和对应的文本，之后将问题输入到一个BERT模型中，文本分别输入到一个图注意力模型来学习文本的结构化表征和BERT模型来学习文本的上下文表征，然后将两个模型的结果拼接在一起后经过一个自注意力机制，最后经过FCN层预测论元的开始和结束位置。/n...

【技术特征摘要】
1.一种基于对话状态追踪技术的事件抽取方法，其特征在于：由事件检测、序列问题生成模型和论元抽取模型三部分组成；所述事件检测输入文本是否是事件，并分类文本所属的事件类型；所述序列问题生成模型根据事件类型和已经预测的置信度高的论元结果自动生成问题；所述论元抽取模型将所述序列问题生成模型生成的问题和输入文本作为输入来预测论元位置，然后采用标签对齐机制将预测的论元中置信度高的论元加入训练集中，最终输出每个文本中的所有事件类型和事件类型对应的论元；
具体地，所述事件检测中的所述检测过程为：包含事件的文本被分别传入一个图神经网络模型和一个BERT模型中，分别学习文本的结构化知识和上下文知识，之后将所述图神经网络模型模型和所述BERT模型输出的字表征拼接，得到每个字的新的表征，再加入一个自注意力机制，学习字的新的上下文表征，最后模型输出当前文本是否包含事件和所属事件类型；构造事件类别数量预测任务提高事件检测性能，通过计算事件分类和事件类别数预测两个任务的联合损失，来差别考虑当前预测错误所属类型；
所述预测论元位置的方法为：根据事件分类的结果，确定事件类型所包含的论元角色，对于每个论元角色，利用所述序列问题生成模块生成问题集，设计一个机器阅读理解模型，每次输入一个问题和对应的文本，之后将问题输入到一个BERT模型中，文本分别输入到一个图注意力模型来学习文本的结构化表征和BERT模型来学习文本的上下文表征，然后将两个模型的结果拼接在一起后经过一个自注意力机制，最后经过FCN层预测论元的开始和结束位置。


2.如权利要求1所述的一种基于对话状态追踪技术的事件抽取方法，其特征在于：所述图神经网络模型具体为：将每个文本构成一个图，每个字被为图中的一个节点，使用词汇知识连接字符并提出一个全局中继节点，以捕获局部组成和潜在的单词边界，节点间的连边包括四种：第一种连边是词内关系连边，即一个词内的字之间依次顺序相连，直到连接到最后一个字；第二种连边方式是词语之间构建一条连边，具体连接方式是前一个词的第一个字和后一...

【专利技术属性】
技术研发人员：李建欣，李倩，宁元星，骆功旭，李熙，毛乾任，黄洪仁，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11