【技术实现步骤摘要】
本专利技术涉及信息抽取领域，具体是一种基于抽象语义图的事件参数提取方法及系统。
技术介绍
1、事件抽取作为一种主流的自然语言处理任务，包括一系列的抽取任务，如：事件触发词的发现、事件类型的识别、事件论元以及论元角色的提取。相比于关系抽取任务，事件抽取同样需要从文本中抽取出元素和参数。目前，对事件抽取方法研究大多聚焦在生成式事件抽取方向，这一类的方法大多通过微调预训练语言模型以适应事件抽取任务。
2、大模型有很强的泛化能力，fine-tun ing在对大模型微调时需要调整大量的参数，这需要庞大的资源支持。而通过设计prompt提示和指令的方式对模型进行微调，这种情况下只需要调整模型很小一部分的参数就可以让模型适应特定领域的任务。然而研究表明，通过prompt设计微调模型所带来的性能提升有限，其原因在于所设计的prompt往往是次优的。基于这样的现状，出现了前缀调优的微调形式，这些方法通过学习的方式学习最优的prompt提示，以前缀的形式插入模型的输入层中，实现对模型的微调。同时通过adapter的形式也可以实现对大模型的微调，adapter的思想是在transformer结构的每个块中插入其他的神经网络对模型中间结果进行调整。然而经过对比发现，前缀调优的方式可能带来的性能提升并不稳定，其原因是前缀调优只在输入层调整参数，调整的参数影响有限。而利用adapter作为一个可以插入大模型每一层即插即用的插件，它在每一层都和大模型的中间层输出交互，从而能够带来更稳定和更好的性能提升。
3、抽象语义结构图中包含了丰富
技术实现思路
1、本专利技术的目的是为了克服现有技术的不足，提出一种基于抽象语义图的事件参数提取方法及系统，在抽象语义图的学习方式以及模型的微调方式上做出改进，以实现更好的语义和结构信息的融合。
2、为了实现上述目的，本专利技术具体采用的技术方案如下：
3、一种基于抽象语义图的事件参数提取方法，包括以下步骤：
4、s1、获取抽象语义图序列化的结果，基于序列化的抽象语义图解析出抽象语义图，其中，抽象语义图描述了文本中词语之间的语法关系，抽象语意图中的节点和文本中的词语所对应，具体过程如下：
5、s1.1、基于现有的text-to-graph预训练抽象语义表示生成模型，获得经过序列化表示的抽象语义图，其中节点和边的表示是由深度优先遍历所得到的，节点为输入文本中的词语。
6、其中，序列化抽象语义图表示格式，例如，(<z0>possi ble:domai n(<z1>go:arg0(<z2>boy)):po lar ity(<z3>negati ve))。其中<z0>，<z1>，<z2>和<z3>后的词为抽象语义图中的节点实体，形如“:domain”则表示的是一条边，冒号后的单词为边的属性。
7、s1.2、解析经过序列化的抽象语义图，序列化的抽象语义图为深度优先遍历序列，通过设计深度优先解析算法，获取图中所有的节点以及边。对于其中的节点，保留记录其对应文本中的位置，同时对于其中的边进行简化处理，忽视边的属性，将其视作关联边连接两个语义词，得到抽象语义图。
8、s2、基于图卷积神经网络设计adapter结构，adapter结构不同于传统的mlp全连接神经网络，而是采用图卷积神经网络学习图结构的信息，具体过程如下：
9、s2.1、获取adapter的输入记为gin，其中gin中的每个token为一个节点的表示；
10、s2.2、将gin和步骤一中所述抽象语义图的图结构作为图卷积神经网络的输入；
11、s2.3、获取图卷积神经网络最后一层隐藏层节点表示作为adapter的输出gout。
12、s3、将所述的adapter结构插入到预训练语言模型的每一层中，其具体子步骤如下：
13、s3.1、将所述adapter结构插入预训练语言模型transformer结构的每一层中；
14、s3.2、获取预训练语言模型每一层的输入从中获取对应抽象语义图节点作为输入
15、s3.3、将作为adapter的输入，得到输出
16、s3.4、将预训练语言模型每一层的输入经过注意力机制和前馈神经网络产生输出
17、s3.5、将和对应位置上的向量元素相加并归一化得到预训练语言模型在下一层的输入
18、s4、构建事件模板，将事件模板提示和输入文本拼接作为预训练语言模型的输入，根据已知事件类型的模板提示，填充模板中需要的事件参数，得到最终的事件参数预测结果，其具体过程如下：
19、s4.1.构建事件类型本体库，事件本体库以自然语言的形式描述了所有事件类型以及其中包含的事件参数。
20、s4.2.对于输入文本，选择要进行事件参数抽取所对应的事件类型的模板。
21、s4.3.将输入文本和事件模板提示拼接得到的输入记为d，d作为步骤二中所述模型的输入，对模型进行微调。
22、s4.4.最后将上述d输入经过微调的预训练模型，得到的输出作为最终事件参数提取的结果，其中事件模板中的特殊词被输入文本中的词所替代；
23、本专利技术还提供了一种基于抽象语义图的事件参数提取系统，该系统采用上述的基于抽象语义图的事件参数提取方法实现事件参数的提取，包括：
24、抽象语义图生成模块，用于从文本中获取抽象语义图；具体地，通过抽象语义图生成模型处理输入文本，获得序列化的抽象语义图，该序列化的抽象语义图是通过深度优先遍历抽象语义图所得到；解析序列化的抽象语义图，获取图中所有的节点以及边，对于其中的节点，保留记录其对应文本中的位置，同时对于其中的边进行简化处理，忽视边的属性，将其视作关联边连接两个语义词，得到抽象语义图。
25、模型微调模块，用于基于图卷积神经网络的adapter结构插入预训练语言模型transformer结构的每一层中，实现预训练语言模型的微调；具体地，将所述的adapter结构插入预训练语言模型transformer结构的每一层中；获取预训练语言模型每一层的输入从中获取对应抽象语义图节点作为输入将作为图卷积神经网络的输入，经过图卷积得到输出将预训练语言模型每一层的输入经过注意力机制和前馈神经网络产生输出将和对应位置上的向量元素相加并归一化得到预训练语言模型在下一层的输入
26、事件要素抽取模块，用于从输入文本中，根据特定的事件模板提取事件参数。具体地，为每一个事件类型构建对应的模板提示，将事件模板提示和输入文本拼接作为微调后的预训练语言模型的输入，根据已知事件类型的模板提示，填充模板本文档来自技高网...
【技术保护点】
1.一种基于抽象语义图的事件参数提取方法，其特征在于，包括以下步骤：
2.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤S1包括以下子步骤：
3.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤S2中，adapter结构内部由一个图卷积神经网络组成，设计时，包括如下步骤：
4.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤S3包括以下子步骤：
5.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤S4包括以下子步骤：
6.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的语义结构图的表示不是使用序列化文本的形式，而是解析反序列化的抽象语义图获取图结构以便进行图学习。
7.一种基于抽象语义图的事件参数提取系统，其特征在于，包括：
8.根据权利要求7所述的一种基于抽象语义图的事件参数提取系统，其特征在于，所述的抽象语义
9.根据权利要求7所述的一种基于抽象语义图的事件参数提取系统，其特征在于，所述的模型微调模块工作时，包括如下步骤：
10.根据权利要求7所述的一种基于抽象语义图的事件参数提取系统，其特征在于，所述的事件要素抽取模块为每一个事件类型构建对应的模板提示，将事件模板提示和输入文本拼接作为微调后的预训练语言模型的输入，根据已知事件类型的模板提示，填充模板中需要的事件参数，得到最终的事件参数预测结果。
...【技术特征摘要】
1.一种基于抽象语义图的事件参数提取方法，其特征在于，包括以下步骤：
2.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤s1包括以下子步骤：
3.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤s2中，adapter结构内部由一个图卷积神经网络组成，设计时，包括如下步骤：
4.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤s3包括以下子步骤：
5.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的步骤s4包括以下子步骤：
6.根据权利要求书要求1所述的一种基于抽象语义图的事件参数提取方法，其特征在于，所述的语...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。