基于角色一致性的事件论元角色分类方法及系统技术方案

本发明专利技术提出一种基于角色一致性的事件论元角色分类方法及系统，采用图神经网络结构，将每个论元的预估角色概率分布融入事件触发词与事件论元的关联特征建模中，通过在触发词与各论元连接的星形图上进行多阶图神经网络交互，使得每个论元感知其他论元的角色信息，从而提高事件内所有论元角色整体的一致性。从而提高事件内所有论元角色整体的一致性。从而提高事件内所有论元角色整体的一致性。

【技术实现步骤摘要】
基于角色一致性的事件论元角色分类方法及系统


[0001]本专利技术涉及信息抽取领域，并特别涉及一种可用于提高事件抽取任务中事件论元角色预测效果的方法。

技术介绍

[0002]事件(Event)作为信息的一种结构化表示，是指涉及某些参与者的实际发生的事情。作为一类特殊的信息抽取任务，事件抽取的目标是从给定文本中抽取出预定义事件类型的实例。事件一般由触发词(Trigger)和论元(Argument)两部分组成，其中触发词是文本中最能清楚地表达事件发生的词，一般是事件所在句子的核心动词；论元与事件相关，并在事件中扮演一定角色的实体，和上述实例不同的是，上述实例的为从文本中抽取出结构化的事件，事件的结构符合某个预定义事件类型的结构；实体是某一个概念的实例，比如“北京”是实体，它是“地点”或“城市”的一个实例。两者是存在联系的，事件实例中的论元必须是实体。一般来说，事件抽取一般可以分为触发词抽取和论元抽取两个任务进行，其中触发词抽取任务的目标是找出事件的触发词，并判断事件类型；论元抽取任务的目标是对于给定文本及事件触发词，判断文本中的实体是否是事件的相关论元，如果是则判断该实体在事件中担任的角色，预测角色实际上是给论元进行分类，此处角色可以是“地点”、“时间”、“买方”等。比如在“A在29日抵达巴黎”这句话中，“抵达”是触发词，“A”担任“访问人”这一论元角色，“29日”担任“时间”这一论元角色，“巴黎”担任“地点”这一论元角色。通过近些年对于事件抽取研究工作推进，现有的方法对于触发词抽取任务已有较好的效果，而论元抽取因论元角色本体结构复杂，论元角色的预测较为困难，也成为了整个事件抽取任务的瓶颈。论元角色预测任务的重点在于候选论元实体的上下文语义建模和论元同事件触发词以及其他论元间的关联特征建模。通过准确预测论元角色，以下几种技术应用将得到显著性能提升：1.信息检索：可在抽取出的论元实体(人物、组织、机构等)维度构建新索引，快速检索出含有某种特定事件类型或含有特定实体论元所参与事件的文档等；2.事件知识图谱：抽取出的论元角色与触发词一起构成事件，参与构建事件知识图谱，为事件预测、事件关系推理等下游任务提供基础。
[0003]对于候选论元实体的上下文语义建模，随着深度学习的发展，现存的方法采用愈加结构化的文本语义编码网络结构，从卷积神经网络到循环神经网络，再到带有快速链接的循环神经网络，缓解长距离依赖信息丢失问题，再到最近的图神经网络结构，将序列建模转化为图信息建模。图神经网络因其信息传递的无序，能够很好地解决文本语义编码中的长距离依赖建模不佳的问题。而现有的基于图神经网络的方法都是基于依存关系建图来建模语义信息，而依存关系需要基于第三方工具进行解析，这将使得第三方工具的噪声会被引入进论元角色上下文语义编码中。
[0004]对于论元与触发词及其他论元间的关联特征建模问题，现存的方法将论元与其他事件要素的关联特征通过记忆矩阵、注意力机制等方法建模，但其存在的问题是在特征建模后进行角色预测分类时，均独立预测，未考虑不同论元角色之间是否正确、完备且相容，
即角色间的一致性未被建模，这使得最终预测的论元角色之间易出现矛盾、错漏等不一致的结果。
[0005]综上所述，现有技术中存在未对于同一事件不同论元的角色一致性建模以及图神经网络语义建模易引入第三方工具噪声的问题。

技术实现思路

[0006]为了克服上述现有技术中存在的不足，本专利技术提供了一种基于角色一致性建模的事件论元角色预测方法。该方法采用图神经网络结构，将每个论元的预估角色概率分布融入事件触发词与事件论元的关联特征建模中，通过在触发词与各论元连接的星形图上进行多阶图神经网络交互，使得每个论元感知其他论元的角色信息，从而提高事件内所有论元角色整体的一致性。
[0007]针对现有技术的不足，本专利技术提出一种基于角色一致性的事件论元角色分类方法，其中包括：
[0008]训练语料预处理步骤，获取已标注事件论元角色类别和事件触发词的训练语料，对该训练语料中文本进行分词，并根据语言表征模型BERT的预训练词典，得到每个词在该预训练词典中的ID；将所有词ID构成的词序列输入BERT的多层翻译模型Transformer，以对该词序列进行预编码，得到词表示向量；
[0009]候选论元语义编码步骤，聚合该事件触发词和该词表示向量，得到触发词的上下文语义表达向量，拼接该上下文语义表达向量与该词表示向量并通过线性网络加以融合，得到每个候选论元的语义表达向量；
[0010]候选论元特征编码步骤，根据事件类型选择对应的特征建模网络对候选论元的语义表达向量进行编码，得到每个候选论元的特征表达向量；
[0011]候选论元角色解码步骤，从全局和局部两种维度对每个候选论元的特征表达向量进行解码，得到两个维度下角色概率分布矩阵；
[0012]角色一致性信息交互步骤，在触发词
‑
论元连接图上进行多阶的图神经网络交互，将该两个维度下的角色概率分布矩阵融入到基于触发词
‑
论元连接图的信息交互中，得到每个候选论元融合了角色概率信息的全局表达向量，作为新的候选论元的语义表达向量；
[0013]迭代式角色分类步骤，再次执行该候选论元特征编码步骤、该候选论元角色解码步骤和该角色一致性信息交互步骤，直到解码得到的角色概率分布矩阵收敛，将其概率最大的角色类别的作为最终的论元角色预测的输出。
[0014]所述的基于角色一致性的事件论元角色分类方法，其中该训练语料预处理步骤包括：
[0015]对文本进行分词，并将同一批词的输入按该批词最长的文本长度填充为相同长度；
[0016]通过BERT语言模型对输入字、该词序列T进行预编码，获得具有动态语义表达的词表示向量C＝{c0,c1,
…
,c
n
}；
[0017]C＝BERT(T)
[0018]该候选论元语义编码步骤包括：
[0019]对该事件触发词和该词表示向量进行聚合，得到各自的上下文语义表达向量，拼
接该上下文语义表达向量与该词表示向量并通过线性网络加以融合，得到每个候选论元的语义表达向量
[0020]该候选论元特征编码步骤包括：通过事件类型E相关的特征编码器对各候选论元A进行特征编码，得到其特征表达向量U＝{u0,u1,...,u
K
}；
[0021][0022]所述的基于角色一致性的事件论元角色分类方法，其中该候选论元角色解码步骤包括：
[0023]通过两个全连接网络FNN学习局部和全局维度下的特征向量U
local
和U
global
：
[0024]U
local
＝FNN
local
(U)
[0025]U
local
＝FNN
local
(U)
[0026]通过局部和全局维度的softmax进行解码，得到局部维度下每个论元A...

【技术保护点】

【技术特征摘要】
1.一种基于角色一致性的事件论元角色分类方法，其特征在于，包括：训练语料预处理步骤，获取已标注事件论元角色类别和事件触发词的训练语料，对该训练语料中文本进行分词，并根据语言表征模型BERT的预训练词典，得到每个词在该预训练词典中的ID；将所有词ID构成的词序列输入BERT的多层翻译模型Transformer，以对该词序列进行预编码，得到词表示向量；候选论元语义编码步骤，聚合该事件触发词和该词表示向量，得到触发词的上下文语义表达向量，拼接该上下文语义表达向量与该词表示向量并通过线性网络加以融合，得到每个候选论元的语义表达向量；候选论元特征编码步骤，根据事件类型选择对应的特征建模网络对候选论元的语义表达向量进行编码，得到每个候选论元的特征表达向量；候选论元角色解码步骤，从全局和局部两种维度对每个候选论元的特征表达向量进行解码，得到两个维度下角色概率分布矩阵；角色一致性信息交互步骤，在触发词
‑
论元连接图上进行多阶的图神经网络交互，将该两个维度下的角色概率分布矩阵融入到基于触发词
‑
论元连接图的信息交互中，得到每个候选论元融合了角色概率信息的全局表达向量，作为新的候选论元的语义表达向量；迭代式角色分类步骤，再次执行该候选论元特征编码步骤、该候选论元角色解码步骤和该角色一致性信息交互步骤，直到解码得到的角色概率分布矩阵收敛，将其概率最大的角色类别的作为最终的论元角色预测的输出。2.如权利要求1所述的基于角色一致性的事件论元角色分类方法，其特征在于，该训练语料预处理步骤包括：对文本进行分词，并将同一批词的输入按该批词最长的文本长度填充为相同长度；通过BERT语言模型对输入字、该词序列T进行预编码，获得具有动态语义表达的词表示向量C＝{c0,c1,
…
,c
n
}；C＝BERT (T)该候选论元语义编码步骤包括：对该事件触发词和该词表示向量进行聚合，得到各自的上下文语义表达向量，拼接该上下文语义表达向量与该词表示向量并通过线性网络加以融合，得到每个候选论元的语义表达向量该候选论元特征编码步骤包括：通过事件类型E相关的特征编码器对各候选论元A进行特征编码，得到其特征表达向量U＝{u0，u1，...，u
K
}；3.如权利要求2所述的基于角色一致性的事件论元角色分类方法，其特征在于，该候选论元角色解码步骤包括：通过两个全连接网络FNN学习局部和全局维度下的特征向量U
local
和U
global
：U
local
＝FNN
local
(U)U
local
＝FNN
local
(U)通过局部和全局维度的softmax进行解码，得到局部维度下每个论元A
k
在不同角色R
m
下的概率分布矩阵P
A
，以及全局维度下每种角色R
m
在不同论元A
k
下的概率分布矩阵p
R
；
其中表示第k个论元属于E事件中的第m种角色的概率，表示第m种角色由第k个论元表达的概率；根据角色的标签L做出交叉熵损失函数：论元表达的概率；根据角色的标签L做出交叉熵损失函数：论元表达的概率；根据角色的标签L做出交叉熵损失函数：其中，表示第k个论元属于第m种角色的真实概率标签，若存在角色重叠现象时则由多个角色等分概率；则表示第m种角色由第k个论元承担的真实概率标签，同一角色由多个论元承担时概率等分；4.如权利要求3所述的基于角色一致性的事件论元角色分类方法，其特征在于，该角色一致性信息交互步骤包括：使用图神经网络RGCN对该触发词
‑
论元连接图进行消息传递，每层该图神经网络的消息传递会使每个节点获得其邻居的特征和角色概率分布信息；在该触发词
‑
论元连接图中事件触发词与所有论元相连，通过两层的图神经网络传递信息，每个论元都会包括触发词在内的所有节点信息；对于每种事件类型E均设置了对应的独立的模型参数，在图消息传递阶段，将触发词表示H
T
以及论元的语义表达向量以及论元的语义表达向量作为图节点的初始化表示，边权矩$W
along
，W
loop
由角色标签信息聚合模块的标签概率矩阵P
A
和P
R
得到，W
along
表示跨节点的连边，W
loop
表示各节点内部自环边；设置有W
et
和张量W
role
作为触发词类型对应的线性变换矩阵以及该类型下所有论元角色对应的线性变换矩阵集合；通过全局和局部的两个维度的标签概率，对张量W
role
加权得到自环边和非自环边的边权矩阵和和和对论元和触发词表示映射到融入了标签概率信息的新的空间中，并进行第一层图网络信息交互，得到交互后的触发词和论元节点表示H
′
T
及及及
使用新的节点表示再次进行相同操作，完成二阶的图信息交互：使用新的节点表示再次进行相同操作，完成二阶的图信息交互：该迭代式角色分类步骤包括，将H
″
A
作为新的融合向量表示H
A
，再次执行该候选论元特征编码步骤，H
″
T
则回到第一层的图网络信息交互位置再次进行循环，直到解码得到的角色概率分布矩阵收敛。5.一种基于角色一致性的事件论元角色分类系统，其特征在于，包括：训练语料预处理模块，获...

【专利技术属性】
技术研发人员：靳小龙，郭嘉丰，程学旗，官赛萍，张付俊，席鹏弼，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：