文本中事件角色的处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种文本中事件角色的处理方法、装置、电子设备及存储介质；方法包括：通过角色处理模型中的编码器对文本中的单词进行编码，得到文本中单词的编码信息；通过编码器对文本中单词的编码信息进行特征聚合，得到所述文本的聚合特征；通过所述角色处理模型中的注意力模型，将至少一个事件角色的多个上层概念、以及所述文本中单词的编码信息进行关联，得到所述文本面向所述事件角色的语义向量；通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类，得到对应所述文本的事件角色。通过本发明专利技术，能够根据事件角色的上层概念，自动并准确地抽取文本中的事件角色。

Methods, devices, devices and storage media of event roles in texts

【技术实现步骤摘要】
文本中事件角色的处理方法、装置、设备及存储介质
本专利技术涉及人工智能的自然语言处理技术，尤其涉及一种文本中事件角色的处理方法、装置、电子设备及存储介质。
技术介绍
自然语言处理(NatureLanguageProcessing，NLP)是计算机科学领域与人工智能领域中的一个重要方向，能实现人与计算机之间用自然语言进行有效通信。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，该领域将涉及自然语言，即人们日常使用的语言，所以它与语言学有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。事件角色处理系统是自然语言处理领域的重要应用之一，事件角色处理系统是指在文本中抽取各实体在事件中扮演的角色，事件角色处理系统在问答系统、信息检索系统、智能硬件等中都有广泛的应用，即事件角色处理系统是这些复杂系统的基础组件。但是，事件角色处理系统主要依赖于大量的人力来进行人工标注特征以及规则，从而根据人工标注特征以及规则抽取事件角色，即获得事件角色的成本极高。
技术实现思路
本专利技术实施例提供一种事件角色的处理方法、装置、电子设备及存储介质，能够根据事件角色的上层概念，自动并准确地抽取文本中的事件角色。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种事件角色的处理方法，所述方法包括：通过角色处理模型中的编码器对文本中的单词进行编码，得到所述文本中单词的编码信息；通过所述编码器对所述文本中单词的编码信息进行特征聚合，得到所述文本的聚合特征；通过所述角色处理模型中的注意力模型，将至少一个事件角色的多个上层概念、以及所述文本中单词的编码信息进行关联，得到所述文本面向所述事件角色的语义向量；通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类，得到对应所述文本的事件角色。本专利技术实施例提供一种文本中事件角色的处理装置，所述装置包括：编码模块，用于通过角色处理模型中的编码器对文本中的单词进行编码，得到所述文本中单词的编码信息；通过所述编码器对所述文本中单词的编码信息进行特征聚合，得到所述文本的聚合特征；注意力模块，用于通过所述角色处理模型中的注意力模型，将至少一个事件角色的多个上层概念、以及所述文本中单词的编码信息进行关联，得到所述文本面向所述事件角色的语义向量；分类模块，用于通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类，得到对应所述文本的事件角色。上述技术方案中，所述编码模块还用于获取所述文本的词向量以及位置向量；通过所述编码器对所述文本的词向量以及位置向量进行编码，得到所述文本中每个单词的隐藏向量；其中，所述位置向量包括所述文本中触发词与实体词的位置信息。上述技术方案中，所述编码模块还用于将所述文本的词向量以及位置向量进行相加，得到和向量；通过所述编码器对所述和向量进行编码，得到所述文本中每个单词的隐藏向量。上述技术方案中，所述编码模块还用于获取所述文本的词嵌入向量、位置向量以及事件类型向量；通过所述编码器对所述词嵌入向量、位置向量以及事件类型向量进行编码，得到所述文本中每个单词的隐藏向量。上述技术方案中，所述编码模块还用于获取所述文本的编码信息中触发词和实体词的位置；根据所述触发词和实体词的位置，对所述文本的编码信息中第一个向量至第m个向量进行融合，得到第一融合向量；对所述第m个向量至第k个向量进行融合，得到第二融合向量；对所述第k个向量至第n个向量进行融合，得到第三融合向量；对所述第一融合向量、所述第二融合向量以及所述第三融合向量进行拼接，得到所述文本的聚合特征；其中，所述第m个向量和第k个向量为所述触发词或实体词，1<m<k<n，且n小于或者等于所述文本的向量总数，m、k、n为自然数。上述技术方案中，所述注意力模块还用于通过所述注意力模型，将至少一个事件角色的多个上层概念以及所述文本中单词的编码信息进行编码，得到所述文本中单词相对于所述上层概念的隐藏状态；根据所述文本中单词相对于所述上层概念的隐藏状态、以及所述注意力模型中的参数可学习矩阵，确定所述文本中单词与所述上层概念的相关度；根据所述文本中单词与所述上层概念的相关度以及所述文本的编码信息，确定所述文本面向所述事件角色的语义向量。上述技术方案中，所述注意力模块还用于对所述文本中单词的编码信息以及所述上层概念进行拼接，得到拼接向量；对所述注意力模型中的参数可学习矩阵、所述拼接向量进行编码，得到所述文本中单词相对于所述上层概念的隐藏状态。上述技术方案中，所述注意力模块还用于将所述单词与所述上层概念的相关度与所述参数可学习矩阵的乘积确定为第一乘积；基于所述参数可学习矩阵，对各单词与所述上层概念的相关度进行加权求和，得到第二乘积；将所述第一乘积与所述第二乘积的比值确定为所述文本中单词与所述上层概念的相关度。上述技术方案中，所述注意力模块还用于根据多个所述文本中单词与所述上层概念的相关度，确定所述文本中单词面向所述事件角色的相关度；根据所述文本中单词面向所述事件角色的相关度以及所述文本中单词的编码信息，确定所述文本面向所述事件角色的语义向量。上述技术方案中，所述注意力模块还用于获取多个所述文本中单词与所述上层概念的相关度的平均值，将所述平均值确定为所述文本中单词面向所述事件角色的相关度；所述根据所述文本中单词面向所述事件角色的相关度以及所述文本中单词的编码信息，确定所述文本面向所述事件角色的语义向量，包括：基于所述文本中单词的编码信息，对所述文本中单词面向所述事件角色的相关度进行加权求和，得到所述文本面向所述事件角色的语义向量。上述技术方案中，所述分类模块还用于对所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行拼接，得到拼接特征；通过所述分类器对所述拼接特征、以及所述事件角色进行分类处理，得到对应所述文本的事件角色概率；根据所述对应所述文本的事件角色概率，得到对应所述文本的事件角色。上述技术方案中，所述装置还包括：训练模块，用于通过所述分类器对至少一个文本样本面向所述事件角色的语义向量、以及文本样本的聚合特征进行分类，得到对应所述文本样本的事件角色概率；根据所述对应所述文本样本的事件角色概率，构建所述角色处理模型的损失函数；更新所述角色处理模型的参数直至所述损失函数收敛。本专利技术实施例提供一种文本中事件角色的处理设备，所述设备包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的文本中事件角色的处理方法。本专利技术实施例提供一种存储介质，存储有可执行指令，用于引起处理本文档来自技高网...

【技术保护点】
1.一种文本中事件角色的处理方法，其特征在于，所述方法包括：/n通过角色处理模型中的编码器对文本中的单词进行编码，得到所述文本中单词的编码信息；/n通过所述编码器对所述文本中单词的编码信息进行特征聚合，得到所述文本的聚合特征；/n通过所述角色处理模型中的注意力模型，将至少一个事件角色的多个上层概念、以及所述文本中单词的编码信息进行关联，得到所述文本面向所述事件角色的语义向量；/n通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类，得到对应所述文本的事件角色。/n

【技术特征摘要】
1.一种文本中事件角色的处理方法，其特征在于，所述方法包括：
通过角色处理模型中的编码器对文本中的单词进行编码，得到所述文本中单词的编码信息；
通过所述编码器对所述文本中单词的编码信息进行特征聚合，得到所述文本的聚合特征；
通过所述角色处理模型中的注意力模型，将至少一个事件角色的多个上层概念、以及所述文本中单词的编码信息进行关联，得到所述文本面向所述事件角色的语义向量；
通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类，得到对应所述文本的事件角色。


2.根据权利要求1所述的方法，其特征在于，所述通过角色处理模型中的编码器对文本中的单词进行编码，得到所述文本中单词的编码信息，包括：
获取所述文本的词向量以及位置向量；
通过所述编码器对所述文本的词向量以及位置向量进行编码，得到所述文本中每个单词的隐藏向量；
其中，所述位置向量包括所述文本中触发词与实体词的位置信息。


3.根据权利要求2所述的方法，其特征在于，所述通过所述编码器对所述文本的词向量以及位置向量进行编码，得到所述文本中每个单词的隐藏向量，包括：
将所述文本的词向量以及位置向量进行相加，得到和向量；
通过所述编码器对所述和向量进行编码，得到所述文本中每个单词的隐藏向量。


4.根据权利要求1所述的方法，其特征在于，所述通过角色处理模型中的编码器对文本中的单词进行编码，得到所述文本中单词的编码信息，包括：
获取所述文本的词嵌入向量、位置向量以及事件类型向量；
通过所述编码器对所述词嵌入向量、位置向量以及事件类型向量进行编码，得到所述文本中每个单词的隐藏向量。


5.根据权利要求1所述的方法，其特征在于，所述通过所述编码器对所述文本中单词的编码信息进行特征聚合，得到所述文本的聚合特征，包括：
获取所述文本的编码信息中触发词和实体词的位置；
根据所述触发词和实体词的位置，对所述文本的编码信息中第一个向量至第m个向量进行融合，得到第一融合向量；
对所述第m个向量至第k个向量进行融合，得到第二融合向量；
对所述第k个向量至第n个向量进行融合，得到第三融合向量；
对所述第一融合向量、所述第二融合向量以及所述第三融合向量进行拼接，得到所述文本的聚合特征；
其中，所述第m个向量和第k个向量为所述触发词或实体词，1<m<k<n，且n小于或者等于所述文本的向量总数，m、k、n为自然数。


6.根据权利要求1所述的方法，其特征在于，所述通过所述角色处理模型中的注意力模型，将所述至少一个事件角色的多个上层概念、以及所述文本中单词的编码信息进行关联，得到所述文本面向所述事件角色的语义向量，包括：
通过所述注意力模型，将至少一个事件角色的多个上层概念以及所述文本中单词的编码信息进行编码，得到所述文本中单词相对于所述上层概念的隐藏状态；
根据所述文本中单词相对于所述上层概念的隐藏状态、以及所述注意力模型中的参数可学习矩阵，确定所述文本中单词与所述上层概念的相关度；
根据所述文本中单词与所述上层概念的相关度以及所述文本的编码信息，确定所述文本面向所述事件角色的语义向量。


7.根据权利要求6所述的方法，其特征在于，所述通过所述注意力模型，将至少一个事件角色的多个上层概念以及所述文本中单词的编码信息进行编码，得到所述文本中单词相对于所述上层概念的隐藏状态，包括：
对所述文本中单词的编码信息以及所述上层概念进行拼接，得到拼接向量；
对所述注意力模型中的参数可学习矩阵、所述拼接向量进行编码，得到所述文本中单词相对于所述上层概念的隐藏状态。

【专利技术属性】
技术研发人员：刘知远，王晓智，王子奇，韩旭，李涓子，李鹏，孙茂松，周杰，任翔，
申请(专利权)人：清华大学，腾讯科技深圳有限公司，
类型：发明
国别省市：北京;11