一种基于自注意力增强语义的事件共指消岐方法及系统技术方案

本发明专利技术公开了一种基于自注意力增强语义的事件共指消岐方法及系统，属于通信领域和自然语言处理技术领域，包括以下步骤：S1：数据预处理；S2：相似度计算；S3：事件关系类别判断。本发明专利技术采用基于自注意力增强语义的模型，先将通信领域过程类事件的属性进行拼接用于捕捉全面的语义信息，然后通过预训练模型BERT中的自注意力机制表示事件属性中不同词汇的重要性，再通过特征匹配整合快速高效的计算事件相似度概率，实现优异的事件消岐效果，可以在小数据量下实现对文本语义的快速捕捉与微调。据量下实现对文本语义的快速捕捉与微调。据量下实现对文本语义的快速捕捉与微调。

【技术实现步骤摘要】
一种基于自注意力增强语义的事件共指消岐方法及系统


[0001]本专利技术涉及通信领域和自然语言处理
，具体涉及一种基于自注意力增强语义的事件共指消岐方法及系统。

技术介绍

[0002]通信领域存在多种过程类知识，如硬件安装、参数配置、集成调测、故障处理等。在通信运维过程中，一般通过“事件”及“事件关系”对故障过程知识文本进行梳理，给用户呈现故障发生的逻辑，提供故障排查和故障恢复方案，指导一线处理现网故障。“事件共指消解”是通过自然语言处理技术实现故障脉络、排查步骤和恢复步骤梳理的重要手段，对通信领域自动问答、知识图谱构建都具有重要意义。
[0003]传统的事件共指消解模型通常从多种语言知识库和其他资源抽取丰富的语义特征，以句法分析为基础设置语言规则进行共指消解，它需要按照规则反复遍历文本，计算量较大。之后基于机器学习的方法被不断提出，包括决策树、最大熵、支持向量机等模型，这种模型既考虑了多个实体之间的排序关系,又实现了实体特征互补,但是特征不足也会导致结果出现较大偏差。最近几年,深度学习开始被用于共指消岐中，通过词向量表示事件进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力增强语义的事件共指消岐方法，其特征在于，包括：S1：数据预处理将事件A的文本序列Text
A
、触发词Trigger
A
、事件元素Argument
A
拼接组合表示事件Event
A
，在拼接组合时，将文本序列Text
A
进行分词处理，将触发词Trigger
A
去除触发类型只保留触发词语，将事件元素Argument
A
去除事件元素类型只保留事件元素词语，对每一个事件均进行事件A的拼接组合过程，得到各事件拼接组合后的文本序列；S2：相似度计算将两个事件文本序列Event
A
和Event
B
同时输入到一个预训练模型网络中，通过文本词汇之间的自注意力机制获得不同词汇的重要性，再通过词汇语义向量与词汇重要性权重特征匹配整合得到事件的相似度概率；S3：事件关系类别判断根据两个事件的相似度概率来判断两个事件的关系类别。2.根据权利要求1所述的一种基于自注意力增强语义的事件共指消岐方法，其特征在于：在所述步骤S1中，每一个事件都包含三个属性内容，对于事件Event
A
，包括Text
A
、Trigger
A
，Argument
A
三个属性，其中text
A
是文本序列，Trigger
A
是事件触发类型和触发词语，Argument
A
是文本中包含的事件元素。3.根据权利要求2所述的一种基于自注意力增强语义的事件共指消岐方法，其特征在于：在所述步骤S1中，拼接组合后事件Event
A
的文本序列表示为：Event
A
＝{Tex
A
,Tri
A
,Arg
A
}其中，Tex
A
表示Text
A
经过分词处理后的结果，Tri
A
表示Trigger
A
去除触发类型只保留触发词语的结果，Arg
A
表示Argument
A
去除事件元素类型只保留事件元素词语的结果。4.根据权利要求2所述的一种基于自注意力增强语义的事件共指消岐方法，其特征在于：在所述步骤S2中，事件文本序列Event
A
和Event
B
同时输入模型时先拼接到一起，获得新的文本序列：E＝cat(Event
A
,Event
B
)其中，cat()表示拼接操作。5.根据权利要求1所述的一种基于自注意力增强语义的事件共指消岐方法，其特征在于：在所述步骤S2中，通过文本词汇之...

【专利技术属性】
技术研发人员：李飞，徐况，王颜颜，赵龙，周源，
申请(专利权)人：科大国创云网科技有限公司，
类型：发明
国别省市：