【技术实现步骤摘要】
基于自注意力卷积双向门控循环单元网络的事件检测方法
[0001]本专利技术属于计算机
,更进一步涉及自然语言处理领域中的一种基于自注意力卷积双向门控循环单元网络的事件检测方法。本专利技术可用于检测自然语言文本中的事件,并对事件进行分类。
技术介绍
[0002]事件检测是事件抽取的基础,主要研究从自然语言文本中发现事件并确定事件类型,在网络舆情分析、事件知识图谱等领域有着广泛应用。事件检测的目标是抽取文本中事件的触发词,并将其划分为特定的事件类型,分为触发词识别和触发词分类两个子任务。近年来,神经网络广泛应用于自然语言处理领域,能自动地从自然语言文本中提取特征,并在事件检测任务上非常有效。
[0003]杭州电子科技大学在其申请的专利文献“一种融合注意力机制的神经网络事件抽取方法”(申请号:201811428287.2,申请公布号:CN 109710919 A)中提出了一种基于注意力机制和双向门控循环单元网络(Bidirectional Gated Recurrent Unit,BiGRU)的事件检测方法。首先,该 ...
【技术保护点】
【技术特征摘要】
1.一种基于自注意力卷积双向门控循环单元网络的事件检测方法,其特征在于,构建由词汇级特征提取模块、句子级特征提取模块和分类模块组成的自注意力卷积双向门控循环单元网络;该方法的具体步骤包括如下:步骤1,生成训练集:(1a)对至少500篇自然语言文本中的每个事件句的事件触发词、事件触发词位置信息以及事件类型进行标注;(1b)对自然语言文本中的每个句子进行预处理,将预处理后的所有句子矩阵组成训练集;步骤2,构建自注意力卷积双向门控循环单元网络:(2a)搭建一个由卷积层和自注意力层组成的词汇级特征提取模块;将卷积层中卷积核的个数设置为600,其中大小为3
×
300、4
×
300和5
×
300的卷积核个数各200个;自注意力层包括线性变换、点积和softmax操作,采用自注意力函数实现;(2b)搭建一个由前向GRU层,反向GRU层,拼接层和自注意力层组成的句子级特征提取模块;将前向GRU层和反向GRU层的时间步长均设置为30,隐层个数均设置为100;将拼接层的拼接维度设置为200;自注意力层采用与步骤(2a)相同的自注意力函数实现;(2c)搭建一个由拼接层,全连接层和softmax层组成的分类模块;将拼接层的拼接维度设置为24000;将全连接层的输出神经元个数设置为2;softmax层采用softmax函数实现;(2d)将词汇级特征提取模块和句子级特征提取模块并联后再与分类模块级联,组成自注意力卷积双向门控循环单元网络;步骤3,训练自注意力卷积双向门控循环单元网络:将训练集输入到自注意力卷积双向门控循环单元网络中,利用反向传播梯度下降法,迭代更新网络中各层的参数,直到自注意力卷积双向门控循环单元网络的损失函数值能够使待训练参数逐渐趋向于使正确分类概率最大的数值,得到训练好的自注意力卷积双向门控循环单元网络;步骤4,检测自然语言文本中的事件:(4a)采用与步骤(1b)相同的方法,对待检测自然语言文本中的每个句子进行预处理,得到待检测文本中的每个句子的矩阵;(4b)将每个句子的矩阵输入到训练好的自注意力卷积双向门控循环单元网络中,通过s...
【专利技术属性】
技术研发人员:王侃,王孟洋,刘鑫,代翔,崔莹,潘磊,刘伟,
申请(专利权)人:西安电子科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。