【技术实现步骤摘要】
基于可回溯序列生成方法的事件检测方法和系统
[0001]本专利技术涉及信息检测
,尤其涉及一种基于可回溯序列生成方法的事件检测方法、系统、电子设备和计算机可读存储介质。
技术介绍
[0002]事件抽取是信息抽取领域一个重要且富有挑战性的子任务,旨在从非结构化的文本中抽取出结构化的事件信息,主要包括事件类别、事件参与者和事件属性等。事件抽取在自动文摘、自动问答、信息检索、知识图谱构建等领域有着广泛的应用。事件检测旨在从非结构化的数据中识别特定类型的事件及其触发词,是事件提取的关键步骤。
[0003]在过去的几年中,深度学习模型包括卷积神经网络 (CNN),循环神经网络 (RNN)和Transformer,已广泛应用于事件检测,并取得了重大进展。从问题的定义方式来看,可以将大多数工作分为两类。第一类工作将事件检测定义为对候选触发词的分类问题,第二类将事件检测定义为序列标注问题。
[0004]近年来,研究者们普遍地将序列到序列的结构应用到下游的NLP任务中。例如,T5将所有基于文本的问题都转换为文本到文本的生 ...
【技术保护点】
【技术特征摘要】
1.基于可回溯序列生成方法的事件检测方法,其特征在于,包括:对作为训练文本的输入句子进行编码;对编码后的输入句子计算Luong注意力,并根据计算出的注意力权重定位出输入句子中权重最大的单词;对计算Luong注意力后的输入句子计算其中上下文向量;根据所述上下文向量,对输入句子进行解码,每时刻解码出一个事件类型的名称;根据解码结果、输入句子中包含的事件触发词、触发词触发的事件类型和预先定义的目标函数训练模型,得到事件监测模型;将作为待测文本的输入句子输入所述事件监测模型得到事件检测结果。2.根据权利要求1所述的基于可回溯序列生成方法的事件检测方法,其特征在于,对作为训练文本的输入句子进行编码为:使用基于BERT和双向LSTM的编码器对输入句子进行编码。3.根据权利要求2所述的基于可回溯序列生成方法的事件检测方法,其特征在于,对编码后的输入句子计算Luong注意力,并根据计算出的注意力权重定位出输入句子中权重最大的单词为:Luong注意力机制计算出t时刻对输入句子中第i个单词的初始注意力权重:;其中,是输入句子中第i个单词经过编码器输出的隐状态,是输入句子中第j个单词经过编码器输出的隐状态,i代表第i个单词,j代表第j个单词,是输入句子中第t个解码时刻的隐状态,t表示解码器输出的第t个时刻,是一个可学习的参数构成的矩阵;通过遍历输入句子中每个单词的初始注意力权重,得到注意力权重最大的单词,通过掩码操作将这个单词的注意力权重设置为1,对其他单词的权重设置为0,具体计算如下:;其中,是初始注意力权重,是最终的注意力权重,是一个独热掩码向量,用于选择权重最大的单词并过滤其余单词,是逐元素乘法。4.根据权利要求3所述的基于可回溯序列生成方法的事件检测方法,其特征在于,对计算Luong注意力后的输入句子计算其中上下文向量为:对于解码器的每个时刻,基于伯努利分布采样一个采样结果m∈{0,1},并执行以下计算:;其中,表示真实触发词对应的维度为1的独热向量,表示初始注意力权重最大的单词对应的维度为1的独热向量;在时刻t传递给解码器的最终的上下文向量计算为:
;其中,为解码器在t时刻对输入句子中第i个单词的注意力权重。5.根据权利要求4所述的基于可回溯序列生成方法的事件检测方法,其特征在于,根据所述上下文向量,对输入句子进行解码,每时刻解码出一个事件类型的名称为:使用LSTM作为解码器,解码器在时刻t的隐藏状态的计算过程如下:;其中,是t
‑
1时刻所有事件类型上的概率分布,是概率分布中具有最大概率的事件类型,是解码器t
‑
1时刻的隐状态,是t
‑
1时刻传递给解码器的上下文向量;在得到t时刻解码器的隐藏状态和上下文向量后,按照如下公式计算时刻t输出的概率分布:;;其中是可学习的参数;是时刻t下各个事件类型的预测评...
【专利技术属性】
技术研发人员:谢睿,张世琨,叶蔚,习翔宇,杨洋,
申请(专利权)人:北京大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。