一种基于持续学习的小样本事件检测方法和系统技术方案

本发明专利技术提供一种基于持续学习的小样本事件检测方法和系统，方法包括：获取事件检测初始数据集并进行预处理，根据预处理后的事件检测初始数据集建立包括若干个阶段的小样本事件检测增量任务集合，建立基于持续学习的小样本事件检测框架，在面对相继到来的新任务的持续学习时，首先学习新类型的原型表示并保存为新类型知识，然后通过经验回放机制、知识蒸馏和旧类型与新类型之间的知识转移来获得新类型的事件检测结果，本发明专利技术的方法能够解决传统模型的遗忘问题，同时丰富新类型和旧类型之间的联系，提高事件检测的效率和精度。提高事件检测的效率和精度。提高事件检测的效率和精度。

【技术实现步骤摘要】
一种基于持续学习的小样本事件检测方法和系统


[0001]本专利技术涉及计算机深度学习
，更具体地，涉及一种基于持续学习的小样本事件检测方法和系统。

技术介绍

[0002]随着互联网的高速发展与普及，使得用户每天上网时会频繁面对大量的交互式行为，如何从爆炸式的信息中提取出有用的关键性信息已经成为人们重点关注的话题。
[0003]在信息抽取中，事件检测是一项重要的任务，旨在识别和分类文本中预定义事件类型的事件触发词。它包括触发词识别和事件分类。触发器识别的目的是从句子中提取所有的事件触发器，而事件分类则需要将它们归入相应的事件类型。以往的事件检测方法大致可分为两类；一种是两阶段模型，首先进行触发器识别，然后进行事件分类，另一种模型只有一个阶段，它将句子中的所有token作为触发候选，用一个额外的事件类型NA进行事件分类，这意味着对应的token并不是触发器。
[0004]尽管有监督的事件检测算法取得了很好的效果，但在适应新的事件类型和不同的域时，需要大量人工注释的事件数据，代价高昂。因此，训练一个具有持续学习能力且应用于小样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于持续学习的小样本事件检测方法，其特征在于，包括以下步骤：S1：获取事件检测初始数据集并进行预处理，所述事件检测初始数据集包括支持集和查询集，支持集和查询集均包括若干个实例及其对应的触发器和事件类型；S2：根据预处理后的事件检测初始数据集建立包括若干个阶段的小样本事件检测增量任务集合；S3：建立事件检测模型，所述事件检测模型包括依次连接的实例编码器、类型编码器和原型网络；S4：将小样本事件检测增量任务集合的任务按阶段依次输入事件检测初始模型中进行持续学习训练；对于每个阶段的任务，分别对当前阶段和上一阶段原型网络的输出数据进行知识蒸馏，利用经验回放机制，将知识蒸馏后的上一阶段原型网络的输出数据保存为旧类型知识，将知识蒸馏后的当前阶段的输出数据保存为新类型知识；S5：对于每个阶段的任务，利用旧类型知识对新类型知识更新，获取新类型的嵌入向量，根据新类型的嵌入向量再次对当前阶段任务的数据进行事件检测，获取更新后的新类型的事件检测结果；S6：设置总损失函数，对于每个阶段的任务，利用总损失函数对事件检测模型进行优化，当总损失函数的值最小时，完成事件检测模型的优化，获取最优的事件检测模型；S7：获取待事件检测的数据并输入最优的事件检测模型中进行事件检测，获取最优的事件检测结果。2.根据权利要求1所述的一种基于持续学习的小样本事件检测方法，其特征在于，所述步骤S1中获取事件检测初始数据集并进行预处理的具体方法为：所述事件检测初始数据集具体为RAMS、ACE和LR
‑
KBP数据集，包括支持集S和查询集Q，支持集S和查询集Q均包括若干个实例及其对应的触发器和事件类型：支持集S和查询集Q均包括若干个实例及其对应的触发器和事件类型：其中，表示支持集S中的第i个事件提及，包括实例触发器和事件类型N为支持集S中事件类型的数量，K为每个事件类型中包括的实例数量；表示查询集Q中的第i个事件提及，包括实例触发器和事件类型M为查询集Q中的实例数量；每个实例或均表示为一个词序列L为对应的事件提及的最大长度；将支持集S和查询集Q中所有的事件类型记为集合ε；对事件检测初始数据集进行预处理的具体方法为：将所述支持集S和查询集Q进行划分子集。3.根据权利要求2所述的一种基于持续学习的小样本事件检测方法，其特征在于，所述步骤S2中，根据预处理后的事件检测初始数据集建立包括若干个阶段的小样本事件检测增量任务集合具体为：所述小样本事件检测增量任务集合T包括t个阶段的任务，表示为：T＝{S,Q}；
将支持集S和查询集Q中的每个子集作为小样本事件检测增量任务集合中一个阶段的任务。4.根据权利要求3所述的一种基于持续学习的小样本事件检测方法，其特征在于，所述步骤S3中的实例编码器具体为：利用预设的token标记序列对输入数据进行编码，所述预设的token标记序列长度为L，表示为第t个阶段任务的触发器记为使用预先训练好的BERT模型对预设的token标记序列的触发器进行编码，获取触发器的上下文表示，第t个阶段的触发器的上下文表示记为将[CLS]的标记嵌入作为预设的token标记序列的上下文表示，第i个事件类型的标记序列X
i
的上下文表示记为X
i
；在事件检测过程中，将第t个阶段的触发器的上下文表示作为事件触发候选，用于计算对应事件类型的概率。5.根据权利要求4所述的一种基于持续学习的小样本事件检测方法，其特征在于，所述步骤S3中的类型编码器具体为：根据以下公式计算第k个事件类型e
k
的原型P
k
：其中，N
k
是事件类型e
k
中的实例数量。6.根据权利要求5所述的一种基于持续学习的小样本事件检测方法，其特征在于，所述步骤S3中的原型网络具体为：根据输入数据的原型P
k
计算对应的第k个事件类型e
k
的概率，具体公式为：其中，y为第t个阶段的触发器的上下文表示的标签，‖
·
‖表示欧氏距离，N
e
为事件类型的总数量。7.根据权利要求1或6所述的一种基于持续学习的小样本事件检测方法，其特征在于，所述步骤S4中...

【专利技术属性】
技术研发人员：张伟文，许绵深，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：