【技术实现步骤摘要】
本专利技术属于信息处理，尤其是涉及一种基于对比监督和跨阶段蒸馏的通用信息抽取方法。
技术介绍
1、通用信息抽取旨在实现一个能够同时处理多种信息抽取任务的通用模型，包括命名实体识别、关系抽取以及事件抽取等核心子任务。现有研究通过设计与目标任务密切相关的辅助任务，同时构建基于多阶段持续学习的训练范式以增强目标任务的抽取性能。这种基于多阶段训练的学习范式，通过依次学习不同难度和重要程度的抽取目标来逐步提升抽取能力，在通用信息抽取领域取得了突破性的进展。特别地，这种渐进式的学习策略可以被称为持续学习。
2、持续学习（continual learning），也被称为终身学习或增量学习，旨在按照一定顺序依次学习不同任务，以应对动态变化的知识和环境。虽然现有研究基于持续学习框架实现了比传统多任务学习架构更好的抽取效果，但它们往往也面临着灾难性遗忘(catastrophic forgetting, cf)问题。灾难性遗忘指的是当模型学习新任务时，在过去任务上的推理性能显著下降的现象。特别地，当新旧任务具有较高的重叠度时，模型可能会较好地保持...
【技术保护点】
1.一种基于对比监督和跨阶段蒸馏的通用信息抽取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的通用信息抽取方法，其特征在于，训练所述第一低秩分解矩阵包括以下步骤：
3.根据权利要求2所述的通用信息抽取方法，其特征在于，训练所述第二低秩分解矩阵包括以下步骤：
4.根据权利要求2或3所述的通用信息抽取方法，其特征在于：所述第一损失函数的公式为，其中为最小化负对数似然损失，为监督对比损失，为监督对比损失项的权重。
5.根据权利要求3所述的通用信息抽取方法，其特征在于：所述第二损失函数的公式为，其中为最小化负对数似然损...
【技术特征摘要】
1.一种基于对比监督和跨阶段蒸馏的通用信息抽取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的通用信息抽取方法，其特征在于，训练所述第一低秩分解矩阵包括以下步骤：
3.根据权利要求2所述的通用信息抽取方法，其特征在于，训练所述第二低秩分解矩阵包括以下步骤：
4.根据权利要求2或3所述的通用信息抽取方法，其特征在于：所述第一损失函数的公式为，其中为最小化负对数似然损失，为监督对比损失，为监督对比损失项的权重。
5.根据权利要求3所述的通用信息抽取方法，其特征在于：所述第二损失函数的公式为，其中为最小化负对数似然损失，为监督对比损失，为监督对比损失项的权重，为回放样本损失，为蒸馏损失，为蒸馏损失项的权重。
6.根据权利要求5所述的通用信息抽取方法，其特征在于：所述监督对比损失的方程式为，其中为三元组损失，为样本锚点，表示其中的一个正样本，表...
【专利技术属性】
技术研发人员：刘杰，金钰，
申请(专利权)人：天津汲智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。