基于联合蒸馏回放策略的类增量学习方法技术

本发明专利技术公开了一种基于联合蒸馏回放策略的类增量学习方法，所述方法包括如下步骤：1)训练初始任务的蒸馏模型；2)设置一个缓冲区存储初始任务的蒸馏数据；3)建立基于旧任务的蒸馏数据与新任务的原始数据的联合蒸馏模型；4)在下一个任务训练过程中回放联合蒸馏数据。本技术方案利用旧任务的蒸馏数据与新任务的原始数据联合蒸馏，充分考虑旧任务的类别特征信息，以此避免特征模糊。在此基础上，保持新旧任务蒸馏过程中使用相同的学习率，并寻找一个最优的缓冲区规模以存储蒸馏数据用于回放，从而有效地缓解类增量学习场景中的灾难性遗忘，提升图像的分类效果。

【技术实现步骤摘要】

本专利技术涉及图像分类，具体涉及一种基于联合蒸馏回放策略的类增量学习方法。

技术介绍

1、近年来，类增量学习逐渐成为深度学习领域内的研究热点之一。增量学习有三种基本场景：任务增量学习、域增量学习和类增量学习。在任务增量学习场景中，模型需要逐步学习一组可明确区分的任务；在域增量学习场景中，模型需要在不同环境中学习同一问题；在类增量学习场景中，模型需要区分所有类。由于现实世界的场景往往会随着时间的推移产生新的类，类增量学习相比任务增量学习和域增量学习更接近现实世界的应用场景，也更具有挑战性。然而，随着新类别的不断增加，模型必须不断更新以纳入新任务的知识，而这一学习过程可能会破坏甚至完全覆盖旧任务的知识，从而导致灾难性遗忘问题。因此，解决类增量学习中的灾难性遗忘问题尤为重要。

2、目前的研究工作中，减轻类增量学习中灾难性遗忘的方法大致可分为三大类：基于正则化的方法、基于偏差校正的方法以及基于回放的方法。基于正则化的方法通过在新任务的学习中增加正则化项对旧任务中重要的参数施加约束，平衡新旧任务并且限制旧知识的遗忘。然而,实际应用中很难设计一个合理的度量本文档来自技高网...

【技术保护点】

1.一种基于联合蒸馏回放策略的类增量学习方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于联合蒸馏回放策略的类增量学习方法，其特征在于，步骤2)中所述缓冲区存储过程为：在联合蒸馏过程结束后，将旧任务的联合蒸馏数据存储在所设置好的缓冲区中，并且为了使模型能更充分地学习到旧类别的特征信息，缓冲区规模大小设置为100，即联合蒸馏后每个旧类保存100张蒸馏图像，减少对旧类的遗忘，缓冲区中存储的蒸馏数据可以表示为：

3.根据权利要求1所述的基于联合蒸馏回放策略的类增量学习方法，其特征在于，步骤3)中所述联合蒸馏过程具体为：初始化当前任务的蒸馏数和蒸馏模型参数，在...

【技术特征摘要】

1.一种基于联合蒸馏回放策略的类增量学习方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于联合蒸馏回放策略的类增量学习方法，其特征在于，步骤2)中所述缓冲区存储过程为：在联合蒸馏过程结束后，将旧任务的联合蒸馏数据存储在所设置好的缓冲区中，并且为了使模型能更充分地学习到旧类别的特征信息，缓冲区规模大小设置为100，即联合蒸馏后每个旧类保存100张蒸馏图像，减少对旧类的遗忘，缓冲区中存储的蒸馏数据可以表示为：

3.根据权利要求1所述的基于联合蒸馏回放策略的类增量学习方...

【专利技术属性】
技术研发人员：莫建文，左丽芳，欧阳宁，林乐平，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：