一种用于小样本类增量学习的多粒度快慢学习方法技术

本发明专利技术公开了一种用于小样本类增量学习的多粒度快慢学习方法，方法具体包括以下步骤：连续获取多个任务的数据流，在每个类增量学习会话只能获得一个任务的数据；在第一个增量学习会话中，获取第一个任务的数据，学习得到基任务网络模型，慢更新模型和快更新模型都以基任务模型作为初始化；在下一个增量学习会话中获取新任务数据，以慢的多粒度学习方法更新慢更新模型，以快的多粒度学习方法更新快更新模型；每次增量学习会话后，通过慢更新模型得到慢更新特征空间，通过快更新模型得到快更新特征空间，利用两个空间得到的组合空间进行分类。本发明专利技术构建的组合特征空间能有效地平衡旧知识保留和新知识适应，是一种简单有效的小样本增量学习方法。

【技术实现步骤摘要】
一种用于小样本类增量学习的多粒度快慢学习方法
本专利技术涉及深度网络模型的增量学习领域，尤其涉及一种用于小样本类增量学习的多粒度快慢学习方法。
技术介绍
最近几年来，类增量学习取得了不错的发展，目的是在于使得一个学习器从新数据中获得新知识的同时能够保留从之前数据中已经学习得到的旧知识。在实际场景中，新数据中的新知识通常在一个更具有挑战性的小样本学习场景(即少量标注的样本)，导致了小样本增量学习问题。小样本增量学习通常涉及基本任务(即具有大规模训练样本的第一项任务)和新任务(具有有限样本数)的学习阶段。原则上，小样本增量学习处于缓慢遗忘旧知识和快速适应新知识之间的困境。缓慢的遗忘通常会导致对新任务的抵触，而快速的适应会导致灾难性的遗忘问题。因此，需要实施“慢vs.快”学习方法，以确定要以慢速或快速方式更新哪些知识组件，从而在慢忘和快速适应之间保持权衡。在本专利中，我们专注于探究来自两个不同粒度的快慢学习性能差异：在同一特征空间内(称为空间内快慢学习分析)以及在两个不同特征空间之间(称为空间之间快慢学习分析)。现有的用于解决类增量学习问题的本文档来自技高网...

【技术保护点】
1.一种基于特征空间组合的小样本类增量学习方法，其特征在于，包括以下步骤：/nS1、连续获取多个任务的数据流，在每个类增量学习会话中只能获得一个任务的训练数据集；/nS2、在第一个类增量学习会话中，以基任务作为第一个任务的训练数据集，学习得到基任务网络模型，慢更新网络模型和快更新网络模型都以基任务网络模型作为初始化模型；/nS3、在下一个类增量学习会话中，基于新任务的训练数据集，以慢的多粒度学习方法更新前一个类增量学习会话中训练得到的慢更新网络模型，同时以快的多粒度学习方法更新前一个类增量学习会话中训练得到的快更新网络模型；/n所述慢的多粒度学习方法指在特征空间之间粒度使用小学习率更新特征空间...

【技术特征摘要】
1.一种基于特征空间组合的小样本类增量学习方法，其特征在于，包括以下步骤：
S1、连续获取多个任务的数据流，在每个类增量学习会话中只能获得一个任务的训练数据集；
S2、在第一个类增量学习会话中，以基任务作为第一个任务的训练数据集，学习得到基任务网络模型，慢更新网络模型和快更新网络模型都以基任务网络模型作为初始化模型；
S3、在下一个类增量学习会话中，基于新任务的训练数据集，以慢的多粒度学习方法更新前一个类增量学习会话中训练得到的慢更新网络模型，同时以快的多粒度学习方法更新前一个类增量学习会话中训练得到的快更新网络模型；
所述慢的多粒度学习方法指在特征空间之间粒度使用小学习率更新特征空间和在特征空间内部粒度对低频分量做知识迁移时使用大权重；
所述快的多粒度学习方法指在特征空间之间粒度使用大学习率更新特征空间和在特征空间内部粒度对低频分量做知识迁移时使用小权重；
且所述大学习率为所述小学习率的5倍以上，所述大权重为所述小权重的5倍以上；
S4：完成一个类增量学习会话后，通过慢更新网络模型得到慢更新特征空间，通过快更新网络模型得到快更新特征空间，对两个特征空间进行组合，得到一个组合特征空间，利用组合特征空间进行分类；
S5：当存在新任务的训练数据集时，重复S3和S4，利用新数据对网络模型进行学习。


2.根据权利要求1所述的用于小样本类增量学习的多粒度快慢学习方法，其特征在于，所述S1中，所述的类增量学习会话定义如下：
从当前任务的数据到达后至下一个任务的数据到达的时间间隔是一个类增量学习会话；
所述多个任务的数据流定义如下：
数据流D由N个训练数据集构成，D＝{D(1)，D(2)，...，D(N)}，其中第t个任务的训练数据集为D(t)，D(t)仅在第t个类增量学习会话中被获取到并用于模型的训练学习，在小样本类增量学习中D(1)为基任务数据；C(t)是第t个任务数据的类别集合，不同任务间包含的数据类别没有重叠。


3.根据权利要求1所述的一种基于用于小样本类增量学习的多粒度快慢学习方法，其特征在于，所述小样本类增量学习方法的目标定义为：在每个类增量学习会话中，更新模型，以平衡旧知识保留和新知识适应，在所有已经出现过的类别数据中实现样本分类。


4.根据权利要求1所述的一种用于小样本类增量学习的多粒度快慢学习方法，其特征在于，所述S2中，所述的基任务网络模型是由嵌入网络和最近类均值分类器组成的图像分类模型；所述嵌入网络作为特征提取器，用于将一个给定的样本映射到一个表征空间，在该表征空间中样本间的距离表示样本间的语义差异；训练得到嵌入网络后，用所述最近类均值分类器对样本进行分类；
所述的基任务网络模型中，仅有嵌入网络是可学习的，所述嵌入网络在学习过程中，以最小化度量学习损失为目的。


5.根据权利要求4所述的一种用于小样本类增量学习的多粒度快慢学习方法，其特征在于，所述的度量学习损失采用三元组损失



其中d+表示代表样本xa和正样本xp的特征之间的欧式距离，d_表示代表样本xa和负样本xn的特征之间的欧式距离，r表示阈值。


6.根据权利要求5所述的一种用于小样本类增量学习的多粒度快慢学习方法，其特征在于，所述S3中，以慢的多粒度学习方法更新前一个类增量学习会话中训练得到的慢更新网络模型时，以最小化损失函数为目的对嵌入网络进行参数优化，其中：



式中是...

【专利技术属性】
技术研发人员：李玺，赵涵斌，傅永健，康敏桐，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33