一种基于样本重放和知识蒸馏的终身学习方法技术

本发明专利技术涉及一种基于样本重放和知识蒸馏的终身学习方法，属于人工智能领域。本发明专利技术中，任务t代表将要处理的任务数据集，缓冲区M存放了过去任务的部分数据集以及旧模型的概率输出信息，当前任务的样本通过蓄水池抽样算法选择性地加入到缓冲区M中；在训练时，选择一种深度学习模型F，模型F在任务t上训练损失记为Loss1，模型F在缓冲区M上的损失记为Loss2，总损失为Loss＝Loss1+α*Loss2；判断是否达到训练总轮数epochs，如果达到则导出训练好的模型文件，否则反向传播更新权重并再次计算Loss。本发明专利技术是一个通用的终身学习训练策略，适用于任何分类任务的深度学习模型，可以缓解神经网络灾难性遗忘问题，使深度学习模型具备持续学习的能力。习的能力。习的能力。

【技术实现步骤摘要】
一种基于样本重放和知识蒸馏的终身学习方法


[0001]本专利技术属于人工智能领域，具体涉及一种基于样本重放和知识蒸馏的终身学习方法。

技术介绍

[0002]传统的深度学习模型要求在训练前取得所有训练样本以进行离线训练，并且在训练结束后无法继续更新。然而，在开放动态环境中，训练样本往往以数据流的形式到来，或因存储、隐私等问题仅在一段时间内可以获得。理想情况下的深度学习模型应当能够仅利用数据流中的新样本更新模型，而无需耗费大量计算资源进行重新训练。然而，当深度学习模型从原来的批量学习模式转变为序列学习模式时，很容易出现对旧知识的遗忘，这意味着，在使用新数据更新模型后，模型在先前学习的任务中所达到的性能会急剧下降，出现灾难性遗忘。因此,如何在模型持续学习新数据的同时抵抗对旧数据的灾难性遗忘便成为终身学习问题的研究重点。
[0003]目前终身学习技术主要有基于样本重放的方法、基于知识蒸馏的方法和基于正则化的方法。
[0004]基于样本重放的方法通过获取存储在内存缓冲区中的先前任务数据子集并与当前任务数据集联合训练来解决灾难性遗忘。早期工作提出了经验重放(Experience Replay,ER)，即在训练批次中交错旧样本和当前数据。最近的一些研究直接扩展了这一想法:元体验重放(MER)将重放视为元学习问题，以最大化过去任务的迁移，同时最小化干扰；基于梯度的样本选择(GSS)引入了ER的变体，将最优选择的示例存储在内存缓冲区中；后见锚定学习(HAL)补充了重放的额外目标，以限制对关键学习数据点的遗忘。另一方面，梯度情景记忆(GEM)和它的轻量级变种(A
‑
GEM)利用旧的训练数据来构建当前更新步骤所满足的优化约束。然而，当任务的训练集样本较多时，这些改进工作并不总是优于ER，因此本专利技术在ER的基础上继续研究，提出的KD2ER在整个训练轨迹上采样，通过计算黑暗知识(即由已经训练好的模型对未标注数据各个类别的概率信息)来提取过去的经验。
[0005]基于知识蒸馏的方法通过知识蒸馏手段，以旧模型作为老师模型，以新模型作为学生模型进行知识蒸馏，进而维持模型在旧类别上的判别能力。Learning Wi thout Forgett ing(LwF)中的知识蒸馏损失通过最小化新旧模型输出的概率分布之间的KL散度，最大限度地减少训练期间的漂移。iCaRL中利用了样本重放和知识蒸馏的组合技术，通过对齐新旧模型在旧类上的预测概率，使得新模型在旧类上保持了和旧模型一致的判别能力，从而抵抗灾难性遗忘。
[0006]基于正则化的方法通过在训练新任务时向损失函数中添加正则项减少参数的巨幅改变以此保留旧知识，典型的工作有EWC，SI，IMM，MAS和RW。
[0007]本专利技术方法和LwF都利用了知识蒸馏，但它们采用了截然不同的方法。后者不会重放过去的样本，它只会鼓励新旧模型对当前任务数据点的反应之间的相似性。虽然本专利技术和iCaRL都利用过去任务的样本去克服灾难性遗忘，但后者利用每个任务结束时指定的网
络作为唯一的教师网络；相反，本方法存储在先前所有任务样本的输出概率信息，这相当于有多个不同的教师网络同时指导新模型的训练。

技术实现思路

[0008](一)要解决的技术问题
[0009]本专利技术要解决的技术问题是如何提供一种基于样本重放和知识蒸馏的终身学习方法，以解决深度学习模型中灾难性遗忘问题。
[0010](二)技术方案
[0011]为了解决上述技术问题，本专利技术提出一种基于样本重放和知识蒸馏的终身学习方法，该方法包括：
[0012]任务t代表将要处理的任务数据集，缓冲区M存放了过去任务的部分数据集以及旧模型的概率输出信息，当前任务的样本通过蓄水池抽样算法选择性地加入到缓冲区M中；
[0013]在训练时，首先选择一种深度学习模型F，设置epochs和batch_size，模型F在任务t上训练损失记为Loss1，模型F在缓冲区M上的损失记为Loss2，其中h
θ
(x)表示模型F对样本x的类概率预测输出，z为旧模型在样本x上的类概率预测输出，表示z和h
θ
(x)的欧氏距离，z和h
θ
(x)越相似，欧氏距离越小；
[0014]总损失为Loss＝Loss1+α*Loss2，α是Loss1和Loss2之间平衡的超参数；
[0015]此时判断是否达到训练总轮数epochs，如果达到则导出训练好的模型文件，否则反向传播更新权重并再次计算Loss。
[0016](三)有益效果
[0017]本专利技术提出一种基于样本重放和知识蒸馏的终身学习方法，本专利技术与现有技术相比的优点在于：
[0018]本专利技术提供了一种简单、高效且有效的终身学习方法，此算法时间复杂度不随任务数量增多而增大，可以应用于任何分类任务的深度学习模型。在持续迭代优化中，该方法可以在不遗忘旧任务的知识基础上，有效学习新任务知识，从而缓解神经网络灾难性遗忘的难题。本专利技术方法无需事先知道任务的数量、任务标签和样本数量，可以实现通用终身学习的要求。
附图说明
[0019]图1为本专利技术模型训练策略框架。
具体实施方式
[0020]为使本专利技术的目的、内容和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0021]本专利技术的目的在于提供一种简单且有效的终身学习方法，缓解深度学习模型中灾难性遗忘问题，使得深度学习模型具备持续学习的能力。
[0022]该专利技术提出了一种终身学习方法，其本质是一种模型训练策略，可以应用于任意分类任务的深度学习模型。该专利技术融合了样本重放和知识蒸馏两种技术。
[0023]样本重放技术的核心是对神经网络模型在层出不穷的非平稳分布样本上的持续优化，以达到网络模型不断适应新样本的目的。样本重放的中心特征是保持对所见样本的记忆M，该记忆与当前样本的交织在一起，目的是使训练更稳定。
[0024]然而，直接将过去的任务样本综合到当前任务中进行重新训练会导致训练时间长，内存开销大等问题，很难应用在实际中。因此，本专利技术将采用蓄水池策略对旧样本进行随机抽样。
[0025]知识蒸馏的核心思想是一旦复杂神经网络模型训练完成，便可以用另一种训练方法从复杂模型中提取出来更小的模型，因此知识蒸馏框架通常包含了一个大模型(被称为教师模型)和一个小模型(被称为学生模型)。在终身学习领域，旧模型作为教师模型，新模型作为学生模型，通过正则化损失函数实现教师模型对学生模型的指导，进而维持新模型在旧类别上的判别能力。
[0026]本专利技术提供一种基于样本重放和知识蒸馏的终身学习方法，步骤如下：
[0027]1)形式上，一个终身学习分类问题被划分为T个任务。在每个任务t∈{1,2,...,T}中，输入样本x及其对应的真实值标签y服从分布D
t
。带参数θ的函数f按顺序每次在一个任务上进行优化。令h
θ
(x)表示输出层的信息，并用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于样本重放和知识蒸馏的终身学习方法，其特征在于，该方法包括：任务t代表将要处理的任务数据集，缓冲区M存放了过去任务的部分数据集以及旧模型的概率输出信息，当前任务的样本通过蓄水池抽样算法选择性地加入到缓冲区M中；在训练时，首先选择一种深度学习模型F，设置epochs和batch_size，模型F在任务t上训练损失记为Loss1，模型F在缓冲区M上的损失记为Loss2，其中h
θ
(x)表示模型F对样本x的类概率预测输出，z为旧模型在样本x上的类概率预测输出，表示z和h
θ
(x)的欧氏距离，z和h
θ
(x)越相似，欧氏距离越小；总损失为Loss＝Loss1+α*Loss2，α是Loss1和Loss2之间平衡的超参数；此时判断是否达到训练总轮数epochs，如果达到则导出训练好的模型文件，否则反向传播更新权重并再次计算Loss。2.如权利要求1所述的基于样本重放和知识蒸馏的终身学习方法，其特征在于，模型F为ResNet18。3.如权利要求1所述的基于样本重放和知识蒸馏的终身学习方法，其特征在于，模型F为EfficientNet。4.如权利要求1所述的基于样本重放和知识蒸馏的终身学习方法，其特征在于，Loss1为交叉熵损失。5.如权利要求1所述的基于样本重放和知识蒸馏的终身学习方法，其特征在于，欧氏距离为KL欧氏距离。6.如权利要求1所述的基于样本重放和知识蒸馏的终身学习方法，其特征在于，旧模型作为教师模型，新模型作为学生模型，通过正则化损失函数实现教师模型对学生模型的指导。7.如权利要求1所述的基于样本重放和知识蒸馏的终身学习方法，其特征在于，M是总缓冲区，存储了过去任务1,2，...,t
...

【专利技术属性】
技术研发人员：刘朋杰，刘洪宇，王浩枫，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：