【技术实现步骤摘要】
一种基于对比类别集中提升连续学习下图分类精度的方法
[0001]本专利技术涉及计算机视觉处理，尤其涉及一种基于对比类别集中提升连续学习下图分类精度的方法。
技术介绍
[0002]类增长学习作为连续学习的一种，在工业界以及学界都受到了越来越多的关注。其学习过程不像传统的深度学习范式一样使用全部图片数据来训练模型，而是基于新加入类别数据来连续的更新模型参数且在更新的过程中不再使用过去的数据的学习方式，其更贴近企业数据的更新和淘汰情况。然而，单纯的基于新类别数据微调现有模型会导致模型对于老类别图片的分类精度有明显的下降。我们把这种现象叫做“灾难性遗忘”。
[0003]现阶段尝试阻止灾难性遗忘的主要策略是通过基于知识蒸馏的方法来保存过去模型所获得的知识，并放宽限制，设置有限的内存容量，在有限的内存中保存少量过去的类别图片数据来减缓灾难性遗忘。然而，在使用知识蒸馏的过程中，我们发现模型的表征在连续学习的过程中会发生新类别覆盖旧类别的现象。我们称其为“表征覆盖”。而这样的表征覆盖则很大程度上影响了模型在连续学习过程中对新老类别图...
【技术保护点】
【技术特征摘要】
1.一种基于对比类别集中提升连续学习下图分类精度的方法，用于对已经过历史数据训练的图分类模型进行类增长学习，所述图分类模型由特征提取器和分类器组成，其特征在于：S1：获取加入新类别的图像分类数据集，图像分类数据集中每个样本均带有其类别标签；S2：获取所述图分类模型在上一轮训练过程中进行参数更新前的旧模型和参数更新后的新模型，然后利用加入新类别的图像分类数据集构建训练数据，按照S21～S25进行本轮训练；S21：将训练数据输入所述新模型的特征提取器中提取第一样本表征，在真实类别标签监督下计算对比误差损失，用于聚合相同类别样本的表征同时拉远不同类别样本的表征；S22：将训练数据输入所述旧模型的特征提取器中提取第二样本表征，对所述第一样本表征和第二样本表征进行表征层面的蒸馏并计算表征蒸馏误差损失，用于从表征层面保存模型知识的同时保证表征空间相对稳定；S23：基于所述的第一样本表征，通过所述新模型的分类器进行类别预测得到第一预测类别概率，并计算交叉熵损失；S24：基于所述的第一样本表征，通过所述旧模型的分类器进行类别预测得到第二预测类别概率，并计算第一预测类别概率和第二预测类别概率之间的均方误差损失；S25：以所述对比误差损失、表征蒸馏误差损失、交叉熵损失和均方误差损失之和作为对比类别集中误差损失，通过最小化该对比类别集中误差对所述新模型进行参数优化更新；S3：保存本轮参数更新前的旧模型和参数更新后的新模型，并在进行下一轮训练之前利用本轮参数更新后的新模型进行图分类任务。2.如权利要求1所述的基于对比类别集中提升连续学习下图分类精度的方法，其特征在于，通过内存存储所述图分类模型在训练过程中输入的不同类别的训练样本；其中每一轮训练开始时，将加入新类别的图像分类数据集与内存中存储的所有不同类别的训练样本一起作为训练数据对模型进行训练，每一轮训练结束后，通过随机采样的方式从本轮所输入的训练数据中选择部分属于新类别的样本放入内存中，同时从内存中的每个旧类别中移除固定数量的样本，从而保持内存总容量不变的同时增加类别数。3.如权利要求1所述的基于对比类别集中提升连续学习下图分类精度的方法，其特征在于，所述训练数据在用于本轮训练之前，预先经过数据增广以扩充样本量。4.如权利要求3所述的基于对比类别集中提升连续学习下图分类精度的方法，其特征在于，所述数据增广方式包括随机的切割、翻转、对比度和灰度调整。5.如权利要求1～3任一所述的基于对比类别集中提升连续学习下图分类精度的方法，其特征在于，所述S21的具体实现步骤如下：S211：将当前第t轮训练对应的训练数据D
(t)
输入所述新模型M
(t)
中，使用内部的特征提取器E
θ(t)
获得训练数据D
(t)
中每一个样本x
i(t)
的特征r
i(t)
，所有样本的特征构成第一样本表征R
(t)
；S212：基于第一样本表征R
(t)
中每个特征所对应的类别标签，计算每个特征与其他特征之间的相似性；所述相似性使用点乘之后取二范数来表示，任意两个特征r
i(t)
和r
j(t)
之间的
相似性s(x
i(t)
，x
j(t)
)计...
【专利技术属性】
技术研发人员：汤斯亮，倪子烜，庄越挺，史海舟，肖俊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。