一种基于原型的低扰动的图像类增量学习算法制造技术

本发明专利技术涉及一种基于原型的低扰动的图像类增量学习算法，该方法包括如下步骤：将旧分类模型的特征提取网络，作为增量学习新分类模型的特征提取网络。输入新增量数据，至增量学习新分类模型，初始化新类别的原型；对于每一个新类，将该类样本的特征提取网络的输出与其对应的原型的欧式距离从大到小排序，选择前十分之一的样本作为新类的边缘部分样本，以及随机选取等量的旧类别样本，共同构建增量学习数据集；输入增量学习数据集至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；在测试阶段，输入待分类图像至训练后的增量学习新分类模型，得到图像特征提取网络的输出，计算该输出与每类原型的欧氏距离，将该图像分类为距离最近的原型所属的类别。本发明专利技术优选出边缘数据对分类模型做低扰动训练，控制了新增数据数量，降低了分类模型的训练成本，提高新旧类别的分类准确率。的分类准确率。的分类准确率。

【技术实现步骤摘要】
一种基于原型的低扰动的图像类增量学习算法


[0001]本专利技术涉及深度学习领域，具体来说，涉及深度学习领域中的图像分类领域，更具体的说是涉及一种基于原型的低扰动的图像类增量学习算法。

技术介绍

[0002]人类和动物能够应对环境的不断变化接受和学习新的知识，并对原有的知识进行补充和修正。在很多分类任务中，也需要分类算法具备人类和动物这种持续学习新知识，并避免遗忘旧知识的能力，这类算法称为增量学习算法。本专利技术研究图像类增量学习问题，即分类模型在保持对旧类别的判别力同时，可持续学习新的类别。目前主流的图像分类算法是基于封闭世界假设的全监督神经网络分类模型，即训练和测试的类别完全相同。但是在实际应用过程中会不断的出现新的类别，大部分神经网络并不能识别未训练过的图片。即神经网络模型仅能识别已知类别的图片，对于未训练的图片种类，神经网络模型会将该物体错误的归到已知的类别，从而导致识别精度下降，所以需要设计图像增量学习算法，使得模型可以在保持对旧类别的判别力同时，可持续学习新类别的知识。
[0003]增量学习分类模型一方面必须表现出从新数据中学习新知识和提炼已有知识的能力，另一方面又必须避免新知识对已有知识的显著干扰。如何让模型更好的在两者间取得平衡，是增量学习算法所面临的挑战。目前已经提出了一些类别增量学习策略，其中主流的方法是存储少量的旧类别样本与新增的类别样本一起联合训练更新模型参数，但是这类算法往往用全部的新类数据去训练模型，导致模型训练需要花费很长的时间。对于获取不到旧数据的情况下，有些研究尝试确定保持旧类别分类性能的重要参数并惩罚重要参数的变化，但是在长序列增量任务中，由于新旧类别优化方向差异较大，导致这些正则化方法泛化能力较差。有的方法提出通过动态地调整网络结构，在必要时扩展网络以适应新任务的学习，但是随着新增任务的不断增加，其模型结构也将不断变大，因此无法应用到大规模数据任务。
[0004]本专利技术提供了一种基于原型的低扰动的图像类增量学习算法，对于新类别的数据，先用全部的数据获得新类别的初始化原型，再优选出与旧类别数据具有冲突部分的边缘数据对分类模型做低扰动训练，控制了新增数据数量，降低了分类模型的训练成本，提高新旧类别的分类准确率。

技术实现思路

[0005]针对在增量过程中不断学习新数据的知识同时不忘记旧数据知识的迫切需求，本专利技术提供了一种基于原型的低扰动的图像类增量学习算法。本专利技术采用如下技术方案：
[0006]一种基于原型的低扰动的图像类增量学习算法，包括以下步骤：
[0007]1)将旧分类模型的特征提取网络，作为增量学习新分类模型的特征提取网络。输入新增量数据，至所述增量学习新分类模型，初始化新类别的原型；
[0008]2)对于每一个新类，将该类样本的特征提取网络的输出与其对应的原型的欧式距
离从大到小排序，选择前十分之一的样本作为新类的边缘部分样本，以及随机选取等量的旧类别样本，共同构建增量学习数据集；
[0009]3)输入所述增量学习数据集到所述增量学习新分类模型，在增量学习损失函数Loss约束下进行增量学习训练，Loss具体包括类间间隔损失L
DCE
和类内紧致性损失L
P
，得到训练后的增量学习新分类模型；
[0010]4)在测试阶段，输入待分类图像至所述训练后的增量学习新分类模型，得到图像特征提取网络的输出，计算该输出与每类原型的欧氏距离，将该图像分类为距离最近的原型所属的类别。
[0011]步骤1)中新类别的原型的计算公式为：
[0012][0013]其中，P
c
表示类别c的原型，L表示类别c的样本总数，i表示类别c中的第i张图像，表示类别c中第i张图像的特征提取网络的输出。
[0014]步骤3)中类间间隔损失L
DCE
采用如下公式计算：
[0015][0016][0017]其中，d
i
表示特征提取网络的输出Feature
i
与对应所属类别的原型P
i
的欧式距离，i表示类别，y
i
表示类别的标签，K为旧分类模型的类别数量，M为增量学习新分类模型新增加的类别数量。
[0018]步骤3)中类内紧致性损失L
P
采用如下公式计算：
[0019][0020]其中，Feature
i
表示特征提取网络的输出，P
i
表示类别的原型，i表示类别，K为旧分类模型的类别数量，M为增量学习新分类模型新增加的类别数量。
[0021]步骤3)中增量学习损失函数Loss采用如下公式计算：
[0022]Loss＝L
DCE
+λL
P
[0023]其中，λ表示L
P
的权重系数，调节类间间隔损失L
DCE
和类内紧致性损失L
P
的重要程度。
[0024]本专利技术具有以下有益效果：1)在训练过程中采用了类间间隔损失，提升每个类别的聚类能力，同时使用了类内紧致性损失，进一步增强每个类别聚类的紧致性，对分类任务更具鲁棒性；2)在增量学习阶段，通过选取与旧类别数据具有冲突部分的边缘数据对分类模型做低扰动训练，降低了模型的计算代价，使得分类模型的网络变化不会过大，保持对旧类别的识别率，同时提升对新类别的识别率。
附图说明
[0025]图1为本专利技术实施例中基于原型的低扰动的图像类增量学习算法的流程示意图
[0026]图2为本专利技术实施例中初始化新增类别原型对识别准确率的影响
[0027]图3为本专利技术实施例中新类数据的选取对识别准确率的影响
[0028]图4为本专利技术实施例中与其他方法对比的结果
具体实施方式
[0029]下面结合附图和具体实施方式对专利技术作进一步的详细说明。实施例是对本专利技术中技术方案清楚完整的描述，所描述的实施例是本专利技术一部分实施例而不是全部实施例。此处所描述的具体实施例方式仅用于解释本专利技术，并不用于限定本专利技术的保护范围。
[0030]1)本专利技术采用CIFAR
‑
10数据集，该数据集是一个经典的用于图像识别和分类的数据集，包含10个类别、共计60000张32x32大小的彩色图片，其中训练集有50000张，测试集有10000张。本专利技术包括多个阶段的图像分类模型训练，但是为了更加清楚地说明本专利技术的相关技术特征，本专利技术以第一阶段、第二阶段和第三阶段的图像分类模型训练作为示例进行介绍；
[0031]2)第一阶段的图像分类模型训练：该阶段训练的模型是基类模型，其为增量学习模型训练的起点，随机选取CIFAR
‑
10数据集中的六个类别作为第一阶段的基类，首先给每个类别随机初始化一个原型P
i
，将图片输入进特征提取网络，获得图片的输出Feature
i
，采用增量学习损失函数Loss进行训练，Loss包括类间间隔损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于原型的低扰动的图像类增量学习算法，其特征在于，所述方法包括对图像分类模型进行多阶段增量学习训练以识别新类别和旧类别的图像，每个阶段训练后得到一个该阶段对应的图像分类模型，每个阶段使用不同类别的图像数据集，其中，每阶段包括以下步骤：1)将旧分类模型的特征提取网络，作为增量学习新分类模型的特征提取网络。输入新增量数据，至所述增量学习新分类模型，初始化新类别的原型；2)对于每一个新类，将该类样本的特征提取网络的输出与其对应的原型的欧式距离从大到小排序，选择前十分之一的样本作为新类的边缘部分样本，以及随机选取等量的旧类别样本，共同构建增量学习数据集；3)输入所述增量学习数据集到所述增量学习新分类模型，在增量学习损失函数Loss约束下进行增量学习训练，Loss具体包括类间间隔损失L
DCE
和类内紧致性损失L
P
，得到训练后的增量学习新分类模型；4)在测试阶段，输入待分类图像至所述训练后的增量学习新分类模型，得到图像特征提取网络的输出，计算该输出与每类原型的欧氏距离，将该图像分类为距离最近的原型所属的类别。2.根据权利要求1所述的一种基于原型的低扰动的图像类增量学习算法，其特征在于，步骤1)中新类别的原型是采用如下公式计算：其中，P
c
表示类别c的原型，L表示类别c的样本总数，i表示类别c中的第i张图像，表示类别c中第i张图像的特征提...

【专利技术属性】
技术研发人员：曾明，李思颖，赵峰，王湘晖，
申请(专利权)人：天津大学，
类型：发明
国别省市：