一种基于自保持表征扩展的类增量学习的图像分类方法技术

本发明专利技术公开了一种基于自保持表征扩展的类增量学习的图像分类方法，包括：1、利用初始图片集优化得到基本的图像分类网络；2、基于残差适应器，对初始特征提取部分进行结构扩展；3、输入重采样的初始类原型和增量类样本，计算扩展后网络的分类损失函数；4、将增量类样本输入扩展前的特征提取部分，利用欧式距离计算蒸馏损失函数。5、根据损失函数更新网络，并引入结构重参数化技术恢复网络结构，获得增量后的分类网络。本发明专利技术能解决图像分类网络基于用户数据进行结构扩增过程中参数量增长过快，以及依赖额外记忆内存的问题，从而在提升图像增量分类能力的同时，降低了对网络存储的需求，避免了训练图像增量分类网络时泄露用户隐私的可能。可能。可能。

【技术实现步骤摘要】
一种基于自保持表征扩展的类增量学习的图像分类方法


[0001]本专利技术属于类增量学习领域，具体来说是一种基于自保持表征扩展的类增量学习的图像分类方法。

技术介绍

[0002]近年来，由于深度神经网络在完全监督的条件下取得了巨大的进步，研究的注意力越来越多地转向学习的其他方面。一个重要的研究方面是随着输入流的更新而不断学习新任务的能力，其在实际应用中经常发生。类增量学习是持续学习中十分具有挑战性的任务，已吸引了诸多学者的关注。该任务旨在不遗忘已学习过的旧类知识条件下，准确识别新的类别。
[0003]针对该场景，在每个阶段重新联合训练新、旧两类样本特别费时、费力。此外，旧类样本存在不可完全获取的状况，进一步阻碍了该方法的使用。一个简单的替代方法是使用新类对网络进行微调，然而，这将导致灾难性的遗忘问题。即在优化过程中，整个表征和分类器会偏向于新的类别，导致旧有类别性能的急剧下降。为了处理上述问题，一些工作开始尝试通过保留一些有代表性的样本和引入各种蒸馏损失以维持过去的知识，并通过校准分类器纠正由数量不平衡引起的偏差问题。
[0004]最近的类增量方法大致可以划分为两类：基于记忆保存和结构动态扩增的方法。前者假定内存中能够存储一定数量(比如2,000个)的旧类样本，通过对齐所有样本在新旧网络中的特征或输出分布，以及修正新旧类数据的数目的不平衡来共同维持旧类的分类性能。然而在图像分类网络的实际场景中，由于用户隐私或设备限制，通常很难存在保存旧类图片样本的机会。该事实给基于记忆保存的方法带来了巨大的挑战，新类别图像样本是可以参与特征对齐和新旧类不平衡修正过程的唯一数据源。因此，如果在无记忆存储环境下合理的保证增量图像分类性能是类增量方法泛化到实际场景的一个核心问题。
[0005]后者基于动态结构扩增的方法旨在保留旧的图像分类模型用于推理，而在每个增量阶段根据扩增类别的需求，扩展一个新的特征提取部分训练。虽然该策略能完全保持旧类的性能，表现出不错的性能，但在训练过程中，网络整体参数随阶段性训练而急剧线性增加。而在图像分类网络的实际应用场景中，用户的新增图片数据随时间爆发式增长，这将导致现有基于动态结构扩增的模型容量完全崩溃。因此，如何保证增量模型的参数扩增满足日益增长的用户需求是类增量方法泛化到实际场景的另一个核心问题。

技术实现思路

[0006]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于自保持表征扩展的类增量学习的图像分类方法，以期能将图像分类网络的结构扩增建模为无记忆存储过程，保持网络参数不扩增，从而能在提升增量模型在无记忆存储情况下的图像分类性能的同时，降低对网络存储的需求，避免训练图像增量分类网络时泄露用户隐私的可能。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于自保持表征扩展的类增量学习的图像分类方法的特点在于，包括如下步骤：
[0009]步骤一、初始分类网络的构建和优化：
[0010]步骤1.1、获取初始阶段已知类别的图像样本并进行归一化处理，获得第一阶段的图像集其中，表示初始阶段第k个类别中的第i个图像样本，表示初始阶段第k个类别中的第i个图像样本的类别标签，K代表图像集包含的类别数目，N
k
代表第k个类别的样本数目；
[0011]步骤1.2、构建以ResNet
‑
18深度学习网络为基础的初始分类网络F：
[0012]所述ResNet
‑
18深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积核为n1
×
n1的卷积层，一个批量归一化处理层，一个ReLU激活函数层组成，其余4个阶段均由2个Basicblock模块组成，每个Basicblock模块依次由一个卷积核为n2
×
n2的卷积层，一个ReLU激活函数层，一个卷积核为n2
×
n2的卷积层组成；
[0013]将所述ResNet
‑
18深度学习网络直接作为初始分类网络F的特征提取部分f；并用一个全连接层作为初始分类网络F的分类器部分g；
[0014]步骤1.3、训练优化所述初始分类网络F：
[0015]将第一阶段的图像集D1按批次送入初始分类网络F，并依次经过特征提取部分f和分类器部分g的处理后，输出预测类别标签，从而按照式(1)计算交叉熵损失L
cross
，并使用梯度下降算法优化所述初始分类网络F中所有的参数，从而得到训练好的初始分类网络F
′
：
[0016][0017]式(1)中，x
j
表示第一阶段的图像集D1中的第j个图像样本，表示第j个图像样本x
j
的指示函数，若x
j
的类别标签y
j
与k相等，则令否则，令N代表K个类别所有样本的数目；
[0018]步骤1.4、原型保存：
[0019]对于训练好的初始分类网络F
′
，将第一阶段的图像集D1逐类别送入训练后的特征提取部分f
′
，并对各个类别的输出取平均后，将平均结果作为各类原型{p1，
…
，p
k
，
…
，p
K
}保存到增量阶段；p
k
表示第k类原型；
[0020]步骤二、增量阶段的特征提取器结构扩展：
[0021]步骤2.1、获取增量阶段中第h阶段的图像样本并进行归一化处理，得到第h阶段的图像集其中，表示第h阶段第k个类别中的第i个图像样本，表示第h阶段第k个类别中的第i个图像样本的类别标签，K
h
为第h阶段新增的图像类别数目，且D
h
和其余h
‑
1阶段的图像集中所有类别均不相同；
[0022]步骤2.2、网络的增量结构扩展：
[0023]在所述训练后的特征提取部分f
′
中的每个卷积层上均并联一个残差适应器，所述残差适应器包括一个n3
×
n3卷积层，构成第h阶段的增量扩增的特征提取部分f
h
；
[0024]在训练后的分类器部分g
′
的全连接层中添加K
h
个输出结点，构成第h阶段的增量
扩增的分类器部分g
h
，从而与f
h
一起构成第h阶段的增量扩增网络F
h
；
[0025]步骤三、基于原型选择策略的表征优化：
[0026]步骤3.1、原型度量：
[0027]将第h阶段的图像集D
h
中的图像依次送入到第h阶段的增量扩增的特征提取部分f
h
中，并利用式(2)得到每个图像样本的特征表达；再利用式(3)计算每个图像样本的特征表达分别与保存的各个原型之间的相似性得分，并取一个图像样本中所有相似性得分的最大值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自保持表征扩展的类增量学习的图像分类方法，其特征在于，包括如下步骤：步骤一、初始分类网络的构建和优化：步骤1.1、获取初始阶段已知类别的图像样本并进行归一化处理，获得第一阶段的图像集其中，表示初始阶段第k个类别中的第i个图像样本，表示初始阶段第k个类别中的第i个图像样本的类别标签，K代表图像集包含的类别数目，N
k
代表第k个类别的样本数目；步骤1.2、构建以ResNet
‑
18深度学习网络为基础的初始分类网络F：所述ResNet
‑
18深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积核为n1
×
n1的卷积层，一个批量归一化处理层，一个ReLU激活函数层组成，其余4个阶段均由2个Basicblock模块组成，每个Basicblock模块依次由一个卷积核为n2
×
n2的卷积层，一个ReLU激活函数层，一个卷积核为n2
×
n2的卷积层组成；将所述ResNet
‑
18深度学习网络直接作为初始分类网络F的特征提取部分f；并用一个全连接层作为初始分类网络F的分类器部分g；步骤1.3、训练优化所述初始分类网络F：将第一阶段的图像集D1按批次送入初始分类网络F，并依次经过特征提取部分f和分类器部分g的处理后，输出预测类别标签，从而按照式(1)计算交叉熵损失L
cross
，并使用梯度下降算法优化所述初始分类网络F中所有的参数，从而得到训练好的初始分类网络F'：式(1)中，x
j
表示第一阶段的图像集D1中的第j个图像样本，表示第j个图像样本x
j
的指示函数，若x
j
的类别标签y
j
与k相等，则令否则，令N代表K个类别所有样本的数目；步骤1.4、原型保存：对于训练好的初始分类网络F'，将第一阶段的图像集D1逐类别送入训练后的特征提取部分f'，并对各个类别的输出取平均后，将平均结果作为各类原型{p1,
…
,p
k
,
…
,p
k
}保存到增量阶段；p
k
表示第k类原型；步骤二、增量阶段的特征提取器结构扩展：步骤2.1、获取增量阶段中第h阶段的图像样本并进行归一化处理，得到第h阶段的图像集其中，表示第h阶段第k个类别中的第i个图像样本，表示第h阶段第k个类别中的第i个图像样本的类别标签，K
h
为第h阶段新增的图像类别数目，且D
h
和其余h
‑
1阶段的图像集中所有类别均不相同；步骤2.2、网络的增量结构扩展：在所述训练后的特征提取部分f'中的每个卷积层上均并联一个残差适应器，所述残差适应器包括一个n3
×
n3卷积层，构成第h阶段的增量扩增的特征提取部分f
h
；在训练后的分类器部分g'的全连接层中添加K
h
个输出结点，构成第h阶段的增量扩增的
分类器部分g
h
，从而与f
h
一起构成第h阶段的增量扩增网络F
h
；步骤三、基于原型选择策略的表征优化：步骤3.1、原型度量：将第h阶段的图像集D
h
中的图像依次送入到第h阶段的增量扩增的特征提取部分f
...

【专利技术属性】
技术研发人员：查正军，曹洋，翟伟，朱凯，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：