基于泛化特征表示和自适应蒸馏的类增量图像识别方法技术

本发明专利技术公开了一种基于泛化特征表示和自适应蒸馏的类增量图像识别方法，属于图像处理和深度学习领域，本发明专利技术方法包括：利用泛化特征表示正则模块约束网络骨干学习更泛化的特征表示，从而兼顾新知识的容纳和旧知识的保持；利用自适应蒸馏算法动态地调整在学习新类别时用来保持旧类别知识的蒸馏方法的强度。本发明专利技术能有效避免学习新的类别时造成的旧类别遗忘的现象，并且不额外增加模型参数量或网络结构。本发明专利技术有效提升了模型处理类增量问题的性能。性能。性能。

【技术实现步骤摘要】
基于泛化特征表示和自适应蒸馏的类增量图像识别方法


[0001]本专利技术属于图像处理
，具体涉及一种基于泛化特征表示和自适应蒸馏的类增量图像识别方法。

技术介绍

[0002]传统的深度学习方法遵循“一次训练”的策略，即一次性收集所有目标类别的数据来进行训练。这种范式的深度学习方法在很多领域应用取得了优异的结果，但是在大多数的现实场景中，“一次训练”通常是不可行的。这些现实场景很难一次性获得所有的目标类别数据，因此要求模型可以处理连续到来的数据流，即不断地学习新的类别。
[0003]现有类增量学习方法通常在模型学习新类别时施加约束，以减缓旧类别的遗忘。然而这种方法在学习新类别时通常会造成旧类别精度的大幅下降。另外一种方法是为新类别分配未使用的参数或者增加部分网络结构。然而此类方法造成模型的参数量不断增加，导致更大的计算开销。

技术实现思路

[0004]本专利技术的内容是提供一种基于泛化特征表示和自适应蒸馏的类增量学习方法，其能够克服现有技术的某种或某些缺陷。
[0005]本专利技术的基于泛化特征表示和自适应蒸馏的类增量图像识别方法，其包括以下步骤：
[0006]步骤1：构建用于图像识别的深度学习网络，所述深度学习网络依次包括特征提取网络、泛化特征表示正则模块和分类器；
[0007]特征提取网络用于获取输入图像的特征图；
[0008]泛化特征表示正则模块包括三个不同尺度的池化层，对于特征提取网络提取的特征图，通过泛化特征表示正则模块将其池化处理到不同尺度后，再拉直为向量并拼接，再将拼接成的向量输入分类器；
[0009]分类器用于对指定的目标类别进行分类输出，即输出当前输入对象属于各目标类别的概率，基于最大概率确定分类结果，从而得到图像识别结果；
[0010]基于构建的深度学习网络学习第一批目标类别；
[0011]步骤2：学习第t(t初始化为2，t>1)批目标类别时，采用的损失函数为：
[0012]L＝L
cls
(Φ
t
,x,y)+r
y
L
dis
(Φ
t
,Φ
t
‑1,x)
[0013]其中，L
cls
()表示分类损失函数，L
dis
()表示蒸馏损失函数，Φ
t
和Φ
t
‑1分别代表学习第t批和t
‑
1批目标类别时的深度学习网络(Φ
t
和Φ
t
‑1的网络结构相同，网络参数不同)，x表示输入深度学习网络的其中的一张图片，y表示图片x的标签，r
y
表示类别y的蒸馏强度；
[0014]步骤3：回到步骤2，将t加1，循环此过程直到学习完所有类别，基于学习后的深度学习网络获取目标图像的图像识别结果。
[0015]进一步的，蒸馏强度由自适应蒸馏算法动态调整的方式为：
[0016](a)判断目标的批次，若为第二批，则执行步骤(b)，否则执行步骤(c)；
[0017](b)将所有旧类别的新蒸馏强度R
new
＝[r
n1
,r
n2
…
,r
ni
…
,r
nm
]初始化为0，旧蒸馏强度R
old
＝[r
o1
,r
o2
·
…
,r
oi
…
,r
om
]初始化为1；其中，r
ni
表示类别i的新蒸馏强度，r
oi
表示类别i的旧蒸馏强度，i＝1，2，
…
，m；m表示类别数量；
[0018](c)将所有旧类别的新蒸馏强度R
new
＝[r
n1
,r
n2
…
,r
ni
…
,r
nm
]初始化为0，获取学习上一批目标时存储的R
old
；
[0019](d)将存储的关于旧类别i的所有图片分别输入模型Φ
t
和Φ
t
‑1并得到预测结果，基于各自的预测结果分别得到模型Φ
t
和Φ
t
‑1的交叉熵损失的均值t
ce
和(t
‑
1)
ce
，并定义gap表示交叉熵损失的均值t
ce
和(t
‑
1)
ce
的差；
[0020](e)更新类别i的蒸馏强度：r
ni
＝β*r
oi
+(1
‑
β)*gap，β表示设置的超参数，取值为0～1；
[0021](f)返回(d)，直到所有旧类别的蒸馏强度均得到更新；
[0022](g)令R
old
等于R
new
并存储。
[0023]本专利技术提供的技术方案至少带来如下有益效果：
[0024]本专利技术能有效避免学习新的类别时造成的旧类别遗忘，并且不额外增加模型参数量或网络结构。本专利技术有效提升了图像识别模型处理类增量数据的识别性能。
附图说明
[0025]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0026]图1为本专利技术的基于泛化特征表示和自适应蒸馏的类增量图像识别方法的处理过程示意图。
[0027]图2为本专利技术实施例提供的图像识别方法与现有技术的性能曲线对比图。
具体实施方式
[0028]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。
[0029]本专利技术实施例提供的基于泛化特征表示和自适应蒸馏的类增量图像识别方法，利用泛化特征表示正则模块约束网络骨干学习更泛化的特征表示，从而兼顾新知识的容纳和旧知识的保持；以及利用自适应蒸馏算法动态地调整在学习新类别时用来保持旧类别知识的蒸馏方法的强度。如图1所示，本实施例提供的基于泛化特征表示和自适应蒸馏的类增量图像识别方法，其包括以下步骤：
[0030]步骤一：构建插入了泛化特征表示正则模块的深度学习网络(用于图像识别，即识别目标对象的分类)并学习第一批目标类别；
[0031]如图1所示，插入了泛化特征表示正则模块的深度学习网络用泛化特征表示正则模块替换了常规分类网络采用的全局平均池化层。泛化特征正则模块(GFR)由三个不同尺度的池化层P1,P2,P3组成。对于输入的特征图f，GFR将f池化到不同尺度后再直接拉直为向
量并拼接起来，将拼接成的向量输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于泛化特征表示和自适应蒸馏的类增量图像识别方法，其特征在于，包括下列步骤：步骤1：构建用于图像识别的深度学习网络，所述深度学习网络依次包括特征提取网络、泛化特征表示正则模块和分类器；特征提取网络用于获取输入图像的特征图；泛化特征表示正则模块包括三个不同尺度的池化层，对于特征提取网络提取的特征图，通过泛化特征表示正则模块将其池化处理到不同尺度后，再拉直为向量并拼接，再将拼接成的向量输入分类器；分类器用于对指定的目标类别进行分类输出；基于构建的深度学习网络学习第一批目标类别；步骤2：学习第t批目标类别时，采用的损失函数为：L＝L
cls
(Φ
t
，x，y)+r
y
L
dis
(Φ
t
，Φ
t
‑1，x)其中，L
cls
()表示分类损失函数，L
dis
()表示蒸馏损失函数，Φ
t
和Φ
t
‑1分别代表学习第t批和t
‑
1批目标类别时的深度学习网络，x表示输入深度学习网络的其中的一张图片，y表示图片x的标签，r
y
表示类别y的蒸馏强度，t的初始值为2，且t＞1；步骤3：令t自增1，继续执行步骤2，循环此过程直到学习完所有类别，基于学习后的深度学习网络获取目标图像的图像识别结果。2.如权利要求1所述的方法，其特征在于，蒸馏强度由自适应蒸馏算法动态调整的方式为：(a)判断目标的批次，若为第二批，则执行步骤(b)，否则执行步骤(c)；(b)将所有旧类别的新蒸馏强度R
new
＝[r
n1
，r
n2
…
，r
ni
…
，r<...

【专利技术属性】
技术研发人员：许林峰，王志川，邱子欢，吴庆波，潘力立，孟凡满，李宏亮，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：