【技术实现步骤摘要】
本专利技术属于深度神经网络的增量学习，具体涉及一种用于类增量学习的统计特征自适应更新方法。
技术介绍
1、近年来，人工智能技术的发展取得了巨大进步，作为当前最具变革性和重要意义的技术之一，正逐渐成为推动人类社会进入智能化时代的决定性力量。尤其是以深度神经网络为代表的机器学习方法在许多图像识别任务上达到、甚至超越了人类的图像识别精度，受到了全世界的广泛关注。
2、然而，当前的机器学习方法大都采用离线批量训练学习的模式。此模式假设所有的训练样本在模型训练之前可以一次性全部获得，当这些样本都被训练完成后，学习过程即告结束，模型的功能和精度就此被完全固化。当模型需要学习新的类别或样本时，如果只用新样本对模型进行训练，就会发生“灾难性遗忘”问题，即学习完新样本后，模型几乎彻底遗忘先前习得的旧知识，导致在旧样本集上的测试精度急剧下降，直至无法使用。尽管可以把新样本加入到旧样本集中，用全部的训练样本重新进行训练来解决“灾难性遗忘”问题，但是，这种方法需要所有的新旧图片样本，这既造成了巨大的内存开销，还会涉及到数据隐私泄露的问题，甚至在很多情况下，旧类的训练样本集是无法获取到的，且重新训练模型也会消耗大量的计算资源。对于现实中无处不在的智能机器，以及人们日常生活中广泛使用的各种智能终端而言，这种让模型学习新知识的方式不切实际。
3、人工智能系统应该具有逐步学习新的类别的能力，而不是使用包括历史数据与新数据在内的全部数据重新开始训练。增量学习的目的就是让人工智能更接近于人类的学习方式，在无需占用大量存储与计算资源的情况下，
4、目前，为了有效克服增量学习的灾难性遗忘及稳定性-可塑性问题，现有的类增量学习方法使用“类别原型”来表示每个类别，类别原型是该类特征的均值向量，代表该类别的抽象特征。然而，虽然这些方法取得了部分方面的进步，但仍然存在一些重要的限制和挑战。首先，仅记忆特征的均值向量无法准确地概括旧类的特征分布信息。其次，随着增量学习对新任务的持续性学习，旧类的“类别原型”与新任务特征空间存在特征空间漂移问题，且这种特征偏差将会随着增量任务数的增加而越来越大，进而导致严重的灾难性遗忘问题。
5、因此，现有技术中利用模型学习新任务时所采用的增量学习方法，会随着新任务的学习使得旧任务与新任务的特征空间漂移问题越来越严重，进而造成对旧类任务中的图像数据分类不准确的问题。
技术实现思路
1、为了解决现有技术中所存在的上述问题，本专利技术提供了一种用于类增量学习的统计特征自适应更新方法。
2、本专利技术要解决的技术问题通过以下技术方案实现：
3、本专利技术提供了一种用于类增量学习的统计特征自适应更新方法，包括：
4、获取待分类图像；待分类图像的类别包括：当前任务阶段的图像类别以及当前任务阶段之前的图像类别；
5、将待分类图像输入预训练的当前任务阶段分类模型，识别得到待分类图像的对应类别；预训练的当前任务阶段分类模型基于类增量学习训练得到，类增量学习利用统计特征自适应网络以及预先存储的当前任务阶段之前的特征统计数据，将当前任务阶段之前的特征统计数据映射到当前任务阶段分类模型的特征空间，以使得当前任务阶段分类模型完成对当前所有图像类别的准确识别。
6、可选地，当前任务阶段之前的特征统计数据包括：旧类特征均值数据以及旧类特征协方差数据；
7、旧类特征均值数据为当前任务阶段之前的分类模型的特征提取模块对当前任务阶段之前的图像类别提取特征的均值；
8、旧类特征协方差数据为当前任务阶段之前的分类模型的特征提取模块对当前任务阶段之前的图像类别提取特征的协方差。
9、可选地，预训练的当前任务阶段分类模型的训练过程包括：
10、s201、获取当前任务阶段的训练数据；
11、s202、利用当前任务阶段的训练数据、当前任务阶段之前的特征统计数据以及知识蒸馏损失函数对当前任务阶段分类模型的特征提取模块进行训练，得到训练好的当前任务阶段特征提取模块；
12、s203、将当前任务阶段的训练数据分别输入当前任务阶段之前的分类模型以及当前任务阶段分类模型，对应得到第一编码特征数据以及第二编码特征数据；
13、s204、利用第一编码特征数据、第二编码特征数据、当前任务阶段之前的特征统计数据以及联合损失函数对初始统计特征自适应网络进行训练，得到统计特征自适应网络；
14、s205、通过统计特征自适应网络对当前任务阶段之前的特征统计数据进行更新处理，得到更新后的特征统计数据；
15、s206、利用更新后的特征统计数据、第二编码特征数据以及交叉熵损失函数对当前任务阶段分类模型的特征分类模块进行训练，得到训练好的当前任务阶段特征分类模块；
16、s207、对当前任务阶段特征提取模块以及当前任务阶段特征分类模块进行联合，得到预训练的当前任务阶段分类模型。
17、可选地，s203包括：
18、将当前任务阶段的训练数据分别输入当前任务阶段之前的分类模型的特征提取模块以及当前任务阶段分类模型的特征提取模块，对应得到第一编码特征数据以及第二编码特征数据；
19、其中，当前任务阶段之前的分类模型的特征提取模块以及当前任务阶段分类模型的特征提取模块均为被冻结模块。
20、可选地，s206之后，一种用于类增量学习的统计特征自适应更新方法还包括：
21、通过训练好的当前任务阶段特征提取模块对当前任务阶段的图像进行特征提取得到中间特征统计数据；
22、将中间特征统计数据加入当前任务阶段之前的特征统计数据，得到当前任务阶段的特征统计数据。
23、可选地，s204包括：
24、对第一编码特征数据、第二编码特征数据以及当前任务阶段之前的特征统计数据分别进行多元正太分布采样处理，对应得到采样的第一编码特征数据采样的第二编码特征数据以及采样的当前任务阶段之前的特征统计数据
25、将采样的第一编码特征数据采样的第二编码特征数据以及采样的当前任务阶段之前的特征统计数据输入初始统计特征自适应网络，并在联合损失函数的作用下，得到统计特征自适应网络。
26、可选地，知识蒸馏损失函数包括：
27、当前任务阶段的训练数据的交叉熵损失、当前任务阶段之前的特征统计数据的交叉熵损失以及知识蒸馏损失项；
28、知识蒸馏损失项为，当前任务阶段分类模型与当前任务阶段之前的分类模型基于当前任务阶段的训练数据的知识蒸馏损失。
29、可选地，s205包括：
30、对当前任务阶段之前的特征统计数据进行多元正太分布采样，得到当前任务阶段之前的伪特征样本；
31、将当前任务阶段之前的伪特征样本输入统计特征自适应网络，得到投影后的旧类特征；
32、对投影后的旧类特征进行逆向多元正太分布处理本文档来自技高网...
【技术保护点】
1.一种用于类增量学习的统计特征自适应更新方法，其特征在于，包括：
2.根据权利要求1所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述当前任务阶段之前的特征统计数据包括：旧类特征均值数据以及旧类特征协方差数据；
3.根据权利要求1所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述预训练的当前任务阶段分类模型的训练过程包括：
4.根据权利要求3所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述S203包括：
5.根据权利要求3所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述S206之后，所述一种用于类增量学习的统计特征自适应更新方法还包括：
6.根据权利要求3所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述S204包括：
7.根据权利要求3所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述知识蒸馏损失函数包括：
8.根据权利要求3所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述S2
9.根据权利要求6所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述联合损失函数表示为：
10.根据权利要求9所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述知识蒸馏损失函数表示为：
...【技术特征摘要】
1.一种用于类增量学习的统计特征自适应更新方法，其特征在于，包括：
2.根据权利要求1所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述当前任务阶段之前的特征统计数据包括：旧类特征均值数据以及旧类特征协方差数据；
3.根据权利要求1所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述预训练的当前任务阶段分类模型的训练过程包括：
4.根据权利要求3所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述s203包括：
5.根据权利要求3所述的一种用于类增量学习的统计特征自适应更新方法，其特征在于，所述s206之后，所述一种用于类增量...
【专利技术属性】
技术研发人员：王楠楠，赵宇鑫，程德，李国璋，李洁，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。