基于信息瓶颈的图像分类持续学习方法技术

本发明专利技术公开了一种基于信息瓶颈的图像分类持续学习方法，为每个任务所对应图像分类模型的每个中间层设置两个变分参数矩阵，并基于每个中间层的融合参数掩码矩阵对变分参数矩阵进行初始化，然后采用不同任务的训练样本集对图像分类模型进行训练，训练过程中每个中间层的特征通过重参数化公式计算得到，损失函数结合拉格朗日函数和常规分类损失计算得到；之后通过变分参数矩阵确定每个中间层的参数掩码矩阵，最后根据任务所对应每个中间层的参数掩码矩阵对图像分类模型进行剪枝处理得到对应的信息瓶颈掩码子网络。本发明专利技术通过引入变分参数解决灾难性遗忘，并基于信息瓶颈对图像分类模型进行优化以减少子网络冗余，从而提高图像分类持续学习的性能。

【技术实现步骤摘要】

本专利技术属于图像分类，更为具体地讲，涉及一种基于信息瓶颈的图像分类持续学习方法。

技术介绍

1、目前，深度神经网络在图像分类领域中表现出优异的性能。然而，当接触到新的任务时，他们往往会忘记之前获得的特定于任务的信息，旧任务的知识则会被覆盖，导致更新后的模型在旧任务上的表现出现了"灾难性的下降"，这种现象被称为灾难性遗忘。为了解决这个问题，持续学习(continual learning)，也称终身学习(life-long learning)被提出，该方法在获取新信息的同时保留先前获得的知识，使网络向人类学习模式发展。近年来，出现了许多有效的持续学习方法。这些方法在概念上可以分为以下几种：基于正则化的方法、基于内存的方法和基于架构的方法。

2、虽然现有的方法取得了显著的成功，但灾难性遗忘仍远未解决。在基于体系结构的方法领域，参数隔离方法可以说是最有效的方法，它涉及压缩或修剪网络，为每个任务构建一个专门的子网，以减轻对旧任务的干扰。这些方法选择权重或神经元来构建子网络的基本标准大致相同，即它们的大小。然而，其他工作已经证明，权重或神经元的大小并不一本文档来自技高网...

【技术保护点】

1.一种基于信息瓶颈的图像分类持续学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的图像分类持续学习方法，其特征在于，所述步骤S5中图像分类模型训练时对梯度进行限制处理，具体公式为：

3.根据权利要求1所述的图像分类持续学习方法，其特征在于，所述步骤S5中图像分类模型训练过程中对中间层i的压缩比率γi进行周期性更新，具体方法为：图像分类模型每迭代更新E次，E根据实际情况设置，则采用奇异值分解对当前中间层i的特征hi进行分解得到奇异值，将所有奇异值按照从大到小进行排序，选取前vi个奇异值，满足该vi个奇异值之和与所有奇异值之和的比值大于预设阈值且vi最小...

【技术特征摘要】

1.一种基于信息瓶颈的图像分类持续学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的图像分类持续学习方法，其特征在于，所述步骤s5中图像分类模型训练时对梯度进行限制处理，具体公式为：

3.根据权利要求1所述的图像分类持续学习方法，其特征在于，所述步骤s5中图像分类模型训练过程中...

【专利技术属性】
技术研发人员：高联丽，杨叶晨浩，陈程，谢浚霖，宋井宽，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：