【技术实现步骤摘要】
本专利技术属于无监督连续学习的图像分类领域。
技术介绍
1、近年来，深度学习技术在计算机视觉中大放异彩，作为计算机视觉三大基础任务之一，图像分类任务得到了快速的发展，取得了令人瞩目的成就。在现实场景中，数据往往是随时间逐步呈现的，连续学习致力于从一系列数据流中学习，能够有效应对现实的数据挑战，因此基于连续学习的图像分类方法备受关注。然而，由于在现实场景中数据注释的生成通常是耗时和劳动密集型的，因此开发基于无监督持续学习的图像分类方法尤为重要。最近，有一些开创性的研究，通过引入无监督视觉表征学习(也称为自监督学习)来研究无监督持续学习的图像分类任务，以解决缺失标签的挑战。无监督视觉表示学习旨在从未标记的数据中获得强大的表示，而无监督连续学习需要从连续的未标记数据流中学习强大的通用表示，并且不忘记在学习过的数据上编码的信息，最后将网络得到的通用表征迁移到目标数据集，微调分类头完成图像分类任务。本专利技术主要致力于提高无监督连续学习的图像分类方法的抗遗忘能力，同时解除对过去任务流信息的依赖，释放无监督持续学习的束缚。
2、目前，无监督连续学习中的主流方法主要分为两类，一类是基于重演的方法，即以某种方式从过去的数据流中选取特定的样本进行存储，并在后续的学习中重放存储的样本来拾取过去的记忆，例如利用混合融合(mixup)将重放样本与当前样本在像素层面加权融合，构建新的训练集。另一类是基于正则化的方法，即通过正则约束来调整网络某些参数的更新，达到保留过去信息的目的，例如通过知识蒸馏(knowledge distillation)
3、本专利技术提出一种新颖的无监督连续学习的图像分类方法，旨在设计基于交替任务判别(alternate task discrimination,atd)的无监督连续学习，即一种专门针对抗遗忘能力与持续学习能力的自监督辅助任务，通过完成任务来间接记忆过去的信息，而不依赖于存储过去的信息作为监督信号，是第一个在抗遗忘能力和自监督辅助任务之间建立桥梁的方法。
技术实现思路
1、本专利技术尝试将抗遗忘能力与过去数据流信息解耦，搭建自监督辅助任务和抗遗忘能力之间的桥梁，通过解决辅助任务间接巩固过去数据流的记忆，而不依赖于存储过去的信息作为监督信号，从而在避免灾难性遗忘的同时不带来额外的存储和计算资源损耗，释放无监督持续学习的图像分类方法的束缚。
2、本专利技术技术方案为：一种基于交替任务判别的无监督连续学习的图像分类方法，该方法包括：
3、第1步：初始化特征提取网络fθ(·)，在首个数据流上进行无监督连续学习表征优化训练，训练出一个特征提取网络fθ(·)；
4、第2步：构建一个判别器fω(·)，根据特征提取网络fθ(·)和判别器fω(·)来计算图像特征映射结果
5、第3步：对特征提取网络fθ(·)和判别器fω(·)进行交替优化训练；
6、第4步：判断已训练数据流是否是最后一个数据流，如果是执行第5步；否则在下一个数据流重新执行第3步；
7、第5步：为训练好的特征提取网络fθ(·)添加一个分类器；
8、第6步：在目标数据集上微调分类器；
9、第7步：采用训练好的特征提取网fθ(·)和分类器一起对图像进行分类。
10、进一步的，所述第2步中，映射结果的计算方法为：
11、
12、其中，表示在分布dt＝{xi,t}上的期望，ce(·)表示交叉熵损失函数，dt表示第t个任务流的数据集，xi,t表示第t个任务流的数据集中第i个样本；
13、进一步的，所述第2步中，映射结果的计算方法为：
14、
15、其中，表示在分布dt＝{xi,t}上的期望，ce(·)表示交叉熵损失函数，dt表示第t个任务流的数据集，xi,t表示第t个任务流的数据集中第i个样本，表示相同增广策略下的两组随机增广组合；
16、进一步的，所述第3步中交替优化训练的方法包括：无监督连续学习表征优化和交替任务判别优化；其中无监督连续学习表征优化保证学习到的表征的语义信息，交替任务判别优化保证学习到的表征的连续性；表示为：
17、
18、
19、其中，θk表示第k次训练的特征提取网络的参数，ωk表示第k次训练的判别器的参数，是第t个数据流上的交替任务判别损失，是第t个数据流上的无监督连续学习表征优化损失，λ是一个均衡无监督连续学习表征优化和交替任务判别优化的超参数。
20、进一步的，所述第3步的无监督连续学习表征优化训练中，基于上一步优化好的判别器优化联合损失函数，通过梯度反向传播更新特征提取网络参数：
21、
22、其中，为了便于描述，这里仅展示没有引入增广不变性的版本；在实际场景中，第t个数据流上的无监督连续学习表征优化损失由基于增广视图一致性表达的对比学习构成，即致力于鼓励增广视图特征间的一致性；实际训练中，首先从训练集抽取一个批次的训练样本x＝{x1,…,xb}，其中b为批大小(batch size)；然后构建现有对比学习采用的标准增广组合其中包含随机裁剪、随机水平翻转、高斯模糊、颜色抖动等，为当前批训练样本生成一队随机增广视图紧接着将增广视图输入特征提取网络fθ(·)，得到编码后的特征z1、z2，即本专利技术采用两种鼓励增广视图特征间一致性的损失，分别从特征余弦相似度与特征互相关矩阵的角度的构建；基于特征余弦相似度的一致性损失函数额外构建了一个特征映射头fpre(·)，通过映射后特征来匹配一对增广视图特征：
23、
24、其中z1＝fpre(z1)为映射后特征；基于特征互相关矩阵的一致性损失函数约束两两增广视图特征之间的互相关矩阵接近单位矩阵：
25、
26、其中cij定义如下：
27、
28、在交替任务判别的优化步骤中，本质目的是在特征提取网络参数不参与梯度更新的情况下，即基于上一步优化好的特征提取网络优化联合损失函数，通过梯度反向传播更新特征提取网络参数：
29、
30、本专利技术首次提出利用自监督辅助任务来帮助深度学习模型保留过去编码信息的记忆，从而具有克服灾难性遗忘的能力。专利技术的主要创新点在于设计了任务判别辅助任务，同时提出交替优化训练方法，保证了无监督连续学习表征的有效性和连续性。相比于基于重演、正则的无监督连续学习方法，该方法简单而高效，在保证模型抗遗忘能力的前提下极大地降低了对过去数据信息的依赖。
本文档来自技高网...【技术保护点】
1.一种基于交替任务判别的无监督连续学习的图像分类方法，该方法包括：
2.如权利要求1所述的一种基于交替任务判别的无监督连续学习的图像分类方法，其特征在于，所述第2步中，映射结果的计算方法为：
3.如权利要求1所述的一种基于交替任务判别的无监督连续学习的图像分类方法，其特征在于，所述第2步中，映射结果的计算方法为：
4.如权利要求1所述的一种基于交替任务判别的无监督连续学习的图像分类方法，其特征在于，所述第3步中交替优化训练的方法包括：无监督连续学习表征优化和交替任务判别优化；其中无监督连续学习表征优化保证学习到的表征的语义信息，交替任务判别优化保证学习到的表征的连续性；表示为：
5.如权利要求1所述的一种基于交替任务判别的无监督连续学习的图像分类方法，其特征在于，所述第3步的无监督连续学习表征优化训练中，基于上一步优化好的判别器优化联合损失函数，通过梯度反向传播更新特征提取网络参数：
【技术特征摘要】
1.一种基于交替任务判别的无监督连续学习的图像分类方法，该方法包括：
2.如权利要求1所述的一种基于交替任务判别的无监督连续学习的图像分类方法，其特征在于，所述第2步中，映射结果的计算方法为：
3.如权利要求1所述的一种基于交替任务判别的无监督连续学习的图像分类方法，其特征在于，所述第2步中，映射结果的计算方法为：
4.如权利要求1所述的一种基于交替任务判别的无监督连续学习的图像分类...
【专利技术属性】
技术研发人员：李宏亮，程浩洋，问海涛，邱荷茜，王岚晓，张敏键，孟凡满，许林峰，吴庆波，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。