一种基于信息丢失机制的自监督连续学习方法技术

本发明专利技术提出了一种基于信息丢失机制的自监督连续学习方法，包括：(1)一种基于信息丢失的无监督连续学习框架，以促使模型在连续任务上仅学习重要的特征表示；(2)一种基于自监督学习范式的InfoDrop损失项，以帮助模型在测试阶段去除Infodrop机制后，依旧能够提取到测试样本的重要特征表示。此外，本发明专利技术提出的无监督连续学习框架可以和大部分的连续学习策略同时使用。通过丢弃不重要的图像信息，使得模型仅关注对重要的图像信息的特征表示，以缓解模型容量的限制，在不需要引入历史任务的样本或者历史模型的参数信息情况下，提升了自监督模型的性能。模型的性能。模型的性能。

【技术实现步骤摘要】
一种基于信息丢失机制的自监督连续学习方法


[0001]本专利技术属于图像处理领域，主要用来提升自监督连续学习模型的性能；主要应用于图像分类领域。

技术介绍

[0002]近年来，深度学习(DL,Deep Learning)在机器学习，自然语言处理等领域取得了显著的成功。DL的重点在于通过使用固定或者预定义的数据集进行离线训练来开发深度神经网络(DNN,Deep Neural Networks)，DNN在对应的任务上表现出显著的性能。但是，DNN也有局限性，训练完成的DNN是固定的，在运行过程中网络内部的参数不会再发生改变，这意味着DNN会在部署后保持静态，无法适应不断变化的环境。现实世界的应用不都是单一的，特别是与自治代理相关的应用涉及到处理连续变化的数据，随着时间的推移，模型面对的数据或者任务会发生变化，静态模型在这种场景下表现不佳。一个可能的解决方案是在数据分布发生变化时重新训练网络，然而，使用扩展后的数据集进行完整的训练是计算密集型任务，这在现实世界中计算资源受限的环境下是不可能实现的，这导致需要一种新的算法能够实现在资源高效利用的条件下进行持续学习。
[0003]持续学习在许多现实场景中都存在着需求与挑战：机器人根据环境的变化需要自主的学习新的行为规范，以此来适应新环境，完成新的任务；自动驾驶程序需要去适应不同环境，如从乡村公路到高速公路，从光线充足的场所到昏暗的环境；智能对话系统需要去适应不同的用户和情景；智能医疗应用则需要适应新的病例、新的医院以及不一致的医疗条件。
[0004]连续学习(CL,Continual Learning)研究在非平稳数据流中进行学习的问题，其目标在于扩展模型的适应能力，令模型能在不同的任务中学习对应的知识，同时能记忆历史任务中学习到的特征。根据输入数据是否存在标签，连续学习可以分为有监督连续学习(SCL,Supervised Continual Learning)与无监督连续学习(UCL,Unsupervised Continual Learning)，有监督的连续学习往往集中于一系列相关的任务，在输入的数据上加入人为给定的标签，可以获得任务信息和需要泛化的任务边界信息，这一设定不再满足现实情景的需要：任务标签未知、任务边界的定义不明确以及大量的类标记数据不可用，这就引出了无监督连续学习以及自监督连续学习方法。自监督学习是无监督学习的一部分，其旨在消除表示学习对人工标识的需求，自监督学习利用未加标识的原始信息来学习数据的表征。真正的自监督连续学习算法能够利用连续输入的非独立同分布的数据流，在不遗忘过去得到的知识的前提下，学习一种鲁棒的、自适应的模型。
[0005]近年来，CL的研究主要集中在SCL方面，这些研究成果通常无法扩展到数据分布有偏差的实际应用场景中，因此，不依赖人工标注或者监督信息的UCL研究逐渐受到关注，尽管研究时间短，研究问题复杂，UCL领域的成果较少，但已经有成果显示依赖人工标注数据对于连续学习不是必须的，无监督的视觉表示能够减缓灾难性遗忘的问题，并且UCL能够比SCL表现出更好的性能。参考文献：Madaan,D.,Yoon,J.,Li,Y.,Liu,Y.,&Hwang,S.J.(2021,
September).Representational continuity for unsupervised continual learning.In International Conference on Learning Representations.为了提升无监督模型的性能，一种与模型无关的轻量级方法，即信息丢失(InfoDrop)引起了的关注，该方法通过减少卷积神经网络(Convolutional Neural Networks,CNN)的纹理偏差来提高模型的鲁棒性，可解释性。参考文献：Shi,B.,Zhang,D.,Dai,Q.,Zhu,Z.,Mu,Y.,&Wang,J.(2020,November).Informative dropout for robust representation learning:A shape
‑
bias perspective.In International Conference on Machine Learning(pp.8828
‑
8839).PMLR.无监督的连续学习具有极高的研究价值，是构建真正智能体的关键技术之一，本专利技术致力于将信息丢失机制与无监督连续学习框架结合起来，提升模型的性能，构建更鲁棒合理的连续学习模型，推动无监督连续学习技术不断向前发展。

技术实现思路

[0006]本专利技术是一种自监督连续学习方法，通过在自监督模型中引入InfoDrop机制，使模型在连续学习任务中提取重要图像特征。该方法通过计算图像块的自信息量来选择遗弃不重要的图像信息，引导模型关注图像信息重要的区域，从而提升自监督模型的性能。
[0007]该方法首先构造了基于信息丢失机制的自监督连续学习框架，将CIFAR
‑
10数据集划分到5个任务上，按照任务到达顺序，在对应数据集上训练模型，并使用KNN算法对模型的准确性进行测试。本方法重点在于在自监督学习框架中引入信息丢失机制来提高模型性能。本专利技术从模型容量的角度出发，主要做了以下的工作：1)构建了自监督学习模型以及自监督连续学习范式；2)建立了一种基于信息量与Dropout方法的信息丢失机制，帮助模型丢失图像中不重要的特征，保留重要特征，并将信息丢失机制融入到自监督连续学习的框架中；3)基于自监督损失范式，结合一种InfoDrop损失项，避免了在后测试时需要去除InfoDrop机制对模型进行微调；4)在数据集CIFAR
‑
10上进行训练，使用KNN分类算法测试模型在测试集上的准确性，评估模型的性能，并与多种连续学习学习策略进行比较。通过上述工作，验证了本专利技术可以适用于多种连续学习策略，并可提高不同策略下模型的性能，是一种应用性强的无监督连续学习方法。
[0008]为了方便地描述本
技术实现思路
，首先对一些术语进行定义。
[0009]定义1：残差卷积神经网络(ResNet)。通过在卷积网络中加入“残差连接”，解决了深层网络在训练中出现的退化现象，极大地增加了神经网络可训练的深度，相比于传统的卷积神经网络，残差网络具有更好训练，更易优化的优点。在本专利技术中，所用的残差卷积神经网络是Resnet18网络。
[0010]定义2：自适应平均池化层。自适应平均池化层可以对空间维度进行压缩，取出对应维度中数据的均值，自适应地输出指定尺寸的结果，在一定程度上可以抑制一些没用的特征。
[0011]定义3：SimSiam。这是孪生网络模型的别称，SimSiam模型最大化一个图像的两个增广之间的相似性，其在不需要负样本对、大的批次和动量编码的情况下学习表征。
[0012]定义4：Dropout方法。Dropout是一种正则化方法，通过对网络某层的神经元设置一个被丢本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息丢失机制的图像特征连续提取方法，该方法包括：步骤1：对数据集进行预处理；获取真实世界物体图像，并将这些真实图像按照其中物体的类别进行标注，对所有图片的像素值进行归一化，并对图片进行缩放裁剪，然后将图像划分成多个数据集，每个数据集包含图像的类别不同；步骤2：构建自监督学习模型；自监督学习模型由特征编码器f
Θ
和特征预测头h两部分组成；特征编码器f
Θ
由特征提取模块f
b
和特征投影模块f
g
级联而成：采用残差卷积神经网络Resnet18构造特征提取模块，它的第一层为卷积神经网络块，第二层到第五层为残差网络块，最后一层为自适应平均池化层；特征投影模块由两层线性层连接而成；特征编码器f
Θ
的输入为图像输出为图像的特征表示特征预测头h由两层线性层连接而成，它的输入为图像的特征z，输出为图像特征的预测步骤3：构建自监督连续学习范式；自监督连续学习致力于在一系列有序到达的无标签任务上学习图像的特征表示，每个任务上具有不同分布的数据集一般地，会从数据集中随机采样得到图像x，然后对它分别采取两次图像变换操作得到两个相关视角的图像x1和x2；利用特征编码器对图像的一个视角x1进行特征编码，得到它的特征z1＝f(x1)，同理也可以得到另一个视角x2的特征z2＝f(x2)；自监督连续学习的目标是在训练的任意时刻τ都能让模型学习到对历史任务{T1，...，T
τ
‑1}和当前任务T
τ
中的图像表示：其中，在小批次样本上计算损失项的均值，以近似期望算子x
i，t
表示从数据集上随机采样得到的小批次样本中的第i个样本；损失项为自监督学习损失，这里采用SimSiam中的自监督损失计算公式：自监督学习损失，这里采用SimSiam中的自监督损失计算公式：其中是特征编码器对于的输出，是特征预测头关于的特征表示的预测stopgrad(
·
)表示阻止变量的梯度反向传播；||
·
||2为二范数算子；然而，达成自监督学习的目标是具有挑战性的；因为在连续学习设置下，通常假设来自历史任务的数据不可用，即要求在不可访问数据集的同时，求解得到模型在数据集上的最佳参数Θ
*
；因此需要引入一些连续学习策略来帮助模型在学习当前任务的同时，保持它在历史任务上的性能；步骤4：建立信息丢失机制引入了InfoDrop机制
‑
—一种基于信息的Dropout方法，以帮助连续学习模型丢弃图像中不重要的特征，仅保留重要的特征；如果当神经元输入的图像patch中包含较少的信息，
Infodrop机制会以较高的概率将该神经元的输出置零，否则保留它的输出；具体来说，在Boltzmann分布下计算神经网络中第层中的第c个通道的第j个神经元的输出的丢弃系数：其中，是神经网络中第层中的第c个通道的第j个神经元的输入patch；定义为自信息，当神经元的输入patch中的自信息比较低时，该神经元的输出会以较大的概率被丢弃，即促使神经网络减少对图像中的低信息区域的关注；T为温度系数，是InfoDrop机制的一个“软阈值”，当T变小的时候，即阈值降低，大部分的patch将被保留，只有极少的自信息低的patch会被丢去；当T变成无穷大的时候，即阈值变高，InfoDrop...

【专利技术属性】
技术研发人员：潘力立，杨帆，张亮，赵江伟，吴庆波，李宏亮，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：