一种基于自监督学习的小样本图像分类方法及系统技术方案

本发明专利技术公开一种基于自监督学习的小样本图像分类方法及系统，属于计算机视觉技术领域，通过自监督学习、对比学习、共同学习等方法，在数据集的所有训练数据上训练一个具有泛化性能的特征提取器。本把自监督学习应用到小样本学习的训练中，提高小样本学习中特征提取器的表示能力；把对比学习应用到小样本学习中，同时对度量函数进行优化，让特征提取器学习的特征具有更显著的分类边界；把共同学习应用到小样本学习的训练中，从而引入正则化约束，提高网络的泛化性能。提高网络的泛化性能。提高网络的泛化性能。

【技术实现步骤摘要】
一种基于自监督学习的小样本图像分类方法及系统


[0001]本专利技术属于计算机视觉
，具体涉及一种能够在小样本场景下分类图像的方法及系统。

技术介绍

[0002]图像分类是计算机视觉需要解决的一个基础任务。当前深度学习的发展趋势是不断加深网络结构，从而提高模型的分类准确率，然而更深的模型意味着更多的可学习参数，训练这些参数需要更多的数据，这也是当前深度学习的主流趋势之一，即数据驱动的模型训练。这种数据驱动的深度学习方法通常需要大量的标注数据，这带来了很大的问题。一方面标注数据的过程是非常耗费人力的，半监督学习和无监督学习的方法也是从这一角度出发，减少网络对标注数据的依赖；另一方面，在很多应用场景下，我们没有办法获取大规模数据，比如稀有物种和新出现的事物。在这两种情况下，传统的深度学习方法都很难达到理想的分类效果。
[0003]小样本学习就是为了解决在数据较少的情况下，模型学习困难的问题。小样本学习通常只需要获得某一类别的少量图像，就可以对此种类别进行分类预测。然而，小样本学习模型的好坏很大程度上取决于测试集和训练集的数据分布差异，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的小样本图像分类方法，其特征在于，包括以下步骤：构建两个结构相同但不共享权值的图像分类网络，每个图像分类网络包括特征提取器、旋转类别分类器、监督对比学习分类器和图像类别分类器；在训练阶段，给两个图像分类器中分别输入带类别标签的图像训练数据，对这两个图像分类器同时进行训练，训练步骤如下：将输入的每张图像按照每隔90度进行旋转，得到四个方向的四张图像，再分别通过特征提取器提取这些图像的特征向量；将所述旋转得到的图像的特征向量输入到旋转类别分类器中来对图像的旋转方向进行分类，计算旋转类别分类器的交叉熵损失；将所述旋转得到的图像和同类别的旋转得到的图像作为图像的正例，将其他类别的旋转得到的图像作为负例，将正例和反例图像的特征向量输入到监督对比学习分类器中进行分类，得到属于同一类别的概率，并计算监督对比学习分类器的交叉熵损失；将每一张图像的特征向量直接输入到图像类别分类器中进行分类，计算图像类别分类器的交叉熵损失；在所述两个图像分类网络的图像类别分类器的输出之间通过KL散度约束进行共同学习，计算共同学习的交叉熵损失；将旋转类别分类器的交叉熵损失、监督对比学习分类器的交叉熵损失、图像类别分类器的交叉熵损失和共同学习的交叉熵损失进行加权求和，得到总体损失；通过迭代训练，使得总体损失最小，得到训练好的特征提取器；在使用阶段，对待分类图像进行分类，步骤如下：利用与待分类图像类别一致的带类别标签训练图像输入到训练好的特征提取器中提取特征向量，并利用该特征向量训练旋转类别分类器、监督对比学习分类器和图像类别分类器；将待分类图像输入到训练好的特征提取器中提取特征向量，并将提取的特征向量输入到训练好的旋转类别分类器、监督对比学习分类器和图像类别分类器中，输出图像分类结果。2.如权利要求1所述的方法，其特征在于，计算旋转类别分类器的交叉熵损失的函数如下：其中，L
rot
表示旋转类别分类器的交叉熵损失，D表示小样本训练数据集，C
r
表示四个旋转方向类别的集合，x
r
表示对输入图像x做第r种旋转变换，L表示交叉熵损失函数，F
i
表示第i个图像分类网络的特征提取器，为第i个图像分类网络的旋转类别分类器。3.如权利要求1所述的方法，其特征在于，计算监督对比学习分类器的交叉熵损失的函数如下：
其中，L
scl
表示对比学习分类器的交叉熵损失，E表示数学期望，D
*
表示经过了旋转增强后的数据集，x、表示输入图像，y、表示不相同类别的标签，B(x，y)表示和x在同一训练批且标签为y的样本，表示和x在同一数据集但标签不为y的样本，F
i
表示第i个图像分类网络的特征提取器，表示第i个图像分类网络的监督对比学习分类器，...

【专利技术属性】
技术研发人员：王蕊，施璠，操晓春，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：