一种基于对比学习的小样本图像分类方法技术

本发明专利技术提出基于对比学习的小样本学习方法。该方法在小样本学习的第一阶段应用监督对比学习进行预处理。特征提取使用监督对比和微调的动态组合，而分类器执行适应使用TIM损失。经过实验分析，本发明专利技术是数据高效的(即，在小数据集上工作良好)，同时在大数据集上保持有竞争力的准确性性能。本发明专利技术在Mini

A small sample image classification method based on comparative learning

【技术实现步骤摘要】
一种基于对比学习的小样本图像分类方法


[0001]本专利技术属于图像处理领域。

技术介绍

[0002]基于深度学习的方法令人印象深刻的结果主要是使用大量标记数据实现的。然而，海量图像标记是劳动密集型的，并且难以获得平衡的数据集。相比之下，人类仅从一个或几个例子就表现出出色的泛化性能，为小样本学习领域带来了动力。同样，少样本学习的目的是基于对少数标记数据(例如，每类一或五个示例) 的观察来预测未标记数据。
[0003]与传统的归纳式小样本学习相比，引入了两种设置来解决低数据计数的问题。半监督的少样本设置假设该模型可以利用来自其他未标记数据的信息。通过增加未标记数据的数量可以获得更好的准确性。一个直推式学习的小样本设置模型可以一次访问所有测试数据，而不是在推理过程中一个一个。本研究的范围仅限于转导式少镜头设置，因为它简单但有效以实现最先进的结果。
[0004]传统的小样本学习算法实现了一个两阶段的训练流程。仅在训练的第一阶段使用的基类是用于训练特征提取器的大型独立类，通常具有传统的交叉熵损失。在连续阶段，新类是一组不相交的基类，是学习目标，每个类有几个训练示例。第一个训练阶段尝试从基类中学习通用的、可转移的视觉特征，而主要的少样本算法在第二个阶段实现，以从新类中预测图像。
[0005]由于特征提取器的性能根据经验与最终分类精度相关，因此在第一个训练阶段使用各种增强技术是合理的。这些技术的动机是大规模图像分类任务，例如 ImageNet。提出了监督对比学习，通过应用带有标签信息的自监督表示学习来代替交叉熵损失。经过检验，在第一个训练阶段，监督对比损失而不是简单的交叉熵损失大大提高了最终分类的准确性，尤其是在数据集不大的情况下。
[0006]考虑到问题的规模，假设在边缘设备上运行了几次学习任务。然而，由于这一步的成本很高——训练整个数据集将近一百个时期——基类训练步骤大概是由服务器处理的。监督对比学习的成本是基类训练中额外的预训练步骤，由服务器有效摊销和处理。通过有监督的对比学习获得的精度增益，可以使用一种简单的方法(例如提前停止)来优化算法的运行时延迟。
[0007]少样本学习与自监督表示学习相关联。两种方法都有一个相似的目标：用很少或没有数据标签来训练模型。自监督表示学习是一种无监督学习方法，旨在从没有注释的数据集中学习。相反，它使用辅助信息进行学习，例如图像块的相对位置或图像的旋转分类。对比学习是一种自我监督的表示学习形式，它训练模型对嵌入空间中的相似(正)样本和不同(负)样本进行分类。由于监督对比学习是对比学习的延伸，它意味着在我们的实验中获得的收益。
[0008]我们观察到，在评估小样本学习任务时，在大型通用数据集(即 Tiered
‑
ImageNet)上训练的特征提取器的性能优于在小型、特定任务数据集(即 CUB)上训练的特
征提取器。在我们的实验中，有监督的对比学习提高了少样本分类的准确性，即使在针对特定任务的小型数据集进行训练时，它的性能也优于在大型通用数据集上训练的特征提取器。因此，它具有数据效率，无需借助大型数据集即可获得卓越的性能。

技术实现思路

[0009]为了解决上述问题，本专利技术提出采用对比学习技术来增强特征提取器，从而优化小样本图像分类的方法。实验结果达到以下效果：
[0010](1)我们建议在小样本学习的第一阶段使用监督对比学习来提高 Mini
‑
ImageNet和CUB数据集的分类准确性。我们的方法在组合方法的名称之后被称为SPTA。
[0011](2)我们研究了domain
‑
shift设置，其中特征提取器在不同的数据集上训练，少样本算法在细粒度分类数据集上进行评估，表明需要一个大数据集(即Tiered
‑
ImageNet)克服域转移退化。然而，当有监督的对比学习应用于CUB数据集时，没有大数据集的情况可以比有大数据集的情况得分更高。
[0012]附图和附表说明
[0013]图1为本专利技术的算法整体框图。
[0014]图2为本专利技术中应用到的ResNet模型部分结构图。
[0015]表1为本专利技术在数据集上模型的对比结果。
具体实施方式
[0016]下面结合附图对本专利技术进一步说明。
[0017]本专利技术主要包括四个部分，整体框架如图1所示。
[0018](1)特征提取层：本专利技术使用ResNet
‑
18对图像特征进行提取，将图像转换为嵌入的特征。
[0019](2)对比学习层：利用监督式对比损失和投影头与基本数据集学习视觉表征。
[0020](3)特征微调层：使用传统的交叉熵损失与基本数据集微调特征提取器。
[0021](4)最大化互信息层：通过更新软分类器的可训练权重来最大化查询图像特征和查询标签之间修改后的互信息。为了最大化信息，TIM最小化条件熵并最大化边际熵。最小化条件熵旨在通过对聚类假设进行建模来做出可信的预测，这意味着分类标准不应该出现在未标记特征的密集区域中。最大化边际熵促使标签的边际分布趋于均匀，试图避免只输出一类的解决方案。
[0022]步骤一：ResNet特征提取层
[0023]残差网络模型最早是由微软亚洲研宄院的4位学者提出的算法模型，在2015 年的ImageNet大规模视觉识别竞赛取得了很好的表现，分别在图像分类和物体识别的命目中获得年度竞赛的冠军。在图像识别领域，为了提高识别得准确率，深度学习常常通过增加堆叠层的数量(深度)来丰富特征，越来越深的神经网络是目前计算机视觉领域的一个趋势。但是更深层次的神经网络也出现了一些问题，深度学习中应用的是反向传播算法，反向传播是一个迭代的过程，它从最后一层开始，在层中向后移动，直到到达第一层。更深的网络在反向传播中就会造成梯度爆炸或者梯度消失等一系列的问题。ResNet残差网络可以很好的解决深度学习中反向传播造成的梯度消失和梯度爆炸问题。整体结构如图2所示。
[0024]在He的研宄中，实验模型中对照组为一个18层和一个34层的卷积网络模型，网络模型的所有层只进行简单的铺叠，不做其他变化。实验模型为添加ResNet 的18层和34层的网络模型，研宄发现在对照组的普通模型较深的34层网络出现了明显的退化现象，而添加残差网络单元的网络模型非但没有退化，更深的 34层网络的表现反而比18层的更好，且添加残差网络的实验组的收敛速度要比普通对照组快很多。研宄证明添加ResNet的网络确实更容易优化，还可以很好的避免梯度消失和梯度爆炸的问题，并可以通过大幅增加模型的深度提高模型的精度。
[0025]步骤二：对比学习层
[0026]本专利技术使用对比学习来优化特征提取器，改进来提取到的图像的局部特征。
[0027]对比学习是自监督表征学习的延伸，它有一个类似的两阶段训练过程，如图 1所示。第一阶段准备输入图像的两个副本并对它们进行预处理。编码器网络将图像转换为规范化嵌入，附加投影网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的小样本图像分类方法其特征在于，包括以下步骤：步骤1：使用ResNet
‑
18对图像特征进行提取，将图像转换为嵌入的特征；步骤2：利用监督式对比损失和投影头与基本数据集学习视觉表征；步骤3：使用传统的交叉熵损失与基本数据集微调特征提取器；步骤4：通过更新软分类器的可训练权重来最大化查询图像特征和查询标签之间修改后的互信息。为了最大化信息，TIM最小化条件熵并最大...

【专利技术属性】
技术研发人员：贾海涛，田浩琨，周焕来，王子彦，李嘉豪，曾靓，吴俊男，王俊，
申请(专利权)人：一拓通信集团股份有限公司，
类型：发明
国别省市：