【技术实现步骤摘要】
本专利技术涉及一种基于全局和局部对比学习的小样本图像分类方法，属于计算机视觉领域。
技术介绍
1、随着深度学习的发展，小样本图像分类技术的研究取得了很大的进展，其主流方法有基于元学习的方法、基于迁移学习的方法和基于生成的方法等，这些方法的侧重点各有不同，但都依赖于对图像特征的有效提取。近两年，对比学习成为图像分类模型训练的新范式，其核心思想是让模型分辨哪些数据点相似或不同来学习数据集的泛化特征。诸多研究者指出，对比学习相较于使用交叉熵的训练方式能够更好地进行图像特征提取，有效提升模型的泛化性能。
2、然而，现有的将对比学习应用到小样本图像分类的方法大都基于全局特征计算对比损失。在小样本图像分类中，仅使用全局特征会造成模型的局部特征表示能力不足，影响新类上的分类水平。其原因在于，使用全局特征是希望特征提取网络能够将图像特征高度抽象化，转化为对空间位置不敏感的向量，在训练中学会区分前景与背景并消除类内差异。当样本充足时，这样的思想非常有效，但是在小样本条件下，有限的样本使得模型得不到充分训练，缺乏对局部变化、前景背景的敏感性。如果能够在训练中指导模型关注图像的局部区域，增强局部特征表示，会大幅改善模型的泛化能力。
技术实现思路
1、本专利技术的目的是为增强模型局部特征表示，提高小样本条件下图像分类的准确率，提出一种基于全局和局部对比学习的小样本图像分类方法。本专利技术方法首先提出局部对比学习，使得每个局部特征保留类别信息，增强局部特征表示；之后，将全局对比学习与局部对比学习
2、为了实现上述目的，本专利技术是采取以下技术方案实现的。
3、一种基于全局和局部对比学习的小样本图像分类方法，包括如下步骤：
4、步骤1，构建小样本图像分类模型；
5、图像分类模型采用resnet-12作为主干网络，不包含分类层，分类时计算特征相似度，并使用最近邻算法进行分类；
6、步骤2，训练小样本图像分类模型；
7、将整个基类数据集采用批次的方式输入到模型中提取特征，先对输入数据进行增强，然后基于全局对比学习和局部对比学习对模型进行优化；
8、步骤3，处理小样本图像分类数据集中元测试数据集；
9、测试过程中利用新类数据构建小样本图像分类元测试数据集，采样多个n-way k-shot形式的子任务，每个子任务由支持集和查询集组成，所述n-way k-shot表示从新类数据集中随机抽取n类(way)样本，每一类样本随机抽取k+t个(shot)实例，其中k和t分别表示支持集和查询集中每类样本的数量；
10、步骤4，测试小样本图像分类模型；
11、首先计算类别的特征原型，然后计算单个样本与类别原型之间的相似度，并使用最近邻算法进行分类。
12、作为本专利技术的一种优选方案，步骤1所描述步骤的详细描述如下：
13、resnet-12由4个深度为3的残差网络结构组成，每个残差网络结构由3个3*3的卷积层和batchnorm层组成，在每个网络结构中3个卷积层的卷积核数量相同，网络尾部有一个2*2的最大池化层；4个残差网络结构的卷积核数量分别为64、160、320和640；特征提取网络表示为e(·)。
14、作为本专利技术的一种优选方案，步骤2所描述步骤的详细描述如下：
15、s2-1、在基类数据集上随机采样一个批次共m张图像，将图像输入数据增强模块，从而生成共2m张图像；在经过增强后的数据中随机选取一个样本，将其记为xm表示选取的第m个样本。
16、s2-2、将样本输入特征提取网络e(·)，去除网络最后一层的平均池化层，得到图像的局部特征um＝e(xm)，um∈rc×r，其中c表示特征向量维度，r＝h×w为特征图的空间尺寸，h和w分别表示高度和宽度，rc×r表示局部特征的取值范围是c×r大小的实数集合；此时，表示第i个位置的局部特征向量，局部特征的个数由特征图的空间尺寸大小决定，特征图上每一个位置对应一个局部特征；
17、而后，局部对比学习方法将每一个位置的局部特征向量单独考虑，在每幅图像相同位置的局部特征之间进行对比学习；记表示2m张图像样本及其标签的集合，原图像与增强后的图像拥有相同的类别标签；依据a(m)中的标签信息，可以得到与xm相同类别的正样本集合，记为p(m)，|p(m)|为集合中样本的个数；在集合a(m)中，与xm不同类别的负样本集合，记为n(m)；局部对比学习的损失形式如下：
18、
19、其中，τ∈i+表示温度超参数，p表示p(m)中的第p个样本，a表示n(m)中的第a个样本，s(·,·)为两个图像特征向量之间的余弦相似度；
20、和用如下公式表示：
21、
22、其中，表示样本xm第i个位置的局部特征向量与其正样本集合中第p个正样本第i个位置的局部特征向量之间的余弦相似度；表示样本xm第i个位置的局部特征向量与其负样本集合中第a个负样本第i个位置的局部特征向量之间的余弦相似度；因此，对于样本xm，其与正样本负样本之间的特征度量，由每个位置的局部特征度量求平均得到。
23、所述损失llocal将全局特征的单一特征空间拓展为局部特征的多个特征空间，在每个空间位置对应的特征空间中，llocal将同类样本的局部特征拉近，将不同类样本的局部特征推远。因此，llocal使得图像的每个局部特征都尽可能保留了其对应类别的可鉴别信息，经过训练后，主干网络对图像的局部变化也会具有更强的敏感性。
24、s2-3、进行全局对比学习，使用局部对比学习中随机采样并数据增强的2m张图像，表示2m张图像样本及其标签的集合；与局部对比学习相同，给定一张图像xm，依据a(m)中的标签信息，得到与xm相同类别的正样本集合，记为p(m)，|p(m)|为集合中样本的个数；在集合a(m)中，与xm不同类别的负样本集合，记为n(m)；
25、和局部对比学习不同的是，全局对比学习保留了特征提取网络e(·)最后的平均池化层，因此对于一张图像xm，图像的全局特征表示为zm＝e(zm)，zm∈rc；
26、全局对比损失的形式表示如下：
27、
28、其中，τ∈i+表示温度超参数，p表示p(m)中的第p个样本，a表示n(m)中的第a个样本；s(·,·)为两个图像特征向量之间的余弦相似度，用如下公式表示：
29、
30、
31、作为本专利技术的一种优选方案，步骤3所描述步骤的详细描述如下：
32、测试过程在新类数据集dnovel上进行多次的n-wayk-shot分类任务采样；在每个任务中，新类数据集dnovel由支持集和查询集组成；
33、支持集的样本数量为n*k，表示随机采样了n个类别的数据，每个类别包含k张有标签样本；本文档来自技高网...
【技术保护点】
1.一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，步骤1的具体描述如下：
3.根据权利要求2所述的一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，步骤2的具体方法步骤如下：
4.根据权利要求3所述的一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，步骤3的具体方法如下：
5.根据权利要求4所述的一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，步骤4的具体方法步骤如下：
【技术特征摘要】
1.一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，步骤1的具体描述如下：
3.根据权利要求2所述的一种基于全局和局部对比学习的小样本图像分类方法，...
【专利技术属性】
技术研发人员：刘凡，张天舒，陈峙宇，蔡雯雯，霍健，张颢骞，董晨炜，许峰，
申请(专利权)人：河海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。