一种基于间隔监督对比损失的小样本图像分类方法技术

本发明专利技术涉及小样本图像分类技术领域，具体涉及一种基于间隔监督对比损失的小样本图像分类方法，包括：利用一种新颖的间隔监督对比损失函数在基类数据集上对模型进行预训练，固定预训模型中编码器中的参数，对新类数据集中的支持图像样本提取特征并训练SVM分类器，最后利用SVM对查询样本进行分类决策。本发明专利技术中的间隔监督对比损失函数对基类样本之间的对比性关系建立数学模型，而不是只关注于基类样本所属的类别，所预训练的骨干网络更具有迁移性。本发明专利技术中的监督对比损失函数通过增加间隔参数，能够进一步缩小类内数据的距离，增大类间距离，从而进一步提高分类性能。从而进一步提高分类性能。从而进一步提高分类性能。

【技术实现步骤摘要】
一种基于间隔监督对比损失的小样本图像分类方法


[0001]本专利技术涉及小样本图像分类
，具体涉及一种基于间隔监督对比损失的小样本图像分类方法。

技术介绍

[0002]近年来，深度学习在诸如计算机视觉、语音识别、自然语言处理、自动驾驶等若干人工智能领域都取得了重大突破。然而，深度卷积神经网络强大的学习能力完全依赖于大量的手工标签数据。其大数据驱动的特性严重限制了深度学习技术在众多实际场合中的应用。因为对大量数据进行精确标注的成本耗费是非常巨大的，甚至有时候是无法完成的，比如罕见疾病的医疗数据、珍稀物种的图像数据等。在这种背景下，学者们积极开展对小样本图像分类课题的研究，旨在每种类别样本数目非常少的情况下，深度神经网络就能完成对图像的分类识别。
[0003]元学习通过学习大量的任务得到内在的元知识，从而能够快速的处理新的任务，是解决小样本图像分类问题的主流学习范式。然而最近的研究表明，将在整个基类数据集上预训练的特征提取器与传统的分类器相结合就能够取得与复杂的元学习模型相媲美的分类性能。这种方法采用的是具有两阶段的迁移学习范式，即首先在大量标注的基类据集上训练骨干网络，从而能够在接下类的后处理阶段为具有少量样本的新类数据提高良好的特征提取器。通常情况下，这类方法使用交叉熵损失函数进行优化训练，然后将骨干网络中与基类类别相关的最后一层移除后提取新类特征并完成分类决策。例如，Chen等(ChenWY,Liu C Y,Kira Z,Wang Y F,Huang J B.A closer look at few<br/>‑
shot classification[C]//Proceedings of the 7th International Conference on Learning Representations.New Orleans,USA:ICLR,2019:1
‑
8.)提出在基类数据集使用交叉熵损失函数优化由骨干网络和Cosine分类器构成的神经网络，然后固定骨干网络参数并利用新类支持样本微调Cosine分类器完成对查询样本的分类。随后，如何进一步提高骨干网络的泛化性能，若干工作被相继被提出。例如，Liu等(Liu B,Cao Y,Lin Y T,Li Q,Zhang Z,Long M S,Hu H.Negative margin matters:understanding margin in few
‑
shot classifification[C]//Proceedings of the16th European Conference on Computer Vision.Berlin,German:Springer,2020:1
‑
8.)在预训练阶段同样采用由骨干网络和Cosine分类器构成的模型，同时使用带有间隔的交叉熵损失函数进行优化；Mangla等(Mangla P,Kumari N,Sinha A,Singh M,Krishnamurthy B,Balasubramanian V N.Charting the right manifold:Manifold mixup for few
‑
shot learning[C]//Proceedings of the IEEE Winter Conference on Applications of Computer Vision,Colorado,USS,2020:2218
–
2227.)和Tian等(Tian Y,Wang Y,Krishnan D,et al.Rethinking few
‑
shot image classification:a good embedding is all you need？//Proceedings of the16th European Conference on Computer Vision.Berlin,German:Springer,2020:)分别提出在预训练过程引入自监督和自蒸馏技术；Rizve等
(Rizve M N,Khan S,Khan F S,Exploring Complementary Strengths of Invariant and Equivariant Representations for Few
‑
Shot Learning[C]//Proceedings of the 33rd IEEE Conference on Computer Vision and Pattern Recognition.)设计一种能够进行保持等变性和不变性的多任务学习损失函数完成对骨干网络的预训练。
[0004]在完成预训练阶段之后，由于模型中与基类类别相关的最后一层被移除，只保留其中的骨干网络。此时，如果想要完成对新类数据的分类识别，需要借助于重新训练的分类器完成决策。其中非参数模型K
‑
近邻分类器或者原型分类器因其简单有效，成为了小样本图像分类任务中常用的分类模型。例如，Wang等(Wang Y,Chao W L,Weinberger K Q,Maaten V D.Simpleshot:revisiting nearest
‑
neighbor classification for few
‑
shot learning.arXivpreprint arXiv:1911.04623,2019:1
‑
8.)在对新类数据进行白化预处理之后，使用KNN分类器能够取得良好的分类性能。Wang等(WangZ Y,ZhaoYF,Li J,TianYH.Cooperative bi
‑
path metric for few
‑
shot learning[C]//Proceedings of the 28th ACM International Conference on Multimedia.New York,USA:ACM press,2020:1524
‑
1532.)同样采用KNN分类器，但是同时利用查询样本以及支持集与基类集之间的相关性来确定分类器中的近邻样本。除此以外，SVM和逻辑回归等参数分类器同样在小样本图像分类任务中取得了良好的分类性能。
[0005]上述采用迁移学习范式的小样图像分类方法取得与复杂的元学习模型相媲美的分类性能。通常情况下，这类方法使用交叉熵损失函数在整个基类数据集上进行预训练，更关注于基类样本所属的类别，严重影响了其在新类图像域中的迁移性。
[0006]为了解决上述问题，本专利技术提供了一种基于间隔监督对比损失的小样本图像分类方法。

技术实现思路

[0007]针对以上问题，本专利技术提供了一种基于间隔监督对比损失的小样本图像分类方法，通过引入带有间隔的监督对比损失函数在基类数据集上进行预训练，使骨干网络更具有迁移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于间隔监督对比损失的小样本图像分类方法，其特征在于，包括以下步骤：步骤1：对于给定的数据集D，确定待处理的基类数据集D
base
和新类数据集D
novel
；其中x
i
表示第i个基类图像样本，y
i
表示其对应的标签；在D
novel
上构建N
‑
way
‑
K
‑
shot分类任务，每个分类任务由支持样本集和查询样本集组成，其中x
s
表示第s个支持样本，y
s
表示对应的标签，x
q
表示第q个查询样本；步骤2：从基类数据集D
base
中随机抽取M个图像样本，使用图像增强技术将其扩充为2M个样本，然后将其输入到参数为α的编码器E
α
(
·
)和参数为β的投影器P
β
(
·
)中，得到由2M个数据特征组成的集合假定集合中任意数据为锚点，并将其作为正例样本，将集合A(i)中与该锚点标签的所有样本视为正例样本，构建正例样本集合P(i)，而集合A(i)中的所有剩余样本为负例样本，构建负例样本集合N(i)；步骤3：计算关于正例样本集合P(i)与负例样本集合N(i)之间的间隔监督对比损失，计算该损失函数关于参数的梯度，并利用梯度下降算法对编码器E
α
(
·
)中参数α和投影器P
β
(
·
)中参数β进行优化；步骤4，将步骤3中预训练好的编码器E
α
(
·
)作为特征提取器，对新类数据集中的支持图像样本提取特征，并对SVM进行训练；步骤5：将步骤3中预训练好的编码器E
α
(
·
)作为特征提取器，对新类数据集中的查询图像样本提取特征，利用训练好的SVM进行测试。2.根据权利要求1所述的一种基于间隔监督对比损失的小样本图像分类方法，其特征在于，所述步骤1的具体步骤如下：S11：对于给定的数据集D，将其分割为三个子集，即训练集D
train
，验证集D
val
和测试集D
test
，每个子集中的分类类别不相同，即：D
train
∪D
val
∪D
test
＝D；S12：将训练集D
train
作为基类数据集D
base
，测试集D
test
作为新类数据集D
novel
；在D
novel
数据集中随机抽取N个类别，每个类别中随机抽取K个样本，得到支持样本集再在N个类别中的剩余数据中抽取一批样本得到查询样本集3.根据权利要求1所述的一种基于间隔监督对比损失的小样本图像分类方法，其特征在于，所述步骤2的具体步骤如下：S21：从D
train
抽取M个图像样本作为训练的批图像样本集D
M
，对于其中的第i个基类图像样本x
i
，利用增强技术对其增强得到并将其添加到批图像样本集中；S22：将数据集D

【专利技术属性】
技术研发人员：杨赛，胡彬，杨慧，周伯俊，
申请(专利权)人：南通大学，
类型：发明
国别省市：