【技术实现步骤摘要】
本专利技术属于图像分类，具体涉及基于对比学习的小样本分类方法及系统。
技术介绍
1、小样本学习(few-shotlearning,fsl)是指在只有少量标注数据的情况下，训练一个模型能够识别新的类别的任务。这是一种具有挑战性的机器学习问题，因为在数据稀缺的情况下，模型很容易过拟合或欠拟合。
2、传统的深度学习方法面临着重大挑战，因为这些方法通常需要大量的标注数据才能实现良好的泛化性能。然而，在现实世界的应用中，收集和标注大量数据是昂贵和不切实际的。因此，开发能够在少量样本情况下仍然保持高性能的算法变得至关重要。小样本学习任务通常可以分为两个阶段：预训练和微调。预训练阶段，模型在一个较大的基础类数据集上学习，以获得泛化的特征提取器。微调阶段，特征提取器会被进一步调整以适应新的、少量样本的任务。
3、在这个背景下，对比学习作为一种强有力的无监督学习策略，被广泛应用于预训练阶段。对比学习旨在学习区分不同类别样本的能力，而不是在大量标注数据上进行训练。通过这种方式，模型可以学习到更加鲁棒和泛化的特征表示。然而，如何将这些特征有效地转移到新的、未见过的类别上，仍然是一个值得思考的研究问题。
技术实现思路
1、基于上述技术问题，本专利技术提供基于对比学习的小样本分类方法及系统，在预训练阶段使用对比学习，使得模型获得了特征提取器来适应下游任务。在适应阶段，利用正则化手段，进一步提升模型泛化能力与鲁棒性。
2、本专利技术提供了基于对比学习的小样本分类方法，所述方
3、步骤s1：构建特征提取网络模型；所述特征提取网络模型包括两个标准卷积模块、两个残差模块、两个分离注意力模块和一个全局平均池化层模块；所述两个标准卷积模块分别为第一标准卷积模块和第二标准卷积模块，所述两个残差模块分别为第一残差模块和第二残差模块，所述两个分离注意力模块分别为第一分离注意力模块和第二分离注意力模块；
4、步骤s2：将基础数据集划分为三元样本对，将所述三元样本对输入到所述特征提取网络模型，提取正样本特征向量，负样本特征向量，锚点样本特征向量；所述三元样本对包括正样本、锚点样本和负样本；
5、步骤s3：计算所述锚点样本特征向量与所述正样本特征向量的余弦相似度，得到正锚相似度；计算所述锚点样本特征向量与所述负样本特征向量的余弦相似度，得到负锚相似度；
6、步骤s4：将所述正锚相似度和所述负锚相似度进行拼接，得到整体相似度，计算所述整体相似度与标签的损失，判断所述损失是否小于或等于第一阈值；如果所述损失大于所述第一阈值，则返回“步骤s2”；如果所述损失小于或等于所述第一阈值，则执行“步骤s5”；
7、步骤s5：计算支持集损失，并更新线性分类器参数。
8、可选地，所述第一残差模块，具体包括：
9、所述第一残差模块包括第一残差输入层、第二标准卷积层、第二规范化激活层、第三标准卷积层、第三规范化激活层、第一元素相加层、第四标准卷积层、第四规范化激活层、第二元素相加层、第五标准卷积层、第五规范化激活层、第一张量拼接层、第六标准卷积层、第一批归一化层、第七标准卷积层、第二批归一化层、第三元素相加层和第一激活函数层；
10、将所述第一残差输入层的特征图f2依次输入到所述第二标准卷积层和所述第二规范化激活层进行卷积和激活操作，得到特征图f4；
11、将所述特征图f4依次输入到所述第三标准卷积层和所述第三规范化激活层进行卷积和激活操作，得到特征图f6；
12、将所述特征图f4和所述特征图f6输入到所述第一元素相加层进行元素相加操作，得到特征图f7；
13、将所述特征图f7依次输入到所述第四标准卷积层和所述第四规范化激活层进行卷积和激活操作，得到特征图f9；
14、将所述特征图f7和所述特征图f9输入到所述第二元素相加层进行元素相加操作，得到特征图f10；
15、将所述特征图f10依次输入到所述第五标准卷积层和所述第五规范化激活层进行卷积和激活操作，得到特征图f12；
16、将所述特征图f4、所述特征图f6、所述特征图f9和所述特征图f12输入到所述第一张量拼接层进行张量拼接操作，得到特征图f13；
17、将所述特征图f13依次输入到所述第六标准卷积层和所述第一批归一化层进行卷积和归一化操作，得到特征图f15；
18、将所述第一残差输入层的所述特征图f2依次输入到所述第七标准卷积层和所述第二批归一化层进行卷积和归一化操作，得到特征图f17；
19、将所述特征图f15和所述特征图f17输入到所述第三元素相加层进行元素相加操作，得到特征图f18；
20、将所述特征图f18输入到所述第一激活函数层进行激活操作，得到特征图f19。
21、可选地，所述第一分离注意力模块，具体包括：
22、所述第一分离注意力模块包括第一分离注意力输入层、第一全局平均池化层、第一全连接激活层、第二全连接激活层、第一维度扩展层、第二维度扩展层、第一元素相乘层、第一最大池化层、第一平均池化层、第二张量拼接层、第八标准卷积层、第二激活函数层、第二元素相乘层、第一深度可分离卷积层和第六规范化激活层；
23、将所述第一分离注意力输入层的特征图f19输入到所述第一全局平均池化层进行全局平均池化操作，得到特征图f20；
24、将所述特征图f20依次输入到所述第一全连接激活层和所述第二全连接激活层进行全连接激活操作，得到特征图f24；
25、将所述特征图f24依次输入到所述第一维度扩展层和所述第二维度扩展层进行维度扩展操作，得到特征图f26；
26、将所述第一分离注意力输入层的所述特征图f19和所述特征图f26输入到所述第一元素相乘层进行元素相乘操作，得到特征图f27；
27、将所述第一分离注意力输入层的所述特征图f19输入到所述第一最大池化层进行最大池化操作，得到特征图f28；
28、将所述第一分离注意力输入层的所述特征图f19输入到所述第一平均池化层进行平均池化操作，得到特征图f29；
29、将所述特征图f28和所述特征图f29输入到所述第二张量拼接层进行张量拼接操作，得到特征图f30；
30、将所述特征图f30依次输入到所述第八标准卷积层和所述第二激活函数层进行卷积和激活操作，得到特征图f32；
31、将所述特征图f27和所述特征图f32输入到所述第二元素相乘层进行元素相乘操作，得到特征图f33；
32、将所述特征图f33依次输入到所述第一深度可分离卷积层和所述第六规范化激活层进行卷积核激活操作，得到特征图f35。
33、可选地，所述计算所述锚点样本特征向量与所述正样本特征向量的余弦相似度，得到正锚相似度，计算所述锚点样本特征向量与所述负样本特征向量的余弦相似度，得到负锚相似度，具体公式为：
34、
本文档来自技高网...【技术保护点】
1.基于对比学习的小样本分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于对比学习的小样本分类方法，其特征在于，所述第一残差模块，具体包括：
3.根据权利要求1所述的基于对比学习的小样本分类方法，其特征在于，所述第一分离注意力模块，具体包括：
4.根据权利要求1所述的基于对比学习的小样本分类方法，其特征在于，所述计算所述锚点样本特征向量与所述正样本特征向量的余弦相似度，得到正锚相似度，计算所述锚点样本特征向量与所述负样本特征向量的余弦相似度，得到负锚相似度，具体公式为：
5.根据权利要求1所述的基于对比学习的小样本分类方法，其特征在于，所述计算支持集损失，并更新线性分类器参数，具体公式为：
6.基于对比学习的小样本分类系统，其特征在于，所述系统包括：
7.根据权利要求6所述的基于对比学习的小样本分类系统，其特征在于，所述第一残差模块，具体包括：
8.根据权利要求6所述的基于对比学习的小样本分类系统，其特征在于，所述第一分离注意力模块，具体包括：
9.根据权利要求6所述的
10.根据权利要求6所述的基于对比学习的小样本分类系统，其特征在于，所述损失参数更新模块，具体公式为：
...【技术特征摘要】
1.基于对比学习的小样本分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于对比学习的小样本分类方法，其特征在于，所述第一残差模块，具体包括：
3.根据权利要求1所述的基于对比学习的小样本分类方法，其特征在于，所述第一分离注意力模块，具体包括：
4.根据权利要求1所述的基于对比学习的小样本分类方法，其特征在于，所述计算所述锚点样本特征向量与所述正样本特征向量的余弦相似度，得到正锚相似度，计算所述锚点样本特征向量与所述负样本特征向量的余弦相似度，得到负锚相似度，具体公式为：
5.根据权利要求1所述的基于对比学习的小样本分类方法，...
【专利技术属性】
技术研发人员：李子涵，刘书田，李建文，李传起，周省邦，陈东，潘吟松，周红松，
申请(专利权)人：南宁师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。