基于参数高效模块的跨域小样本图像分类方法及相关装置制造方法及图纸

本发明专利技术公开了一种基于参数高效模块的跨域小样本图像分类方法及相关装置，通过引入参数高效模块，以学习一个泛化性能的特征提取器，从而提高小样本图像分类方法检测的准确率。本发明专利技术结合了参数高效模块，以学习一个泛化性能更好的特征提取器。具体是一种基于参数高效模块的跨域小样本图像分类方法，将参数高效模块应用于跨域小样本分类领域。本发明专利技术方法易于实现，并适用于广泛的小样本分类方法，可以灵活插入基于非情节的、元学习的和度量学习的各种模型中。最后，本发明专利技术提升了现有小样本分类模型的泛化能力，并与其他最先进的跨域小样本算法相比表现优异。样本算法相比表现优异。样本算法相比表现优异。

【技术实现步骤摘要】
基于参数高效模块的跨域小样本图像分类方法及相关装置


[0001]本专利技术属于计算机视觉
，涉及一种跨域小样本图像分类方法，具体是一种基于参数高效模块的跨域小样本图像分类方法及相关装置。

技术介绍

[0002]小样本分类(Few
‑
shot classification,FSC)是指在仅有很少量的训练样本的情况下，对未见过的测试样本进行分类。由于在现实场景中数据可能稀缺或收集成本高，小样本分类在此类场景中表现优秀，近年来越来越受到关注。
[0003]从类型来看，小样本学习主要分为三种。1)基于元学习的方法采用学会学习的范式，允许模型从训练数据中学习并将这些先前学习的知识应用于新任务或领域，旨在使模型快速推广到新的未见数据。2)基于度量学习的方法采用学会比较的范式，允许模型比较支持集的数据和查询集的数据之间的特征表示相似性或距离，旨在学习在不同任务之间转移的特征表示。3)基于非情节的方法放弃元学习的范式，并采用迁移学习中的预训练范式进行训练。这些方法在训练集和测试机分布差异较大时，性能会大幅降低，面临着很大的挑战。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于参数高效模块的跨域小样本图像分类方法，其特征在于，包括以下步骤：根据小样本图像分类算法模型的类型，选择对应的训练方式对小样本图像分类算法模型进行训练；根据选择的训练方式，在训练时在小样本图像分类算法模型的特征提取器和分类头之间插入参数高效模块，提升特征提取器的泛化性能。2.根据权利要求1所述的基于参数高效模块的跨域小样本图像分类方法，其特征在于，所述小样本图像分类算法模型的类型包括非情节式的小样本图像分类算法模型、元学习的小样本图像分类算法模型以及度量学习的小样本图像分类算法模型。3.根据权利要求2所述的基于参数高效模块的跨域小样本图像分类方法，其特征在于，所述对应的训练方式，包括：(1)对于非情节式的小样本图像分类算法模型和元学习的小样本图像分类算法模型，训练方式为训练阶段、测试微调阶段和测试阶段；所述测试微调阶段具体如下：将参数高效模块多层感知机去掉，利用测试集中的支持集对小样本图像分类算法模型中的某部分模块进行微调，损失函数为交叉熵损失；所述测试阶段具体如下：将参数高效模块多层感知机去掉，利用测试集中的查询集对小样本图像分类算法模型进行测试；(2)对于基于度量学习的小样本图像分类算法模型，训练方式为训练阶段和测试阶段；所述测试阶段具体如下：将参数高效模块多层感知机去掉，利用测试集中的支持集和查询集进行相似度计算并对模型进行测试。4.根据权利要求1
‑
3任一项所述的基于参数高效模块的跨域小样本图像分类方法，其特征在于，所述参数高效模块为多层感知机p(x)，其结构表示如下：p(x)＝fc2(ReLU(BN(fc1(x)))
ꢀꢀꢀꢀꢀꢀ
1)其中，fc1和fc2为两个线性层，ReLU为激活函数，BN为批归一化层；线性层的维度与所选的骨干网络输出的维度一致。5.根据权利要求2或3所述的基于参数高效模块的跨域小样本图像分类方法，其特征在于，所述对于非情节式的小样本图像分类算法模型的训练方式，具体包括：1)训练阶段训练阶段的输入数据以迁移学习的范式进行，将源域数据集中的整个辅助集划分为许多样本批次；在训练时，特征提取器、分类头和参数高效模块协同训练并更新其参数，其优化过程如下：其中，θ是特征提取器的参数，∈是参数高效模块的参数，ω是分类器的参数，s表示数据来源于源域或通过源域数据训练的状态，N表示输入图片的总批量，表示交叉熵损失
函数，f代表特征提取器，p代表参数高效模块，g代表分类头，为输入的第i批源域图像，其中包括支持集和查询集，Y
is
为源域图像对应的标签；2)测试微调阶段测试微调阶段的输入数据以元学习的范式进行，将源域数据集中的整个辅助集划分为许多任务，其中每个任务包C个类别，每个类别有2K个样本，分成支持集和查询集；在去掉参数高效模块后，利用测试集的支持集重新对一个新的分类头进行微调，其微调过程如下：其中，ω
t
表示通过目标域数据微调得到的分类器参数，t表示数据来自于目标域或通过目标域查询集训练的状态，为输入的第i批目标域图像中的支持集，为目标域图像对应的标签；3)测试阶段测试阶段的查询集图像的预测后验标签表示为：其中，为输入的第i批目标域图像中的查询集。6.根据权利要求2或3所述的基于参数高效模块的跨域小样本图像分类方法，其特征在于，所述对于元学习的小样本图像分类算法模型的训练方式，具体包括：1)训练阶段训练阶段的输入数据以元学习的范式进行，将源域数据集中的整个辅助集划分为许多任务，其中每个任务包C个类别，每个类别有2K个样本；用支持集和查询集对特征提取器、分类头和参数高效模块协同训练并更新其参数，其优化过程如下：类头和参数高效模块协同训练...

【专利技术属性】
技术研发人员：陈霸东，白双豪，周婉琪，栾智荣，党路娟，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：