基于样本生成的小样本图像分类方法、设备及存储介质技术

本发明专利技术是一种基于样本生成的小样本图像分类方法、设备及存储介质，包括利用预先构建好的小样本图像分类模型对图像数据进行分类，所述小样本图像分类模型构建步骤包括对数据集划分出基类数据集和新类数据集；排除基类数据中每个类别中干扰样本的影响，找到每个类中最具有代表性的样本数据训练特征生成器；利用训练好的特征生成器生成更多的样本，更新新类中各类别原型；计算查询集中查询样本各局部特征在各类别判定中的权重，并获得各类别判定中的查询样本的加权特征表示；通过度量类原型和加权后的查询样本来进行分类。本发明专利技术可提高对目标对象区域的关注程度，减少对其他无关区域的关注，从而提升小样本图像分类性能。从而提升小样本图像分类性能。从而提升小样本图像分类性能。

【技术实现步骤摘要】
基于样本生成的小样本图像分类方法、设备及存储介质


[0001]本专利技术涉及小样本图像分类
，具体涉及一种基于样本生成的小样本图像分类方法。

技术介绍

[0002]随着整个社会信息化的发展，数字化数据的产生速度以前所未有的速度在推进。这些数据以文本、图像、声音、视频等形式存在，以结构化或者非结构化的形式存储。大量产生的数据促进了近些年人工智能方向的繁荣发展，特别是深度学习方向。归功于大量的数据、高效的算法和高性能的硬件设备，深度学习取得了巨大的成功。然而，依赖于大数据的深度学习技术依然面临着巨大的挑战。传统的深度学习需要有大量带有标签的样本来进行训练，当有标签的样本量不足时，会造成过拟合问题，模型的性能严重下降。现实情况中，建立大规模标准数据集需要花费大量人力和物力资源，且并不是所有任务下都能获得大量有标签的样本。因而，小样本图像分类方法成为一个热点研究问题。
[0003]小样本图像分类任务中存在的主要问题在于每一类的样本数量过少而从导致无法较好的表达每一类样本的分布情况。因此，利用每一类少量有标签的支持集样本进行数据扩充，或者为无标签的查询集样本预测伪标签进行样本扩充的方法成为了解决该问题的有效方式。例如wang等(Wang Y X, Girshick R, Hebert M, et al. Low
‑
shot learning from imaginary data[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7278
‑
7286.)作者提出了一种小样本图像分类方法，首先通过对支持集样本加入噪声生成新的样本，从而进行样本扩充，然后对包括生成器和分类器的模型进行端到端优化，同步更新生成器和分类器参数，使得生成器生成易于分类的样本;Zhang等(Zhang H, Zhang J, Koniusz P. Few
‑
shot learning via saliency
‑
guided hallucination of samples[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 2770
‑
2779.)作者在关系网络的基础上利用显著性目标检测算法，将图像分割成前景与背景，再将不同图片的前景和背景进行组合，组成更多的合成图像，以此实现数据集的扩充;Mengye等(Mengye Ren, Sachin Ravi, Eleni Triantafillou, Jake Snell, Kevin Swersky, Josh B. Tenenbaum, Hugo Larochelle, and Richard S. Zemel. Meta
‑
learning for semi
‑
supervised few
‑
shot classification[C]//In International Conference on Learning Representations, 2018.)作者对原型网络进行了扩展。作者首先利用初始的类别原型，为每个无标记查询样本数据分配一个属于各个类别的概率，即每个查询样本以不同的概率作为各类别的扩充样本，更新各个类别的类别原型；Hariharan等(Hariharan B,Girshick,R..Low
‑
shot visual recognition by shrinking and hallucinating features[C]/Proceedings of the IEEE International Conference on ComputerVision,Venice,Italy,2017:3018
‑
3027.)利用自动编码器对基类中同类别不同样本之间的差异建立模型，然后将这种差异迁移到小样本类别中，将差异跟小样本类别中的样本融合，生成更多小样本类别中的新样本，实现数
据集的扩充；Li等(Li K,ZhangY,Li K，Fu Y, Adversarial feature hallucination networks for few
‑
shot learning[C]// Proceedings ofthe 33rd IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE Press,2020:2020:13467
‑
13476.)提出了一种基于条件Wasserstein生成对抗网络的小样本学习算法，通过生成器与判别器互相博弈，生成符合小样本类别真实分布的新样本，扩充训练数据集；Jian(Jian Y, Torresani L. Label hallucination for few
‑
shot classification[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2022, 36(6): 7005
‑
7014.)等人则是利用新类别（即小样本类别）上训练的线性分类器对整个基类数据集上的数据标注伪标签。对于每个新类别，都从基类数据中得到了大量伪标记样本数据。然后使用伪标签基类数据集上的蒸馏损失和新类别数据集上的标准交叉熵损失对整个模型进行微调。
[0004]然而，上述方法往往采用了直接加入噪声或者采用生成对抗网络生成样本的方法，实现对支持集进行样本的扩充，但是在小样本分类问题中，由于支持集的样本非常稀少，直接根据支持集样本进行样本生成会导致生成的样本不具有多样性，而且支持集和查询集样本中可能存在对象的不同部分，这将导致视觉特征分布差异显著，为了解决上述问题，本专利技术提供了一种基于样本生成的小样本图像分类方法、设备及存储介质。

技术实现思路

[0005]本专利技术提出的一种基于样本生成的小样本图像分类方法，可至少解决上述技术问题之一。
[0006]为实现上述目的，本专利技术采用了以下技术方案：一种基于样本生成的小样本图像分类方法，包括利用预先构建好的图像分类模型对图像数据进行分类；所述图像分类模型构建步骤如下，S1、对数据集划分出基类数据集和新类数据集，基类数据集包含带标记的样本，用来训练特征生成器；新类数据集用来模拟构建小样本分类任务，每个小样本任务上包括支持集和查询集；S2、排除基类数据集中每个类别中干扰样本的影响，找到最具有代表性的样本数据；S3、利用基类数据集中每个类别最有代表性的样本数据训练特征生成器；S4、计算新类数据集中支持集类原型，预测查询集样本标签，并将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于样本生成的小样本图像分类方法，利用预先构建好的图像分类模型对图像数据进行分类，其特征在于，所述图像分类模型构建步骤如下，S1、对数据集划分出基类数据集和新类数据集，基类数据集包含带标记的样本，用来训练特征生成器；新类数据集用来模拟构建小样本分类任务，每个小样本任务上包括支持集和查询集；S2、排除基类数据集中每个类别中干扰样本的影响，找到最具有代表性的样本数据；S3、利用基类数据集中每个类别最有代表性的样本数据训练特征生成器；S4、计算新类数据集中支持集类原型，预测查询集样本标签，并将其作为查询集样本的伪标签；根据支持集样本和可信度满足要求的伪标签，利用训练好的特征生成器生成设定数量的样本，和可信度满足要求的伪标签样本一起扩充支持集，然后重新计算得到更新后的类原型；S5、计算查询集中的查询样本各局部特征在各类别判定中的权重，并获得各类别判定中的加权的查询样本特征；S6、通过度量类原型和加权后的查询样本特征相似度，对查询样本来进行分类。2.根据权利要求1所述的基于样本生成的小样本图像分类方法，其特征在于：所述步骤S1具体包括：对数据集划分出需要处理的基类数据集和新类数据集，其中基类数据集包含带类别标记的样本，用来训练特征生成器；新类用来模拟小样本分类任务；基类数据集和新类数据集的类别是不相交的，即；在新类数据集上构建小样本图像分类任务，每个小样本图像分类任务中包含个类别，每个类别包含个带类别标记的样本，构成支持集，，其中为第个样本，为该样本对应的类别标签，为支持集样本总数，，同时，每个类别另选不相同的个样本构成查询集，，其中为第个样本，为该样本对应的类别标签，为查询集样本总数，；小样本图像分类任务的目的是从基类和新类中的支持集样本中学习知识构建模型，对查询集样本进行正确的分类，查询集样本类别标签仅用于模型训练中的损失函数的计算。3.根据权利要求2所述的基于样本生成的小样本图像分类方法，其特征在于：所述步骤S2、排除基类数据集中每个类别中干扰样本的影响，找到最具有代表性的样本数据；具体包括，S21、假设基类的特征遵循高斯分布，估计每个类的高斯分布的参数，计算基类的高斯平均值作为均值，计算公式为：
其中是第个基类的第个样本，是第个基类的全部样本数量；S22、则第类样本数据分布的协方差矩阵的计算方式为：S23、根据计算所得的高斯分布的参数，计算第类的第个样本属于类的概率为：其中是特征的维度；S24、设置一个阈值，过滤掉概率值较小的样本，得到第类的一个代表性的样本特征集：。4.根据权利要求3所述的基于样本生成的小样本图像分类方法，其特征在于：所述步骤S3包括基于条件变分自编码器结构的特征生成器的学习训练；条件变分自编码器结构由一个编码器和一个特征生成器构成；编码器将样本特征和作为条件的类别标签作为输入，生成样本的均值和方差，通过对正态分布的随机采样，再结合样本的均值和方差进行重参数化...

【专利技术属性】
技术研发人员：赵鹏，赵旭阳，韩莉，叶子龙，
申请(专利权)人：安徽大学，
类型：发明
国别省市：