System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于频域分析的小样本图像分类方法技术_技高网

一种基于频域分析的小样本图像分类方法技术

技术编号:40062841 阅读:5 留言:0更新日期:2024-01-16 22:57
本发明专利技术公开了一种基于频域分析的小样本图像分类方法,包括S1、构建基类数据集和新类数据集;S2、在基类数据集上提取若干个N‑way‑K‑shot元任务,将每个元任务分为有标签支持集和有标签问询集,将有标签支持集和有标签问询集作为网络输入,输出为交叉熵分类损失,并反向传播损失调整网络参数;S3、在新类数据集上提取若干个N‑way‑K‑shot元任务,将每个元任务分为有标签支持集和无标签问询集,将无标签问询集作为网络输入,输出网络对无标签问询集的分类结果。本发明专利技术可以同时在训练和测试阶段采用空间域数据处理和频域数据处理。既保留了图像的空间位置信息,又保留了图像的分辨率信息。

【技术实现步骤摘要】

本专利技术涉及图像分类方法,尤其涉及一种基于频域分析的小样本图像分类方法


技术介绍

1、深度学习的成功离不开庞大的数据支持,但在实际场景中因诸多因素的限制,往往难以获取足够大规模的高质量标注样本。许多领域不具有获得大规模数据集的条件,也有一些领域涉及到隐私、道德等问题难以获得高质量数据。此外,对大规模数据进行人工标注,人工成本巨大也会成为深度学习图像分类方法的困难之一。与需要大数据和算力资源支撑的深度学习模型不同的是,人类在面对新任务时可通过少量数据样本进行快速学习。为了使深度学习模型也能具备类似人类的能力,小样本学习成为一个重要且被广泛研究的问题。小样本学习通过在一个较大数据集上学习大量基类后,仅需少量样本就能快速学习新类,使模型适应于未知任务。小样本学习通常会面临严重的过拟合问题,提出一个能够从少量样本中提取丰富信息且具有泛化能力的模型仍是小样本图像分类研究领域的一大热点。

2、近年来,针对小样本图像分类领域的研究大致分为三类:分别是基于度量的方法、基于数据增强的方法、基于元学习的方法。尽管它们的方法各不相同,但是它们都是在空间域上对图像进行特征提取。以往方法认为大多数卷积神经网络只接受低分辨率的rgb图像,而大部分数据集(如imagenet)的图像分辨率通常远大于卷积神经网络模型(如resnet)的输入,在空间域上图像的缩放带来了信息损失,而从频域上进行特征提取通过灵活地控制输入图片大小,解决了这个问题。频域网络的好处不止于此,它从另一个角度审视图片,并且可以通过与空间域网络结合,更加有效互补地提取特征。最近,也有很多工作将注意力机制用于增强骨干网络的特征提取能力。注意力机制能使网络更加关注重要信息而减少与目标任务无关的信息的影响。以senet为代表的通道注意力学习不同通道的重要性权重,通常为了节省开销,通道注意力方法的核心步骤是将每个通道通过全局平均池化压缩为一个标量进行计算,但是以均值代表一个通道过于简单,难以捕捉输入的复杂性。一些方法如canet通过在通道注意力中嵌入位置信息来同时捕获空间上的长程依赖。但是其在通道方向上的压缩仍采用一维平均池化,没有解决信息丢失问题。因此,如何提供一种基于频域分析的小样本图像分类方法是本领域技术人员亟需解决的问题。


技术实现思路

1、本专利技术的一个目的在于提出一种基于频域分析的小样本图像分类方法,本专利技术可以同时在训练和测试阶段采用空间域数据处理和频域数据处理。既保留了图像的空间位置信息,又保留了图像的分辨率信息。

2、根据本专利技术实施例的一种基于频域分析的小样本图像分类方法,包括如下方法步骤:

3、s1、构建基类数据集和新类数据集;

4、s2、在基类数据集上提取若干个n-way-k-shot元任务,将每个元任务分为有标签支持集和有标签问询集,将有标签支持集和有标签问询集作为网络输入,输出为交叉熵分类损失,并反向传播损失调整网络参数;

5、s3、在新类数据集上提取若干个n-way-k-shot元任务,将每个元任务分为有标签支持集和无标签问询集,将无标签问询集作为网络输入,输出网络对无标签问询集的分类结果。

6、可选的,所述基类数据集提取的若干个n-way-k-shot元任务用于网络训练,所述新类数据集提取的若干个n-way-k-shot元任务用于网络测试。

7、可选的,所述s2和s3包括空域和频域两个分支,所述s2和s3包括数据处理、特征提取和原型分类三个阶段。

8、可选的,所述n-way-k-shot元任务包括:

9、给定一个有标签数据集:

10、d=(xi,yi);

11、其中,xi是样本的特征向量,yi是样本的类别标签;

12、数据集类别的集合c分为基类数据集cb和新类数据集cn:

13、

14、cb∪cn=c。

15、可选的,一个所述n-way-k-shot元任务由两个部分组成:

16、一个含有标签样本的支持集:

17、

18、另一个含无标记样本的问询集:

19、

20、其中,n表示s和q中的类别数,k表示s中每个类别的样本数,m表示q中每个类别的样本数。

21、可选的,所述数据处理包括空间域数据处理和频域数据处理;

22、所述空间域数据处理包括对图像进行随机裁剪、抖动和翻转;

23、所述频域数据处理包括将图像通过离散余弦变换转换为频域表示:

24、随机裁剪、抖动和翻转;

25、将图像变换到ycbcr颜色空间;

26、将每个通道按块划分为f×f的大小,进行离散余弦变换得到变换后的图像特征图,并将相同频率下的离散余弦变换系数组合成一个通道,其中f是离散余弦变换滤波器的大小;

27、选择影响大的低频通道作为后续特征提取器的输入,按采样比例选取来自y的低频通道和来自cr和cb的低频通道,得出选择的频率通道数cfre;

28、对属于cr和cb的频率通道上采样到和y的频率通道相同的大小,并将选择的各个通道特征图拼接起来,最终经过频域预处理后的输入大小:

29、

30、其中simg表示图像边长。

31、可选的,所述特征提取包括:

32、将支持集图像和问询集图像一同输入数据处理器,数据处理器分为空域和频域,分别用于将图像转换为空域形式x1和频域形式x2;

33、将空域形式x1和频域形式x2分别输入到空域提取网络和频域提取网络中,得到空域特征图f1和频域特征图f2;

34、将空域特征图f1和频域特征图f2进行加权融合得到融合特征f:

35、f=αf1+(1-α)f2;

36、其中,f表示融合特征图,f1表示空域特征图,f2表示频域特征图,α表示自适应加权系数;

37、将融合特征图f输入到原型分类器中进行分类;

38、根据分类结果计算交叉熵分类损失或直接输出分类结果。

39、可选的,所述空域特征提取器以resnet为骨干网络并加入频域通道空间注意力,所述频域特征提取器以对输入层稍作修改的resnet为骨干网络。

40、可选的,所述频域通道空间注意力为一种坐标注意力,所述坐标注意力为一种嵌入位置信息的通道注意力,所述坐标注意力包括:

41、给定输入x,分别沿高度和宽度方向进行离散余弦变换池化,产生高度感知特征图和宽度感知特征图;

42、将高度感知特征图和宽度感知特征图拼接起来送入卷积和激活层;

43、沿着空间维度将拼接后的特征图再拆分成两个张量,分别通过一个卷积层和激活层,得到输出gh和gw,坐标注意力的输出;

44、

45、其中,x表示输入,y表示输出,c,w,h分别表示通道,宽度,高度,i,j分别表示w和h方向的坐标;

46、将频域通道空本文档来自技高网...

【技术保护点】

1.一种基于频域分析的小样本图像分类方法,其特征在于,包括如下方法步骤:

2.根据权利要求1所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述基类数据集提取的若干个N-way-K-shot元任务用于网络训练,所述新类数据集提取的若干个N-way-K-shot元任务用于网络测试。

3.根据权利要求1所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述S2和S3包括空域和频域两个分支,所述S2和S3包括数据处理、特征提取和原型分类三个阶段。

4.根据权利要求1所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述N-way-K-shot元任务包括:

5.根据权利要求4所述的一种基于频域分析的小样本图像分类方法,其特征在于,一个所述N-way-K-shot元任务由两个部分组成:

6.根据权利要求3所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述数据处理包括空间域数据处理和频域数据处理;

7.根据权利要求6所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述特征提取包括:</p>

8.根据权利要求7所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述空域特征提取器以ResNet为骨干网络并加入频域通道空间注意力,所述频域特征提取器以对输入层稍作修改的ResNet为骨干网络。

9.根据权利要求8所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述频域通道空间注意力为一种坐标注意力,所述坐标注意力为一种嵌入位置信息的通道注意力,所述坐标注意力包括:

10.根据权利要求7所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述原型分类加入问询集信息在原型网络的基础上计算改进原型,使用改进原型对问询集样本做分类:

...

【技术特征摘要】

1.一种基于频域分析的小样本图像分类方法,其特征在于,包括如下方法步骤:

2.根据权利要求1所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述基类数据集提取的若干个n-way-k-shot元任务用于网络训练,所述新类数据集提取的若干个n-way-k-shot元任务用于网络测试。

3.根据权利要求1所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述s2和s3包括空域和频域两个分支,所述s2和s3包括数据处理、特征提取和原型分类三个阶段。

4.根据权利要求1所述的一种基于频域分析的小样本图像分类方法,其特征在于,所述n-way-k-shot元任务包括:

5.根据权利要求4所述的一种基于频域分析的小样本图像分类方法,其特征在于,一个所述n-way-k-shot元任务由两个部分组成:

6.根据权利要求3所述的一...

【专利技术属性】
技术研发人员:黄章进严雪文关胜晓
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1