System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于元学习采样分布调整的图像小样本分类方法及系统技术方案_技高网

基于元学习采样分布调整的图像小样本分类方法及系统技术方案

技术编号:41418004 阅读:5 留言:0更新日期:2024-05-21 20:51
本发明专利技术提供一种基于元学习采样分布调整的图像小样本分类方法及系统,包括:获取图像小样本分类用的图像数据集;将图像分类任务空间上的分类任务映射到特征空间上,得到不同分类任务的向量表示;对于某一分类任务,根据分类任务的向量表示和当前采样分布权重网络的模型参数,得到该分类任务相较于所述图像分类任务空间上的其他任务的权重;采用基于梯度的元学习方法,基于元目标与梯度方差,对元模型以及采样分布权重网络的参数进行更新,更新得到的元模型作为预训练模型;采用预训练模型进行分类。本发明专利技术能够通过动态调整任务采样分布与减小更新方差的方法改善模型泛化能力,降低实际应用时图像小样本分类的准确度的问题。

【技术实现步骤摘要】

本专利技术涉及一种图像处理的图像分类技术,具体是一种基于元学习采样分布调整的图像小样本分类方法及系统


技术介绍

1、随着近些年人工智能技术的发展与应用,越来越多的人工智能的相关技术开始逐步运用于人类生活的方方面面。图像分类任务因其在现实世界广泛的应用,一直是人工智能领域关注的重点。但是,人工智能在图像分类任务上取得出色成果的同时,一些由于机器学习与人类学习之间的差异而导致的问题也逐渐映入人们的眼帘,成为阻碍基于人工智能的图像分类任务进一步发展并广泛应用于工业界的关键。比如,在利用卷积神经网络等相关模型让机器学习图像分类任务时,为了能够达到较高的分类准确率,机器往往需要大量的数据与海量的计算时间。然而,在现实生活中,带有标签的数据往往是十分稀少的,且标注成本十分巨大,这就导致对于每一项图像分类任务不可能都能找到符合模型需要的数据规模。图像小样本分类任务(few-shot image classification)的提出正式为了解决上述问题。其特点为,每一种图像种类中仅包含少量的样本。这对模型的学习能力提出了更高的要求,即仅采用少量的样本达到更高的准确率。近年来,元学习(meta learning)因其在图像小样本分类任务上良好的表现,开始受到越来越多的关注。元学习的核心思想为“学习学习的过程(learning to learn)”。即利用不同任务之间结构上的相似性,通过让模型在不同任务上进行预训练,获取到先验知识,从而能够在新任务上,通过少量样本也可达到很好的效果。

2、基于对现有文献检索发现,chelsea finn等人在2017年的internationalconference on machine learning(icml)会议上发表的model-agnostic meta-learningfor fast adaptation of deep networks一文中提出了一种基于梯度的元学习方法,简称为maml,在图像小样本分类任务中取得了较好的效果,从而受到了领域内研究者的广泛关注。传统maml方法在元模型训练时对图像分类任务在任务空间上均匀采样。但是,由于图像分类任务在任务空间上的分布方差大,将均匀采样得到的任务用于计算梯度,其梯度更新方向方差往往也会较大,导致元模型参数最终收敛到次优解。影响元模型在任务空间上对不同任务的泛化能力,并最终导致应用阶段,模型的图像分类准确度降低。


技术实现思路

1、本专利技术针对现有图像小样本分类领域中,基于元学习方法训练的模型泛化能力不佳,分类效果较差的问题,提供一种基于元学习采样分布调整的图像小样本分类方法及系统,提高图像小样本分类的效果。

2、本专利技术的第一方面,提供一种图像小样本分类方法,包括:

3、获取图像小样本分类用的图像数据集;

4、在所述图像数据集中的多种图像种类中随机抽取n个图像种类构成一个n分类小样本分类任务,对上述操作重复次多次,采集到的任务构成图像分类任务空间,将所述图像分类任务空间上的分类任务映射到特征空间上,得到不同分类任务的向量表示;

5、对于某一分类任务,根据分类任务的向量表示和当前采样分布权重网络的模型参数,得到该分类任务相较于所述图像分类任务空间上的其他任务的权重;

6、根据所述分类任务与所述权重,采用基于梯度的元学习方法,基于元目标与梯度方差,对元模型以及采样分布权重网络的参数进行更新,更新得到的元模型作为预训练模型;

7、将待分类的图像数据集中训练集训练所述预训练模型,再将测试集输入训练后的所述预训练模型,得到图像小样本分类任务的分类结果。

8、可选地,所述n分类小样本分类任务,其中:每一个单独任务均包含一个完整的可供深度学习方法进行训练的图像小样本分类的训练集与验证集,且在结构上存在相似度。

9、可选地,所述采用基于梯度的元学习方法,基于元目标与梯度方差,对元模型以及采样分布权重网络的参数进行更新,具体包括:

10、初始化:对元模型的网络参数进行初始化,从图像分类任务空间构成的任务分布空间上采样一定数量的任务用于本轮次的更新,包括训练集和验证集;

11、内循环更新:基于本轮次元模型的参数,利用本轮次从任务分布空间上采集的用于训练的任务的训练集,通过梯度更新的方式得到本轮次从任务分布空间采样的图像小样本分类任务的元模型参数,并保存;

12、外循环更新:基于内循环更新中得到的不同图像小样本分类任务的元模型参数、初始化中得到的验证集以及不同图像小样本分类任务的权重,对本轮次的元模型参数通过梯度下降的方式进行更新,直至收敛;其中优化目标为权重乘以内循环中得到的对应图像小样本分类任务的元模型参数在其验证集上的损失函数。

13、可选地,所述预训练模型,在实际的图像小样本分类任务中,通过梯度更新的方式对预训练模型参数进行进一步更新。

14、可选地,所述采样分布权重网络,其中:将任务在特征空间上的表示输入所述采样分布权重网络后,所述采样分布权重网络输出属于该任务特有的权重,该权重能够反映该分类任务相比于其他任务对于当前元模型训练的“重要性”;在采用基于梯度的元学习方法中,根据所述权重,能够基于重要性采样定理改变任务在任务空间上的采样分布。

15、本专利技术的第二方面,提供一种图像小样本分类系统,包括:

16、图像数据获取模块:获取图像小样本分类用的图像数据集;

17、任务表征模块:在图像数据集中的多种图像种类中随机抽取n个图像种类构成一个n分类小样本分类任务,对上述操作重复次多次,采集到的任务构成图像分类任务空间,将图像分类任务空间上的分类任务映射到特征空间上,得到不同分类任务的向量表示;

18、采样分布调整模块:对于某一分类任务,根据所述任务表征模块得到的分类任务的向量表示和当前采样分布权重网络的模型参数,得到该分类任务相较于所述图像分类任务空间上的其他任务的权重;

19、元学习模块:元学习模块:根据本轮次从图像小样本分类任务空间中采集的分类任务与所述采样分布调整模块得到的任务权重,采用基于梯度的元学习方法,基于元目标与梯度方差,对元模型以及采样分布权重网络的参数进行更新,更新得到的元模型作为预训练模型;

20、分类模块:将待分类的图像数据集中训练集训练所述预训练模型,再将测试集输入训练后的所述预训练模型,得到图像小样本分类任务的分类结果。

21、可选地,所述采样分布调整模块,是基于最小化元目标与梯度更新的方差,通过梯度更新的方式调整所述采样分布权重网络来实现采样分布调整的。

22、本专利技术的第三方面,提供一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时可用于执行所述的基于元学习采样分布调整的图像小样本分类方法,或,运行所述的基于元学习采样分布调整的图像小样本分类系统。

23、本专利技术的第四方面,提供一种计算机可读存储介质,其上存储本文档来自技高网...

【技术保护点】

1.一种基于元学习采样分布调整的图像小样本分类方法,其特征在于,包括:

2.根据权利要求1所述的图像小样本分类方法,其特征在于,所述N分类小样本分类任务,其中:

3.根据权利要求1所述的图像小样本分类方法,其特征在于,所述采用基于梯度的元学习方法,基于元目标与梯度方差,对元模型以及采样分布权重网络的参数进行更新,具体包括:

4.根据权利要求3所述的图像小样本分类方法,其特征在于,基于最小化元目标与梯度更新的方差,通过梯度更新的方式调整采样分布权重网络,其中优化目标具体如下:

5.根据权利要求1所述的图像小样本分类方法,其特征在于,所述预训练模型,在实际的图像小样本分类任务中,通过梯度更新的方式对预训练模型参数进行进一步更新。

6.根据权利要求1所述的图像小样本分类方法,其特征在于,所述采样分布权重网络,其中:

7.一种基于元学习采样分布调整的图像小样本分类系统,其特征在于,包括:

8.根据权利要求6所述的图像小样本分类系统,其特征在于,所述采样分布调整模块,是基于最小化元目标与梯度更新的方差,通过梯度更新的方式调整所述采样分布权重网络来实现采样分布调整的。

9.一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时用于执行权利要求1-6中任一项所述的基于元学习采样分布调整的图像小样本分类方法,或,运行权利要求7或8中任一项所述的基于元学习采样分布调整的图像小样本分类系统。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行可用于执行权利要求1-6中任一项所述的基于元学习采样分布调整的图像小样本分类方法,或,运行权利要求7或8中任一项所述的基于元学习采样分布调整的图像小样本分类系统。

...

【技术特征摘要】

1.一种基于元学习采样分布调整的图像小样本分类方法,其特征在于,包括:

2.根据权利要求1所述的图像小样本分类方法,其特征在于,所述n分类小样本分类任务,其中:

3.根据权利要求1所述的图像小样本分类方法,其特征在于,所述采用基于梯度的元学习方法,基于元目标与梯度方差,对元模型以及采样分布权重网络的参数进行更新,具体包括:

4.根据权利要求3所述的图像小样本分类方法,其特征在于,基于最小化元目标与梯度更新的方差,通过梯度更新的方式调整采样分布权重网络,其中优化目标具体如下:

5.根据权利要求1所述的图像小样本分类方法,其特征在于,所述预训练模型,在实际的图像小样本分类任务中,通过梯度更新的方式对预训练模型参数进行进一步更新。

6.根据权利要求1所述的图像小样本分类方法,其特征在于,所述采样分布权重网络,其中:

7.一种基...

【专利技术属性】
技术研发人员:李成林刘卓群蒋远堃戴文睿邹君妮熊红凯潘新龙王海鹏刘瑜
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1