基于鲁棒性少参数微调的小样本类增量学习方法技术

技术编号:44984276 阅读:14 留言:0更新日期:2025-04-15 17:03
在图像识别领域,深度学习模型的小样本类增量式学习是一个具有挑战性的技术难题,其在预训练模型基础上进行参数迭代更新,从而使得模型能够仅利用有限数量的有标注样本不断学习新类别的知识,同时保留原有类别知识。极其有限的样本下进行参数更新会导致模型出现偏差,同时大量参数更新会使得模型遗忘已有知识,为了应对上述问题,在最近邻类别均值分类法的基础上,本发明专利技术提出了一种基于鲁棒性少参数微调的小样本类增量学习方法,本发明专利技术所提出方法能够实现关键参数的高效微调,通过控制参数调整的数量和幅度产生灵活决策区域,从而避免上述问题。

【技术实现步骤摘要】

本专利技术属于图像识别,图像处理(g06v,g06f),具体涉及一种基于鲁棒性少参数微调的小样本类增量学习方法


技术介绍

1、在过去的十几年间,随着硬件设备的发展、网络结构设计的不断优化[1]以及更多数据集的提出,传统的深度学习算法在许多任务中都展现出了令人印象深刻的效果[2,3],例如图片分类[4]、目标检测[5]、语义分割[6]等,这些原本依赖于大量人工先验的任务如今可以借助深度学习一体化的训练方式高效地完成,从而在人们的日常生活的各个场景中发挥重要的作用;近些年,随着传统深度学习算法的日渐成熟,许多研究者尝试更为复杂的生成式、多模态或3d场景任务,例如跨模态生成(文生图[7]、文生视频[8]、3d生成[9]等),并同样取得了一定进展。无论是传统的具有成熟解决方案的任务抑或是新提出的尚在研究中的任务,它们的不断进步不仅归功于优秀的网络设计,更重要的是依赖于大量有标注的训练数据的支持。然而,在很多场景中,深度学习算法所依赖的场景具有知识不断扩增的需求,例如在开放集人脸识别任务[10]中,模型通常被要求能够识别不断增加的被测试者,因此此类深度学习算法通常本文档来自技高网...

【技术保护点】

1.一种基于鲁棒性少参数微调的小样本类增量学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,步骤S11中,利用一维批正则化的方法,将骨干网络输出的任意分布的特征映射为具有统计学意义的高斯分布,φ为骨干网络参数,I为输入到骨干网络中的样本,y为抽取得到的特征,μj和分别为一维批正则化第j维度的样本均值和方差,yij和分别为第i个样本第j维度映射前后的样本特征;

3.根据权利要求1所述的方法,其特征在于,步骤S12中,利用可学习参数γ和β将得到的特征进行自适应放缩,使得每个特征维度映射为近似独立且不同分布的高斯分布,xij为映射后的特征,...

【技术特征摘要】

1.一种基于鲁棒性少参数微调的小样本类增量学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,步骤s11中,利用一维批正则化的方法,将骨干网络输出的任意分布的特征映射为具有统计学意义的高斯分布,φ为骨干网络参数,i为输入到骨干网络中的样本,y为抽取得到的特征,μj和分别为一维批正则化第j维度的样本均值和方差,yij和分别为第i个样本第j维度映射前后的样本特征;

3.根据权利要求1所述的方法,其特征在于,步骤s12中,利用可学习参数γ和β将得到的特征进行自适应放缩,使得每个特征维度映射为近似独立且不同分布的高斯分布,xij为映射后的特征,

4.根据权利要求1所述的方法,其特征在于,步骤s21中,计算并记录得到的基类特征中每一特征通道的样本均值和样本方差,其中xi,j,k表示第i类别第j通道第k样本的特征值,为样本均值,为对应的样本方差,m为样本数量,μi,j和分别为第i类别第j通道的特征总体的均值和方差

5.根据权利要求1所述的方法,其特征在于,步骤s22中,计算增量类别特征与s21中基类特征样本均值的相似度δi,然后将δi由高到低排序,选取前k′个作为高相似度类别,...

【专利技术属性】
技术研发人员:童超金陆洋梁宇辰
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1