图像分类模型训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41257680 阅读:33 留言:0更新日期:2024-05-11 09:17
本申请公开了一种图像分类模型训练方法、装置、电子设备及存储介质,属于人工智能技术领域。方法包括:采用第一样本图像集对预设的视觉模型进行生成式自监督训练,以对视觉模型的底层参数进行更新;底层参数表示用于提取图像视觉特征的参数;加载更新后的底层参数作为初始化,采用第二样本图像集对视觉模型进行判别式自监督训练,以对视觉模型的高阶参数进行更新;高阶参数表示用于提取图像空间特征的参数;加载更新后的底层参数和更新后的高阶参数作为初始化,采用标注有图像类别的第三样本图像集对视觉模型进行有监督训练。本申请实施例充分融合了生成式和判别式的自监督学习方法优势,从而在全量微调和小样本分类任务上取得性能的领先。

【技术实现步骤摘要】

本申请属于人工智能,尤其涉及一种图像分类模型训练方法、装置、电子设备及存储介质


技术介绍

1、随着人工智能技术的飞速发展,深度学习在工业领域得到了广泛应用。通过加载在大规模无标注数据集上预训练得到的模型参数作为初始化,然后在下游任务数据上对模型初始化参数进行微调,这种预训练-微调范式成为了深度学习应用中的主流方法。

2、现有技术方案常采用自然场景数据集imagenet上预训练得到的权重对模型进行初始化,然后在工业具体任务场景下进行迁移学习,采用少量带标注的数据对模型进行微调,从而获得最终应用于各个工业场景的专有模型。

3、然而,imagenet数据集多为自然场景图像,这与工业场景数据之间存在巨大的域间差异。因此,使用imagenet数据进行预训练的模型并没有学习到工业场景图像的有效视觉表征,使得在模型微调的时候需要更多的数据以及迭代轮次使得模型权重从自然场景向工业场景转移,这导致模型性能下降。


技术实现思路

1、本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种图像本文档来自技高网...

【技术保护点】

1.一种图像分类模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述采用第一样本图像集对预设的视觉模型进行生成式自监督训练,以对所述视觉模型的底层参数进行更新,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述第一样本图像集中样本图像的随机区域进行掩码,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述重建图像与所述样本图像的差异在所述视觉模型中进行反向传播,以对所述视觉模型的底层参数进行更新,包括:

5.根据权利要求1所述的方法,其特征在于,所述加载更新后的底层参数作为初始化,采用第二样本...

【技术特征摘要】

1.一种图像分类模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述采用第一样本图像集对预设的视觉模型进行生成式自监督训练,以对所述视觉模型的底层参数进行更新,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述第一样本图像集中样本图像的随机区域进行掩码,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述重建图像与所述样本图像的差异在所述视觉模型中进行反向传播,以对所述视觉模型的底层参数进行更新,包括:

5.根据权利要求1所述的方法,其特征在于,所述加载更新后的底层参数作为初始化,采用第二样本图像集对所述视觉模型进行判别式自监督训练,包括:

6.根据权利要求...

【专利技术属性】
技术研发人员:高鹏程杨腾唐永亮
申请(专利权)人:深圳市凌云视迅科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1