一种基于自监督模型的图像分类方法及装置制造方法及图纸

本申请公开了一种基于自监督模型的图像分类方法及装置，用以解决当前针对图像分类的自监督模型存在的特征提取能力较弱、模型性能较差的问题。该方法根据无标签训练集，训练初始自监督模型；结合有标签数据，对所述初始自监督模型进行联合训练，得到图像分类模型；在所述联合训练的过程中，按照模型网络各阶段的图像块大小，分别对输入图像进行掩码处理，并计算各阶段输出预测的损失；采用所述图像分类模型，进行图像分类。本方法设计了一种多阶段的目标，能够预测输入图像全分辨率下的所有像素值，大大提高了图像局部上下文信息的捕捉能力，以进一步提高模型的预测性能。以进一步提高模型的预测性能。以进一步提高模型的预测性能。

【技术实现步骤摘要】
一种基于自监督模型的图像分类方法及装置


[0001]本申请涉及自监督学习
，尤其涉及一种基于自监督模型的图像分类方法及装置。

技术介绍

[0002]在人工智能的发展中，机器学习是极为重要的一部分。机器学习分为有监督学习、无监督学习和强化学习。其中，无监督学习中有一种学习方式是自监督学习，它能够在无监督的情况下，学习到一种通用的特征表达，以用于图像分类、目标检测、语义分割等下游任务。
[0003]在自然语言处理(Natural Language Processing，NPL)中，生成式自监督模型被广泛用作预训练语言模型的目标，其通常以自我监督的方式，从大量未标记的语料库中提取语义信息。在生成式自监督模型的设置中，输入模型的句子中一定百分比的标记被掩蔽，其目标在于仅根据其上下文预测掩蔽的标记对应的原始信息。
[0004]但在视觉领域，图像与文本相比具有更高的维度、噪声和冗余格式，当前针对图像分类的自监督模型仍存在特征提取能力较弱、模型性能较差的问题。

技术实现思路

[0005]本申请实施例提供一种基于自监督模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督模型的图像分类方法，其特征在于，包括：根据无标签训练集，训练初始自监督模型；结合有标签数据，对所述初始自监督模型进行联合训练，得到图像分类模型；在所述联合训练的过程中，按照模型网络各阶段的图像块大小，分别对输入图像进行掩码处理，并计算各阶段输出预测的损失；采用所述图像分类模型，进行图像分类。2.根据权利要求1所述的方法，其特征在于，按照模型网络各阶段的图像块大小，分别对输入图像进行掩码处理，具体包括：确定模型网络各阶段的图像块分辨率；分别采用与相应阶段图像块分辨率相同大小的补丁，对输入图像进行掩码处理。3.根据权利要求1所述的方法，其特征在于，计算各阶段输出预测的损失，具体包括：根据编码器针对各阶段的输出预测，以及相应阶段进行掩码处理的输入图像，计算各阶段对应的损失；根据所述损失，进行梯度回传训练。4.根据权利要求3所述的方法，其特征在于，所述编码器至少采用以下任意一种：swin编码器，PVT编码器。5.根据权利要求1所述的方法，其特征在于，所述联合训练过程中的解码器采用轻量级图像解码器TJpgDec。6.根据权利要求2所述的方法，其特征在于，对输入图像进行掩码处理，具体包括：根据确定出的补丁大小，对输入图像进行设定概率下的随机掩码；对随机掩码后的图像再进行随机移动掩码。7.根据权利要求1所述的方法，其特征在于，训练初始自监督模型之前，所述方法还包括：采集源图像，建立初始训练集；对所述初始训练集进行数据增强，得到所述无标签训练集；所述数据增强至少包括对图像的归一化处理、多尺度裁...

【专利技术属性】
技术研发人员：徐博诚，
申请(专利权)人：重庆特斯联启智科技有限公司，
类型：发明
国别省市：