基于对比学习的自监督图像分类方法技术

本发明专利技术涉及一种基于对比学习的自监督图像分类方法，包括以下步骤:步骤S1:获取无标签数据，并进行随机增强生成不同视图；步骤S2:对视图进行特征提取，无监督对比计算损失,得到无监督分类模型C1；步骤S3:对无标签数据中部分进行人工标注，作为训练验证集；步骤S4:将C1作为预训练模型，根据训练验证集进行微调；步骤S5:提取训练验证集的特征，有监督对比计算损失,得到C2；步骤S6:根据C2对无标签数据预测标签，并筛选置信度高于预设值的数据作为训练样本；步骤S7:基于训练样本，将C2作为预训练模型，选取小网络进行训练微调，将验证输出准确率最高的作为最佳分类模型C3。本发明专利技术能够有效利用无标签数据训练泛化的图像分类模型，解决多类图像分类问题。多类图像分类问题。多类图像分类问题。

【技术实现步骤摘要】
基于对比学习的自监督图像分类方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于对比学习的自监督图像分类方法。

技术介绍

[0002]随着信息时代的降临，大量图像数据涌入我们的生活。这些图像来自互联网、智能手机等社交工具，人工处理海量的图片十分耗费时间，图像检测分类显得非常重要。
[0003]传统的图像分类问题主要依赖人工根据以往经验去判断，这样处理容易受人工主观的影响，导致和效率精度不高。近年来，人们对神经网络的不断研究，使得计算机视觉在工业领域应用越来越广泛。基于深度学习的图像分类算法表现出良好的性能，想要训练一个鲁棒性强性能好的模型主要依赖于纯净类别平衡的标注数据集，而现实的数据常常难以人工标注类别或进行人工类别标注的成本太高，每个类别的数据量都各有不同。大部分图片是没有标签的，如何将这些无标签的宝贵数据加入模型训练中，并且提升模型准确率，是目前的关键技术问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于对比学习的自监督图像分类方法，能够有效利用无标签数据训练泛化的图像分类模型，解决多类图像分类问题。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于对比学习的自监督图像分类方法，包括以下步骤:
[0007]步骤S1:获取无标签数据，并进行随机增强生成不同视图；
[0008]步骤S2:对视图进行特征提取，无监督对比计算损失,得到无监督分类模型C1；
[0009]步骤S3:对无标签数据中部分进行人工标注，作为训练验证集；
[0010]步骤S4:将C1作为预训练模型，根据训练验证集进行微调；
[0011]步骤S5:提取训练验证集的特征，有监督对比计算损失,得到最佳微调模型C2；
[0012]步骤S6:根据最佳微调模型C2对无标签数据预测标签，并筛选置信度高于预设值的数据作为训练样本；
[0013]步骤S7:基于训练样本，将最佳微调模型C2作为预训练模型，选取小网络进行训练微调，将验证输出准确率最高的作为最佳分类模型C3。
[0014]进一步的，所述随机增强包括0.5概率的图像翻转，随机高斯模糊和颜色失真。
[0015]进一步的，所述步骤S2具体为：
[0016]步骤S21:将视图输入不含线性全连接层的卷积残差网络Resnet50中，获得特征向量；
[0017]步骤S22:将特征向量作为输入多层感知器MLP映射到对比损失空间；
[0018]步骤S23：使用矩阵相似对比计算损失函数
[0019][0020][0021]其中是一个批次中数据总量，y
i
是图像i的标签；
[0022]步骤S24：直到closs值最小，选择该无监督训练模型C1。
[0023]进一步的，所述MLP采用基础的三层结构，输入层，一层隐藏层和输出层。
[0024]进一步的，所述步骤S4具体为：
[0025]步骤S41:将有标签数据作为样本，使用常规均匀采样器和平衡的倒置采样器，分别得到特征向量fc和特征向量fr；
[0026]步骤S42:将提取的fc、fr两个特征加权进行特征融合。
[0027]进一步的，所述常规均匀采样器以相同的概率采样训练数据集中样本，且每个样本只采样一次，采样数据随机增强得到若干视图，随机选取一个视图送入Resnet50中网络训练，得到特征向量fc。
[0028]进一步的，所述平衡的倒置采样器，每个类的采样概率与样本的倒数成正比，一个类的样本越多，该类的采样概率越小，采样后的数据经过随机增强送入Resnet50中，得到特征向量fr。
[0029]进一步的，所述步骤S5具体为：
[0030]步骤S51:将融合的特征通过分类器学习，得到采样损失
[0031][0032]其中α为加权系数并且与训练次数相关；E(.)为交叉熵损失函数；为两种采样所提取的特征合并后的输出概率分布；y为采样所得的标签；
[0033]步骤S52:采用sigmoid分类交叉熵来预测输出的正确概率，得到交叉熵损失函数sce_loss和训练准确率；
[0034]步骤S53:计算整个模型总损失函数
[0035]Loss＝loss+sce_loss+bloss
[0036]设置训练轮数和一个批次batch size值；并通过前向传播和反向传播两个步骤反复训练直到达到最大迭代次数，优化模型的loss，验证集输出准确率最高为最佳微调模型C2。
[0037]本专利技术与现有技术相比具有以下有益效果：
[0038]1、本专利技术针对无标签的数据，能够通过自监督对比学习使得某个样本与其它样本之间的特征距离远离，从而实现同类特征接近、异类特征远离的效果。
[0039]2、本专利技术通过无监督和自监督微调训练，不需要过多的人工标注和人工提取特征，能够有效利用无标签数据训练泛化的图像分类模型，解决多类图像分类问题。
[0040]3、本专利技术在微调的第一阶段使用不同的采样方式，关注能够有效消除样本不平衡所带来的分类问题。
附图说明
[0041]图1是本专利技术流程示意图；
[0042]图2为本专利技术一实施例中的无监督对比学习训练的结构图；
[0043]图3为本专利技术一实施例中的有监督对比学习和两种采样策略训练的结构图。
具体实施方式
[0044]下面结合附图及实施例对本专利技术做进一步说明。
[0045]请参照图1，本专利技术提供一种基于对比学习的自监督图像分类方法，包括以下步骤:
[0046]步骤S1:将无标签数据作为样本，每个样本通过两种不同的随机数据增强生成视图，数据增强包括0.5概率的图像翻转，随机高斯模糊，颜色失真；
[0047]步骤S2:将同一样本的两个图像即正样本和其它样本的图像即负样本，输入卷积残差网络Resnet50中，获得特征提取结果。神经网络包括卷积层和全局池化层，不加全连接层；特征向量输入多层感知器MLP映射到对比损失空间，采用的MLP使用基础的三层结构，输入层，一层隐藏层和输出层，使用Relu激活函数，隐藏层大小为2048，输出向量大小为128维。使用矩阵相似对比计算损失函数维。使用矩阵相似对比计算损失函数其中是一个批次中数据总量，y
i
是图像i的标签。设置训练轮数200轮，一个批次batch size为64，迭代直到closs值最小，选择该无监督训练模型C1；
[0048]步骤S3:对无标签数据中部分进行人工标注，作为训练验证集；
[0049]步骤S4:将C1作为预训练模型，根据训练验证集进行微调；准备训练验证集，将有标签数据作为样本，使用两种数据采样器。
[0050]一个是常规均匀采样器，以相同的概率采样训练数据集中样本，且每个样本只采样一次，采样数据经过S1中两种随机增强得到两种视图，随机选取一个视图送入Resnet50中网络训练，得到特征向量fc本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的自监督图像分类方法，其特征在于，包括以下步骤:步骤S1:获取无标签数据，并进行随机增强生成不同视图；步骤S2:对视图进行特征提取，无监督对比计算损失,得到无监督分类模型C1；步骤S3:对无标签数据中部分进行人工标注，作为训练验证集；步骤S4:将C1作为预训练模型，根据训练验证集进行微调；步骤S5:提取训练验证集的特征，有监督对比计算损失,得到最佳微调模型C2；步骤S6:根据最佳微调模型C2对无标签数据预测标签，并筛选置信度高于预设值的数据作为训练样本；步骤S7:基于训练样本，将最佳微调模型C2作为预训练模型，选取小网络进行训练微调，将验证输出准确率最高的作为最佳分类模型C3。2.根据权利要求1所述的基于对比学习的自监督图像分类方法，其特征在于，所述随机增强包括0.5概率的图像翻转，随机高斯模糊和颜色失真。3.根据权利要求1所述的基于对比学习的自监督图像分类方法，其特征在于，所述步骤S2具体为：步骤S21:将视图输入不含线性全连接层的卷积残差网络Resnet50中，获得特征向量；步骤S22:将特征向量作为输入多层感知器MLP映射到对比损失空间；步骤S23：使用矩阵相似对比计算损失函数步骤S23：使用矩阵相似对比计算损失函数其中是一个批次中数据总量，y
i
是图像i的标签；步骤S24：直到closs值最小，选择该无监督训练模型C1。4.根据权利要求3所述的基于对比学习的自监督图像分类方法，其特征在于，所述MLP采用基础的三层结构，输入层，一层隐藏层和输出层。5.根据权利要求1所述的基于对比...

【专利技术属性】
技术研发人员：林志贤，彭祎祺，周雄图，张永爱，林珊玲，
申请(专利权)人：闽都创新实验室，
类型：发明
国别省市：