【技术实现步骤摘要】
一种基于对比损失的多视图半监督图像分类方法
[0001]本专利技术涉及一种多视图半监督图像分类方法，该方法引入对比损失，能够充分利用无标签数据提取数据特征及少量数据标签信息，并借助多视图的一致性提升分类性能，属于计算机人工智能图像分类
技术介绍
[0002]现实生活中，同一个事物可以从多种不同的途径或者不同的角度对其进行描述，例如，可以通过人脸图像、人眼虹膜、指纹信息等来判别不同的人，等等，不同来源的信息构成了事物的多个视图。对于实际应用中常见的图像数据，需要建立庞大的图像数据库并进行人工标注，但人工标注所需的成本高昂且效率低下。大数据时代，收集大规模数据并不困难，但收集到的数据往往缺乏标签信息，而为这些数据提供标记十分困难且耗时耗力。因此，实际应用中，常常面对大量数据不具有类别标签、仅有少量数据具有类别标签的半监督场景，传统的半监督学习方法大多应用在单视图数据上。现有方法例如协同训练是通过给无标签数据提供伪标签来进行训练的。然而这种依赖于伪标签的学习方法很容易带来噪声标记并造成大量重复的训练。
专利技术内...
【技术保护点】
【技术特征摘要】
1.一种基于对比损失的多视图半监督图像分类方法，其特征在于，包括如下步骤：步骤100，建立一个多视图图像库作为训练数据集，多视图图像库包含两个视图的数据集，每个视图的数据集里包括无类别标签的图像数据和有类别标签的图像数据，其中无类别标签的图像数据的数量大于有类别标签的图像数据的数量，用C表示数据集中样本的类别数目；步骤101，从每个视图的数据集中每次抽取一个批次的图像数据作为样本输入到编码器网络中进行特征提取，并投影到低维空间中，得到两个低维嵌入；步骤102，在低维嵌入空间中对每个视图的样本计算两种对比损失；步骤103，基于两个视图得到的输出，计算视图之间的一致性损失；对于步骤101中得到的有类别标签样本的特征表示，经过分类器后与样本的真实标签计算分类损失，再对不同视图产生的分类输出以及特征表示的低维嵌入分别计算相似度和一致性正则损失；将损失函数与步骤102中的对比损失结合起来，通过反向传播完成对编码器网络及分类器的迭代更新；步骤104，对损失函数进行加权求和，通过梯度反向传播更新网络；步骤105，训练结束进行预测时，将待预测类别的多视图图像分别输入到步骤101中的编码器网络中，得到的特征表示输入到步骤103中的分类器中，对预测结果取平均即可获得该多视图图像的预测类别。2.根据权利要求1所述的基于对比损失的多视图半监督图像分类方法，其特征在于，所述步骤101中，对来自第v个视图的训练数据集中的每个图像样本实施两种不同的图像增强，将增强后的图像输入到编码器网络中进行训练，获得该图像样本的不同增强的特征表示，得到的特征经过投影网络映射到一个低维空间中，得到两个低维嵌入，v∈V≡{1,2}。3.根据权利要求1所述的基于对比损失的多视图半监督图像分类方法，其特征在于，所述步骤102中，在低维嵌入空间中对每个视图的图像样本计算两种对比损失；对于每个图像样本，将其增强样本的低维嵌入作为正例，而与其他图像的增强得到的低维嵌入构成负例，运用实例级的自监督对比损失进行优化；此外，对于其中有类别标签的图像样本，与之具有同类标签的图像样本的低维嵌入构成正例，不同类别标签的构成负例，在类别层面上运用监督对比损失进行优化。4.根据权利要求1所述的基于对比损失的多视图半监督图像分类方法，其特征在于，所述步骤101包括：步骤1011，对来自第v(v∈V≡{1,2})个视图的训练数据集中一个批次的图像样本实施两种不同的图像增强t和t
′
得到两个批次大小的增强图像和步骤1012，两个视图的增强图像分别通过编码器网络f1和f2进行前向传播，以获得特征表示和步骤1013，将两个视图的特征表示分别传入投影网络g1和g2中进一步传播，得到这些特征表示的归一化低维嵌入和5.根据权利要求1所述的基于对比损失的多视图半监督图像分类方法，其特征在于，所
述步骤102包括：步骤1021，在每个视图经过投影网络得到的低维嵌入上计算实例级对比损失；在大小为b的一个批次的训练数据中，对于任一个输入图像样本的两个增强图像和它们经过编码器网络和投影网络后得到相应的低维嵌入和将其中一个增强图像的低维嵌入作为锚点，则该图像样本的另一个增强图像的低维嵌入与之构成正例批次里其他...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。