基于群表示特征的半监督学习图像分类方法技术

基于群表示特征的半监督学习图像分类方法，在目前的方法中，常见的是通过对大量未标记数据使用一致性约束进行训练，要求模型预测对于输入样本的噪声具有不变性。在本发明专利技术中，我们使用协方差矩阵在流形空间中表示样本空间，来增强一致性训练性能。我们发现这样的方法和伪标签方法结合，可以得到更加有效的半监督学习分类模型。虽然本发明专利技术提出方法的构造很简便，但是它可以在多个半监督学习分类方法基准实验上获得SOTA的结果。准实验上获得SOTA的结果。准实验上获得SOTA的结果。

【技术实现步骤摘要】
基于群表示特征的半监督学习图像分类方法


[0001]本专利技术属于计算机视觉中的半监督分类领域，提供了一种基于群表示特征的半监督学习分类方法。

技术介绍

[0002]深度学习模型已经成为计算机视觉应用的标准模型。它们的成功很大一部分取决于大型标注数据集的存在，比如，ImageNet，COCO等数据集提供了丰富的自然场景图片样本。根据经验来看，在较大的数据集上训练一般会得到性能更好地深度模型，深度学习通常通过有监督学习实现强大的性能，这就需要使用带有标签的数据。然而，对于有些任务来说，收集带标签数据是困难的，在进行人工标注的时候可能因为标志者的主观因素导致标注错误，或者标注数据需要专家知识，例如：医疗数据集，这会带来很大的成本消耗。相比之下，在大部分任务中，获取无标签数据是一件相对轻松的事情。
[0003]半监督学习就是一种不需要大量有标签数据就可以在大规模数据集上进行训练的有效方法，它通过允许模型学习未标记数据来大大减少对有标记数据的需求。许多半监督学习方法通常根据未标记数据对目标函数添加损失项，鼓励模型更好地归纳学习未标记数据的特征分布。目前，众多半监督学习方法中，一致性约束和伪标签是两种最常用的方法,同时也存在将两者相结合的方法。伪标签方法将模型对无标签数据的预测作为无标签数据的标签进行训练，而一致性约束方法将模型对无标签数据的预测分布作为标签进行训练。两种方法实现策略不同，但是从含义上都是对无标签数据生成人工标签进行训练。
[0004]在本项工作中，我们将沿用现有的SOTA方法的趋势，并结合基于群表示特征的一致性约束方案，构建更加有效的半监督学习分类方法。

技术实现思路

[0005]在最近的半监督分类方法中，常见的是通过对大量未标记数据使用一致性约束进行训练，要求模型预测对于输入样本的噪声具有不变性。我们使用协方差矩阵在流形空间中表示样本空间，来增强一致性训练性能。我们发现这样的方法和伪标签方法结合，可以得到更加有效的半监督学习分类模型。
[0006]基于群表示特征的半监督学习图像分类方法，步骤如下：
[0007]步骤一：对图像数据集进行预处理；
[0008]使用部分有标签图像，其余图像不使用标签；对每一张图片进行两种不同的数据增强方式，形成同一张图像的两种观察视角图像：
[0009](1)进行随机水平翻转，裁剪图像成32
×
32的尺寸并最后进行归一化处理，得到的图像称为弱增强图像；
[0010](2)进行随机水平翻转，裁剪图像成32
×
32的尺寸，随机图像增强策略并最后进行归一化处理，得到的图像称为强增强图像；
[0011]有标签图像只使用弱增强图像，无标签数据使用弱增强图像和强增强图像。
[0012]进一步地，有标签图像占所有图像数量百分比为小于5％。
[0013]进一步地，所述的随机图像增强策略包括对比度增强、亮度增强、色度增强、锐度增强、最大图像对比度、均衡图像直方图、将颜色通道上的变量bits置0、随机旋转、随机错切和反转像素点。在进行随机图像增强策略的过程中，随机采用上述的随机图像增强策略进行图像变换，并随机设置操作参数。
[0014]步骤二：构建两个相同的WiderResNet分类网络模型；
[0015]分类网络模型的宽度和深度参数分别为10、28，其中一个分类网络模型作为基础模型P
base
，另一个分类网络模型作为经验模型P
exp
。使用不带Nesterov动量(牛顿动量)的SGD(Stochastic gradient descent，随机梯度下降)优化方法进行参数优化，初始学习率为1e
‑
2，权重衰减参数为1e
‑
3，并使用Cosine学习率衰减策略更新学习率。
[0016]步骤三：计算有标签图像在基础模型上的分类误差；
[0017]将有标签的弱增强图像I
L_w
输入基础模型P
base
得到对于输入图像的类别预测分布q
L_w
＝P
base
(I
L_w
)，根据标签P
b
，使用交叉熵损失H计算得到有标签数据的分类损失函数L
sup
：
[0018][0019]其中，B表示每一个batch的大小。
[0020]步骤四：基础模型使用SGD优化器进行参数优化
[0021]对于经验模型，根据基础模型P
base
的模型参数θ
t
，使用基于Momentum动量的加权平均方法更新经验模型P
exp
的参数θ
′
t
，下标t表示第t个迭代时，α为超参数：
[0022]θ
′
t
＝αθ
′
t
‑1+(1
‑
α)θ
t
ꢀꢀꢀ
(2)
[0023]步骤四中的经验模型构建方法。我们可以将一个数据特征生成算法表示成一个从到上的同构映射f可以线性的或者是非线性的。因此所有的f也可以构成一个拓扑流形。进一步我们可以认为f是连续且可微的，因此所有的f又构成一个微分流形，同时也是一个李群。
[0024]对于上的协方差矩阵群∑，由于f在无标签数据数据的特征上的作用，产生数据样本在新的特征空间上的表示因此在与f同构的映射的作用下，产生协方差矩阵群∑
′
。由于f一般是非线性映射，群∑和群∑
′
一般也不是线性同构，或者说不是同一个群的两个不同的线性表示，因此根据特征标理论，Λ
∑
≠Λ
∑
′
。
[0025]要直接求解映射f是一件很困难的事情，但是我们可以使用神经网络来将f拟合出来。所以现在问题变成：构建一个映射f，使得我们对其输入无标签数据的时候可以得到一个具有辨别性与普遍性的特征图。在半监督学习中，我们会同时对有标签数据和无标签数据进行学习，学习有标签数据是为了学习到更加准确的特征提取方法，作为无标签数据特征提取的基础。所以我们会在基础模型的基础上得到经验模型，我们选择对基础模型参数进行动量加权平均来更新经验模型参数。之所以不直接用基础模型的最终参数，因为我们一般只会使用比较少的有标签数据，基础模型在有标签数据上会很快收敛并且达到过拟合状态，如果直接使用基础模型最终参数会影响经验模型的泛化能力，所以们在训练步骤上平均基础模型权重会得到更准确的经验模型。
[0026]步骤五：利用步骤四更新过后的经验模型，计算无标签数据部分的一致性约束损失L
consisteny
和伪标签损失L
pseudo
；
[0027]将无标签弱增强图像I
uL_w
输入经验模型P
exp
得到经验特征F
uL_w
和对于输入图像的类别预测分布q本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于群表示特征的半监督学习图像分类方法，其特征在于，步骤如下：步骤一：对图像数据集进行预处理；使用部分有标签图像，其余图像不使用标签；对每一张图片进行两种不同的数据增强方式，形成同一张图像的两种观察视角图像：(1)进行随机水平翻转，裁剪图像成32
×
32的尺寸并最后进行归一化处理，得到的图像称为弱增强图像；(2)进行随机水平翻转，裁剪图像成32
×
32的尺寸，随机图像增强策略并最后进行归一化处理，得到的图像称为强增强图像；有标签图像只使用弱增强图像，无标签数据使用弱增强图像和强增强图像；步骤二：构建两个相同的WiderResNet分类网络模型；分类网络模型的宽度和深度参数分别为10、28，其中一个分类网络模型作为基础模型P
base
，另一个分类网络模型作为经验模型P
exp
；使用不带Nesterov动量的SGD优化方法进行参数优化，初始学习率为1e
‑
2，权重衰减参数为1e
‑
3，并使用Cosine学习率衰减策略更新学习率；步骤三：计算有标签图像在基础模型上的分类误差；将有标签的弱增强图像I
L_w
输入基础模型P
base
得到对于输入图像的类别预测分布q
L_w
＝P
base
(I
L_w
)，根据标签P
b
，使用交叉熵损失H计算得到有标签数据的分类损失函数L
sup
：其中，B表示每一个batch的大小；步骤四：基础模型使用SGD优化器进行参数优化对于经验模型，根据基础模型P
base
的模型参数θ
t
，使用基于Momentum动量的加权平均方法更新经验模型P
exp
的参数θ
′
t
，下标t表示第t个迭代时，α为超参数：θ
′
t
＝αθ
′
t
‑1+(1
‑
α)θ
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)步骤五：利用步骤四更新过后的经验模型，计算无标签数据部分的一致性约束损失L
consisteny
和伪标签损失L
pseudo
；将无标签弱增强图像I
uL_w
输入经验模型P
exp
得到经验特征F
uL_w
和对于输入图像的类别预测分布q
uL_w
＝P
exp
(I
uL_w
),同时无标签强增强图像I
uL_s
输入基础模型P
base
得到基础特征F
uL_s
和对于输入图像的类别预测分布q
uL_s
＝P
base
(I
uL_s
)；其中，经验特征F
uL_w
和基础特征F
uL_s
是分类网络模型中最后...

【专利技术属性】
技术研发人员：孙俊，冒钟杰，吴豪，方伟，吴小俊，陈祺东，李超，
申请(专利权)人：匀熵科技无锡有限公司，
类型：发明
国别省市：