一种利用自适应双阈值来进行半监督学习的方法技术

本发明专利技术涉及半监督学习技术领域，且公开了一种利用自适应双阈值来进行半监督学习的方法，包括以下步骤，S1、对于有标签数据，对其进行弱增广之后输入模型，将预测结果与其所属标签求交叉熵损失，S2、在利用无标签数据对模型进行训练时，为每一类提取一个自适应阈值，结合固定阈值和类自适应阈值组成了自适应双阈值，除利用固定阈值来确认高置信度的无标签数据外，还有预测值小于固定阈值但大于提取的类自适应阈值的无标签数据，对于这两种类型的无标签数据设计了不同的学习策略，S3、提出了一种新的相似损失来进一步挖掘相似无标签数据间的信息，充分利用了无标签数据中的有效信息。息。息。

【技术实现步骤摘要】
一种利用自适应双阈值来进行半监督学习的方法


[0001]本专利技术涉及半监督学习
，尤其涉及一种利用自适应双阈值来进行半监督学习的方法。

技术介绍

[0002]深度学习策略在图像分类、图像分割等领域取得了巨大的成功。然而，这依赖于利用大量有标签数据进行模型监督学习，但这也意味着需要大量人力。特别是当一些领域需要专家鉴定时，它将消耗大量的财政资源。半监督学习的任务是使用有限的有标签数据和大量的无标签数据训练模型，以获得更好的性能。
[0003]存在于半监督学习中的关键问题是如何从无标签数据中充分的提取有效信息。当前流行的半监督学习方法通过一个固定的置信度阈值使模型只关注那些具有高置信度的无标签数据，这意味着无法达到阈值的无标签数据将被忽略。并且由于该模型在不同训练阶段对不同的类别有不同的学习状态，因此对所有类别使用相同的高置信度阈值是不公平的。
[0004]现有技术方案1：孙栓柱，基于相似度的半监督学习工业数据分类算法，2021。
[0005]本技术针对现实场景中大量无标签数据无法有效被利用的特点，提出了一种基于数据相似度匹配的半监督学习算法。该方法结合一定的先验知识，通过无监督学习的方式，计算无标签数据与少量有标签数据之间相似度，从而对少数类样本进行扩充。利用构造后的数据集进行模型训练，从而提高模型对于少数类的识别效果；
[0006]现有技术方案2：甘玉婉，基于半监督学习的图像分类算法研究，2021。
[0007]由于在基于伪标签的半监督学习算法中，训练初期模型性能受限，容易出现伪标签错误的问题。如果不能得到及时地纠正,会对模型造成不良影响。为了改善上述方法的不足,纠正预测错误的伪标签，本技术提出一种基于伪标签样本加权和相互学习的半监督分类算法。该算法以集成深度网络模型为基础。首先，将有标签加噪数据进行多样性训练,将无标签数据输入训练好的模型,将输出值作为标签；再用基于伪标签数据的筛选和加权策略，挑选出高置信伪标签数据，与真实有标签数据一同构成新的集合，以加权训练的方式更新模型；最后再利用相互学习策略增强分类器间的预测一致性，通过多样性微调和相互学习交替进行的方式,找到多样性和一致性的最佳平衡,提高对伪标签预测的准确性；
[0008]现有技术方案3：邵伟志，基于一致性正则化与熵最小化的半监督学习算法，2021。
[0009]本技术基于熵最小化与一致性正则化的思想，设计了通过多阶段模型共同作用，集成多角度信息从而生成低熵伪标签的方法，并利用一致性正则化优化了模型的分类性能。该技术使用了在同一模型的多个变种的共同作用下生成伪标签的方法，使伪标签的生成能获得多个角度的互补信息，对于无标签数据的判断更加可靠。这种新的伪标签获取方法保证了网络能够从不同的角度和时间段受益，并逐渐提升伪标签的准确度。
[0010]现有技术的缺点：
[0011]对于现有技术方案1，该方案存在的缺点是：1)该方案仅仅考虑了不同相似数据之
间的的信息，这并不能使无标签数据得到充分的利用。2)数据增广技术在无监督学习中是十分关键的组成部分，而该方案在对无标签数据进行学习时并没有应用到数据增广技术；
[0012]对于现有技术方案2，该方案存在的缺点是：1)该方案在为无标签数据确定伪标签时没有考虑到模型对不同类别的学习状态，这会使模型对那些较难识别的类有较差的预测效果。2)该方案只对通过筛选的无标签数据进行了学习，这会使模型忽视没能通过筛选的无标签数据中的有效信息。不能对无标签数据进行充分有效的学习；
[0013]对于现有技术方案3，该方案存在的缺点是：1)该方案对所有无标签数据采取了相同的学习策略，这会使模型在对无标签数据的学习过程中引入噪声样本。2)该方案在只关注了单个无标签数据，没有考虑到不同无标签数据间的信息。

技术实现思路

[0014](一)解决的技术问题
[0015]针对现有技术的不足，本专利技术提供了一种利用自适应双阈值来进行半监督学习的方法，除了通过固定阈值来确认高置信度的无标签数据外，自适应双阈值还利用了预测值小于固定阈值但大于提取的类自适应阈值的无标签数据，并且设计了两种学习策略分别用于对这两种类型的无标签数据的学习。对于高度相似的未标记数据，提出了一种新的相似损失来进一步挖掘相似无标签数据之间的信息。
[0016](二)技术方案
[0017]本专利技术提供如下技术方案：一种利用自适应双阈值来进行半监督学习的方法，包括以下步骤：
[0018]S1、对于有标签数据，对其进行弱增广之后输入模型，将预测结果与其所属标签求交叉熵损失；
[0019]S2、在利用无标签数据对模型进行训练时，为每一类提取一个自适应阈值；
[0020]S3、结合固定阈值和类自适应阈值组成了自适应双阈值，利用自适应双阈值来对无标签数据进行筛选，并对不同的无标签数据采取了不同的学习策略；
[0021]S4、在现有技术的基础上提出了一种新的相似损失，来进一步挖掘相似无标签数据间的信息。
[0022]首先，为在输入模型的有标签数据中提取类自适应阈值，执行以下操作：
[0023][0024][0025]其中c＝argmax(y)表示x所属的真实类别，w(x)代表对x执行弱增广操作，是类别c的类自适应阈值并且初始值设为0.95。
[0026]进一步的，为了在无标签数据中提取更多的有效信息并且平衡模型对每个类别的学习进程，结合一个固定阈值τ和类自适应阈值组成自适应双阈值,并且在用自适应双阈值对无标签数据进行筛选的同时，对不同的无标签数据应用不同学习策略；
[0027]同时为达到熵最小化的目的，在产生伪标签的过程中使用sharpen操作,具体可以表示为：
[0028][0029]其中p代表输入分布,T是预定义的超参数，可以调整对输入分布的锐化程度。
[0030]对于输入模型的无标签数据，首先依靠固定阈值τ来决定是否利用它来计算损失：
[0031][0032]其中代表模型对w(u
b
)的输出，对q
b
执行指数移动平均操作(EMA)得出并且表示对无标签数据u
b
执行强增广，H表示对两个分布计算交叉熵损失。
[0033]之后对于无法通过固定阈值的无标签数据，我们利用类自适应阈值再次进行筛选并采取与上述不同的训练方法：
[0034][0035]这里代表中最大值所属类的类自适应阈值。当该无标签数据满足时，会以为目标应用较为缓和的L2损失，因为当以作为目标时，不仅能实现熵最小化的目的，而且它携带了更多的信息来增强模型的泛化能力，最重要的是，它对于噪声样本不会像one
‑
hot标签那样敏感。
[0036]进一步的，在半监督学习进程中，利用不同无标签数据之间的关系来计算相似损失，使用置信度足够高的弱增广无标签数据作为“锚”，并使与它相似度足够高的无标签数据的强增广版本与之对齐，定义相似损失为：
[0037][0038本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用自适应双阈值来进行半监督学习的方法，包括以下步骤：S1、对于有标签数据，对其进行弱增广之后输入模型，将预测结果与其所属标签求交叉熵损失；S2、在利用无标签数据对模型进行训练时，为每一类提取一个自适应阈值；S3、结合固定阈值和类自适应阈值组成了自适应双阈值，利用自适应双阈值来对无标签数据进行筛选，并对不同的无标签数据采取了不同的学习策略；S4、在现有技术的基础上提出了一种新的相似损失，来进一步挖掘相似无标签数据间的信息。2.根据权利要求1所述的一种利用自适应双阈值来进行半监督学习的方法，其特征在于，在执行S2过程中，对于输入模型的有标签数据，执行以下操作：行S2过程中，对于输入模型的有标签数据，执行以下操作：其中c＝argmax(y)表示x所属的真实类别，w(x)代表对x执行弱增广操作，是类别c的类自适应阈值并且初始值设为0.95。3.根据权利要求1所述的一种利用自适应双阈值来进行半监督学习的方法，其特征在于，对于S3，具体来说当模型对一个无标签数据的弱增广版本的预测中最大值大于固定阈值时，将该分布转为“one
‑
hot”标签并将其作为“锚”，与模型对其强增广版本的预测求交叉熵损失，若预测无法通过固定阈值，会用类自适应阈值再次对其进行筛选，若预测分布中最大值大于所属类自适应阈值，对其进行s...

【专利技术属性】
技术研发人员：王员根，梁泽琛，
申请(专利权)人：广州大学，
类型：发明
国别省市：