一种基于伪标签加权的半监督学习方法技术

本申请提供一种基于伪标签加权的半监督学习方法，所述方法包括：获取待训练的有标签和无标签样本，得到有标签和无标签训练集；在有标签训练集上进行模型训练，得到有标签训练模型；基于有标签训练模型对无标签训练集进行预测，得到无标签训练集的伪标签；输入伪标签至标签适配模块，得到加权后的伪标签；基于深度神经网络对获取的有标签训练集和伪标签训练集进行训练，得到半监督学习后的机器学习模型。本发明专利技术能够对含有无标签的数据场景进行半监督训练，在不对无标签数据进行标注情况下，进一步提高模型的场景适应能力，有效解决典型的开集误报问题、类别间误报问题和漏报问题，从而得到更高的模型性能。

【技术实现步骤摘要】
一种基于伪标签加权的半监督学习方法
本专利技术涉及半监督领域，尤其涉及一种基于伪标签加权的半监督学习方法。
技术介绍
在半监督学习算法中，为了让模型能够从无标签数据的样本分布p(x)中获取知识，需要借助无标签数据的后验分布p(y|x)来推断其类别。针对样本分布，在半监督学习研究中通常存在以下三个重要假设。1.平滑假设，如果两个数据点x1,x2相似，那么它们相应输出y1,y2也应当类似。2.聚类假设，无论是有标注还是未标注数据，它们都是服从一定的数据分布的。3.流形假设，该假设认为由于数据内部特征的限制，数据大多都存在维度冗余的情况，因而能够被嵌入到某个低维空间中，同时保持数据内部的局部空间结构。基于上述三个假设，能够从不同方面开展半监督算法的研究，利用无标签数据帮助实现样本区分。由于半监督学习解决的主要问题是如何有效利用未标注数据，提升在有标注数据上模型训练的效果。不论使用了什么样的方案，都绕不开的话题是如何给未标注数据打标签以及如何防止在利用这些伪标签时的过拟合现象。已有的方法大多是基于数据扩增、模型预测结果一致性、损失正则等方式，虽然能够起到一定的半监督学习效果，但是并没有从根本上解决伪标签质量的问题。伪标签质量的好坏直接决定了半监督算法学习出的模型性能，而这些已有方法都完全忽略了这个问题。本申请提出的基于伪标签加权方法，首先能够利用置信度信息筛选高质量的伪标签用于训练，同时能够有效利用中低置信度的含有噪声的伪标签，保证数据的充分利用。我们的方法能够有效地解决半监督学习中典型的开集误报问题、类别间误报问题和漏报问题。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种基于伪标签加权的半监督学习方法。本专利技术具体采用的技术方案如下：一种基于伪标签加权的半监督学习方法，其包括如下步骤：S1、获取待训练的有标签和无标签样本，得到有标签训练集和无标签训练集；具体包括S101～S104：S101、获取用于半监督训练的有标签样本集合，表示为有标签训练集X＝{X1，X2，…，XN}，其中N为有标签训练集中样本数目，X1，X2，…，XN分别为第1，2，…，N个有标签样本；S102、获取有标签训练集X中每条样本对应的可训练标签Y＝{Y1，Y2，…，YN}，，Y1，Y2，…，YN分别为X1，X2，…，XN对应的可训练标签；S103、获取用于半监督训练的无标签样本集合，表示为无标签训练集U＝{U1，U2，…，UM}，其中M为无标签训练集中样本数目，U1，U2，…，UM分别为第1，2，…，M个无标签样本；S104、对于样本特征提取器而言，每个用来训练的样本被表示为二元组(Xi，Yi)，i∈{1，…，N}；S2、在有标签训练集上进行模型训练，得到有标签训练模型，记作第一模型；具体包括S201～S203：S201、使用深度神经网络将每条样本Xi映射到标签空间，深度神经网络最后一层输出的为预测标签值；S202、构建一个目标函数，使得深度神经网络预测的标签值与对应图像的真值标签值一致，对训练样本定义的损失函数为：其中，P(Yi|(Xi，θ))是第i个训练样本在给定(Xi，θ)时求解其真值标签Yi时的期望，θ为深度神经网络中所有可学习的参数；S203、根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ，根据学习得到的深度神经网络的参数，提取样本在深度神经网络中各个层次的特征表达；将此时的深度神经网络记为第一模型；S3、基于有标签训练的第一模型对无标签训练集进行预测，得到无标签训练集的伪标签，记作第一伪标签；伴随第一伪标签，第一模型同时生成描述该伪标签可信程度的“置信度”；S4、将获取的第一伪标签输入至标签适配模块，得到加权后的伪标签，记作第二伪标签；具体包括S401～S403：S401、输入第一伪标签至设定的标签适配模块，标签适配模块对输入的第一伪标签进行权值调整，输出加权后的伪标签，记作第二伪标签；S402、对于样本特征提取器而言，每个用来训练的无标签样本被表示为二元组(Ui，Zi)，i∈{1，…，M}，Zi是第i个无标签样本Ui对应的可训练伪标签；S403、在标签适配模块中通过确定置信度阈值进行伪标签筛选；伪标签筛选基于多个模型预测的置信度或者基于单个模型预测的置信度；当采用基于多个模型预测的置信度时，有多个模型共同预测一个伪标签的置信度，最终是否使用该伪标签或排除依据多模型投票，如果预测的置信度高于置信度阈值的模型数目多于预测的置信度低于置信度阈值的模型数目，当前伪标签归为继续使用的伪标签；否则当前伪标签将被筛除不用；当采用基于单个模型预测的置信度时，是否使用该伪标签或排除依据的是单个置信度阈值；S5、基于获取的有标签训练集和第二伪标签对第一模型进行训练，得到半监督训练后的机器学习模型，记作第二模型；具体包括S501～S505：S501、将有标签样本集X或无标签训练集U合并，得到混合训练样本集S＝{S1，S2，…，SM+N}，其中M+N为混合样本集合中样本数目，Si为混合样本集合中第i个样本；S502、构造混合训练样本集S中每条样本对应的可训练标签Y′＝{Y′1，Y′2，…，Y′M+N}，当Si对应于有标签训练集样本时，其对应的标签为真值标签，当Si对应于无标签训练集样本时，其对应的标签为第二伪标签；S503、对于样本特征提取器而言，每个用来训练的样本被表示为二元组(Si，Yi′)，i∈{1，…，M′+N′}，Yi′是样本Si对应的可训练标签，M′和N′分别为对有标签训练集和无标签训练集中样本的采样数目；S504、使用第一模型将每条混合训练样本集中的样本映射到标签空间，即最后一层输出的为预测标签值；S505、构建一个目标函数，使得神经网络预测的标签值与对应图像的真值或伪标签值一致，对训练样本定义的损失函数为：其中，P(Yi′|(Si，θ′)是第i个训练样本在给定(Si，θ′)时求解其真值标签Yi′时的期望，θ′为深度神经网络中所有可学习参数；S506、根据损失函数对第一模型进行反向回馈以得到深度神经网络的各层的参数θ′，将此时的深度神经网络记为第二模型；根据学习得到的深度神经网络的参数，提取样本在第二模型中各个层次的特征表达。作为优选，所述的步骤S2中，P(Yi|(Xi，θ))的表现形式与训练任务场景相关：当进行分类任务时，期望函数P(Yi|(Xi，θ))定义为交叉熵损失，其公式为：P(Yi|(Xi，θ))＝-YilogYi^其中，Yi是标签真值，Yi^是归一化后的预测概率值；当进行回归任务时，期望函数P(Yi|(Xi，θ))为均方差损失，其公式为：P(Yi|(Ii，θ))＝-||Yi-Yi^||2其中：||·||2为二范数。作为优选，所述的步骤S5中，P(Yi′|(Si，θ′)的表现形式与训练任务场景相关：当进行分类任务时，期望函数P(Yi′|(Si，θ′本文档来自技高网...

【技术保护点】
1.一种基于伪标签加权的半监督学习方法，其特征在于包括如下步骤：/nS1、获取待训练的有标签和无标签样本，得到有标签训练集和无标签训练集；具体包括S101～S104：/nS101、获取用于半监督训练的有标签样本集合，表示为有标签训练集X＝{X

【技术特征摘要】
1.一种基于伪标签加权的半监督学习方法，其特征在于包括如下步骤：
S1、获取待训练的有标签和无标签样本，得到有标签训练集和无标签训练集；具体包括S101～S104：
S101、获取用于半监督训练的有标签样本集合，表示为有标签训练集X＝{X1，X2，…，XN}，其中N为有标签训练集中样本数目，X1，X2，…，XN分别为第1，2，…，N个有标签样本；
S102、获取有标签训练集X中每条样本对应的可训练标签Y＝{Y1，Y2，…，YN}，，Y1，Y2，…，YN分别为X1，X2，…，XN对应的可训练标签；
S103、获取用于半监督训练的无标签样本集合，表示为无标签训练集U＝{U1，U2，…，UM}，其中M为无标签训练集中样本数目，U1，U2，…，UM分别为第1，2，…，M个无标签样本；
S104、对于样本特征提取器而言，每个用来训练的样本被表示为二元组(Xi，Yi)，i∈{1，…，N}；
S2、在有标签训练集上进行模型训练，得到有标签训练模型，记作第一模型；具体包括S201～S203：
S201、使用深度神经网络将每条样本Xi映射到标签空间，深度神经网络最后一层输出的为预测标签值；
S202、构建一个目标函数，使得深度神经网络预测的标签值与对应图像的真值标签值一致，对训练样本定义的损失函数为：



其中，P(Yi|(Xi，θ))是第i个训练样本在给定(Xi，θ)时求解其真值标签Yi时的期望，θ为深度神经网络中所有可学习的参数；
S203、根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ，根据学习得到的深度神经网络的参数，提取样本在深度神经网络中各个层次的特征表达；将此时的深度神经网络记为第一模型；
S3、基于有标签训练的第一模型对无标签训练集进行预测，得到无标签训练集的伪标签，记作第一伪标签；伴随第一伪标签，第一模型同时生成描述该伪标签可信程度的“置信度”；
S4、将获取的第一伪标签输入至标签适配模块，得到加权后的伪标签，记作第二伪标签；具体包括S401～S403：
S401、输入第一伪标签至设定的标签适配模块，标签适配模块对输入的第一伪标签进行权值调整，输出加权后的伪标签，记作第二伪标签；
S402、对于样本特征提取器而言，每个用来训练的无标签样本被表示为二元组(Ui，Zi)，i∈{1，…，M}，Zi是第i个无标签样本Ui对应的可训练伪标签；
S403、在标签适配模块中通过确定置信度阈值进行伪标签筛选；伪标签筛选基于多个模型预测的置信度或者基于单个模型预测的置信度；当采用基于多个模型预测的置信度时，有多个模型共同预测一个伪标签的置信度，最终是否使用该伪标签或排除依据多模型投票，如果预测的置信度高于置信度阈值的模型数目多于预测的置信度低于置信度阈值的模型数目，当前伪标签归为继续使用的伪标签；否则当前伪标签将被筛除不用；当采用基于单个模型预测的置信度时，是否使用该伪标签或排除依据的是单个置信度阈值；S5、基于获取的有标签训练集和第二伪标签对第一模型进行训练，得到半监督训练后的机器学习模型，记作第二模型；具体包括S501～S505：
S501、将有标签样本集X或无标签训练集U合并，得到混合训练样本集S＝{S1，S2，…，SM+N}，其中M+N为混合样本集合中样本数目，Si为混合样本集合中第i个样本；
S502、构造混合训练样本集S中每条样本对应的可训练标签Y′＝{Y′1，Y′2，…，Y′M+N}，当Si对应于有标签训练集样本时，其对应的标签为真值标签，当Si对应于无标签训练集样本时，其对应的标签为第二伪标签；
S503、对于样本特征提取器而言，每个用来训练的样本被表示为二元组(Si，Yi′)，i∈{1，…，M′+N′}，Yi′是样本Si对应的可训练标签，M′和N′分别为对有标签训练集和无标签训练集中样本的采样数目；
S504、使用第一模型将每条混合训练样本集中的样本映射到标签空间，即最后一层输出的为预测标签值；
S505、构建一个目标函数，使得神经网络预测的标签值与对应图像的真值或伪标签值一致，对训练样本定义的损失函数为：



其中，P(Yi′|...

【专利技术属性】
技术研发人员：程战战，李铎，吴飞，浦世亮，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33