基于反标签学习的半监督少样本图像分类学习方法及系统技术方案

本发明专利技术公开了一种基于反标签学习的半监督少样本图像分类学习方法及系统，方法包括：构造元任务，使用预训练的神经网络作为特征提取器，提取元任务中对应数据的特征，并在支持集上训练一个分类器用于后续分类任务；反标签学习模块以较高正确率给无标签数据打上反标签，分类器在反标签上进行学习更新，不断迭代直到无法选出反标签；在反标签模块迭代结束之后，得到类别均衡且正确率较高的正标签，并用分类器进行学习更新。本发明专利技术充分且高质量的利用无标签数据，可以获得更高的少样本学习图像分类准确率。分类准确率。分类准确率。

【技术实现步骤摘要】
基于反标签学习的半监督少样本图像分类学习方法及系统


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于反标签学习的半监督少样本图像分类学习方法及系统。

技术介绍

[0002]随着深度学习的发展，卷积神经网络在多个图像任务上已经超过了人类的水平，但是这些模型的训练依赖大量的数据，在现实生活中有些数据的采集难度较大，例如对濒危鸟类等数据的收集，另外这些数据的标注也需要耗费大量的人力和财力。相比之下，人类视觉系统可以从少量的例子中快速学习到新的概念和特征，然后在新的数据中识别相似的对象。为了模仿人类的这种快速学习的能力，减少方法对于数据的依赖，少样本学习近年来受到了越来越多的关注。少样本学习旨在结合先验知识快速地泛化到只包含少量有监督信息的样本的新任务中，在此设定下识别每个类别仅需要极少甚至一张带标签的样本，所以可以极大的减小人工标注成本。
[0003]基于少样本学习这样数据量较少的设定，一个需要面临的问题就是，在极少的带标注数据上，很难让模型较好的拟合到数据的分布。因此为了解决这样的问题，少样本学习中出现了结合半监督的研究方向。
[0004]另外为了解决数据标注困难的问题，反标签学习的方法也应运而生。反标签顾名思义就是给数据打上相反的标签，是一种间接的方式代表该数据不属于某个类别。这样的做法可以大大降低数据标注的错误，例如对于一个5分类问题来说，给数据打真实标签即正标签错误的概率为给数据打反标签错误概率的4倍。另外在半监督少样本学习当中，由于带标签数据很少，因此模型在初始阶段很难有好的效果。用这样的模型给无标签数据标记伪标签将会出现大量的错误以及类别不平衡的现象。在这样的情况结合反标签学习的方法就可以解决这样的问题。本专利技术研究的基于反标签学习的半监督少样本学习方法，针对半监督少样本学习，设计适合的反标签标注方法，并结合反标签学习解决半监督少样本学习中出现的无标签数据利用不充分等问题。
[0005]目前，出现了许多研究半监督少样本学习的方法，但依然存在一些问题：1)给无标签数据标注伪标签的正确率较低，错误标记的样本会影响最后的结果；2)无标签数据上标注的伪标签存在类别不平衡现象；3)方法较为复杂。

技术实现思路

[0006]本专利技术的目的在于提供一种基于反标签学习的半监督少样本图像分类学习方法及系统。
[0007]实现本专利技术目的的技术方案为：第一方面，本专利技术提供一种基于反标签学习的半监督少样本图像分类学习方法，包括以下步骤：
[0008]步骤1，构造元任务，使用预训练的神经网络作为特征提取器用来提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类
器，用于后续图像分类任务；
[0009]步骤2，反标签学习模块以较高的95％正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；
[0010]步骤3，正标签学习模块得到类别均衡且正确率高达85％的正标签，并用分类器进行学习更新。
[0011]步骤4，用训练好的分类器在查询集上预测得到最后图像分类的类别结果。
[0012]第二方面，本专利技术提供一种基于反标签学习的半监督少样本图像分类学习系统，包括：
[0013]特征提取模块，用于构造元任务，使用预训练的神经网络作为特征提取器提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；
[0014]反标签学习模块，用于以第一正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；
[0015]正标签学习模块，用于得到类别均衡且满足第二正确率的正标签，并用分类器进行学习更新；
[0016]用训练好的分类器在查询集上预测得到最后图像分类的类别结果。
[0017]第三方面，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面所述的方法。
[0018]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述的方法。
[0019]第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法。
[0020]本专利技术与现有技术相比，其显著优点为：(1)本专利技术设计的反标签学习模块，通过给无标签图像数据标注反标签并进行学习的方式，在模型效果还不好的初始阶段，大大降低给无标签图像数据标注标签的错误率；(2)经过反标签学习模块之后，本专利技术设计的正标签学习模块可以得到正确率高且类别均衡的正标签，继续对模型进行训练；(3)本专利技术提出的方法相较于之前的方法流程简单，可以更充分且高质量利用无标签图像数据进行学习，最后在图像分类任务上得到了更好的效果。
附图说明
[0021]图1为本专利技术基于反标签学习的半监督少样本图像分类学习方法流程图。
具体实施方式
[0022]结合图1，一种基于反标签学习的半监督少样本图像分类学习方法，具体包括以下步骤：
[0023]步骤1，构造元任务，使用预训练的神经网络作为特征提取器用于提取图像数据，提取元任务中支持集、查询集以及无标签图像数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；
[0024]首先通过卷积神经网络提取元任务中对应数据集合的特征：
[0025]x
set∈{S,Q,U}
＝F(I；θ
r
)(1)
[0026]其中I为输入数据，F(
·
；θ
r
)为预训练的卷积神经网络模型，其中θ
r
为该模型的参数。x
set
为set集合提取出来的特征，set可取S、Q或U，分别代表支持集、查询集以及无标签数据集。
[0027]接着初始化分类器f(
·
；θ
c
)，其中θ
c
为该分类器参数。用分类器将x
S
映射到对应的概率空间：
[0028]p
S
＝f(x
S
；θ
c
)(2)
[0029]接着使用交叉熵损失进行训练，其中交叉熵损失表示如下：
[0030][0031]步骤2，构建反标签学习模块，以95％的正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；
[0032]首先，使用分类器f(
·
；θ
c
)，将无标签数据映射到类别的概率空间：
[0033]p
U
＝f(x
U
；θ
c
)(4)
[0034]其中x
U
为公式(1)中得到的无标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于反标签学习的半监督少样本图像分类学习方法，其特征在于，包括以下步骤：步骤1，构造元任务，使用预训练的神经网络作为特征提取器提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；步骤2，反标签学习模块以第一正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；步骤3，正标签学习模块得到类别均衡且满足第二正确率的正标签，并用分类器进行学习更新；步骤4，用训练好的分类器在查询集上预测得到最后图像分类的类别结果。2.根据权利要求1所述的基于反标签学习的半监督少样本图像分类学习方法，其特征在于，步骤1中，利用预训练的卷积神经网络模型提取元任务中支持集、查询集以及无标签图像数据集的特征，接着在支持集的特征上训练一个分类器，具体如下：通过卷积神经网络提取元任务中对应图像数据集合的特征：x
set∈{S,Q，U}
＝F(I；θ
r
)(1)其中I为输入数据，F(
·
；θ
r
)为预训练的卷积神经网络模型，θ
r
为该模型的参数；x
set
为set集合提取出来的特征，set取S、Q或U，分别代表支持集、查询集以及无标签数据集；初始化分类器f(
·
；θ
c
)，其中θ
c
为该分类器参数；用分类器将x
S
映射到对应的概率空间：p
s
＝f(x
S
；θ
c
)(2)使用交叉熵损失进行训练，其中交叉熵损失表示如下：3.根据权利要求2所述的基于反标签学习的半监督少样本学习方法，其特征在于，构建反标签学习模块，该模块以迭代的方式，通过对无标签数据的处理挑选出反标签并用于分类器的学习，直到无法挑选出符合条件的数据则迭代结束；首先，使用分类器f(
·
；θ
c
)，将无标签数据映射到类别的概率空间：P
U
＝f(x
U
；θ
c
)(4)其中x
U
为公式(1)中得到的无标签数据特征，p
U
为无标签数据经过分类器映射后得到的类别后验概率值，上标U代表无标签数据；进行反标签学习模块的第一轮迭代，挑选反标签方法如下：其中k代表p
U
中概率最小的对应的位置，即对应概率最小的类别，为对应类别的概率值，δ作为挑选反标签的阈值，为当前输入数据的反标签，即当概率最小类别的概率值小于该阈值时，反标签取1，此时反标签类别为k，当不满足条件时该样本不参与本轮的迭代；经过第一轮迭代，得到无标签数据中被标记上反标签数据的集合
其中i表示挑选出来的反标签数据的下标，这里N
j
为第j次迭代中按照公式(5)挑选出数据的数量，其中j代表迭代的次数；和分别代表挑选出的第i个数据的特征向量以及对应的反标签；反标签学习模块中，设计迭代挑选反标签的策略，对于一个输入数据，已经标记过的反标签类别...

【专利技术属性】
技术研发人员：魏秀参，徐赫洋，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：