一种基于半监督自步学习跨任务深度网络的图像分类方法技术

本发明专利技术公开了一种基于半监督自步学习跨任务深度网络的图像分类方法，包括以下步骤：S1、从图像整体数据集中随机选取少量标注样本，保留其标签，剩下所有样本作为未标注样本，在整个流程中不知道其真实标签，标注样本的权重在训练过程中恒为1，未标注样本权重初始化为0，初始时只使用标注样本作为训练集；S2、使用训练集训练跨任务深度网络；S3、根据训练好的跨任务深度网络，预测所有未标注样本的伪标签，并赋予每个未标注样本相应权重；S4、根据自步学习范式，选取高置信度的未标注样本，添加到训练集中；S5、重复步骤S2‑S4，直到跨任务深度网络性能饱和或者达到预设循环次数。所述方法不需要输入人为设计的特征，直接输入原始图像即可实现分类。

An image classification method based on semi supervised self learning and cross task depth network

The invention discloses an image classification method based on semi-supervised self-step learning cross-task depth network, which includes the following steps: S1, selecting a small number of labeled samples randomly from the whole image data set, retaining their labels, remaining all samples as unlabeled samples, not knowing their real labels in the whole process, labeling samples. The weights of the unlabeled samples are invariably 1 in the training process, and the weights of the unlabeled samples are initialized to 0. Initially, only the labeled samples are used as the training set; S2, the training set is used to train the cross-task depth network; S3, according to the trained cross-task depth network, the false labels of all the unlabeled samples are predicted, and each unlabeled sample is given corresponding labels. Weight; S4. According to the self-learning paradigm, high confidence unlabeled samples are selected and added to the training set; S5, repeat 2 S4 until the performance of cross-task depth network is saturated or the number of preset cycles is reached. The method does not require input of artificially designed features, and can be categorized directly into the original image.

【技术实现步骤摘要】
一种基于半监督自步学习跨任务深度网络的图像分类方法
本专利技术涉及计算机视觉领域，具体涉及一种基于半监督自步学习跨任务深度网络的图像分类方法。
技术介绍
图像分类在过去几十年间一直是计算机视觉领域一个有挑战性的任务，因为图像的类别信息反映了人类对这些图像的高级语义认知。传统的方法一般是从图片提取一些底层特征，根据图片的标签，有监督地训练得到一个模型来预测图像标签。然而随着移动互联世界的发展，图片的数量每天都在快速增长。给这些图像作标签成为了一件非常耗人力和耗时间的事情。因此，怎么尽可能得减少人工标注的工作量，同时又能保持分类器的性能，具有重大的意义。基于半监督的方法就是一种途径。在半监督的场景中，通常我们只有一小部分有标签的样本，还有一大部分无标签的样本。很多半监督的方法基于有标签和无标签的样本从同一分布采样的先验，采用标签传播的方法来给无标签的数据标签；也有的采用增量学习的方式，用有标签的数据得到的模型给无标签的数据伪标签，从中挑选高置信度的样本，有标签的数据和高置信度的伪标签数据再不断一起训练得到新的模型；也有的采用协同学习的方式，彼此互相纠错；还有半监督的支持向量机等方法。近几年来，随着深度学习的迅猛发展，也出现了一些基于深度学习的半监督方法，比如梯子网络，半监督的对抗生成网络等。传统的图像分类方法大多数为浅模型，无法处理大规模的数据集，但半监督的方法，初始时我们往往只有一小部分的训练数据，在训练时很容易出现网络过拟合的情况。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提供了一种基于半监督自步学习跨任务深度网络的图像分类方法，所述方法只需要人为对一部分图像进行标记即可得到具有良好分类能力的分类器，能够有效节省人工标记图像所花费的时间，具有分类精度高的优点。本专利技术的目的可以通过如下技术方案实现：一种基于半监督自步学习跨任务深度网络的图像分类方法，所述方法包括以下步骤：S1、从图像整体数据集中随机选取少量的标注样本，保留其标签，剩下的所有样本作为未标注样本，在整个流程中不知道其真实标签，标注样本的权重在训练过程中恒为1，未标注样本的权重初始化为0，初始时只使用标注样本作为训练集；S2、使用训练集训练跨任务深度网络；S3、根据训练好的跨任务深度网络，预测所有未标注样本的伪标签，并赋予每个未标注样本相应的权重；S4、根据自步学习范式，选取高置信度的未标注样本，添加到训练集中；S5、重复步骤S2-S4，直到跨任务深度网络性能饱和或者达到预设循环次数。进一步地，步骤S1中还需要对训练集的样本做进一步扩充，在图像四周加4个像素的零进行填充，然后再随机截取一个原图像大小的图像。进一步地，步骤S2中的跨任务深度网络由一个包含32个卷积核的卷积层、9个残差块、一个全局平均池化层和一个softmax层依次连接组成，分为分类和聚类两个任务，所述残差块由两个相连的卷积层和一个短路连接组成，分为两种，一种会进行下采样，一种不会进行下采样，会进行下采样的残差块训练流程如下：1)输入卷积特征图X；2)将卷积特征图X经过步长为1的卷积层C1，再用修正线性函数作为激活函数，得到特征图X1；3)将特征图X1经过步长为1的卷积层C2，得到特征图X2；4)将卷积特征图X和特征图X2相加，再用修正线性函数作为激活函数，得到输出Y；不会进行下采样的残差块训练流程如下：1)输入卷积特征图X；2)将卷积特征图X经过步长为1的卷积层C1，再用修正线性函数作为激活函数，得到特征图X1；3)将特征图X1经过步长为2的卷积层C2，得到特征图X2；4)将卷积特征图X经过最大池化，得到特征图X3；5)将特征图X3和特征图X2相加，再用修正线性函数作为激活函数，得到输出Y。进一步地，步骤S2中所述跨任务深度网络的训练流程如下：1)输入图像X；2)将X经过卷积层C1，再用修正线性函数作为激活函数，得到特征图X1；3)将X1经过残差块C2，得到特征图X2；4)将X2经过残差块C3，得到特征图X3；5)将X3经过下采样的残差块C4，得到特征图X4；6)将X4经过残差块C5，得到特征图X5；7)将X5经过残差块C6，得到特征图X6；8)将X6经过下采样的残差块C7，得到特征图X7；9)将X7经过残差块C8a，得到特征图X8a；10)将X8a经过残差块C9a，得到特征图X9a；11)将X9a经过下采样的残差块C10a，得到特征图X10a；12)将X10a经过全连接层C11a，得到特征向量X11a；13)对特征向量X11a使用softmax函数进行归一化，并计算分类的加权交叉熵损失；14)将X7经过残差块C8b，得到特征图X8b；15)将X8b经过残差块C9b，得到特征图X9b；16)将X9b经过下采样的残差块C10b，得到特征图X10b；17)将X10b经过全连接层C11b，得到特征向量X11b；18)对特征向量X11b使用softmax函数进行归一化，并计算对比散度损失；跨任务深度网络中所有卷积层的卷积核大小都是3*3，并且每个卷积层后面都会进行批量归一化，对卷积特征分别计算其均值和方差，然后减去均值并除以标准差进行归一化，再对结果进行一定的缩放和平移；具体流程如下：1)输入特征图2)计算均值3)计算方差4)归一化5)计算输出其中，分类的加权交叉熵损失函数形式如下：式中，N为样本数量，表示预测的softmax输出，为样本真实标签的独热表示向量，K表示类别数目，wi是样本xi的权重，反映了每个样本对模型训练的影响；聚类任务的softmax输出能够看成是样本在不同聚类簇上的概率分布，基于相同聚类簇内样本相互之间距离较近的假设，它们的softmax输出概率分布也应该相近；基于KL散度的距离来衡量不同样本之间的相似性：如果两个样本属于不同的聚类簇，那么相应的DKL应该大于一个阈值，基于此，定义如下的对比散度损失函数：其中ci表示样本xi所属的聚类簇；m是阈值，代表不同聚类簇的样本之间所能允许的最大相似性，由于KL散度不是对称的，定义聚类任务的对比散度损失函数如下：进一步地，步骤S3的具体过程为：通过把每个无标签的图像在跨任务深度网络中前向传播一遍，得到跨任务深度网络预测的分类结果，取置信度最高的那一类作为伪标签；与此同时还能得到任务深度网络聚类任务的聚类结果，根据聚类结果给每个伪标签以权重，对于每一个未标注样本，它的伪标签根据分类任务的预测给定，而它的权重则根据聚类结果给定，具体地，令di代表样本xi到聚类任务预测的聚类簇的平均距离：其中δ(ci,cj)等于1当且仅当ci＝cj，不然则为0，根据这个距离，每个样本的权重wi定义如下：其中|Xun|代表未标注样本的数目。进一步地，步骤S4的具体过程为：令v＝(v1,v2,…,vN)表示所有样本的指示向量，即vi∈{0,1}，先从标注样本和高置信度样本学习一个判别模型，然后逐步应用学习到的知识去标注更多的未标注样本，将最小化以下的加权分类损失以及负的l1范数正则项作为目标函数：指示向量每个元素的值是1或0，表示相应的样本是否被选择加入训练，在训练过程中，标注样本对应的值永远是1，λ是一个超参数，用于控制学习的步长，即选择多少样本加入训练；采用交替凸搜索方法解决上述目标函数的优化问题，确定跨任务深度网络的模型参数、本文档来自技高网...

【技术保护点】
1.一种基于半监督自步学习跨任务深度网络的图像分类方法，其特征在于，所述方法包括以下步骤：S1、从图像整体数据集中随机选取少量的标注样本，保留其标签，剩下的所有样本作为未标注样本，在整个流程中不知道其真实标签，标注样本的权重在训练过程中恒为1，未标注样本的权重初始化为0，初始时只使用标注样本作为训练集；S2、使用训练集训练跨任务深度网络；S3、根据训练好的跨任务深度网络，预测所有未标注样本的伪标签，并赋予每个未标注样本相应的权重；S4、根据自步学习范式，选取高置信度的未标注样本，添加到训练集中；S5、重复步骤S2‑S4，直到跨任务深度网络性能饱和或者达到预设循环次数。

【技术特征摘要】
1.一种基于半监督自步学习跨任务深度网络的图像分类方法，其特征在于，所述方法包括以下步骤：S1、从图像整体数据集中随机选取少量的标注样本，保留其标签，剩下的所有样本作为未标注样本，在整个流程中不知道其真实标签，标注样本的权重在训练过程中恒为1，未标注样本的权重初始化为0，初始时只使用标注样本作为训练集；S2、使用训练集训练跨任务深度网络；S3、根据训练好的跨任务深度网络，预测所有未标注样本的伪标签，并赋予每个未标注样本相应的权重；S4、根据自步学习范式，选取高置信度的未标注样本，添加到训练集中；S5、重复步骤S2-S4，直到跨任务深度网络性能饱和或者达到预设循环次数。2.根据权利要求1所述的一种基于半监督自步学习跨任务深度网络的图像分类方法，其特征在于：步骤S1中还需要对训练集的样本做进一步扩充，在图像四周加4个像素的零进行填充，然后再随机截取一个原图像大小的图像。3.根据权利要求1所述的一种基于半监督自步学习跨任务深度网络的图像分类方法，其特征在于，步骤S2中的跨任务深度网络由一个包含32个卷积核的卷积层、9个残差块、一个全局平均池化层和一个softmax层依次连接组成，分为分类和聚类两个任务，所述残差块由两个相连的卷积层和一个短路连接组成，分为两种，一种会进行下采样，一种不会进行下采样，会进行下采样的残差块训练流程如下：1)输入卷积特征图X；2)将卷积特征图X经过步长为1的卷积层C1，再用修正线性函数作为激活函数，得到特征图X1；3)将特征图X1经过步长为1的卷积层C2，得到特征图X2；4)将卷积特征图X和特征图X2相加，再用修正线性函数作为激活函数，得到输出Y；不会进行下采样的残差块训练流程如下：1)输入卷积特征图X；2)将卷积特征图X经过步长为1的卷积层C1，再用修正线性函数作为激活函数，得到特征图X1；3)将特征图X1经过步长为2的卷积层C2，得到特征图X2；4)将卷积特征图X经过最大池化，得到特征图X3；5)将特征图X3和特征图X2相加，再用修正线性函数作为激活函数，得到输出Y。4.根据权利要求1所述的一种基于半监督自步学习跨任务深度网络的图像分类方法，其特征在于，步骤S2中所述跨任务深度网络的训练流程如下：1)输入图像X；2)将X经过卷积层C1，再用修正线性函数作为激活函数，得到特征图X1；3)将X1经过残差块C2，得到特征图X2；4)将X2经过残差块C3，得到特征图X3；5)将X3经过下采样的残差块C4，得到特征图X4；6)将X4经过残差块C5，得到特征图X5；7)将X5经过残差块C6，得到特征图X6；8)将X6经过下采样的残差块C7，得到特征图X7；9)将X7经过残差块C8a，得到特征图X8a；10)将X8a经过残差块C9a，得到特征图X9a；11)将X9a经过下采样的残差块C10a，得到特征图X10a；12)将X10a经过全连接层C11a，得到特征向量X11a；13)对特征向量X11a使用softmax函数进行归一化，并计算分类的加权交叉熵损失；14)将X7经过残差块C8b，得到特征图X8b；15)将X8b经过残差块C9b，得到特征图X9b；16)将X9b经过下采样的残差块C10b，得到特征图X10b；17)将X10b经过全连接层C11b，得到特征向量X11b；18)对特征向量X11b使用softmax函数进行归一化，并计算对比散度损失；跨任务深度网络中所有...

【专利技术属性】
技术研发人员：纪秋佳，吴斯，余志文，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44