一种二分类网络的非监督训练方法技术

本发明专利技术提供了一种二分类网络的非监督训练方法，属于图像处理、深度学习、模式识别领域。本发明专利技术通过对样本数据的一系列处理，对聚类网络进行不同阶段的训练，使用训练好的聚类网络对图像进行分类，避免了监督样本的缺乏，数据标注所需数据获取难度过大、成本过高的问题，使聚类网络的训练及分类结果的实现更为简单、高效。

【技术实现步骤摘要】
一种二分类网络的非监督训练方法
本专利技术属于图像处理、深度学习、模式识别领域，特别涉及一种二分类网络的非监督训练方法。
技术介绍
伴随着深度学习的发展，分类网络被广泛应用于人脸识别、图像检索、公共监测、生物识别、智能汽车、医疗辅助以及遥感探测等诸多领域。得益于深度神经网络优异的特征表征能力，深度分类网络可以获得接近人类的分类性能。目前的分类网络多为监督学习网络，使用图像和对应标签对网络进行训练(即有监督训练方式)，因此需要大量标注数据。数据标注过程通常需要消耗大量人力和时间。因此，在某些数据获取难度大、成本高的应用领域，监督样本的缺乏成为限制深度分类网络效果的主要因素。不同于有监督网络，聚类方法不需要监督样本，可以通过对样本集合的分析实现分类。因此，如何实现分类网络的非监督训练的研究具有重要意义。
技术实现思路
本专利技术的目的在于解决现有技术中监督学习网络需要大量带标签样本的问题，提出了一种二分类网络的非监督训练方法。一种二分类网络的非监督训练方法，包括以下步骤：S1、采集图像构建数据集S，其中，所述数据集包含待聚类图像，所述数据集中图像数量为M，任意图像为I；S2、构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；S3、训练聚类网络，在数个阶段训练中生成参与训练的图像的对应标签集，并基于参与训练的图像及对应的标签集对所述聚类网络进行训练，得到最终网络模型训练参数；S4、将所述数据集输入至训练好的聚类网络，得到所述数据集中图像的分类输出。进一步地，所述步骤S2包括：构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；将所述数据集S中的图像的大小统一为(H，W，C)，随机打乱后输入至所述聚类网络中，其中，H表示图像高度，W表示图像宽度，C表示图像通道数；所述聚类网络输入为四维向量(M，H，W，C)，分类输出类别数为2，所述聚类网络输出为二维张量(M，2)表示的二类聚类输出矩阵V，由所述矩阵V可得一维向量(M，1)表示的预测类别向量L，其中，L中元素Li表示聚类类别，表示为Li＝argmax(V(i,1),V(i,2))其中，V(i,1)、V(i,2)分别表示矩阵V中对应索引处的元素值。进一步地，所述步骤S3包括：S31、将所述数据集S中所有图像的标签设置为(0，0)，与原图像构成第一训练样本集dataset0对所述聚类网络进行训练，训练损失函数为二范数损失损失函数其中，G为图像对应标签，V(i)表示矩阵V中对应的第i个图像对应的输出向量；采用随机梯度下降法训练网络权重，经过s1步迭代后，得到第一网络权重ω1；S32、在所述数据集S中任意选择一个图像作为正样本，将所述正样本的标签设置为(1，0)，对应类别为A，其余图像标签设置为(0，0)，将所述正样本复制M份，与所述数据集一起构成第二训练样本集dataset1；将所述第二训练样本集dataset1中的数据随机打乱作为训练样本，以所述第一网络权重ω1为初始权重训练网络，经s2步迭代后，得到第二网络权重ω2；S33、将所述步骤S32中训练得到的网络对dataset0中的图像进行预测，将类别A对应预测值进行大小排序，得到最大的Q个预测值对应的Q张图像，设置其对应标签值为(1，0)，其余图像标签设置为(0，0)，得到第三训练样本集dataset2；将所述第三训练样本集dataset2中的数据随机打乱后作为训练样本，以所述第二网络权重ω2为初始权重训练网络，经s3步迭代后，得到第三网络权重ω3；S34、将所述步骤S33中训练得到的网络对dataset2中的图像进行预测，将类别B对应预测值进行大小排序，得到最大的2×Q个预测值对应的2×Q张图像，随机抽取其中Q张图像设置其对应的样本标签为(0，1)，同时保留dataset2中类别A对应图像及标签，得到由Q个类别A标签和Q个类别B标签以及对应图像构成的第四训练样本集dataset3；将所述第四训练样本集dataset3中的数据作为训练样本，以所述第一网络权重ω1为初始权重训练网络，经s4步迭代后，得到第四网络权重ω4；S35、根据所述步骤S34中训练得到的网络进行输出分析，生成目标标签，对生成的目标标签进行交换，得到标签集，将所述标签集作为类别标签，对网络进行训练，经s5步迭代后，得到最终网络权重ω5。进一步地，所述步骤S35包括：S351、根据所述步骤S34中训练得到的网络进行输出分析，生成目标标签；S352、对生成的目标标签进行交换，得到标签集；S353、将所述标签集作为类别标签，对网络进行训练，经s5步迭代后，得到最终网络权重ω5。进一步地，所述步骤S351包括：在所述矩阵V中进行搜索，得到所述矩阵V中的最大值pmax，最大值对应位置为(m,n)；在n所在维度V(∶，n)中进行搜索，得到该维度中最大的T个标签对应的样本，并将其标签设置为n，其中，：表示包含该索引下所有元素，T为超参数；将已设置好标签的T个数据从所述数据集S中移除，更新未标注标签数据集为Snew；将已设置好标签的T个数据相应的向量从所述矩阵V中移除，得到矩阵Vnew；若n＝0，则Snew中样本的标签设置为B；若n＝1，则Snew中样本的标签设置为A；得到包含原始图像和对应标签的第五训练样本集(S，G0)，记为dataset4，其中，G0为一维张量(M,1)，表示所述数据集S对应的生成标签集。进一步地，所述步骤S352包括：将所述矩阵V根据对应预测类别向量L分为两个子矩阵V1和V2，其中，V1表示L＝(1,0)对应的所有向量组成的矩阵，V2表示L＝(0,1)对应的所有向量组成的矩阵；提取V1和V2中各自类别对应索引处的预测值，分别得到向量v1和v2，分别对向量v1和v2中元素大小进行排序，得到各自向量中最小的M×r个预测值及其相应索引i1和i2，其中，r为超参数；交换索引i1和i2对应的标签，得到标签集。本专利技术的有益效果：本专利技术提供了一种二分类网络的非监督训练方法，通过对样本数据的一系列处理，对聚类网络进行不同阶段的训练，避免了监督样本的缺乏，数据标注所需数据获取难度过大、成本过高的问题，使聚类网络的训练及分类结果的实现更为简单、高效。附图说明图1为本专利技术实施例提供的流程图。图2为图1中步骤S3的流程图。具体实施方式在描述本专利技术前，作以下术语定义：定义1、卷积层卷积层实现由四维张量(N，K，K，C1)表示的卷积核与输入进行卷积运算，提取输入的不同特征得到由四维张量(N，H0，W0，C2)表示的输出。其中N、K、C1分别表示输入特征图数量、卷积核大小和特征图通道数。其输入可以是定义1中的输入层或者定义3中的特征图。其中H0，W0表示卷积层输出特征图像的高和宽，C2表示卷积数目。定义2、池化层池化层是一种实现定义4中的特征图下采样的操作。其输入为定义3中的四维张量(N，Hf，Wf，Cf)表示的特征图，输出为Hf，Wf缩小后的特征图。定义3、激活函数激活函数是在卷积层后的非线性函数。我们称激活函数后输出的四维张量(N，Hf，Wf，Cf)为特征图。网络中激活函数可选择不同的函数，如定义为f(x)＝max(x,0),f(x)＝tanh(x),定义4、本文档来自技高网...

【技术保护点】
1.一种二分类网络的非监督训练方法，其特征在于，包括以下步骤：S1、采集图像构建数据集S，其中，所述数据集包含待聚类图像，所述数据集中图像数量为M，任意图像为I；S2、构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；S3、训练聚类网络，在数个阶段训练中生成参与训练的图像的对应标签集，并基于参与训练的图像及对应的标签集对所述聚类网络进行训练，得到最终网络模型训练参数；S4、将所述数据集输入至训练好的聚类网络，得到所述数据集中图像的分类输出。

【技术特征摘要】
1.一种二分类网络的非监督训练方法，其特征在于，包括以下步骤：S1、采集图像构建数据集S，其中，所述数据集包含待聚类图像，所述数据集中图像数量为M，任意图像为I；S2、构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；S3、训练聚类网络，在数个阶段训练中生成参与训练的图像的对应标签集，并基于参与训练的图像及对应的标签集对所述聚类网络进行训练，得到最终网络模型训练参数；S4、将所述数据集输入至训练好的聚类网络，得到所述数据集中图像的分类输出。2.如权利要求1所述的二分类网络的非监督训练方法，其特征在于，所述步骤S2包括：构建聚类网络，其中，所述聚类网络包含卷积层、池化层及全连接层，所述全连接层的输出作为所述聚类网络的输出；将所述数据集S中的图像的大小统一为(H，W，C)，随机打乱后输入至所述聚类网络中，其中，H表示图像高度，W表示图像宽度，C表示图像通道数；所述聚类网络输入为四维向量(M，H，W，C)，分类输出类别数为2，所述聚类网络输出为二维张量(M，2)表示的二类聚类输出矩阵V，由所述矩阵V可得一维向量(M，1)表示的预测类别向量L，其中，L中元素Li表示聚类类别，表示为Li＝argmax(V(i,1),V(i,2))其中，V(i,1)、V(i,2)分别表示矩阵V中对应索引处的元素值。3.如权利要求2所述的二分类网络的非监督训练方法，其特征在于，所述步骤S3包括：S31、将所述数据集S中所有图像的标签设置为(0，0)，与原图像构成第一训练样本集dataset0对所述聚类网络进行训练，训练损失函数为二范数损失损失函数其中，G为图像对应标签，V(i)表示矩阵V中对应的第i个图像对应的输出向量；采用随机梯度下降法训练网络权重，经过s1步迭代后，得到第一网络权重ω1；S32、在所述数据集S中任意选择一个图像作为正样本，将所述正样本的标签设置为(1，0)，对应类别为A，其余图像标签设置为(0，0)，将所述正样本复制M份，与所述数据集一起构成第二训练样本集dataset1；将所述第二训练样本集dataset1中的数据随机打乱作为训练样本，以所述第一网络权重ω1为初始权重训练网络，经s2步迭代后，得到第二网络权重ω2；S33、将所述步骤S32中训练得到的网络对dataset0中的图像进行预测，将类别A对应预测值进行大小排序，得到最大的Q个预测值对应的Q张图像，设置其对应标签值为(1，0)，其余图像标签设置为(0，0)，得到第三训练样本集dataset2；将所述第三训练样本集dataset2中的数据随机打乱后作为训练样本...

【专利技术属性】
技术研发人员：师君，王琛，周泽南，周远远，杨夏青，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51