一种基于平均偏汉明损失的多维标签预测方法技术

本发明专利技术公开了一种基于平均偏汉明损失的图片数据偏标签多维学习方法，本发明专利技术首先进行数据标签集合预处理，然后进行数据集的预训练，接着使用预训练好的模型来提取图片特征，利用多层感知机基于获得的图片特征进行训练，得到训练模型，最后使用训练好的模型进行多维标签预测。本发明专利技术基于平均偏汉明损失，解决了偏标签多维分类问题。

【技术实现步骤摘要】
一种基于平均偏汉明损失的多维标签预测方法
本专利技术涉及机器学习领域中的神经网络，偏多标签学习，多标签学习、多维学习和偏标签多维学习，尤其涉及一种基于平均偏汉明损失的多维标签预测方法。
技术介绍
多维分类问题指的是对于某个示例，有若干个标签与之有关。但是实际上，这些标签又可以被划分到许多个子集中，也就是多个维度中，该示例仅与每个维度中的一个标签有联系。然而在某些特定的场景之下，训练集往往不能非常明确得知道每个维度下的真值标签，而是只知道真值标签在哪一个集合当中，这样一个新的问题——也就是偏标签多维问题就被提了出来，本专利技术所使用的方法也是用来解决这个问题的。现有的技术往往将偏标签多维分类问题解构成多个二元分类问题，然后基于每个标签的分类器预测结果在每个标签维度上选取概率最大的标签作为预测。这样做的一个不足之处是没有考虑到标签之间的相关性，在此之上，我们认为每个维度之间的相关性也是没有被考虑到的。本专利技术则直接对偏标签多维分类问题进行求解，没有忽略标签之间的相关性。卷积神经网络是本专利技术在预处理图片数据的时候所用到的技术。这个技术能够很好的提取图片的特征，所以在图片预处理阶段，使用了该技术来提取图片特征。多层感知机是本专利技术在实施模型的时候使用的方法，这个模型是几个全连接层中间嵌套非线性激活层堆叠得到的一个神经网络模型。平均偏汉明损失是本专利技术在训练模型的时候使用到的损失函数。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术提出了一种基于平均偏汉明损失的多维标签预测方法。本专利技术所采用的技术方案如下：一种基于平均偏汉明损失的多维标签预测方法，包括如下步骤：步骤一：数据标签集合预处理：将多维标签数据编码到高维中，将原始的多维标签子集组合之后得到组合的标签集合，建立新的空间；步骤二：数据集的预训练：使用ImageNet数据集预训练一个神经网络，得到一个可以抽取图片特征的预训练模型；步骤三：首先使用步骤二中预训练好的模型来提取图片特征。之后利用多层感知机基于获得的图片特征进行训练。该多层感知机输出在每一个维度上的预测标签。多层感知机训练时的损失函数是平均偏汉明损失，这个损失函数接受步骤一中预处理的标签集合和本步骤的预测结果，得到的输出是期望损失，这个值越小越好，采用Adam方法来优化损失，训练该多层感知机，提升多层感知机预测性能；步骤四：使用步骤三训练好的模型进行多维标签预测。进一步地，所述步骤一具体如下：输入的图片数据来自集合X＝Rw×h×D，其中R代表实数集，w、h为一张图片的宽和高，D取3，代表了图片RGB通道数。令全标签集合为Y＝C1×C2×…×Ci×…×Cd，其中，这里的Ci表示第i个标签维度上的候选标签集，该候选标签集中共有ki个不同的标签取值，即此外i的取值范围为1,2,…,d。全标签集合Y是d个维度上的候选标签集的笛卡尔积集合。已知的训练集：Q＝{(xj,Yj)|xj∈X,Yj∈Y,1≤j≤n}在训练过程中，将原始训练集Q转化为符合偏标签问题的训练集。训练集Q中各个示例xj的标签Yj被转换到新的标签候选集Sj＝{s1,s2,…,si,…,sd}∈M中。这里新的标签全集M代表所有种类的标签组合的集合，M被定义为：其中，是示例xj在偏标签问题下第i个标签维度上的标签集，并且保证包含了原始标签Yj在第i个标签维度上的取值。经过步骤一，得到偏标签问题下的训练集：进一步地，所述步骤二具体如下：模型的输入图片是一个高维的表示需要使用一个经过预训练的卷积神经网络模型对输入的图片数据x进行预处理，得到图片数据的一个低维特征表征。在该卷积神经网络的预训练过程中，卷积神经网络使用了ImageNet数据集进行训练，得到一个映射函数fMAP:Rw×h×D→Rm。利用这个映射函数预处理图片可以得到m维的图片的低维表征。这里，损失函数被定义为交叉熵损失，优化器被设置为随机梯度下降算法。进一步地：对输入图片数据预处理，得到224×224×3的RGB图像，再计算三个通道的平均值，在每个像素上减去平均值。然后将其作为输入，使用步骤二中预训练后的卷积神经网络对图片进行处理，得到图片数据的低维特征表征随后使用多层感知机来处理获得的低维特征，多层感知机定义如下：这里的T表示所使用的多层感知机的层数，σT和σ是非线性激活函数，一般使用ReLU函数作为σ的实现；使用softmax函数作为σT的实现。即σ(x)＝max(0,x)这里的hi(x)是在示例x上对第i个标签集合中的标签的预测置信度，一般会取置信度最高的那个标签作为预测标签，W和b是可训练的参数。使用平均偏汉明损失作为训练多层感知机时的损失函数，其定义如下：这里，Z＝{(xj,Sj)|xj∈X,Sj∈M,1≤i≤n}是偏标签训练集，是第j个训练样本的第i个候选标签集,I(x)在条件x成立时返回1反之返回0。使用上述的方法构建模型，使用Adam算法对模型进行优化，最终训练得到预测模型。进一步地，首先针对待预测的图片，使用步骤二预训练好的模型来提取图片的特征；随后使用步骤三训练好的多层感知机处理输入特征，得到该示例对每个标签集中标签的预测置信度；最后在每个标签集中选取置信度最大的标签作为预测结果。本专利技术具有的有益效果是：本专利技术基于平均偏汉明损失，解决了偏标签多维分类问题。在图片示例包含有多个标签维度，且示例在每个维度上有且仅有一个标签，但已知训练集中信息不充分这一实际情景下，本专利技术提供了一个可行的解决方法，并进行了必要的效果验证。附图说明图1是一个偏标签多维分类的实施例示意图；图2是本专利技术预处理阶段的模型结构图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。本专利技术实施例如下：具体实施的数据集的标签各个维度的含义分别为{地点，是否有树木，狗的品种，天气}，图1是该数据集的一个样本。该样本的输入图像x则为图像的像素点。能够看出该样本实际的标签是{山，有树木，阿拉斯加雪橇犬，晴天}，但在已知的训练集中，该样本的标签为{{山、冰川、河流}，{有树木}，{阿拉斯加雪橇犬、西伯利亚雪橇犬}，{晴天、阴天}}。图2展示了本专利技术预处理阶段的模型结构。步骤一：数据标签集合预处理。输入某张图片一个全标签集合为Y＝C1×C2×…×Cd，这里的这里的Ci表示第i个标签维度的候选标签集。Y是d个维度候选标签集的笛卡尔积集合。我们已知的训练集：Q＝{(xi,Yi)|xi∈X,Yi∈Y,1≤i≤n}首先将训练集Q中的候选标签转换到新的标签候选集S＝{s1,s2,…,sd}∈M中。这里新的标签全集被定义为这里是在第i个标签维度上的标签取值，因为是偏标签问题，所以能够得到的训练集的标签只有一个集合，而不是确切的某个标签。所以一个完全的示例样本是(x,Y,S)。经过步骤一之本文档来自技高网...

【技术保护点】
1.一种基于平均偏汉明损失的多维标签预测方法，其特征在于，包括如下步骤：/n步骤一：数据标签集合预处理：将多维标签数据编码到高维中，将原始的多维标签子集组合之后得到组合的标签集合，建立新的空间；/n步骤二：数据集的预训练：使用ImageNet数据集预训练一个神经网络，得到一个可以抽取图片特征的预训练模型；/n步骤三：首先使用步骤二中预训练好的模型来提取图片特征。之后利用多层感知机基于获得的图片特征进行训练。该多层感知机输出在每一个维度上的预测标签。多层感知机训练时的损失函数是平均偏汉明损失，这个损失函数接受步骤一中预处理的标签集合和本步骤的预测结果，得到的输出是期望损失，这个值越小越好，采用Adam方法来优化损失，训练该多层感知机，提升多层感知机预测性能；/n步骤四：使用步骤三训练好的模型进行多维标签预测。/n

【技术特征摘要】
1.一种基于平均偏汉明损失的多维标签预测方法，其特征在于，包括如下步骤：
步骤一：数据标签集合预处理：将多维标签数据编码到高维中，将原始的多维标签子集组合之后得到组合的标签集合，建立新的空间；
步骤二：数据集的预训练：使用ImageNet数据集预训练一个神经网络，得到一个可以抽取图片特征的预训练模型；
步骤三：首先使用步骤二中预训练好的模型来提取图片特征。之后利用多层感知机基于获得的图片特征进行训练。该多层感知机输出在每一个维度上的预测标签。多层感知机训练时的损失函数是平均偏汉明损失，这个损失函数接受步骤一中预处理的标签集合和本步骤的预测结果，得到的输出是期望损失，这个值越小越好，采用Adam方法来优化损失，训练该多层感知机，提升多层感知机预测性能；
步骤四：使用步骤三训练好的模型进行多维标签预测。


2.根据权利要求1所述的图片数据偏标签多维学习方法，其特征在于，所述步骤一具体如下：输入的图片数据来自集合X＝Rw×h×D，其中R代表实数集，w、h为一张图片的宽和高，D取3，代表了图片RGB通道数。令全标签集合为Y＝C1×C2×...×Ci×...×Cd，其中，这里的Ci表示第i个标签维度上的候选标签集，该候选标签集中共有ki个不同的标签取值，即此外i的取值范围为1，2，...，d。全标签集合Y是d个维度上的候选标签集的笛卡尔积集合。
已知的训练集：
Q＝{(xj，Yj)|xj∈X，Yj∈Y，1≤j≤n}
在训练过程中，将原始训练集Q转化为符合偏标签问题的训练集。训练集Q中各个示例xj的标签Yj被转换到新的标签候选集Sj＝{s1，s2，...，si，...，sd}∈M中。这里新的标签全集M代表所有种类的标签组合的集合，M被定义为：



其中，是示例xj在偏标签问题下第i个标签维度上的标签集，并且保证包含了原始标签Yj在第i个标签维度上的取值。经过步骤一，得到偏标签问题下的训练集：





3.根据权利要求1所述的图片数据偏标签多维学习方法，其特征在于，所述步骤二具体...

【专利技术属性】
技术研发人员：陈刚，胡天磊，陈珂，刘圣源，方小龙，王皓波，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33