联合矩阵分解和双向映射网络的多标签分类方法及系统技术方案

本发明专利技术属于计算机应用技术领域，公开了一种联合矩阵分解和双向映射网络的多标签分类方法及系统，构建实例特征矩阵和类别标签矩阵并进行归一化处理，构建标准的多标签数据集；将类别标签矩阵分解成语义标签矩阵和潜在标签关联矩阵；基于语义标签矩阵和潜在标签关联矩阵以及模型系数矩阵、标签相关矩阵构建多标签分类模型；分别对模型系数矩阵以及语义标签矩阵和潜在标签关联矩阵进行优化求解，得到训练好的模型；将不可见标签的实例作为测试集输入模型预测的标签矩阵；将预测标签矩阵和真实标签矩阵在五个评价指标下进行对比，评估模型的性能以及有效性。在多个领域的多标签数据集上进行了相关的实验，并且实验证明了本发明专利技术的有效性和竞争性。有效性和竞争性。有效性和竞争性。

Multi label classification method and system of joint matrix decomposition and bidirectional mapping network

【技术实现步骤摘要】
联合矩阵分解和双向映射网络的多标签分类方法及系统


[0001]本专利技术属于计算机应用
，尤其涉及一种联合矩阵分解和双向映射网络的多标签分类方法及系统。

技术介绍

[0002]目前，多标签分类研究旨在为不可见实例预测多个可能的标签，即一个实例样本可能同时与多个标签信息匹配。随着互联网技术的发展，现代社会进入了大数据时代。因此，每时每刻都会产生大规模的数据，并且数量庞大，需要进行标记的数据也随之增加。有效的挖掘出数量庞大的数据中有价值的信息在于如何将这些做出最合适的分类，即对大规模数据进行分类。传统的单标签分类是实例与标签之间是一一对应的，多标签分类则是实例和标签之间的“一对多”的关系，这样就给多标签分类带来了巨大的挑战。
[0003]近年来，有关多标签分类方法的研究成为了机器学习的热点研究方向。BR提出一种二进制相关性算法[Learning multi
‑
label scene classification]将多标签学习问题转化为多个独立的单标签分类问题，进而达到多标签分类的结果。ML
‑
KNN[A lazy learning approach to multi
‑
label learning]提出一种改进的KNN多标签分类方法，首先在训练集中找到测试样本的K近邻，基于邻域样本的统计信息，如属于相同标签的邻居的个数，用最大后验概率原则(MAP)预测测试样本的类别标签集。这些算法大都是针对多标签分类设计的，但大多数多标签数据集具有维数高和容量大的特点。因此，提出了很多学习标签特定特征得到多标签分类方法。
[0004]例如黄[LLSF]等人提出一种基于标签特定特征的多标签分类方法，它将原始特征空间的子集定义为标签的特定特征，然后再基于这些标签的特定特征构建多标签分类器。JFSC等人提出一种考虑成对标签相关性和标签特定特征的多标签分类方法。与其他的多标签分类方法不同的是，它提出一种基于Fisher判别的正则化项来考虑标签相关性。此外，LSF
‑
CI提出一种结合实例相似性和标签特定特征的多标签分类方法。它将K近邻图模型来学习实例相似性综合到统一的多标签分类框架上进行多标签分类。与此同时，SFUS[Web image annotation via subspace
‑
sparsity collaborated feature selection]提出一种将共享子空间学习方法结合到标签特定特征学习的多标签分类方法。在稀疏性模型下，联合强相关的特征学习原始特征的共享子空间，同时考虑标签相关性。
[0005]上述多标签学习算法可以被认为是一种由实例空间通过系数矩阵映射到类别标签空间的线性映射，并且考虑了标签相关性，来实现多标签分类的目的。然而上述基于子集特征选方法的特定特征学习只考虑由实例空间到标签空间的单向投影，即学习一个系数矩阵，作为标签的特定特征，由此将实例集映射到标签集，这种特征提取的方法可以被认为是一种数据的压缩，部分实例信息很可能会在压缩过程中丢失，进而导致预测标签不准确。
[0006]通过上述分析，现有技术存在的问题及缺陷为：
[0007](1)传统的单标签分类是实例与标签之间是一一对应的，多标签分类则是实例和标签之间的“一对多”的关系，给多标签分类带来了巨大的挑战。
[0008](2)现有的多标签分类算法大都是针对多标签分类设计的，但大多数多标签数据集具有维数高和容量大的特点。
[0009](3)现有基于子集特征选方法的特定特征学习只考虑由实例空间到标签空间的单向投影，这种特征提取的方法可以被认为是一种数据的压缩，部分实例信息很可能会在压缩过程中丢失，进而导致预测标签不准确。

技术实现思路

[0010]针对现有技术存在的问题，本专利技术提供了一种联合矩阵分解和双向映射网络的多标签分类方法及系统。
[0011]本专利技术是这样实现的，一种联合矩阵分解和双向映射网络的多标签分类方法，所述联合矩阵分解和双向映射网络的多标签分类方法包括以下步骤：
[0012]步骤一，构建实例特征矩阵和类别标签矩阵，对特征矩阵和标签矩阵进行统一的归一化处理，构建标准的多标签数据集；
[0013]步骤二，利用矩阵分解方法，将类别标签矩阵分解成语义标签矩阵和潜在标签关联矩阵；
[0014]步骤三，基于语义标签矩阵和潜在标签关联矩阵以及模型系数矩阵、标签相关矩阵构建多标签分类模型；
[0015]步骤四，采用交替优化方法分别对模型系数矩阵以及语义标签矩阵和潜在标签关联矩阵进行优化求解，得到训练好的模型，并且预测模型为
[0016]步骤五，将不可见标签的实例作为测试集作为预测模型的输入，输入模型预测的标签矩阵；
[0017]步骤六，将预测标签矩阵和真实标签矩阵在五个评价指标下进行对比，评估模型的性能以及有效性。
[0018]本专利技术的预要保护的范围包括：1.将矩阵分解方法应用于多标签分类模型；2.将双向映射网络应用于多标签分类；3.同时利用矩阵分解和双向映射网络的多标签分类模型的构建。
[0019]进一步，所述步骤一中的构建实例特征矩阵和类别标签矩阵，对特征矩阵和标签矩阵进行统一的归一化处理，构建标准的多标签数据集包括：
[0020]构建实例特征矩阵其中n表示样本数，d表示实例特征个数；队实例特征矩阵进行归一化处理；
[0021]构建标签矩阵Y∈{0,1}
n
×
l
，其中n表示样本数，l表示标签个数；且y
ij
＝0表示实例x
i
不包含标签y
j
；否则y
ij
＝1表示实例x
i
包含标签y
j
。
[0022]进一步，所述步骤二中的利用矩阵分解方法，将类别标签矩阵分解成语义标签矩阵和潜在标签关联矩阵包括：
[0023]利用矩阵分解方法将标签矩阵分解为语义标签矩阵U≥0和潜在标签关联矩阵V≥0，Y＝UV；利用最小化平方损失函数来进行矩阵语义标签矩阵U和潜在标签关联矩阵V的优化，即
[0024]进一步，所述步骤三中的基于语义标签矩阵和潜在标签关联矩阵以及模型系数矩
阵、标签相关矩阵构建多标签分类模型包括：
[0025]引入模型系数矩阵W，构建双向映射网络其中第一项为前向映射损失项，第二项为反向重构损失项；经过最小化双向映射网络实现正向损失和反向重构损失的互补，并引入标签相关性；采用余弦相似度来计算标签相关矩阵R，并在模型中添加tr(V
T
RV)正则项来考虑标签相关性；当两个标签向量很相似时，对应的实例特征往往也会相似；综合所述损失函数的建立，最终的多标签分类模型为：
[0026][0027]式中，第五项用于解决模型过拟合的问题，并且λ1、λ2、λ3和λ4为权衡系数，分别控制前向映射、反向重构、标签相关性以及防止过拟合的相对重要性。
[0028本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合矩阵分解和双向映射网络的多标签分类方法，其特征在于，所述联合矩阵分解和双向映射网络的多标签分类方法包括以下步骤：步骤一，构建实例特征矩阵和类别标签矩阵，对特征矩阵和标签矩阵进行统一的归一化处理，构建标准的多标签数据集；步骤二，利用矩阵分解方法，将类别标签矩阵分解成语义标签矩阵和潜在标签关联矩阵；步骤三，基于语义标签矩阵和潜在标签关联矩阵以及模型系数矩阵、标签相关矩阵构建多标签分类模型；步骤四，采用交替优化方法分别对模型系数矩阵以及语义标签矩阵和潜在标签关联矩阵进行优化求解，得到训练好的模型，并且预测模型为步骤五，将不可见标签的实例作为测试集作为预测模型的输入，输入模型预测的标签矩阵；步骤六，将预测标签矩阵和真实标签矩阵在五个评价指标下进行对比。2.如权利要求1所述的联合矩阵分解和双向映射网络的多标签分类方法，其特征在于，所述步骤一中的构建实例特征矩阵和类别标签矩阵，对特征矩阵和标签矩阵进行统一的归一化处理，构建标准的多标签数据集包括：构建实例特征矩阵其中n表示样本数，d表示实例特征个数；队实例特征矩阵进行归一化处理；构建标签矩阵Y∈{0,1}
n
×
l
，其中n表示样本数，l表示标签个数；且y
ij
＝0表示实例x
i
不包含标签y
j
；否则y
ij
＝1表示实例x
i
包含标签y
j
。3.如权利要求1所述的联合矩阵分解和双向映射网络的多标签分类方法，其特征在于，所述步骤二中的利用矩阵分解方法，将类别标签矩阵分解成语义标签矩阵和潜在标签关联矩阵包括：利用矩阵分解方法将标签矩阵分解为语义标签矩阵U≥0和潜在标签关联矩阵V≥0，Y＝UV；利用最小化平方损失函数来进行矩阵语义标签矩阵U和潜在标签关联矩阵V的优化，4.如权利要求1所述的联合矩阵分解和双向映射网络的多标签分类方法，其特征在于，所述步骤三中的基于语义标签矩阵和潜在标签关联矩阵以及模型系数矩阵、标签相关矩阵构建多标签分类模型包括：引入模型系数矩阵W，构建双向映射网络其中第一项为前向映射损失项，第二项为反向重构损失项；经过最小化双向映射网络实现正向损失和反向重构损失的互补，并引入标签相关性；采用余弦相似度来计算标签相关矩阵R，并在模型中添加tr(V
T
RV)正则项来考虑标签相关性；当两个标签向量很相似时，对应的实例特征往往也会相似；综合所述损失函数的建立，最终的多标签分类模型为：
式中，第五项用于解决模型过拟合的问题，并且λ1、λ2、λ3和λ4为权衡系数，分别控制前向映射、反向重构、标签相关性以及防止过拟合的相对重要性。5.如权利要求1所述的联合矩阵分解和双向映射网络的多标签分类方法，其特征在于，所述步骤四中的采用交替优化方法分别对模型系数矩阵以及语义标签矩阵和潜在标签关联矩阵进行优化求解，得到训练好的模型，并且预测模型为包括：(1)模型初始化过程U＝rand(n,k)；V＝rand(k,l)；W＝rand(d,k)；根据余弦相似度求R；权衡参数：λ1、λ2、λ3和λ4；(2)采用交替优化技术对步骤三建立的模型进行优化求解；1)固定W和V，更新U：当W和V固定时，更新U的优化问题表示为：对U求偏导得到：UVV
T
‑
YV
T
+λ1(U
‑
XW)+λ2(UW
T
W
‑
XW)＝0；U的迭代过程写为：其中，表示哈达玛除法；2)固定W和U，更新V：当W和U固定时，更新V的优化问题表示为：对V求偏导得到：U
T
UV
‑
U
T
Y+λ3RV＝0；V的迭代过程写为：3)固定V和U，更新W：当V和U固定时，更新W的优化问题表示为：对W求偏导得到典型的西尔维斯特方程：λ1(X
T
XW
...

【专利技术属性】
技术研发人员：孙冬，檀怡，樊进，高清维，卢一相，竺德，
申请(专利权)人：安徽大学，
类型：发明
国别省市：