【技术实现步骤摘要】
本专利技术提供一种基于最小非零冗余正则项的多标签分类方法，属于数据挖掘中的多标签分类。
技术介绍
1、多标签分类方法可以为一个样例同时标注为多个不同的类标签，已被广泛应用于文本分类、语音识别、医学诊断等领域。多标签分类方法旨在学习训练样例和其标签集之间的映射函数，使得该映射函数能够有效预测无标签样例的标签集。然而，现有的具有高维特征的多标签数据包含大量冗余和无关的特征，这不仅增加了计算负担，而且降低了分类模型的性能。因此，有必要对特征空间进行特征选择和特征抽取，以提高分类模型的性能。在这一背景下，l1-norm和l2,1-norm由于其可以有效约束系数矩阵的稀疏性，进而可以更有针对性的选择到有辨别力的特征，在现有的基于特征选择的多标签分类方法中被广泛使用。然而由于l1-norm和l2,1范数之间的冗余问题被忽略，导致模型获得的性能是次优的。
技术实现思路
1、本专利技术要解决的技术问题是提供一种基于非零最小冗余正则项的多标签分类方法，用于解决上述问题。
2、本专利技术的一个技术目的是提供一种基于非零最小冗余正则项的多标签分类方法，首先基于线性回归模型学习两个分类器，其次，分别使用l1-norm和l2,1-norm分别约束上述两个分类器，以学习标签特定特征和公共特征。然后，构造非零最小冗余正则约束两个分类器之间的冗余性。最后，引入标签相关性和样例相关性分别约束两个分类器，以避免非零最小冗余正则导致权重消失的情况。同时，由于最小非零冗余正则项以二元范式呈现，致使常用的加速近
3、具体步骤为：
4、step1、输入训练数据集g，测试数据集t；
5、step2、读取训练数据集g中样例的特征和标签信息，生成样例特征矩阵x和标签矩阵y；
6、其中,为样例特征矩阵，为第i个样例的特征向量，n为样例数，d为特征类别数；为标签矩阵，为第i个样例的标签向量，l为标签类别数；
7、step3、定义分类模型的一般形式为：其中，是预测矩阵，ω(w)是关于w的函数，是样例x的预测标签向量。
8、step4、将预测矩阵w分解为两个系数矩阵p和q，分别用l1-norm和l2,1-norm约束，以学习标签的特定特征和公共特征。
9、step4.1：基于l1-norm，约束系数矩阵p以学习标签特定特征:
10、
11、其中，表示标签特定特征系数矩阵，p中第i个标签pi的系数向量为pi＝[p1i,p2i,...,pdi]t,pfi表示特征f判别为标签i的特定特征的权重。
12、step4.2：基于l2,1-norm，约束系数矩阵q以学习标签特定特征:
13、
14、表示标签公共特征系数矩阵，q中第i个标签qi的系数向量表示为qi＝[qi1,qi2,...,qid]t，qfi表示特征f判别为第i个标签的公共特征的权重。
15、step5、针对l1-norm和l2,1-norm之间存在的冗余干扰问题，即特征和标签之间语义信息丢失或重叠，构造最小非零冗余正则项，以减少标签特定特征和公共特征之间的冗余信息和相互干扰。
16、step5.1：基于系数矩阵p和q构造累积内积项f(p,q)，f(p,q)中每一项对应第i个标签和第j个标签之间特定特征和公共特征之间的冗余相关性<pi,qj>2。
17、step5.2：最小非零冗余正则化项ω3(p,q)定义为：
18、
19、step6：基于n个样例样本中的特征信息和标签信息分别计算样例相关性和标签相关性，并构建基于平滑性假设的正则项，避免因最小非零冗余正则项约束导致标签特定特征和公共特征的权重消失。具体为：
20、step6.1：基于余弦相似度，计算标签相关矩阵
21、其中，l(l1,l2)是标签l1和l2的相关度，是y的第l1列，是y的第l2列；
22、step6.2：本专利技术假设具有强相关性的两个标签l1和l2，其对应的特定特征输出也应该强相关。即如果l1和l2之间存在强相关性，则输出的预测标签矩阵中第i个标签向量xpi和第j个标签向量xpj之间具有强相关性。
23、step6.3：基于标签相关性的正则化项ω4(p)定义为：
24、
25、式(4)中，rij表示标签li与标签lj之间的余弦相关性，l1＝r*-r表示r的拉普拉斯矩阵，是对角矩阵，且
26、step6.4：基于k近邻(knn)算法评估两个样例之间的相关性，并构造样例相关性矩阵s：
27、
28、其中，knn(xi)是由欧氏距离计算得出的关于样例xi的k个最近邻。
29、step6.5：基于样例相关性的正则化项ω5(q)定义为：
30、
31、式(5)中，表示s的拉普拉斯矩阵，且l2＝s*-s，是对角矩阵，且
32、step6.6：根据step3、step4.1、step4.2、step5.2、step6.3和step6.5可得φ(f)为：
33、
34、通过最小化φ(f)，求解出p和q，f(x)＝x(p+q)为样例x的预测标签向量。
35、step7：由于step6中建立的模型包含二元范式的正则项，其梯度不满足二元lipschitz连续。因此，致使常用的加速近端梯度方法(fista)失效。为此，我们设计了fista的平滑近似方法approximate-fista来优化求解模型。
36、step7.1：首先我们将式(7)中的目标函数分解为下列形式来寻求最优解。
37、
38、其中，f(θ)、h(θ)和g(θ)都是凸函数，θ＝(p,q)。且f(θ)具有lipschitz连续梯度。即lf是lipschitz常数。
39、
40、h(θ)＝α||p||1； (10)
41、
42、
43、step7.2：为了使用approximate-fista方法，我们首先构造h(θ)的光滑近似，根据amir.beck的方法，当hμ(θ)(μ＞0)满足下列两个条件时，其光滑近似是一个凸且可微的函数，并称为具有参数(η,γ)的h(θ)的1/μ-光滑近似。
44、(a)hμ(x)≤h(x)≤hμ(x)+γμ
45、(b)hu是η/μ-光滑
46、具体来讲，当μ＞0时，是h(θ)的光滑近似，且h(θ)具有参数其中，表示单位矩阵，d是p的行数。定义fμ(θ)＝f(θ)+hμ(θ)，且fμ是光滑的。式(11)本文档来自技高网...
【技术保护点】
1.一种基于最小非零冗余正则项的多标签分类方法，其特征在于，包括下列步骤：
【技术特征摘要】
1.一种基于最小非零冗余正则项的多标签...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。