一种结合支持向量机和投影矩阵的多标签分类方法技术

本发明专利技术公开了一种结合支持向量机和投影矩阵的多标签分类方法，包括下述步骤：S1，参数设置；首先设置最大训练步长T和样本的批量大小；设置超参数：如权衡参数β，正则化参数γ和比较阈值τ；本发明专利技术基于一致KL散度目标模型将多标签分类问题分为两部分，既能通过构造一组新的SVM模型直观地确定样本和标签的关系，又能充分利用标签之间的信息，通过构建一个新的投影矩阵来确定标签与标签之间的内在关系，从而提高分类的效果；在建立一致目标模型的同时可以分别对两部分损失进行优化，从而降低了复杂度。

A Multi-label Classification Method Combining Support Vector Machine and Projection Matrix

【技术实现步骤摘要】
一种结合支持向量机和投影矩阵的多标签分类方法
本专利技术涉及多标签分类
，具体涉及一种结合支持向量机和投影矩阵的多标签分类方法。
技术介绍
随着大数据时代的发展，数据爆炸性地进行增长，如何快速、准确地处理数据得到越来越多人的关注。现有的多标签分类方法计算效率低，不适合用于大数据和高维特征数据，或者准确性不高，限制了多标签分类在实际生活中的应用；而且，现有的多标签分类方法不能很好的利用标签之间的相关性或者确定标签关系的形式过于复杂，导致了分类的性能较差或者算法的复杂度急剧上升。在多标签分类中，每个样本不再对应唯一的标签，其目的在于为未见的样本赋予合适的标签集。多标签分类不同于多类分类，多类分类是指给定样本中分配一个标签。但在实际生活中，多标签分类比单标签分类更为实用。例如，一张图片，画面内容可能包含多种元素，如沙发、餐桌、椅子等。对图片进行类别划分就属于多标签分类问题。在现有的对多标签分类的研究中，最常见的多标签分类方法有两类：(I)算法适应方法(Algorithmadaptationmethods)，算法适应方法就是将原来的单标签分类算法进行扩展以能够直接处理多标签分类问题，C2AE，ML-DT和RankSVM都是算法适应方法；(II)问题转换方法(Problemtransformationmethods)，问题转换方法是将多标签分类问题转换成一个或多个单标签分类问题，最常见的问题转换方法就是二元关联(Binaryrelevance，BR)方法，标签幂集(Labelpower-set，LP)方法和标签排序(Labelranking)方法。多标签数据具有丰富的标签信息，因此标签与标签之间具有一定的关系。利用标签之间的内在关系可以提升多标签分类的效果。确定多标签分类中标签关系的方法可分为三种：一阶(first-order)，二阶(second-order)，高阶策略方法(high-orderstrategy-basedapproaches)；基于一阶策略的方法是在不考虑标签关系的情况下处理标签问题，通常将分类问题分解为几个独立的二元分类问题，如BR问题；基于二阶策略的方法是处理标签对之间的关系，如标签排序方法(Labelrankingmethods)；基于高阶策略的方法则是考虑了所有标签之间的关系，如RakEL(Randomklabel-sets)，由于使用了更多可识别的信息进行分类，基于高阶策略方法的分类效果比基于一阶和二阶策略方法的分类效果要好得多。有学者利用深层潜在空间(deeplatentspace)构造一个网络来模拟标签之间的关系，但这会导致空间复杂度较高。现有技术中，公开了基于逻辑回归的多标签分类方法，但是该方法是基于二阶策略的方法，即仅仅处理标签对之间的关系，并未充分利用更多可识别的信息进行分类，从而影响分类精度；公开了利用深层潜在空间(deeplatentspace)构造一个网络直接来模拟标签之间的关系，但这会导致空间复杂度较高。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种结合支持向量机和投影矩阵的多标签分类方法，该方法能够有效利用多标签数据的相关性，并且保证分类的高效性和准确性。本专利技术的目的通过下述技术方案实现：一种结合支持向量机和投影矩阵的多标签分类方法，其特征在于，包括下述步骤：S1，参数设置；首先设置最大训练步长T和样本的批量大小；设置超参数：如权衡参数β，正则化参数γ和比较阈值τ；S2，特征映射；利用映射即可得到样本xi对应的特征描述zi；S3，确定样本与子标签的关系；将样本xi映射后所得到的特征描述zi作为多元SVMs的输入；定义第l个SVM分类器对第l个标签的预测如下：其中，W中的每一列对于每一个标签都是一个one-against-all的二元分类器，即利用每一个SVM分类器将一个样本标注一个标签而忽略其他标签，这样就把一个多标签分类问题转化为多个二分类问题，从而得到一组子标签来确定样本与标签之间关系；多元SVMs根据向量来生成每个标签的分类得分，接着利用sigmoid函数对多元SVMs生成的分类得分进行标准化，将这些分类得分映射到0至1的范围内，生成这些分类得分的概率描述，即子标签的条件概率S4，确定子标签与标签的关系；利用投影矩阵对每个标签之间的关系进行建模；投影矩阵中的所有变量用Θ来表示，在投影矩阵中，当且仅当第l个标签与样本xi有关联时，标签yl取值为1，否则取值为0；在给定概率描述对于任意第i个样本的标签的预测定义如下：而对于第l个标签的最终预测，预测的结果是通过阈值比较得出的：其中τ是设置的比较阈值，1为指示函数；S5，计算损失函数；为了更好的确定子标签与标签之间的关系，从而提高多标签分类问题的分类效果，通过利用KL散度来最小化标签与子标签同时观测的概率与模型的观测概率的偏差；而对于KL散度的最小化会导致两部分的损失：(1)计算确定样本与标签的关系时构建多元SVMs所造成的损失：(2)计算确定标签之间的关系时构建投影矩阵所造成的损失：(3)将以上两部分损失代入以下公式，从而得到一致目标模型：其中，β是权衡参数，通常为正数，γ是正则化参数；S6，对于一致目标模型的优化；在建立一致目标模型的同时可以分别对两部分的损失进行优化，即通过最小化LSVM(W)和LMSE(Θ)这两部分损失来实现，这可以降低计算的复杂度；(1)对于第一部分的损失LSVM(W)的优化，一个直观的方法是分别对每个SVM进行运算，但这会大大提高运行时间的复杂度，因此为了能够使多元SVMs同时进行优化，采用基于梯度的同步优化方法，得到损失LSVM(W)关于的梯度：其中(2)对于第二部分的损失LMSE(Θ)的优化，也是使用基于梯度的优化方法，得到损失LMSE(Θ)关于Θ的梯度：(3)用变量集合{W，Θ}表示整个算法中需要优化的变量；对于所需要优化的变量集{W，Θ}中的所有变量，在得到关于W和Θ的梯度之后，使用themini-batchAdam方法对一致目标进行优化，可减少空间复杂度；在Adam方法中，我们利用θ代表所需要优化的所有变量的集合；θt-1表示在第t次迭代中，在W或Θ中的任意一个所需要优化的变量；利用和可以得出一致目标的梯度gt；使用Adam方法，通过三步更新规则计算来更新每一个参数。优选地，所述S6(3)中的三步更新规则计算具体为：Stepl，计算偏置校正的一阶矩估计Step2，计算偏置校正的二阶矩估计Step3，将偏置校正的一阶矩估计和偏置校正的二阶矩估计代入到以下式子，即可求出在第t次迭代中所需要优化的变量θt-1：本专利技术与现有技术相比具有以下的有益效果：本专利技术基于一致KL散度目标模型将多标签分类问题分为两部分，既能通过构造一组新的SVM模型直观地确定样本和标签的关系，又能充分利用标签之间的信息，通过构建一个新的投影矩阵来确定标签与标签之间的内在关系，从而提高分类的效果；在建立一致目标模型的同时可以分别对两部分损失进行优化，从而降低了复杂度。附图说明图1为本专利技术的流程示意图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。本专利技术一种结合支持向量机和投影矩阵的多标签分类方法是基于高阶策略的方法，利用了投影矩阵来确定标签本文档来自技高网...

【技术保护点】
1.一种结合支持向量机和投影矩阵的多标签分类方法，其特征在于，包括下述步骤：S1，参数设置；首先设置最大训练步长T和样本的批量大小；设置超参数：如权衡参数β，正则化参数γ和比较阈值τ；S2，特征映射；利用映射

【技术特征摘要】
1.一种结合支持向量机和投影矩阵的多标签分类方法，其特征在于，包括下述步骤：S1，参数设置；首先设置最大训练步长T和样本的批量大小；设置超参数：如权衡参数β，正则化参数γ和比较阈值τ；S2，特征映射；利用映射即可得到样本xi对应的特征描述zi；S3，确定样本与子标签的关系；将样本xi映射后所得到的特征描述zi作为多元SVMs的输入；定义第l个SVM分类器对第l个标签的预测如下：其中，W中的每一列对于每一个标签都是一个one-against-all的二元分类器，即利用每一个SVM分类器将一个样本标注一个标签而忽略其他标签，这样就把一个多标签分类问题转化为多个二分类问题，从而得到一组子标签来确定样本与标签之间关系；多元SVMs根据向量来生成每个标签的分类得分，接着利用sigmoid函数对多元SVMs生成的分类得分进行标准化，将这些分类得分映射到0至1的范围内，生成这些分类得分的概率描述，即子标签的条件概率S4，确定子标签与标签的关系；利用投影矩阵对每个标签之间的关系进行建模；投影矩阵中的所有变量用Θ来表示，在投影矩阵中，当且仅当第l个标签与样本xi有关联时，标签yl取值为1，否则取值为0；在给定概率描述对于任意第i个样本的标签的预测定义如下：而对于第l个标签的最终预测，预测的结果是通过阈值比较得出的：其中τ是设置的比较阈值，1为指示函数；S5，计算损失函数；为了更好的确定子标签与标签之间的关系，从而提高多标签分类问题的分类效果，通过利用KL散度来最小化标签与子标签同时观测的概率与模型的观测概率的偏差；而对于KL散度的最小化会导致两部分的损失：(1)计算确定样本与标签的关系时构建多元SVMs所造成...

【专利技术属性】
技术研发人员：刘芷菁，刘波，林露樾，肖燕珊，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44