一种新型多类支持向量机分类结果的最终决策方法技术

本发明专利技术公开了一种新型多类支持向量机分类结果的最终决策方法，包括以下步骤：S1、设原始训练样本为x

【技术实现步骤摘要】
一种新型多类支持向量机分类结果的最终决策方法


[0001]本专利技术涉及一种分类技术，尤其涉及一种新型多类支持向量机分类结果的最终决策方法。

技术介绍

[0002]与其他传统分类学习技术相比，支持向量计算机SVM具备了精度高、计算速率快、泛化性能强等优势。SVM的工作机理可概括为：寻找一个分类超平面，此平面不仅使得训练样本中的两类样本点能被分开，并且距离该平面尽可能地远；而对线性不可分的问题，则可通过核函数将低维输入空间的数据映射到高维空间，以便将原低维空间的线性不可分问题转化为高维空间上的线性可分问题。
[0003]对于线性可分的两类分类问题，其关键技术之一是寻找最优分类超平面，即寻找最优线性判别函数。设x
i
∈R
d
为样本数据，y
i
∈{+1,
‑
1}为相应的类别标号，其中i＝1,
…
,n。线性判别函数的一般形式为g(x)＝w
·
x+b，其相应的分类面为w
·
x+b＝0。
[0004]SVM算法最初的目标是为二分类问题而设计的，即一类是+1，另外一类则是
‑
1，但在现实中我们需要完成多类分类，而不是简单的两分类，这就需要我们来构造合适的多类分类器。目前，构造支持向量机的多类分类器的方式主要有两种：一种方法是直接方式，即通过直接地修改目标函数，将多个被划分曲面的参数求解组合起来形成一个优化问题，可分为多个类别。这种方式虽然看似简单，但是由于计算的复杂性很高，实现起来很困难。另一种方法是间接方式，即通过组合多个分类器和两个分类器来实现多个分类器的构建，常见的方式有1
‑
a
‑
1型分类器和1
‑
a
‑
r型分类器。
[0005]1‑
a
‑
r(one
‑
against
‑
rest)型分类器即一对余型分类器。分类是通过赢家通吃策略来完成的，子分类器使用最高输出函数来指定类。首先，第一类训练标记为+1，其他类标记为
‑
1，这样经过一次SVM训练就可以得到第一类，然后继续到其他类来分离第二类，以此类推直到结束。这种分类方法的优势之一就是子分类器的数量与分类中的数量相同，数量也比较少，分类的速度也比较快。缺点是每一个子模型的训练都必须是将所有的样本都作为一次训练样本，所以当我们要求解二次规划中出现的问题时，训练的速度就会随之由于训练样品的数目增加而出现急剧降低，且添加新类别时，所有模型都需要重新训练。
[0006]图1为1
‑
a
‑
r型分类器示意图，如图1所示，该方法需要构造数个两类子分类器，将每一类与别的类别划分开，得到k个判别函数，以设计所需至少三类为例，有1，2，3类数据，需要构造三个子分类器，即1类为+1其余为
‑
1，2类为+1其余为
‑
1，3类为+1其余为
‑
1的三个子分类器。将测试集输入这三个子分类器进行测试，取最后输出值最大的即可能性最大的一类作为进行测试的样本的类别。
[0007]1‑
a
‑
1(one
‑
against
‑
one)型分类器即一对一型分类器，分类是使用最大获胜投票策略完成的，其中每个分类器将一个实例分配到两个类中的一个。每个SVM分类器都可以被区分为两个不同的类别。数据被输入到这些子分类器中，根据结果进行投票，然后把投票都添加到指定的分类中，并根据投票的数量确定测试样本的类别。这种分类的优点是在训练
单个模型时相对较快。添加训练集时，不需要重新训练所有的支持向量机，只需要重新训练与新添加的训练集相关的子类。缺点是所需子类数随着类别的增加呈现二次函数关系，训练时间和测试时间相对较慢。
[0008]图2为1
‑
a
‑
1型分类器示意图，如图2所示，该方法通过在每两类之间训练一个分类器，因此对于一个k类问题，要构造总计C(k，2)个两类分类器。以设计所需至少三类为例，有1，2，3类数据，需要构造C(3，2)＝3个子分类器，即能分出1类与2类，1类与3类，2类与3类的子分类器，将测试集输入这三个子分类器进行测试，分类时采用投票决策法，假如测试集是1类的数据，则能1类得到两票取胜。
[0009]对于两类目标的分类问题，SVM只需构造一个分类器直接得出分类判别结果；而对于多类目标分类问题，则需将其转化为多个两类目标分类问题，且需相应地构造多个两类目标子分类器。获得全部子分类器的判别结果后，传统方法采用或投票或最大概率的方式来决策出最后的类属判别结果，该方法数十年来一直沿用，判别结果都容易受到野值样本和子判别器的影响。如何突破传统，寻求更好的决策方式，其研究有其重要的现实意义和应用价值。近年来，学者们较多地研究了核函数的构造及各种算法的优化来提高SVM的性能，使得SVM技术在理论和应用方面都得到了极大发展。然而，对于由子分类器判别结果决策出最终判别结果的研究却相对较少。在此背景下，本专利技术提出一种新型多类支持向量机分类结果的最终决策方法。

技术实现思路

[0010]本专利技术的目的是提供一种新型多类支持向量机分类结果的最终决策方法，相对于传统决策方法，分类精度均能够达到更高的分类准确率，其中在使用线性核的情况下，新决策方法的效果提升更为显著。
[0011]为实现上述目的，本专利技术提供了一种新型多类支持向量机分类结果的最终决策方法，包括以下步骤：
[0012]S1、设原始训练样本为x
i
，i＝1，2，
…
k，类别数目为N，训练判别器时正类类别标签为L1，负类类别标签为L2，其中L1＞L2，子判别器数量为M，利用训练样本及其类别标签信息训练得到结果不做二值量化的M个判别函数，分别记为f1(
·
)，f2(
·
)，
…
，f
M
(
·
)，数值范围约在L1～L2之间；
[0013]S2、记若对应类别j，则规定其类别标签为j(j∈{1，2，
…
，N})，利用训练样本及其类别标签信息训练得到结果已做N值量化的最终决策判别器，决策判别器的输出结果f(
·
)即为相应样本的类别判别结果。
[0014]优选的，步骤S1中M与N之间具有依赖关系。
[0015]优选的，子判别器为SVM或者SVM变体。
[0016]优选的，1
‑
a
‑
r型分类结构中M＝N。
[0017]优选的，1
‑
a
‑
1型分类结构中M＝N(N+1)/2。
[0018]优选的，步骤S2之后还包括：
[0019]S3、利用训练样本及其类别标签信息，采用传统方法训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新型多类支持向量机分类结果的最终决策方法，其特征在于：包括以下步骤：S1、设原始训练样本为x
i
,i＝1,2,
…
k，类别数目为N，训练判别器时正类类别标签为L1，负类类别标签为L2，其中L1＞L2，子判别器数量为M，利用训练样本及其类别标签信息训练得到结果不做二值量化的M个判别函数，分别记为f1(
·
),f2(
·
),
…
,f
M
(
·
)，数值范围约在L1～L2之间；S2、记若对应类别j，则规定其类别标签为j(j∈{1,2,
…
,N})，利用训练样本及其类别标签信息训练得到结果已做N值量化的最终决策判别器，决策判别器的输出结果f(
·
)即为相应样本的类别判别结果。2.根据权利要求1所述的一种新型多类支持向量机分类结果的最终决策方法，其特征在于：步骤S1中M与N之间具有依...

【专利技术属性】
技术研发人员：王立国，孙赫廷，刘丹凤，肖瑛，薄纯娟，刘海涛，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：