一种用于解决多分类问题的纠错ＳＶＭ分类方法技术

本发明专利技术公开了一种用于解决多分类问题的纠错ＳＶＭ分类方法，属于模式识别和机器学习技术领域。其特征是由纠错ＳＶＭ网络的训练系统和纠错ＳＶＭ网络的工作系统组成。纠错ＳＶＭ网络的训练系统由编码器、训练样本集划分器、ｎ个ＳＶＭ单元训练器组成；纠错ＳＶＭ网络的工作系统由经过纠错ＳＶＭ网络的训练系统训练好的ｎ个ＳＶＭ单元、解码器组成。本发明专利技术利用数字通信中的纠错编码算法将多个ＳＶＭ进行有效地组合，使得组合后的ＳＶＭ网络具有纠正其中部分ＳＶＭ单元所发生的分类错误的能力，而且需要使用的ＳＶＭ单元的数量较少，从而使该分类方法的综合性能得到提高。

【技术实现步骤摘要】

本专利技术属于模式识别和机器学习
，涉及到一种利用数字通信中的纠错 编码算法将多个SVM (Support Vector Machine 支持向量机)进行有效地组合，以使得组合后的SVM网络具有纠正其中部分SVM所发生的局部性错误的能力，从而提高其整体 的分类性能。
技术介绍
SVM (Support Vector Machine,支持向量机)是一种基于结构风险最小化准则的最优神经网络分类器模型，在模式识别、机器学习等领域获得了广泛应用。SVM本身是 针对二分类问题提出来的，对于解决二分类问题是最优的，但对于解决多分类问题并不 能得到最优分类结果。在现有的方法中，是通过将多个SVM单元进行组合来解决多分类 问题的。但如何进行组合，在理论上目前尚没有最优的方法，一般是在分类性能和所采 用的SVM单元的数量二者之间进行适当的平衡。因此，探索新颖高效的SVM组合方法 具有重要的理论意义和应用价值。目前，在SVM神经网络领域的研究主要集中在(1)探索应用不同的非线性 和函数，采用不同的学习训练算法；(2)在各种分类识别、智能计算、或机器学习问题 中进行应用；(3)已提出了一些用于多分类的SVM组合方法，其中典型的组合方法有 M-ary模型、“一对多”模型、及“一对一”模型。其中，M-ary模型所需要的SVM 单元最少，仅为「log2M]个(其中M为类别数)，“一对多”模型需要M个SVM单元。 在这两种组合方法中，当其中某一个SVM单元发生分类错误时，则将造成整个最终分类 结果发生错误，因此其容错性能较差。而由于在实际数据中总是存在各种误差，因此难 免会有某个(或某些)SVM单元发生错误。对于“一对一”模型，所需要的SVM单元 的数量为M2量级，随着待分类数的增加所需要的SVM数量呈平方律增长，这对于实际 应用是非常不利的因素。虽然“一对一”模型在有些情况下具有一定的容错性能，但实 际上，这种容错能力是通过以高倍冗余的SVM单元的数量来换取的。由此可见，若能研 究出更好的SVM组合方法，以较少的冗余量来换取更强的容错性是十分有意义的。
技术实现思路
本专利技术提出一种用于解决多分类问题的纠错SVM分类方法来实现多分类功能 (称为纠错SVM网络)，用于降低所需SVM单元的冗余数量、提高整个组合系统的容错 能力。本专利技术的技术方案是一种用于解决多分类问题的纠错SVM分类方法(以下简称为纠错SVM网络)， 包括纠错SVM网络的训练系统、纠错SVM网络的工作系统。在纠错SVM网络的训练 系统中包括编码器、训练样本集划分器、n个SVM单元训练器(SVM单元训练器-i，i = 1，…，n)；纠错SVM网络的工作系统中包括n个SVM单元(SVM单元-i，i = 1，…，n)、解码器。纠错SVM网络的训练系统是用于训练纠错SVM网络的，这个训练过程也即是 该纠错SVM网络的设计过程。在纠错SVM网络的训练系统中，编码器的输入为训练 样本特征矢量集SF，在编码器中首先按某个特定的编码算法产生一套n比特的二进制码 字，将输入的训练样本特征矢量集中的每个矢量都赋给一个码字作为其代号，由此产生 了一套对应的特征矢量集Se，在3。中每个特征矢量都带有一个编码代号，将3。输出给训 练样本集划分器，训练样本集划分器将根据Se中每个特征矢量所带的编码代号将Se重新 划分，生成n个特征矢量集S,(i= 1，…，n),并将第i个特征矢量集S,输出给SVM单 元训练器_i(i = l，…，n)。在SVM单元训练器-i中，将依据已有的SVM学习算法对 其进行训练，收敛后得到输出SVM单元_i(i= 1，…，n)。全部n个SVM单元训练器 中都进行同样的训练操作，全部n个SVM单元训练器都收敛后，则完成了该纠错SVM网 络的训练设计过程。纠错SVM网络的工作系统是直接用于实际待分类样本的特征矢量进行分类运算 的。在该系统中，其中的n个SVM单元(SVM单元-i，i = 1,…，n)即是在纠错SVM 网络的训练系统中经过上述的训练操作后所得到的收敛后的n个SVM单元。该系统中各 个SVM单元的输入同时都为某个待分类的样本特征矢量Xf，第i个SVM单元(SVM单 元-i，i=l，…，n)对Xf进行计算，产生输出1^01=1，…，n),送给解码器。在解码 器中，首先用！！个！？力二丨，…，n)构成一个n比特的二进制码字B= (b^+bj，然后 采用与编码器相配套的解码算法对B进行解码，最后输出为经过纠错运算后的解码结果 Yd。于是，由Yd所代表的类别即为该纠错SVM网络对输入样本矢量Xf的分类结果。本专利技术的效果和益处是通过将数字通信中的纠错编码方法引入到二分类SVM 单元的组合方案中，使组合后的SVM网络可以象当前最先进的数字通信系统那样具有检 错和纠错能力，同时这种SVM网络所需要的SVM单元数量也比较小(远远少于“一对 一”模型所需要的SVM单元的数量，甚至还少于“一对多”模型所需要的SVM单元的 数量)，而且其纠错能力和SVM单元数量还可以根据具体应用问题的需要来预先进行设 计和置定。附图说明附图是纠错SVM网络的结构示意图，其中图1是纠错SVM网络的训练系统， 图2是纠错SVM网络的工作系统。具体实施例方式以下结合技术方案和附图详细叙述本专利技术的具体实施例。首先运行图1所示的纠错SVM网络的训练系统，实施例步骤如下步骤1 针对一个所要解决的M类分类问题，首先选择出两个合适的整数值n 和1，使其满足C「log2M] + 2/ + l，其中n为所要用的SVM单元的个数，「log2M]表示为 log2M的上确界整数，1为可由设计者决定该纠错SVM网络所要达到的纠错个数。步骤2:依据数字通信中的纠错编码理论，选择一个合适的编码算法可以使其 最小汉明距离为21+1，在本专利技术中推荐使用BCH码(Bose，Chaudhuri，HocquenghemCode)。在编码器中用该编码算法产生一套二进制码字(记为丨C(k)})，并将输入的训练 样本特征矢量集的每个矢量都赋给一个不同的码字C(k)作为其代号，由此产生一套 对应的特征矢量集se，将se输出给训练样本集划分器。步骤3 在训练样本集划分器中，根据Se中每个特征矢量所带的编码值将Se重 新划分，生成n个特征矢量集S,(i = 1，…，n),该步骤的具体做法是对于每个S,，都是由两个子集构成，即《={(S^,S}) }，其中$是由Sc中特征矢量的编码C(k)的第i位比特值为0的全部特征矢量构成，$是由Se中特征矢量的编码C(k)的第i位比特值为 1的全部特征矢量构成。全部n个、都按此方法构成(i= 1，…，n)。然后将第i个特 征矢量集、输出给SVM单元训练器_i(i= 1，…，n)。步骤4:在SVM单元训练器_i中，将依据已有的SVM学习算法(例如采用 SMO (Sequential Minimal Optimization)学习算法)用特征矢量集S,作为训练样本对其进行训练，收敛后得到的SVM模型即作为其输出SVM单元_i(i = l，…，n)。在全部n个 SVM单元训练器中都进行同样的训练操作，全部收敛后，则完成了该纠错SVM分类器的 训练过程，也由此完成了其设计过程。下述步骤为运行图2所示的纠错SVM网本文档来自技高网...

【技术保护点】
一种用于解决多分类问题的纠错ＳＶＭ分类方法，包括纠错ＳＶＭ网络的训练系统、纠错ＳＶＭ网络的工作系统；在纠错ＳＶＭ网络的训练系统中包括编码器、训练样本集划分器、ｎ个ＳＶＭ单元训练器；纠错ＳＶＭ网络的工作系统中包括ｎ个ＳＶＭ单元、解码器；其特征在于：纠错ＳＶＭ网络的训练系统用于训练纠错ＳＶＭ网络，完成该纠错ＳＶＭ网络的设计过程；纠错ＳＶＭ网络的工作系统用来完成分类操作过程，该系统是由纠错ＳＶＭ网络的训练系统训练好的ｎ个ＳＶＭ单元并以相同的网络结构来构成。在纠错ＳＶＭ网络的训练系统中，依据数字通信中的纠错编码理论，选择一个具有纠错能力的编码算法产生一套ｎ比特二进制码字，将输入的训练样本特征矢量集中每个矢量都赋给一个码字作为其代号，由此产生一套对应的特征矢量集Ｓ↓［Ｃ］，训练样本集划分器根据该编码代号将Ｓ↓［Ｃ］重新划分，生成ｎ个特征矢量集Ｓ↓［ｉ］；在ＳＶＭ单元训练器－ｉ中以Ｓ↓［ｉ］为训练样本以ＳＶＭ学习算法进行训练，全部收敛后，完成该纠错ＳＶＭ网络的训练过程；在纠错ＳＶＭ网络的工作系统中，所用的ｎ个ＳＶＭ单元是在纠错ＳＶＭ网络的训练系统中经过训练且收敛后所得到的ｎ个ＳＶＭ单元并以相同的结构来构成网络；对于某个待分类的样本特征矢量Ｘ↓［ｆ］，该系统中的第ｉ个ＳＶＭ单元直接对Ｘ↓［ｆ］进行计算，产生输出ｂ↓［ｉ］，送给解码器。在解码器中，首先用ｎ个ｂ↓［ｉ］构成一个ｎ比特的二进制码字Ｂ＝（ｂ↓［１］ｂ↓［２］…ｂ↓［ｎ］），然后采用与编码器相配套的解码算法对Ｂ进行解码，输出是经过纠错运算后的解码结果Ｙ↓［ｄ］；于是，由Ｙ↓［ｄ］所代表的类别即作为该分类方法对输入样本矢量Ｘ↓［ｆ］的分类结果。...

【技术特征摘要】
1. 一种用于解决多分类问题的纠错SVM分类方法，包括纠错SVM网络的训练系统、 纠错SVM网络的工作系统；在纠错SVM网络的训练系统中包括编码器、训练样本集划 分器、η个SVM单元训练器；纠错SVM网络的工作系统中包括η个SVM单元、解码 器；其特征在于纠错SVM网络的训练系统用于训练纠错SVM网络，完成该纠错SVM网络的设计 过程；纠错SVM网络的工作系统用来完成分类操作过程，该系统是由纠错SVM网络的 训练系统训练好的η个SVM单元并以相同的网络结构来构成。在纠错SVM网络的训练 系统中，依据数字通信中的纠错编码理论，选择一个具有纠错能力的编码算法产生一套 η比特二进制码字，将输入的训练样本特征矢量集中每个矢量都赋给一个码字作为其代 号，由此产生一套对应的特征矢量集...

【专利技术属性】
技术研发人员：郭成安，赵泰洋，王成波，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：91