一种基于支持向量几何意义的增量学习方法技术

本发明专利技术公开了一种基于支持向量几何意义的增量学习方法，包括以下步骤：首先提出有效的选取给定个数凸包顶点样本的方法，称为CHVS方法，并从理论上证明此方法所选取的样本就是凸包顶点样本；其次通过在每一类样本集合中运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度保持各类凸包信息的重要样本，称为VS方法；最后用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器。本发明专利技术实现了有效的SVM增量学习分类方法，是一种通用的方法，相对于其它的经典SVM增量学习方法，本发明专利技术的增量学习方法更适合于大数据量的在线增量学习任务，具有很好的应用前景。

【技术实现步骤摘要】

本专利技术涉及计算机模式识别领域，特别是涉及一种基于支持向量机即SVM几何意义的增量学习方法。
技术介绍
分类器设计是计算机模式识别领域中的研究重点，因为分类器作为模式识别研究的基本工具。总的来说，目前的分类器算法主要有两个关键性的问题:(I)分类器的推广能力；(2)训练分类器所耗费的时间。分类器的推广能力就是分类器预测未知样本类别的能力，即分类精度的高低。支持向量机即SVM是一种建立在统计学习理论基础上的机器学习方法，是结构风险最小化思想的具体实现，具有很好的推广能力。它通过引入核映射方法，有效克服了维数灾难，较好地解决了非线性问题，因此成为近年来最成功的分类器，被广泛应用于人工智能、金融预测、神经生物学、医学等众多领域。SVM在模式分类中具有其它方法不可比拟的优越性，但是它依然有存在着一些问题:(I)训练分类器时需要占据很大的内存:理论上来讲，训练样本数量越多，分类器的精度越高，然而基于核函数的SVM在训练时需要存储一个0(12)的非稀疏核矩阵，其中I是训练样本的个数。这就使得SVM不能处理大数据量的分类问题。(2)不能用于在线学习任务:在机器学习领域，在线学习指的是分类器能够根据依次新来的错分样本不断地做出调整，从而提升分类器的推广能力。分类器的在线学习在一些实时系统中，如行人检测系统和飞机视觉导航系统，都有着非常重要的应用。当有新来的错分样本时，如果将它和已有的所有样本重新训练去更新分类器则要消耗大量的运算资源，满足不了实时在线任务的要求。为了克服上述缺陷，一些增量SVM学习方法被提了出来。他们的主要思想是在训练过程中仅仅考虑部分有重要作用的数据样本，这样一方面能够保持分类精度，另一方面也缓解了对内存的巨大需求，提高了训练速度，为实现在线学习提供了可能。Syed等人[I]和Mitra等人[2]最早提出了针对SVM的增量学习方法。其基本思想是当新来一批样本时，就用先前分类器的支持向量与这些新来的样本重新训练实现分类器的更新。由于新来的样本中也存在着部分冗余，为了更快地实现分类器的更新，Domeniconi等人[3]引进了一种探寻机制，即新来一批样本时，先计算出它们到当前分类器超平面的距离，然后把那些距离小于某个阈值的样本挑选出来，与先前的支持向量一起重新训练。Ralaivola等人[4]利用径向基函数的局部性设计了一种局部在线增量学习算法，当有新样本进入训练集时，不用重新考虑整个训练集而只考虑新样本的邻集，从而节省了计算时间。这类方法比较简单，容易实现，但是由于每次仅利用上一次训练结果中的支持向量而丢弃了其他样本，这很可能会引起重要数据样本的丢失，从而影响分类精度。Cauwenberghs[5]从理论上分析了增加一个训练样本或者减少一个训练样本时SVM对偶QP问题KKT条件的变化情况，提出了针对SVM的精确的增量训练方法。Lau等人[6]通过不断迭代训练上一步的支持向量、违背当前KKT条件的样本和新来的样本，使得分类器的系数不断调整更新，迭代过程一直到所有样本均满足KKT条件。Cheng[7]等人根据当前SVM的错误率和每个样本到当前分类器超平面的距离计算出每个样本的权重，将那些权重超过一定阈值的样本加入到当前训练集中进行重新训练，得到新的分类器，迭代过程直到所有含有信息的样本都在训练集中为止。Bordes等人[8]基于SMO的基本思想提出了LASVM，即新来一个样本，如果它违背KKT条件，则分类器通过PROCESS过程将此样本加入到支持向量集中；同时再通过REPROCESS过程将支持向量集中最不违背KKT条件的样本移除；最后通过FINISH步骤使得所有在支持向量集中的样本均满足KKT条件。这类方法虽然克服了前一类方法在增量学习过程中可能丢失重要数据样本的缺陷，提高了分类精度，但是在处理大规模数据时需要很多次迭代才能达到停止条件，因此满足不了实时在线的要求。
技术实现思路
本专利技术的目的在于:现有技术中已有的经典SVM增量学习方法在训练分类器时需要占据很大的内存，并且不能应用于在线学习任务，针对上述不足，本专利技术从SVM的这个几何意义出发，提供了一种可以实现分类器快速更新的同时又不会影响分类精度，使得其在处理大数据量的在线学习任务时更加有效的基于支持向量几何意义的增量学习方法。为了实现上述目的，本专利技术采用了以下的技术方案:，包括以下步骤:(I)、提出有效的选取给定个数凸包顶点样本的方法，我们称为CHVS方法，并从理论上证明了此方法能够选取到凸包顶点样本；(2)、通过运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度地保持各类凸包信息的重要样本，称为VS方法；(3)、用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器；(4)、步骤(2)和(3)重复迭代，直到没有新的样本到来为止。作为优选，所述的步骤(I)包括以下子步骤:首先，用贪婪的方法选取出d+Ι个凸包顶点样本，使得它们所组成的d-单纯形是所有由训练样本中任意d+Ι个样本组成的d-单纯形中体积近似最大的一个，所述的d是样本的维数；其次，根据上一步所选取的d+Ι个凸包顶点样本，将大数据量的样本集合分成若干区域，使得在每一区域的样本个数均不超过一个给定的阈值整数；最后，计算各个区域上的样本到此区域子凸包的距离，将距离最大的那个样本加入到当前的凸包顶点样本集合中，同时更新此样本所在区域的子凸包；迭代直到选取的凸包顶点样本个数达到给定数目为止；由于每次更新凸包顶点样本集合时仅仅需要计算子区域样本到对应子凸包的距离，因此很大程度上降低了计算复杂度，提高了算法效率。作为优选，所述的步骤(2)包括以下子步骤:首先，初始化所需要选取的凸包顶点样本占总样本的比例；其次，利用CHVS方法按照此比例在各类样本集中分别选取凸包顶点样本，用这些样本来训练SVM分类器，并计算分类器在测试样本集上的正确率；再次，根据正确率来判断当前所选取的样本是否能够最大程度地保持各类训练样本集的凸包信息；如果不是，增加所需要选取样本的比例，返回步骤(2)的第二步骤；如果能够最大程度地保持各类训练样本集的凸包信息，最后，输出所选取的能够最大程度地保持凸包信息的重要样本子集。作为优选，所述的步骤(3)包括以下子步骤:首先，初始化当前训练样本集为已存在的所有训练样本；其次，利用步骤(2)在当前训练样本集中选出那些能够最大程度地保持凸包信息的样本作为当前训练样本，并用这些样本训练SVM分类器，这样使得训练出来的SVM分类器尽可能接近于用全部训练样本训练出来的SVM分类器；再次，若有新来样本，则计算其到当前分类器超平面的距离，如果距离小于某个阈值，就将此样本加入当前训练样本集中，进行重新训练，实现分类器的更新；否则，分类器不更新；最后，判断当前训练样本集中个数是否超过给定阈值，如果是，返回第二步，否则，返回第三步。这样一方面使得那些能够对分类器起到作用的样本都参与了分类器的更新过程，实现了分类器的准确更新；另一方面大幅度减少了参与训练样本的个数，提高了分类器的更新速度。从几何上看，SVM的求解等价于求解正负类样本分别所形成凸包之间的最近点对。因此，训练过程中起作用的是两类样本分别形成的凸包上的顶点样本，而在凸包内的样本对训练不起任何作用。本专利技术的增量学习方法本文档来自技高网...

【技术保护点】
一种基于支持向量几何意义的增量学习方法，其特征在于包括以下步骤：（1）、提出有效的选取给定个数凸包顶点样本的方法，我们称为CHVS方法，并从理论上证明了此方法能够选取到凸包顶点样本；（2）、通过运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度地保持各类凸包信息的重要样本，称为VS方法；（3）、用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器；（4）、步骤（2）和（3）重复迭代，直到没有新的样本到来为止。

【技术特征摘要】
1.一种基于支持向量几何意义的增量学习方法，其特征在于包括以下步骤: (1)、提出有效的选取给定个数凸包顶点样本的方法，我们称为CHVS方法，并从理论上证明了此方法能够选取到凸包顶点样本； (2)、通过运用CHVS方法，从大数据量训练样本中选取出那些能够最大程度地保持各类凸包信息的重要样本，称为VS方法； (3)、用这些选取的少量重要样本与新来的样本一起重新训练得到更新的分类器； (4 )、步骤(2 )和(3 )重复迭代，直到没有新的样本到来为止。2.根据权利要求1所述的基于支持向量几何意义的增量学习方法，其特征在于:所述的步骤(1)包括以下子不步骤: 首先，用贪婪的方法选取出d+Ι个凸包顶点样本，使得它们所组成的d-单纯形是所有由训练样本中任意d+Ι个样本组成的d-单纯形中体积近似最大的一个，所述的d是样本的维数； 其次，根据上一步所选取的d+Ι个凸包顶点样本，将大数据量的样本集合分成若干区域，使得在每一区域的样本个数均不超过一个给定的阈值整数； 最后，计算各个区域上的样本到此区域子凸包的距离，将距离最大的那个样本加入到当前的凸包顶点样本集合中，同时更新此样本所在区域的子凸包；迭代直到选取的凸包顶点样本个数达到给定数目为止。3.根据权利要去I所述...

【专利技术属性】
技术研发人员：张笑钦，王迪，樊明宇，
申请(专利权)人：温州大学，
类型：发明
国别省市：