基于改进莱维飞行粒子群算法的SVM参数优化制造技术

本发明专利技术涉及数据挖掘算法和随机搜索算法的结合问题，提出基于改进莱维飞行粒子群算法的SVM参数优化算法。随着大数据时代的到来，如何提高数据挖掘算法的性能成为研究热点。传统PSO算法优化SVM参数时，存在易陷入局部极值、后期震荡严重问题。莱维飞行具有短距离的搜索兼偶尔长距离的行走相结合的特性，可以从根本上克服PSO算法易陷入局部极值的问题；考虑到算法后期震荡严重，改进粒子位置更新公式，引入动量项，可以减缓算法震荡；同时考虑到惯性权重的取值权衡着局部搜索和全局搜索，本发明专利技术基于粒子间距离的自适应惯性权重，可以提高算法收敛速度，从而提高PSO算法寻优能力，进而找到最优SVM分类模型。

【技术实现步骤摘要】
基于改进莱维飞行粒子群算法的SVM参数优化
本专利技术涉及数据挖掘
，具体涉及支持向量机参数优化和一种改进的莱维飞行粒子群算法。
技术介绍
随着大数据时代的到来，对数据分析工具提出了更高的要求，针对大数据的各种数据挖掘算法成为研究热点，如支持向量机(SupportVectorMachines，SVM)、人工神经网络(Artificialneuralnetworks，ANN)、决策树(Decisiontree，DT)等。支持向量机是应用最广泛的分类算法之一，该方法的核心思想是在特征空间寻找最优超平面将两类样本无误地分开，且分类间隔最大。传统的支持向量机对内部参数依赖性很强，惩罚参数C和核参数g的选择直接决定了支持向量机的好坏。为了优化支持向量机的参数，近年来提出了许多优化方法，张向东等利用网格搜索算法寻找SVM最优参数，但是只适用于小样本预测；陈晋音等提出采用粒子群算法(Particleswarmoptimization，PSO)优化SVM参数，分类准确率显著提升，但是易造成分类器过拟合或者欠拟合；沈陆垚等采用遗传算法优化SVM参数，对于二分类性能良好，但是遗传算法工作相对较复杂；XUEZH等利用PSO优化SVM参数，但是PSO参数基本都是定值，易陷入局部最优；此外还有人工蜂群算法、蚁群算法、混合核函数等。这些方法在一定程度上提高了支持向量机的分类效果，但是由于群智能算法本身的局限性，使得很难准确地找到SVM的最优参数。粒子群算法是目前使用最多的优化算法，收敛速度快、搜索能力强，但是传统PSO算法易陷入局部极值，后期震荡严重。针对前者，牛海帆提出的莱维飞行粒子群算法可以从根本上克服，但是算法复杂度增加且震荡严重现象依然存在。因此，本专利技术设计了一种改进的粒子群算法并与莱维飞行结合，提高算法搜索能力，从而准确地找到支持向量机的最优参数，提高SVM的分类准确率。在传统粒子群算法中，随着迭代次数增加，粒子会出现“聚集”现象，从而导致算法易陷入局部极值，考虑到莱维飞行的特性可以打破这种“聚集”现象，将莱维飞行引入到粒子群算法中，但是传统的莱维飞行粒子群算法只是简单的将二者结合，虽然从根本上克服了PSO算法易陷入局部极值的问题，但是增加了算法的复杂度，本专利技术在莱维飞行粒子群算法的基础上进行改进，提高算法搜索能力。考虑到算法后期震荡严重的问题，本专利技术设计了一种新的追随粒子。根据已有的简化粒子更新公式，借鉴当代所有粒子的个体最优位置的平均值生成新的追随粒子并加入粒子位置迭代公式，引入动量项减弱后期震荡。同时，考虑到惯性权重的取值也会影响算法的搜索能力，本专利技术提出一种基于粒子间距离的自适应动态惯性权重，可以很好地平衡全局搜索与局部搜索，提高粒子群寻优能力。最后，将改进的PSO算法应用到支持向量机参数优化中，将待优化的核参数g和惩罚参数C编码为粒子群中的粒子，以支持向量机的分类准确率为适应度值，找到最优解后解码即为支持向量机的最优参数。
技术实现思路
本专利技术的目的在于设计基于改进莱维飞行粒子群算法的SVM参数优化。设计一种改进的粒子群算法与莱维飞行结合，并用于优化支持向量机的参数，以期提高支持向量机算法的分类准确率。支持向量机是CorinnaCortes和Vapnik等于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。SVM的基本原理是在数据集线性可分的情况下找出最优分类面，所谓最优分类面，就是该分类线不仅可以将两类数据准确地分开，还要使两类之间的分类间隔最大。假设给定训练样本集D＝{(x1,y1),(x2,y2),...,(xm,ym)}，yi∈{+1,-1}，xi代表输入数据，yi代表类别。在样本空间中，存在一个划分超平面：wΤx+b＝0，其中w＝(w1；w2；...；wd)为法向量，b为位移项。若超平面已知，样本空间中任意点xi到超平面的距离可以记为若超平面可以将训练集样本正确分类，则对于任意(xi,yi)∈D，满足下列公式离最优分类超平面最近的两类样本称之为支持向量，两个异类支持向量到超平面的距离之和为根据结构风险最小化原则，应使该距离之和最大，则求解超平面的问题转化为下述优化问题。但是现实中的训练样本集大多数情况是线性不可分的，针对这一情况SVM引入非负松弛因子ξi，同时加入惩罚系数C。通过核函数进行非线性映射后，将上述目标函数变化为使用Lagrange乘子法求解上述最小值问题，最终得到模型为：其中：κ(x,xi)为核函数，应用最广泛的核函数是高斯径向基函数：κ(x,xi)＝exp(-g||x-xi||2)，g为核函数宽度。支持向量机对内部参数依赖性很强，核参数g和惩罚参数C直接决定了算法的好坏。目前最常用的参数优化算法是粒子群算法。粒子群算法作为一种随机搜索算法，搜索能力强，收敛速度快，但是传统PSO算法，易陷入局部极值、后期震荡严重，莱维飞行粒子群算法可以从根本上改善PSO易陷入局部极值的问题，但是算法复杂度增加且后期震荡问题依然存在，因此，本专利技术提出一种改进的莱维飞行PSO算法来减缓震荡问题。粒子群算法的基本概念是基于对自然界鸟群觅食行为的研究。在PSO算法中，任一待优化问题的每个可行解都可以理解为粒子群中的一个粒子，并由相应的评价函数来判定粒子的好坏，通过迭代找到最优粒子即为要找的最优解。假设问题解的维数为d，粒子个数为n，粒子i的位置表示为xi＝{xi1,xi2,...,xid}，i＝1,2,...,n，粒子i的速度表示为：vi＝{vi1,vi2,...,vid}，i＝1,2,...,n。搜索过程中，把粒子i的当前个体最优位置记为整个种群的当前最优位置记为gbestt，粒子的速度和位置更新公式为：其中：是第i个粒子在第t代的速度，是第i个粒子在第t代的位置，w是惯性权重，c1，c2是学习因子，r1，r2是0～1之间的随机数，t为当前迭代次数。已有研究证明，粒子的速度项并不能反映出一个粒子趋近于最优位置的能力，反而可能会误导粒子偏离正确的搜索方向，影响粒子的搜索能力。胡旺等人在公式(6)、(7)的基础上提出了简化后的粒子群优化公式，见公式(8)。该公式中剔除了粒子速度项，从而减少了算法复杂度，提高了搜索效率。研究表明粒子群算法易陷入局部极值的根本原因是PSO算法的搜索策略约束了粒子在后期的邻域搜索能力，导致粒子种群多样性降低，粒子“聚集”在局部最优位置的附近而不能跳出。莱维飞行是一种模拟自然界中动物觅食的一个随机游走过程，兼顾了小范围的搜索和偶尔长距离的迁移，这一特性可以打破粒子“聚集”现象。莱维飞行具有更广泛的搜索能力，可以扩大搜索范围、增加种群多样性，有利于粒子跳出局部最优。利用莱维飞行优化PSO算法能够提高粒子的活力和跳跃能力，从根本上改善了粒子群算法易陷入局部最优的缺陷。莱维飞行位置更新公式为：levy～μ＝t-λ1＜λ≤3(10)其中：α是步长缩放因子，Levy(λ)是莱维随机路径，就是点乘运算，由于莱维分布的概率密度函数很难求解，常采用Mantegna方法模拟生成萊维分布，步长s计算公式如下：其中：1＜β≤3，μ，v均服从正态分布，且μ～N(0,σ2)，v～N(0,1)，此时s服从莱维分布。令公式(8)中α0一般为0.01，则新的莱维飞行更新公式为本文档来自技高网...

【技术保护点】
1.基于改进莱维飞行粒子群算法的SVM参数优化，其特征在于，利用改进的粒子群算法结合莱维飞行优化支持向量机，改善了传统支持向量机中参数选择对算法分类性能影响较大的问题。利用剔除速度项的简化粒子更新公式，借鉴多个粒子经验生成第三个追随粒子加入到粒子迭代公式中，并引入动量项改进粒子更新公式以期减弱后期震荡,加快算法的收敛速度；同时考虑到惯性权重的取值也会影响到PSO算法的搜索能力，提出一种基于粒子间距离的自适应动态惯性权重，在算法复杂度增加不大的基础上快速找到支持向量机的最优解，提高支持向量机的分类性能。

【技术特征摘要】
1.基于改进莱维飞行粒子群算法的SVM参数优化，其特征在于，利用改进的粒子群算法结合莱维飞行优化支持向量机，改善了传统支持向量机中参数选择对算法分类性能影响较大的问题。利用剔除速度项的简化粒子更新公式，借鉴多个粒子经验生成第三个追随粒子加入到粒子迭代公式中，并引入动量项改进粒子更新公式以期减弱后期震荡,加快算法的收敛速度；同时考虑到惯性权重的取值也会影响到PSO算法的搜索能力，提出一种基于粒子间距离的自适应动态惯性权重，在算法复杂度增加不大的基础上快速找到支持向量机的最优解，提高支持向量机的分类性能。2.根据权利要求1所述的基于改进莱维飞行粒子群算法...

【专利技术属性】
技术研发人员：郭晓金，郭彩杏，柏林江，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50