基于多核函数自适应融合的支持向量机参数选择方法技术

本发明专利技术公开了一种基于多核函数自适应融合的支持向量机参数选择方法，与现有技术相比，本发明专利技术分别对局部核函数、全局核函数、混合核函数以及多核函数的特性进行了具体分析。把多核函数的所有融合系数、核函数参数、回归参数组合在一起作为参数状态向量，从而将模型选择问题转换成一个非线性系统的状态估计问题，然后用五阶容积卡尔曼滤波进行参数估计，实现多核函数加权系数的自适应融合及核参数、回归参数的选择。

Support vector machine parameter selection method based on adaptive fusion of multi kernel functions

The invention discloses a method for selecting the parameters of support vector machine multi kernel function based on adaptive fusion, compared with the prior art, the invention respectively on the global kernel function, kernel function, mixed kernel function and multi kernel function characteristics are analyzed. All the multi kernel function and kernel function parameters, regression coefficient parameters together as parameters of the state vector, thus the model selection problem into a nonlinear estimation problem of the state system, and then use the five order Calman filter volume parameter estimation, adaptive fusion and kernel parameters, multi kernel weighted regression coefficient the choice of parameters.

【技术实现步骤摘要】
基于多核函数自适应融合的支持向量机参数选择方法
本专利技术涉及数据处理算法领域，尤其涉及一种基于多核函数自适应融合的支持向量机参数选择方法。
技术介绍
支持向量机(SupportVectorMachine，SVM)自1995年CorinnaCortes和Vapnik等首先提出以来，吸引了国内外众多学者的关注和研究，它是建立在统计学习理论基础之上，以结构风险最小化为原则的通用学习方法[1]。SVM具有强大的非线性处理能力和泛化能力，特别是在解决非线性、小样本及高维模式识别中表现出明显的优势，已经广泛用于分类和回归问题的处理，如图像识别、文本分类、人脸识别以及入侵检测等多个领域[2，3，4，5]。SVM的核心是核函数的引入，每一种核函数都具有单独的特性，对于不同的应用场合针对性很强，核函数的性能表现差异性也较大，并且核函数的构造与核参数的选择至今没有完备的理论依据。基于单特征空间的单个核函数构建的支持向量机在处理样本分布不均匀等问题时有很大的缺陷，比如，特征是由两个特征融合而成，第一个特征服从多项式分布，而第二个特征服从正态分布。如果采用单一核函数只能刻画数据某一方面的特性就无法对不同分布的特征进行恰当的表示[6]。文献[7-9]提出用处理局部信息强和全局信息能力都很强的混合核函数处理分类问题。这种方法可以弥补单一核函数在处理样本局部和全局信息方面的不足，但是缺乏有效的方法对两个基础核函数的加权系数进行优化。文献[10]基于混合核函数提供了另外一条估计加权系数与核参数的途径，把加权系数、全局核函数参数、局部核函数参数以及惩罚参数结合在一起整体作为混合核函数的参数，将基于混合核函数的支持向量回归机多参数调整看成非线性动态系统的参数识别问题，并用五阶容积卡尔曼滤波对参数进行估计，成功地实现了自适应调整加权系数与核参数。随着信息技术的发展，当前需要处理的问题数据规模逐步变得更加复杂，而注重小样本统计规律的支持向量机已不足以应对复杂的数据特征。特别地，当数据规模庞大[11]、样本特征含有异构信息[12]、多维数据不规则[13]或者高维特征空间分布不平坦[14]等问题时，如PE过程的复杂性以及故障原因、故障现象和故障机制的多样性、随机性和模糊性，使得其绝缘故障诊断存在许多困难，针对由不同分布的特征融合而成的故障特征，采用混合核函数构建的支持向量机就无法充分利用故障样本的多类特征而且性能主要依赖于主特征，因此只有两个核函数的混合核函数SVM在处理异源特征融合时分类效果不理想。基于此，Lanckriet等提出了多核学习框架，这种多核学习方法在解决上述问题时有很大的优越性[15]。多核模型是一类灵活性更强的基于核的学习模型，近年来的关于多核学习的理论和应用已经证明多核模型比单核模型或混合模型所获得更好的性能，利用多核代替单核能增强决策函数的可解释性[16]。但是，这里最重要的问题就是如何得到这个组合的特征空间，也就是如何学习得到权系数。针对这一问题，近来出现了多种有效的多核学习理论及方法。如早期的基于Boosting的多核组合模型学习方法[17，18]，基于半定规划(Semidefiniteprogramming，SDP)的多核学习方法[19]，基于二次约束型二次规划(Quadraticallyconstrainedquadraticprogram，QCQP)的学习方法[20]，基于半无限线性规划(Semi-in-nitelinearprogram，SILP)的学习方法[21]，基于超核(Hyperkernels)的学习方法[22]，以及近来出现的简单多核学习(SimpleMKL)方法[23，24]和基于分组Lasso思想的多核学习方法。在权系数与核函数的组合方面，研究人员也对多核方法进行了一些改进，如非平稳的多核学习方法[25]，局部多核学习方法[26]，非稀疏多核学习方法[27]等。然而，基于这些方法对加权系数及核参数的选择得到的支持向量机分类效果并不是很理想。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种基于多核函数自适应融合的支持向量机参数选择方法。本专利技术通过以下技术方案来实现上述目的：本专利技术包括以下步骤：(1)由于多种核函数加权融合而成的多核函数是一种新的核函数，把所有的加权融合系数也看成是多核函数的核参数，故将多核函数加权融合系数pt,pr、局部核函数的内部参数、全局核函数的内部参数以及惩罚参数C组合在一起作为支持向量机的核参数γ，进而整个参数的选择问题就可作为一个非线性动态系统的滤波估计问题；令kt为第t个局部核函数的所有核参数，kr为第r个全局核函数的所有核参数，则参数状态向量γ＝[p1,...pt,...pm,p1,...pr,...pn,k1,...kt,...km,k1,...kr,...kn,C]T，首先建立如下参数非线性系统γ(k)＝γ(k-1)+w(k)(18)y(k)＝h(γ(k))+v(k)(19)其中，γ(k)是n维参数状态向量，y(k)是观测输出，过程噪声w(k)和观测噪声v(k)均是均值为零的高斯白噪声，且方差分别为Q和R；(2)由于待求的最优参数可以看做是固定不变的，所以可以建立式(18)所示的关于参数的线性状态方程，其次对于任何一个状态向量γ(k)，经过LIBSVM[22]训练预测之后每一个原始数据都有一个预测输出，故可建立式(19)所示的非线性观测方程；为了五阶CKF滤波算法的运行，需要对系统模型加入人工过程白噪声和观测白噪声；(3)假设支持向量回归机的原始样本数据集合为D＝{(xi,yi)|i∈I}，其中指标集合I＝{1,2,...,N}，yi为数据的目标向量，运用k-折交叉验证方法将样本数据分成k组，即Dj＝{(xi,yi)|i∈Ij}(20)其中j∈{1,2,...,k}，并且所有组的指标集Ij满足I1∪Ij∪…∪Ik＝I，所有组的数据集Dj满足D1∪D2∪…∪Dk＝D；在每一次支持向量回归的迭代运算中，使用其中任意一组数据Dp用作预测，剩下的k-1组数据作为训练数据库，给定初始的参数γ0利用LIBSVM训练支持向量回归机；设此时训练结果为和则此时的决策函数为其中，(4)将数据组Dp代入式(15)，即可得到Dp的预测输出值分别将数据组Di，i∈{1,2,...,k}作为预测数据组，其余的数据组D1,...,Di-1,Di+1,...,Dk作为支持向量回归机训练数据组，经过k-折交叉验证回归预测之后，样本数据集D中的每一个数据有且仅有一个预测输出值；故对于参数向量γ，可定义如下预测输出函数：其中，(5)因此针对非线性系统模型(18)(19)，基于多核函数及k-折交叉验证法用k个子LIBSVM训练数据集D，并将它的预测输出输入到五阶容积卡尔曼滤波器当中进行参数状态估计；整个基于多核函数自适应融合的支持向量回归机模型参数选择算法同样是包括两个过程，即时间更新过程和测量更新过程：时间更新：由于该更新过程是对状态的预测更新，且状态方程是线性已知的，故可根据五阶容积卡尔曼滤波算法的时间更新步骤公式(5)-(7)以及容积规则(46)进行支持向量回归机模型参数选择算法的时间更新；测量更新：带入参数状态向量γ(k)到支持向量回归机参数中，利用LIBSVM来训练数据集，再本文档来自技高网...

【技术保护点】
一种基于多核函数自适应融合的支持向量机参数选择方法，其特征在于，包括以下步骤：(1)由于多种核函数加权融合而成的多核函数是一种新的核函数，把所有的加权融合系数也看成是多核函数的核参数，故将多核函数加权融合系数p

【技术特征摘要】
1.一种基于多核函数自适应融合的支持向量机参数选择方法，其特征在于，包括以下步骤：(1)由于多种核函数加权融合而成的多核函数是一种新的核函数，把所有的加权融合系数也看成是多核函数的核参数，故将多核函数加权融合系数pt,pr、局部核函数的内部参数、全局核函数的内部参数以及惩罚参数C组合在一起作为支持向量机的核参数γ，进而整个参数的选择问题就可作为一个非线性动态系统的滤波估计问题；令kt为第t个局部核函数的所有核参数，kr为第r个全局核函数的所有核参数，则参数状态向量γ＝[p1,...pt,...pm,p1,…pr,...pn,k1,...kt,...km,k1,...kr,...kn,C]T，首先建立如下参数非线性系统γ(k)＝γ(k-1)+w(k)(18)y(k)＝h(γ(k))+v(k)(19)其中，γ(k)是n维参数状态向量，y(k)是观测输出，过程噪声w(k)和观测噪声v(k)均是均值为零的高斯白噪声，且方差分别为Q和R；(2)由于待求的最优参数可以看做是固定不变的，所以可以建立式(18)所示的关于参数的线性状态方程，其次对于任何一个状态向量γ(k)，经过LIBSVM[22]训练预测之后每一个原始数据都有一个预测输出，故可建立式(19)所示的非线性观测方程；为了五阶CKF滤波算法的运行，需要对系统模型加入人工过程白噪声和观测白噪声；(3)假设支持向量回归机的原始样本数据集合为D＝{(xi,yi)|i∈I}，其中指标集合I＝{1,2,...,N}，yi为数据的目标向量，运用k-折交叉验证方法将样本数据分成k组，即Dj＝{(xi,yi)|i∈Ij}(20)其中j∈{1,2,...,k}，并且所有组的指标集Ij满足I1∪Ij∪…∪Ik＝I，所有组的数据集Dj满足D1∪D2∪…∪Dk＝D；在每一次支持向量回归的迭代运算中，使用其中任意一组数据Dp用作预测，剩...

【专利技术属性】
技术研发人员：王海伦，蔡志宏，叶虹，王天真，
申请(专利权)人：衢州学院，
类型：发明
国别省市：浙江,33