一种支持向量机学习新算法制造技术

支持向量机的最优化问题由经验风险、正则项两部分组成，其解的稀疏性取决于正则项中的权值范数。支持向量机通过核函数的组合，实现了对多种特征集合的表示，有利于对多源数据的处理。本发明专利技术提出的混合范数支持向量机学习算法，在组内的核函数采用l1范数，相当于仅选择最重要的核函数进行组合，以提升稀疏性；在组间采用l2范数，相当于平等地选择处于不同子空间的核函数，以提高学习和预测的精度。采用粒子群优化算法进行参数优化，达到既提高学习精度，又提高学习速度的目的。

【技术实现步骤摘要】
一、
统计学习理论是针对小样本情况下的机器学习理论，其核心思想是通过控制学习机器的复杂度，实现对学习机器推广能力的控制。在这一理论基础上发展起来的支持向量机(SVM)是一种新的通用机器学习方法，它较以往方法表现出很多理论和实践上的优势，较好地解决了小样本、非线性、高维和局部极小等问题，在模式识别、回归估计等很多领域都得到了广泛的应用。本专利技术属于智能控制与建模领域，涉及支持向量机(SVM)、最优化算法等方法。二、
技术介绍
在统计学习理论基础上发展起来的支持向量机(SVM)是一种新的通用机器学习方法，它较以往方法表现出很多理论和实践上的优势，较好地解决了小样本、非线性、高维数和局部极小等问题，在模式识别、回归估计、新奇性检测等很多领域都表现出了良好的性能。利用多核代替单核能增强决策函数的可解释性，并能获得比单核模型更优的性能。在多核框架下，样本在特征空间中的表示问题，就转化成为基本核与权系数的选择问题。这里首要的问题就是如何得到这个组合的特征空间，也就是如何学习得到权系数。三、专利内容：1、专利目的专利技术一种支持向量机的学习方法，这种方法既能提高支持向量机的的精度，又能提高支持向量机的的训练速度。2、技术解决方案本专利技术提出的支持向量机的学习算法，在组内的支持向量机核函数采用l1范数，相当于仅选择最重要的核函数进行组合，以提升稀疏性；在支持向量机组间采用l2范数，相当于平等地选择处于不同子空间的核函数，以提高学习和预测的精度。四、具体实施方式支持向量机的的最优化问题由两部分组成：Remp(w)为经验风险，用以拟合样本数据。Ω(w)为正则项，用以限制决策函数的复杂度。具体来说，假设给定的N个样本其中xi属于输入空间，yi属于输出空间。对于回归问题yi∈R。对于核函数km的Gram矩阵为Km＝(km(xi，yi))i，j，Hm为相应的再生核希尔伯特空间，并假设Km正定。首先考虑固定核权值的学习问题。对于M个非负核权d1，d2，…dM，组合核的核矩阵则决策函数的l2范数的形式为||f||H2=minf1∈H1···fM∈HMΣm=1M||fm||Hm2dms.t.f=Σm=1Mfm---(1)]]>则固定核权值的MKL问题归结为minf1∈H1···fM∈HM,b∈RΣm=1Ml(yi,Σm=1Mfm(xi)+b)+C2Σm=1M||fm||H2mdm---(2)]]>其中b是决策函数的阈值。对回归问题的损失函数l(yi，f)为max(|y-f|，0)。此最优化问题的目标函数与核权值dm成反比，因为核权值dm相应于决策函数第个m个分量fm的复杂度。所以需要对核权值dm进行正则限制，否则会产生过拟合。因此在优化问题的目标函数上加一个对dm的惩罚项，则上式第二项变为C2Σm=1M(||fm||H2mdm+dm)---(3)]]>上式可对dm求最小值，进行化简后，则上述最优化问题变为||f||H2=minf1∈H1···fM∈HM,b∈RΣm=1Ml(yi,Σm=1Mfm(xi)+b)+CΣm=1M||fm||Hm---(4)]]>此最优化问题具有块l1范数的形式，解具有稀疏性。为了得到非稀疏性的解，考虑对dm进行单纯形约束，即minf1∈H1···fM∈HM,b∈RΣm=1Ml(yi,Σm=1Mfm(xi)+b)+C(Σm=1M||fm||Hm)2---(5)]]>在此基础上，为了取得正则项为l1范数与lp范数混合形式，考虑最优化问题minf1∈H1···fM∈HM1MΣm=1Ml(yi-Σm=1Mfm(xi))+λ||f||p2---(6)]]>其中可在此框架下构建效率更高的求解算法。当取||f||p=τ||f||l1+(1-τ)||f||l2---(7)]]>时，正则项就是l1范数和l2范数的混合，因为||f||p=τΣm=1M||fm||Hm+(1-τ)(Σm=1M||fm||Hm2)12---(8)]]>只要选择不同的τ，就可以在稀疏性和精度之间做不同的折衷。一般来说τ根据实际应用的需要进行选取。但更重要的寻求数据依赖的自动选取的方法，以达到稀疏性和精度之间的最优。这里采用粒子群优化算法(PSO)对SVM的参数进行优化选择。与遗传算法相比，它具有算法简单、容易实现、计算量小和计算效率高等优点。粒子群优化算法(PSO)由鸟群觅食行为的启发而得到，鸟群中每个鸟都被看作一个没有体积和质量的粒子，粒子在搜索空间中以一定的速度飞行，并根据个体和集体飞行的经验调整自己的速度和位置。PSO算法首先初始化一群随机粒子，每个粒子都代表着优化问题的一个可能解，粒子位置坐标对应的目标函数值作为该粒子的适应度。在每次迭代中，各个粒子记忆、追随当前最
优粒子，通过跟踪两个极值来更新自己：一个是粒子本身所找到的最优位置，即个体极值，代表粒子自身的认知水平。另一个是整个粒子群目前找到的最优位置，即全局极值，代表社会认知水平。在算法迭代初期，粒子在较大的空间内进行搜索。随着迭代次数的增加，粒子在个体极值和全局极值的引导下，逐渐收敛到小的范围。在迭代结束时，整个粒子群的最优位置就是问题的最优解。设粒子群在D维空间中搜索，则粒子的迭代公式如下：vi,dk+1=ωvi,dk+c1·rand·(pi,dk-xi,dk)+c2·rand·(pg,dk-xi,dk))xi,d(k+1)=xi,d(k)+vi,d(k+1)---(9)]]>其中xi＝(xi，1，xi，2，…，xi，D)、vi＝(vi，1，vi，2，…，vi，D)、pi＝(pi，1，pi，2，…，pi，D)分别表示第i个粒子的位置、速度和历史最优位置，pg＝(pg，1，pg，2，…，pg，D)为所有pi中的最优位置，i＝1，2，…，m为粒子的标号，d＝1，2，…，D为位置、速度的维数标号，上标k表示第k次迭代。ω是常数，称为惯性权重。rand为(0，1)上的随机数，c1、c2为(0，2)上的常数，称为加速因子。xi，d∈[xmin，xmax]，其中xmin，xmax是依不同的目标函数和不同的搜索空间而不同的常数。为减少粒子飞离搜索空间的可能性，速度限制于之间，决定了粒子飞行的最大距离，其中位置迭代公式不变，而改进速度迭代公式，则得到有助于确本文档来自技高网...

【技术保护点】
专利技术的一种支持向量机学习新算法，采用混合范数作为目标函数。这种方法既能提高支持向量机学习的精度，又能提高支持向量机学习的速度。

【技术特征摘要】
1.发明的一种支持向量机学习新算法，采用混合范数作为目标函数。这种方法既能提高支持向量机学习的精度，又能提高...

【专利技术属性】
技术研发人员：王书舟，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津;12