本发明专利技术提出了一种鲁棒最小二乘支持向量机稀疏解的求解方法，用于解决现有鲁棒最小二乘支持向量机解的求解方法中存在的解缺乏稀疏性的技术问题，实现步骤为：输入训练数据；构造鲁棒最小二乘支持向量机模型；将鲁棒最小二乘支持向量机模型转化为DC规划；构造基于原空间的鲁棒最小二乘支持向量机模型的DC规划；光滑化基于原空间的鲁棒最小二乘支持向量机模型的DC规划；从样本指标集中选择子集B和矩阵P；求基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划的稀疏解；判断最优解是否找到。本发明专利技术可以得到鲁棒最小二乘支持向量机的稀疏解，可应用在对带有噪声的大数据进行分类和回归领域。
【技术实现步骤摘要】
本专利技术属于数据挖掘
，涉及一种鲁棒最小二乘支持向量机解的求解方法，具体涉及一种鲁棒最小二乘支持向量机稀疏解的求解方法，可应用在对带有噪声的大数据进行分类和回归领域。
技术介绍
支持向量机(Support Vector Machine,SVM)具有很强的学习能力和泛化能力，避免了传统方法中的局部极小问题，因此是数据挖掘的重要工具。然而SVM的约束条件是不等式约束，求解的是二次规划问题，因此求解过程需要大量的存储空间。最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)由Suykens等于1999年提出。与标准的SVM相比，LSSVM有很多优势，如LSSVM的约束条件是等式约束，LSSVM的解通过求解一个线性方程组来得到，是处理分类和回归问题的一种重要的方法，已经广泛地应用在模式识别和机器学习领域。但是，LSSVM对噪声和离群点比较敏感，容易受噪声和离群点的影响。针对这一问题，“Robust non-convex least squares loss function for regression with outliers,Kuaini Wang and Ping Zhong,Knowledge-Based Systems,2014,71:290–302”,公开了鲁棒LSSVM模型及一种鲁棒LSSVM的求解方法。鲁棒LSSVM模型基于截断最小二乘损失函数，将噪声点的损失设定为某一确定常数，从而可用来处理带噪声的数据分类和回归问题。但是鲁棒LSSVM模型是一个非凸的优化模型，通常的求解优化模型的方法对其不适用。为了得到鲁棒LSSVM模型的解，通常采用基于Concave-convex Procedure(CCCP)方法的迭代算法。具体步骤为：首先，将截断最小二乘损失函数表示成两个凸函数相减，相应的原鲁棒LSSVM模型转化为一个Difference of Convex(DC)规划；然后，利用CCCP方法将DC规划转化为一系列的凸优化问题；最后，通过迭代地求解这些凸优化问题直到收敛得到原鲁棒LSSVM模型的解。在求解凸优化问题过程中，Wang等利用对偶理论和KKT条件得到了这些凸优化问题的解。Yang等在文章“A robust Least Squares Support Vector Machines for regression and classification with noise，Xiaowei Yang,Liangjun Tan,Lifang He,Neurocomputing,2014,140:41–52”中利用表示定理和牛顿法得到了这些凸优化问题的解。理论分析和实验结果表明鲁棒LSSVM模型明显减少了训练样本中噪声对模型的影响，体现了对噪声的鲁棒性。然而，Wang等的基于对偶理论的鲁棒LSSVM的求解方法和Yang的算法都需要利用所有的训练样本来计算核矩阵，得到的解不具有稀疏性。在实际应用中，这无疑是十分消耗内存和拖慢训练速度的。甚至，对于一些大数据问题，由于电脑内存限制，这些方法在普通的电脑上是难以实施的。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出了一种鲁棒LSSVM的稀疏解的求解方法，通过使用基于表示定理的原空间方法，得到了原空间的鲁棒LSSVM模型及其DC规划，采用熵罚函数的光滑策略，得到了鲁棒LSSVM模型的光滑DC规划，利用核矩阵的低秩表示以及不完全选主元Cholesky分解技术，得到了鲁棒LSSVM的稀疏解，用于解决现有技术求取的鲁棒LSSVM的解缺乏稀疏性的技术问题。为实现上述目的，本专利技术采取的技术方案，包括如下步骤：(1)输入m个训练数据其中是输入样本，yi是输入样本的标签；(2)利用输入的训练数据，构造鲁棒最小二乘支持向量机模型，其实现步骤为：2a)构造截断最小二乘损失函数： L τ ( ξ ) = m i n ( τ , ξ 2 ) = ξ 2 , | ξ | ≤ τ τ 2 , | ξ | > τ , ]]>其中，τ≥0是截断参数，ξ为训练样本的误差，x为输入样本，y是输入样本的标签，w是决策超平面的法向量，b为偏值，为将样本x映射到高维特征空间的函数；2b)构造鲁棒最小二乘支持向量机模型,其表达式为：其中，λ是正则化参数，且λ＞0；(3)对构造的截断最小二乘损失函数Lτ(ξ)进行DC分解,得到鲁棒最小二乘支持向量机模型的DC规划，其表达式为：其中，L1(ξ)＝ξ2， (3)(4)将得到的鲁棒最小二乘支持向量机模型的DC规划，转化为基于原空间的鲁棒最小二乘支持向量机模型的DC规划，其实现步骤为：4a)利用表示定理，将得到的鲁棒最小二乘支持向量机模型的DC规划中的决策超平面的法向量w写为如下形式：其中，M＝{1,…,m本文档来自技高网...
【技术保护点】
一种鲁棒最小二乘支持向量机稀疏解的求解方法，包括以下步骤：(1)输入m个训练数据其中是输入样本，yi是输入样本的标签；(2)利用输入的训练数据，构造鲁棒最小二乘支持向量机模型，其实现步骤为：2a)构造截断最小二乘损失函数：Lτ(ξ)=min(τ,ξ2)=ξ2,|ξ|≤ττ2,|ξ|>τ,]]>其中，τ≥0是截断参数，ξ为训练样本的误差，x为输入样本，y是输入样本的标签，w是决策超平面的法向量，b为偏值，为将样本x映射到高维特征空间的函数；2b)构造鲁棒最小二乘支持向量机模型,其表达式为：其中，λ是正则化参数，且λ>0；(3)对构造的截断最小二乘损失函数Lτ(ξ)进行DC分解,得到鲁棒最小二乘支持向量机模型的DC规划，其表达式为：其中，L1(ξ)＝ξ2， (3)(4)将得到的鲁棒最小二乘支持向量机模型的DC规划，转化为基于原空间的鲁棒最小二乘支持向量机模型的DC规划，其实现步骤为：4a)利用表示定理，将得到的鲁棒最小二乘支持向量机模型的DC规划中的决策超平面的法向量w写为如下形式：其中，M＝{1,…,m}为样本指标集，αi为表示系数，且αi≥0；4b)将式(5)代入式(2)中，得到基于原空间的鲁棒最小二乘支持向量机模型的DC规划为：minα,b H(α,b)=H1(α,b)-H2(α,b)---(6)]]>其中，H2(α,b)=12Σi=1mL2(yi-KiMα-b)---(8)]]>为拉格朗日乘子向量，K为核矩阵，K中第i行第j列的元素为KiM是一个行向量，KiM＝(k(xi,x1),…,k(xi,xm))；(5)对式(4)中函数L2(ξ)进行光滑化，得到基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划，具体实施步骤为：5a)利用熵罚函数，构造光滑函数L2‾(ξ)=max{0,ξ2-τ2}+1plog(1+exp(-p|ξ2-τ2|)),---(9)]]>其中，exp表示以常数e为底的指数运算，p是光滑参数，且p>0；5b)用构造的光滑函数在ξi处的值替换式(8)中的L2(yi‑KiMα‑b)，得到基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划:minα,b H1(α,b)-12Σi=1mL2‾(yi-KiMα-b)---(10)]]>(6)从步骤4a)的样本指标集M＝{1,…,m}中，选择大小为r的子集B，同时计算矩阵P；(7)求取得到的基于原空间的鲁棒最小二乘支持向量机模型的光滑DC规划的解，具体实施步骤为：7a)运用CCCP方法，求取式(10)中关于α和b的偏导数，并求取该偏导数在(α(t),b(t))处的值与α,b的内积，再用求取的内积替换式(10)中的得到如下迭代公式：(α(t+1),b(t+1))=arg minα,b{H1(α,b)+Σi=1mγi(t)(KiMα+b)}---(11)]]>其中，α(t+1)和b(t+1)是在第t+1次迭代的α和b的值，是第t次迭代的γi的值：γi(t)=12L2‾′(ξi(t))=ξi(t)min{1,exp[p((ξi(t))2-τ2)]}1+exp(-p|(ξi(t))2-τ2|),i=1,...,m---(12)]]>7b)求取式(11)中的目标函数关于α和b的偏导数，并令其分别等于零，得到如下线性方程组：其中，e为元素全为1的m维列向量，是γ在第t次迭代的值；7c)将K的近似代入方程组(13)中，并求解代入后的方程组，得到αB和b，分别表示为：其中αB为α的非零部分，和b(t+1)是第t+1次迭代的αB和b的值，是核矩阵K的子矩阵，其元素为k(xi,xj)，其中i∈M，j∈B，也是K的子矩阵，其元素为k(xi,xj)，其中i∈B，j∈B，是m阶单位矩阵；7d)利用不完全选主元Cholesky分解方法，对KMB和KBB分别进行分解，得到KMB的分解式和KBB的分解式其中是P的子矩阵，且由P中对应于B中元素的行组成；7e)将KMB的分解式代入式(14)和(15)中，同时将KBB的分解式代入式(14)中，并整理得到和b(t+1)的表达式，分别为：其中，是一个r阶单位矩阵；(8)判断是否得到最优的αB和b，实现步骤为：8a)利用式(16)和(17)计算出的和b(t+1)，对于所有的i∈M，计算8b)对于所有的...
【技术特征摘要】
1.一种鲁棒最小二乘支持向量机稀疏解的求解方法，包括以下步骤：(1)输入m个训练数据其中是输入样本，yi是输入样本的标签；(2)利用输入的训练数据，构造鲁棒最小二乘支持向量机模型，其实现步骤为：2a)构造截断最小二乘损失函数： L τ ( ξ ) = m i n ( τ , ξ 2 ) = ξ 2 , | ξ | ≤ τ ...
【专利技术属性】
技术研发人员：周水生，陈丽，姚丹，高新涛，董银丽，周艳玲，刘喜玲，王保军，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。