基于1范数损失支持向量机的低维数据快速分类方法技术

本发明专利技术提供了一种基于1范数损失支持向量机的低维数据快速分类方法。首先，准备分类数据及相应的样本标签；然后，确定L1‑SVM问题的优化目标函数，并利用求导将其变换为容易求解的形式；最后，求解得到最终的分类模型。由于采取对原始目标函数进行变换后再进行优化的方法，整个过程没有引入额外需要控制的参数，增加了模型的鲁棒性和实用性；同时采取了交替迭代法的思路进行求解，方法整体收敛速度比较快，在保证相同的模型精度下，对于大规模的低维数据分类任务速度明显加快。

A Fast Classification Method for Low Dimensional Data Based on 1 Norm Loss Support Vector Machine

【技术实现步骤摘要】
基于1范数损失支持向量机的低维数据快速分类方法
本专利技术属机器学习、算法优化
，具体涉及一种基于1范数损失支持向量机的低维数据快速分类方法。
技术介绍
机器学习领域中很多相关应用，如多媒体数据分类、生物鉴别、危险预警等，都涉及数据类别划分技术，围绕普遍存在的低维数据，如何快速建立并求解有效的分类模型是一个亟待解决的问题。目前，基于支持向量机(SupportVectorMachine，简称SVM)的分类工作主要有以下两个分支：一是基于直接建立并优化SVM原问题(PrimalProblem)的方法。其主要思路为以最大化分类间隔为准则，显性构造并求解直接包含分类平面参数的优化目标函数。Thorsten在文献“TraininglinearSVMsinlineartime.InProceedingof12thACMSIGKDDinternationalconferenceonKnowledgediscoveryanddatamining,pp.217-226,2006”中提出把训练线性SVM看作一个整数规划问题，通过使用割平面算法使得其训练时间与样本数目为一个量级，尤其是当样本特征比较稀疏时，整个算法运行的效率更高。Shalev-Shwartz等人在文献“Primalestimatedsub-gradientsolverforsvm.Mathematicalprogramming,vol.127,no.1,pp.3–30,2011”中提出使用随机次梯度来应对SVM优化目标中存在的不可导点问题，同时考虑特征的稀疏性并使用批量训练的策略加快了问题的优化过程，在大规模的文本分类中取得了比较快的分类速度。这两种方法的不足是没有从本质上改变对SVM优化目标的定义，其速度提升对数据特征的稀疏性有较强的依赖性。二是基于求解SVM对偶问题(DualProblem)的方法。通过转变思路，将最小化原问题变为最大化相应的对偶问题(如使用拉格朗日对偶)，求解更加简单，并且依靠引进核函数可以处理分线性分类的问题。Hsieh等人在文献“Adualcoordinatedescentmethodforlarge-scalelinearsvm,InProceedingofInternationalConferenceonMachineLearning,pp.408-415,2008”中提出使用对偶坐标下降法对SVM的对偶形式进行优化求解，并且通过采取随机排列子问题的策略和利用收缩技术来减小问题规模的方法加快了算法的执行效率。由于基于求解对偶问题的方法更适合处理维数较高的数据(一般多于样本个数)，所以在大规模的低维数据分类问题上难以显示出其优势。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于1范数损失支持向量机(L1-SVM)的低维数据快速分类方法。首先，准备分类数据及相应的样本标签；然后，确定L1-SVM问题的优化目标函数，并利用求导将其变换为容易求解的形式；最后，求解得到最终的分类模型。本专利技术方法避免了在优化求解中引入更多的参数，更具实用性，同时，在保证相同的模型精度下，对于大规模的低维数据分类任务速度明显加快。一种基于1范数损失支持向量机的低维数据快速分类方法，其特征在于步骤如下：步骤1：输入包含正负两类样本的训练集{(x1,y1),…,(xn,yn)}，其中，xi表示第i个样本的特征，xi为m维向量，m≥1，yi表示第i个样本的标签信息，yi∈{-1,+1},i＝1,2,...,n，n为样本数量，初始化分类平面w＝[1,…,1]m，b＝0；步骤2：确定待优化的L1-SVM原问题为：其中，C为大于0的超参数；(1-yi(wTxi+b))+按下式计算：其中，(1-yi(wTxi+b))_＝min(1-yi(wTxi+b),0)。步骤3：对公式(2)等号右边的两项复合函数分别对各自内函数求导，根据求导法则，第一项的导数为其中，第二项(1-yi(wTxi+b))_的导数为si，步骤4：利用步骤3求得的导数构造子问题如下：令s为由si组成的n维列向量，y为由yi组成的n维列向量，i＝1,…,n，运算符表示Hadamard乘积，则上述子问题的解为：其中，Im表示m维单位矩阵，X为将每一个训练样本xi按列排成的矩阵，为n维全1的行向量，D为n维对角矩阵，di为其第i个元素。步骤5：将步骤4得到的w和b代入公式(1)计算得到L1-SVM原问题的目标函数值K1，并将w和b的初始值代入公式(1)计算得到L1-SVM原问题的目标函数值K0，如果(K1-K0)/K1<ε，则此时步骤4计算得到的w和b即为最终的分类平面，否则，以步骤4计算得到的w和b为初始值，返回步骤3。其中，阈值ε的取值为0.001。本专利技术的有益效果是：由于采取对原始目标函数进行变换后再进行优化的方法，整个过程没有引入额外需要控制的参数，增加了模型的鲁棒性和实用性；同时采取了交替迭代法的思路进行求解，整体收敛速度比较快，且执行效率高。附图说明图1是本专利技术的一种基于1范数损失支持向量机的低维数据快速分类方法流程图图2是本专利技术的1范数损失函数拆分路线图具体实施方式下面结合附图和实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。如图1所示，本专利技术提供了一种基于1范数损失支持向量机的低维数据快速分类方法，具体过程如下：1、准备待分类数据无线分布式传感器所获取行车声学特征，共收集样本数n＝98528个，特征维数m＝50，包含三类车辆，分别是两栖作战车，牵引式货车，和其它车辆，每类车辆有22841，26423和49264个样本数据。为了适应两类别的分类模型，对于各类别数据可以按照“一对其它”重新进行分组，即上述样本可以被重新分为三组，如两栖作战车和其它非两栖作战车，以此类推，相应地，每组数据将对应于一个分类平面，每组数据的训练过程类似。在不至于引起混淆的情况下，使用w，b进行训练过程的描述，并按照w＝[1,…,1]50，b＝0(简记为w0和b0)进行初始化。2、原问题拆分重组待优化的L1-SVM原问题可以确定为如下形式：其中，第一个加号前面的项为正则项，第一个加号后面的为损失项，1范数损失项的外函数定义为(u)+＝max(u,0)，也称折页损失，C为非负超参数，用来平衡前后两项的重要程度，其取值范围为，本实施例中C＝1。将1范数损失拆分变换成两个外函数是凹函数的复合函数形式，即对每一个样本i，有：其中，等号后面两项的外函数分别为开方函数和(u)_＝min(u,0)都是凹的，如图2所示。将L1-SVM原问题公式(5)转换成如下形式：3、子问题生成过程由于损失项是外函数为凹函数的复合函数，因此可以通过交替迭代的算法思路来进行优化，即先求解当前每个凹函数对其内函数整体的次梯度值，然后把它作为内函数的乘积因子，从而得到一个进一步需要优化的子问题，具体为：对每一个样本i，根据求导法则对损失项的第一项求次梯度导数：对损失项的第二项求次梯度导数可得：因此，可得新的子问题为：4、子问题求解为了直观表达，将公式(10)的子问题转化成矩阵和向量的形式：其中，s为由si组成的n维列向量，y为由yi组成的n维列向量，i＝1,…,n，运算符表示Hadamard乘积；D为n维对角矩阵，其第i个元本文档来自技高网...

【技术保护点】
1.一种基于1范数损失支持向量机的低维数据快速分类方法，其特征在于步骤如下：步骤1：输入包含正负两类样本的训练集{(x1,y1),…,(xn,yn)}，其中，xi表示第i个样本的特征，xi为m维向量，m≥1，yi表示第i个样本的标签信息，yi∈{‑1,+1},i＝1,2,...,n，n为样本数量，初始化分类平面w＝[1,…,1]

【技术特征摘要】
1.一种基于1范数损失支持向量机的低维数据快速分类方法，其特征在于步骤如下：步骤1：输入包含正负两类样本的训练集{(x1,y1),…,(xn,yn)}，其中，xi表示第i个样本的特征，xi为m维向量，m≥1，yi表示第i个样本的标签信息，yi∈{-1,+1},i＝1,2,...,n，n为样本数量，初始化分类平面w＝[1,…,1]m，b＝0；步骤2：确定待优化的L1-SVM原问题为：其中，C为大于0的超参数；(1-yi(wTxi+b))+按下式计算：其中，(1-yi(wTxi+b))-＝min(1-yi(wTxi+b),0)；步骤3：对公式(2)等号右边的两项复合函数分别对各自内函数求导，根据求导法则，第一项的导数为其中，第二项(1-yi(wTx...

【专利技术属性】
技术研发人员：聂飞平，李晶，王榕，于为中，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61