一种基于随机扰动的支持向量机奇异问题处理方法技术

本发明专利技术公开了一种基于随机扰动的支持向量机奇异问题处理方法，步骤1：读取两组不同类别的数据集作为训练样本，随机重复添加较少类别的数据点，使得两类数据点的数量相同，对每一个样本数据点的特征向量进行归一化处理。步骤2：选择核函数，计算内核矩阵K；步骤3：初始化随机扰动系数η、拉格朗日乘子α、辅助集合

A SVM singular problem processing method based on random perturbation

The invention discloses a support vector machine singular problem processing method based on random perturbation. Step 1: Reading two groups of different classes of data sets as training samples, adding less classes of data points randomly and repeatedly, making the number of two classes of data points the same, normalizing the feature vectors of each sample data point. Reason. Step 2: Select kernel function and calculate kernel matrix K; Step 3: Initialize random perturbation coefficient_, Lagrange multiplier alpha, auxiliary set

【技术实现步骤摘要】
一种基于随机扰动的支持向量机奇异问题处理方法
本专利技术属于机器学习领域，涉及支持向量机正则化路径方法中奇异问题的处理，具体地说是一种基于随机扰动的支持向量机正则化路径奇异问题处理方法。
技术介绍
近年来，支持向量机(supportvectormachine,SVM)在其理论研究和算法实现方面都取得了突破性进展，而正则化路径(regularizationpath)方法是数值求解SVM分类问题的有效方法之一，该方法在文献HastieT,RossetS,TibshiraniR,etal.TheEntireRegularizationPathfortheSupportVectorMachine.[J].Machine,”J.MachineLearningResearch,2004,5(4):1391-1415中首次提出(SVMpath方法)，它可在相当于一次SVM求解的时间复杂度内，得到所有的正则化参数及对应SVM的解。奇异问题一直是正则化路径方法面临的主要问题之一，奇异问题是指在训练样本中存在重复、近似或线性相关的数据点(即奇点)，使得迭代方程组的系数矩阵不可逆，从而导致方法失效。现阶段，国内外针对正则化路径奇异问题提出了很多有效方法。例如在文献：DaiJ,ChangC,MaiF,etal.OntheSVMpathSingularity.[J].IEEETransactionsonNeuralNetworks&LearningSystems,2013,24(11):1736中，提出了一种扰动方法，通过修改每一个数据点来避免奇点，然而该方法只能实现近似解；在文献：SentelleCG,AnagnostopoulosGC,GeorgiopoulosM.ASimpleMethodforSolvingtheSVMRegularizationPathforSemidefiniteKernels[J].IEEETransactionsonNeuralNetworks&LearningSystems,2016,27(4):709中，提出了一种SSVMP方法，利用在每次迭代更改单个活动集来避免求解奇异方程组；这些方法实现较复杂，时间复杂度和计算复杂度较高。
技术实现思路
针对现有方法的不足，本专利技术提出了一种新型的基于随机扰动的支持向量机正则化路径奇异问题处理方法，该方法在现有扰动方法上进行改进，对每一个数据点满足的Karush–Kuhn–Tucker(KKT)条件中添加一个小的随机扰动(而非修改每个数据点)，使得每次迭代中只有一个索引进入或离开活动集，确保系数矩阵可逆来避免奇点。用于实现本专利技术的技术解决方案包括如下步骤：步骤1：读取两组不同类别的数据集作为训练样本，随机重复添加较少类别的数据点，使得两类数据点的数量相同，对每一个样本数据点的特征向量进行归一化处理。步骤2：选择核函数，计算内核矩阵K；步骤3：初始化随机扰动系数η、拉格朗日乘子α、辅助集合设置迭代次数计数变量l＝0；步骤4：判断ε是否为空集，若不是空集，直接进入下一步；若是空集，初始化ε,计算正则化参数λ和变量μ；步骤5：构造随机扰动影响下的KKT方程组，并求解该方程组，更新λ,μ,α和ε,步骤6：令l＝l+1，返回步骤4，直到λ＜0.01或集合变为空集终止，输出完整的正则化路径。本专利技术的有益效果：本专利技术基于随机扰动方法，提出了一种新型的支持向量机正则化路径奇异问题处理方法，本方法实现更为简单，计算复杂度较低，同时又能够获得正确的解路径。附图说明图1是本专利技术实施流程图。图2是本专利技术与SSVMP方法中对应SVM的代价函数值与正则化参数λ的曲线图。表1是本专利技术与SSVMP方法的运行时间T的对比。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。(1)读取两组不同类别的数据集作为训练样本，其中第i个数据点记为(xi,yi)，xi表示第i个数据点的特征向量，yi是第i个数据点对应的标签。令数据点个数较多的类别的标签为1，数据点个数较少的类别的标签为-1。随机重复添加标签为-1的数据点，使得标签为-1的数据点个数与标签为1的数据点相等，记总的数据点个数为N。将每个数据点的特征向量归一化处理为具有零均值、方差为1的数据。(2)计算内核矩阵K：若采用线性(Linear)核函数，则i＝1,2,...,N,j＝1,2,...,N，其中[·]i,j表示矩阵第i行第j列的元素。若采用高斯径向基(RBF)核函数，则(3)初始化随机扰动系数的每个元素为一个高斯随机数(均值为1，方差为10-10)，初始化拉格朗日乘子为全1元素，初始化辅助集合其中表示空集，设置迭代次数计数变量l＝0。(4)判断ε是否为空集，若不是空集，直接进入下一步；若是空集，在集合中选取两个标签分别为1和-1的数据点和初始化ε,计算正则化参数λ和变量μ：其中，\表示差集运算，Ki,j表示矩阵K第i行第j列的元素。(5)构造随机扰动影响下的KKT方程组：其中，(·)T表示转置运算，[Q]i,j＝yiyj[K]i,j，μ′＝dμ/dλ，[α′]i＝dαi/dλ，[·]i表示向量第i个元素，(·)ε表示由集合ε索引对应元素组成的子向量，(·)ε,ε表示由集合ε索引对应的行和列组成的子矩阵。求解该方程组，得：计算λ沿[μ′(α′)T]T向量方向的步长的最大值Δλ：Δλ＝max{Δλ1,Δλ2,Δλ3}其中：qi表示矩阵Q的第i列。将得到的Δλ对应数据点的索引记为i*。更新λ,μ,α：λ＝λ+Δλμ＝μ+Δλ·μ′α＝α+Δλ·α′更新ε,若Δλ＝Δλ1，则ε＝ε\{i*},若Δλ＝Δλ2，则ε＝ε\{i*},若Δλ＝Δλ3，则ε＝ε∪{i*},(6)令l＝l+1，返回步骤(4)，直到λ＜0.01或集合变为空集终止，最后输出完整的正则化路径。下面结合仿真实验对本专利技术的效果做进一步说明。为了评估本方法的性能，我们从UCI(UniversityofCaliforniaatIrvine)数据集中取一个数据集Diabetes作为训练样本，该样本中数据点个数n＝768。使用本方法分别用线性核函数和RBF核函数进行仿真实验，得到λ从初始值到0.01所有的值及对应SVM的代价函数值并且与现有的SSVMP方法进行对比研究，记录本方法和SSVMP方法各自的运行时间，仿真结果如图2和表1所示。表1本专利技术的运行时间(秒)SSVMP的运行时间(秒)线性核0.7270.861RBF核3.7733.958从图2可以看出，本专利技术求得的代价函数-λ曲线与SSVMP方法的曲线重合，且未因奇异问题而失效；从表1可以看出，本专利技术的运行时间小于SSVMP方法，因而本专利技术能实现更低的计算复杂度。上文所列出的一系列的详细说明仅仅是针对本专利技术的可行性实施方式的具体说明，它们并非用以限制本专利技术的保护范围，凡未脱离本专利技术技艺精神所作的等效实施方式或变更均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，包括如下步骤：步骤1：读取两组不同类别的数据集作为训练样本，随机重复添加较少类别的数据点，使得两类数据点的数量相同，对每一个样本数据点的特征向量进行归一化处理；步骤2：选择核函数，计算内核矩阵K；步骤3：初始化随机扰动系数η、拉格朗日乘子α、辅助集合ε,

【技术特征摘要】
1.一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，包括如下步骤：步骤1：读取两组不同类别的数据集作为训练样本，随机重复添加较少类别的数据点，使得两类数据点的数量相同，对每一个样本数据点的特征向量进行归一化处理；步骤2：选择核函数，计算内核矩阵K；步骤3：初始化随机扰动系数η、拉格朗日乘子α、辅助集合ε,设置迭代次数计数变量l＝0；步骤4：判断ε是否为空集，若不是空集，直接进入下一步；若是空集，初始化ε,计算正则化参数λ和变量μ；步骤5：构造随机扰动影响下的KKT方程组，并求解该方程组，更新λ,μ,α和ε,步骤6：令l＝l+1，返回步骤4，直到λ＜0.01或集合变为空集终止，输出完整的正则化路径。2.根据权利要求1所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤1的具体实现包括：读取两组不同类别的数据集作为训练样本，其中第i个数据点记为(xi,yi)，xi表示第i个数据点的特征向量，yi是第i个数据点对应的标签；令数据点个数较多的类别的标签为1，数据点个数较少的类别的标签为-1。随机重复添加标签为-1的数据点，使得标签为-1的数据点个数与标签为1的数据点相等，记总的数据点个数为N；将每个数据点的特征向量归一化处理为具有零均值、方差为1的数据。3.根据权利要求1所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤2中：核函数为线性核函数时，其中[·]i,j表示矩阵第i行第j列的元素。4.根据权利要求1所述的一种基于随机扰动的支持向量机奇异问题处理方法，其特征在于，所述步骤2中：核函数为高斯径向基核函数时，5.根据...

【专利技术属性】
技术研发人员：戴继生，王彬羽，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32