适用于小样本预测的消极支持向量机模型制造技术

本发明专利技术涉及小样本预测问题技术领域，具体的说是一种适用于小样本预测的消极支持向量机模型，本发明专利技术将ε‑支持向量机回归模型和消极预测方法结合起来，建立了一种消极支持向量机模型。与ε‑支持向量机回归模型中样本中的所有个体具有相同的不敏感损失函数不同，消极支持向量机模型中的不敏感损失函数取决于样本中个体与待预测个体的距离，为了求解消极支持向量机模型，引入广义拉格朗日函数，得到原问题的对偶问题，通过对对偶问题的求解获得了原问题的解，消极支持向量机模型能够综合传统支持向量机与消极预测方法的优点，不仅泛化性较好，还能改善局部精度。

A negative support vector machine model for small sample prediction

The present invention relates to the field of technology forecasting problem of small sample, in particular to a negative support vector machine model which is suitable for small sample prediction, the epsilon SVM regression model and negative prediction method combined with a negative support vector machine model. With the support vector machine of all individuals in the sample regression model has the same insensitive loss function, negative support vector machine model is not sensitive to the loss function depends on the individual sample and forecast the individual distances, in order to solve the passive support vector machine model, generalized Lagrange function, the dual problem of the original problem by solving the dual problem, the solution of the original problem is obtained, the negative SVM model can combine the advantages of the traditional support vector machine and negative prediction method, not only can improve the local generalization accuracy, but also.

【技术实现步骤摘要】
适用于小样本预测的消极支持向量机模型
：本专利技术涉及小样本预测问题
，具体的说是一种适用于小样本预测的消极支持向量机模型。
技术介绍
：基于样本对新个体的输出进行预测是工程应用中广泛存在的一类问题。对于这类问题，目前采用的方法可以分为两类。第一类是首先基于样本建立输入空间与输出空间的映射关系，然后基于此映射关系对新个体进行预测，如统计学中的各种回归方法、机器学习中的人工神经网络、支持向量机等方法。这类方法称为积极预测方法。第二类是首先不根据样本建立任何映射关系，只有当对新个体进行预测时，才会根据样本和新个体的关系建立输入空间与输出空间的映射关系，然后基于此映射关系对新个体进行预测，如k-近邻算法、局部加权回归等方法。这类方法称为消极预测方法。需要注意的是，消极预测方法建立的映射关系仅适用于单个个体的预测，当需要对其他个体进行预测时，还需重新建立映射关系。因为样本天然稀少或收集困难等原因，很多预测问题都属于小样本预测问题。小样本预测问题的实质是信息不足，样本不能完整地反映输入空间与输出空间的映射关系，即样本空间是不完备的。目前对小样本预测问题的处理主要有三种思路。第一种是采用泛化性能好的积极预测方法进行预测，如支持向量机、极端学习机。这种方法受限于样本空间的不完备，导致其建立的全局映射关系与实际映射关系有比较大的差异，预测误差较大。第二种是采用某些方法将小样本问题扩展为大样本问题，然后再进行预测。这种方法也不能从根本上改进预测精度。第三种是采用消极预测方法进行预测。当待预测个体与样本比较接近时，采用消极预测方法往往能够取得比积极预测方法更好的效果，但目前常用的几种消极预测方法都是比较直接简单地利用样本信息，其预测效果还有改进的空间。对于小样本预测问题，建模时利用的信息越多，其可能取得的效果就会越好。与积极预测方法相比，消极预测方法除利用样本信息外，还利用了待预测个体的信息，但传统消极预测方法存在不能充分利用样本信息的问题。
技术实现思路
：本专利技术针对现有技术中存在的缺点和不足，提出了一种将支持向量机引入到消极预测方法的适用于小样本预测的消极支持向量机模型。本专利技术通过以下措施达到：一种适用于小样本预测的消极支持向量机模型，其特征在于首先需要建立模型，具体包括以下内容：步骤1：给定一个样本T＝{(x1,y1),(x2,y2),…,(xl,yl)}和待预测个体(x*,y*)，其中，xi∈Rn，yi∈R，i＝1,2,…l，l为T的容量，xi为T中个体的输入，yi为T中个体的输出，目标是基于T和x*建立消极支持向量机模型，对y*进行预测；步骤2：以ε-支持向量机回归模型为基础构造消极支持向量机模型，在ε-支持向量机回归模型中，为了保证其具有良好的泛化性能，引进了ε-不敏感损失函数，如式(1)：|yi-f(xi)|ε＝max{0,|yi-f(xi)|-ε}(1)式中，f(·)为模型的决策函数，ε为一个事先给定的小正数，当yi与f(xi)之间的误差不超过ε时，认为模型对(xi,yi)的拟合是无误差的；步骤3：确定ε-支持向量机回归模型的目标是找到适当的决策函数；f(x)＝wΦ(x)+b(2)拟合T，使得最小，式中，w为法向量，Φ(·)为映射函数，b为截距，C＞0，称为惩罚参数，在ε-支持向量机回归模型中，ε为一定值，这说明ε-支持向量机回归模型对样本中所有个体容许的无损失误差区间是相等的，步骤4：为了建立消极支持向量机回归模型，首先引入Ε-不敏感损失函数，如式(4)：|yi-f(xi)|E＝max{0,|yi-f(xi)|-E(||xi-x*||)}(4)式中，E(·)为样本中个体xi与待预测个体x*之间距离的函数，||xi-x*||越小，E(||xi-x*||)越小，反之亦然，一般情况下，可定义E(·)为式(5)：式中，ε为一个事先给定的小正数，由式(5)可知，当时，E(||xi-x*||)＝ε；当||xi-x*||＝0时，E(||xi-x*||)＝0，当E(·)定义为式(5)时，Ε-不敏感损失函数；类似于ε-支持向量机回归模型，消极支持向量机回归模型的目标也是寻找一个适当的决策函数：f(x)＝wΦ(x)+b(6)拟合T，使得最小。本专利技术还包括对上述模型进行求解，具体包括：最小化式(7)等价于求解约束最优化问题式(8)-式(11)：s.t.yi-ω·Φ(xi)-b≤E(||xi-x*||)+ξi,i＝1,2,…,l(9)为了求解此约束最优化问题，引进广义拉格朗日函数(GeneralizedLagrangefunction)，如式(12)所示：式中，式(12)的极大极小问题即为约束最优化问题式(8)-式(11)的对偶问题；设原始问题的最优解为对偶问题的最优解为首先求取根据KKT条件(Karush-Kuhn-Tuckerconditions)，可得：对式(17)-式(19)进行变换可得式(21)-式(23)，式(20)-式(23)代入式(15)-式(16)化简得：式中，Φ(xi)·Φ(xj)＝K(xi,xj)为正定核函数(positivedefinitekernelfunction)，容易证明，式(24)-式(26)是一个凸二次规划问题，可以采用内点法、序列最小最优化算法(sequentialminimaloptimization,SMO)等方法求解其最优解下面求取根据KKT条件(Karush-Kuhn-Tuckerconditions)得：当时，根据式(27)和式(18)可得：又根据式(29)可得：将式(21)、式(33)代入式(31)并变形可得：将式(21)、式(34)代入式(6)可得最终的决策函数，如式(35)所示，本专利技术与现有技术相比，既具有传统支持向量机泛化性好的优点，也具有消极预测方局部精度好的优点。附图说明：附图1是本专利技术中ε-不敏感损失函数曲线图。附图2是本专利技术中Ε-不敏感损失函数曲线图。附图3是本专利技术中辛格函数示意图。附图4是本专利技术中预测结果示意图。具体实施方式：下面结合附图对本专利技术做进一步的说明。本专利技术提出了适用于小样本预测的消极支持向量机模型，具体包括：给定一个样本T＝{(x1,y1),(x2,y2),…,(xl,yl)}和待预测个体(x*,y*)，其中，xi∈Rn，yi∈R，i＝1,2,…l，l为T的容量，xi为T中个体的输入，yi为T中个体的输出，目标是基于T和x*建立消极支持向量机模型，对y*进行预测；以ε-支持向量机回归模型为基础构造消极支持向量机模型，在ε-支持向量机回归模型中，为了保证其具有良好的泛化性能，引进了ε-不敏感损失函数，如式(1)：|yi-f(xi)|ε＝max{0,|yi-f(xi)|-ε}(1)式中，f(·)为模型的决策函数，ε为一个事先给定的小正数，当yi与f(xi)之间的误差不超过ε时，认为模型对(xi,yi)的拟合是无误差的，如图1所示。ε-支持向量机回归模型的目标是找到适当的决策函数f(x)＝wΦ(x)+b(2)拟合T，使得最小。式中，w为法向量，Φ(·)为映射函数，b为截距，C＞0，称为惩罚参数。在ε-支持向量机回归模型中，ε为一定值。这说明ε-支持向量机回归模型对样本中所有个体容许的无损失误差区间是相等的，也意味着在建立模型的过程中所有个体所起本文档来自技高网...

【技术保护点】
一种适用于小样本预测的消极支持向量机模型，其特征在于首先需要建立模型，具体包括以下内容：步骤1：给定一个样本T＝{(x1,y1),(x2,y2),…,(xl,yl)}和待预测个体(x*,y*)，其中，xi∈R

【技术特征摘要】
1.一种适用于小样本预测的消极支持向量机模型，其特征在于首先需要建立模型，具体包括以下内容：步骤1：给定一个样本T＝{(x1,y1),(x2,y2),…,(xl,yl)}和待预测个体(x*,y*)，其中，xi∈Rn，yi∈R，i＝1,2,…l，l为T的容量，xi为T中个体的输入，yi为T中个体的输出，目标是基于T和x*建立消极支持向量机模型，对y*进行预测；步骤2：以ε-支持向量机回归模型为基础构造消极支持向量机模型，在ε-支持向量机回归模型中，为了保证其具有良好的泛化性能，引进了ε-不敏感损失函数，如式(1)：|yi-f(xi)|ε＝max{0,|yi-f(xi)|-ε}(1)式中，f(·)为模型的决策函数，ε为一个事先给定的小正数，当yi与f(xi)之间的误差不超过ε时，认为模型对(xi,yi)的拟合是无误差的；步骤3：确定ε-支持向量机回归模型的目标是找到适当的决策函数；f(x)＝wΦ(x)+b(2)拟合T，使得最小，式中，w为法向量，Φ(·)为映射函数，b为截距，C＞0，称为惩罚参数，在ε-支持向量机回归模型中，ε为一定值，这说明ε-支持向量机回归模型对样本中所有个体容许的无损失误差区间是相等的，步骤4：为了建立消极支持向量机回归模型，首先引入Ε-不敏感损失函数，如式(4)：|yi-f(xi)|E＝max{0,|yi-f(xi)|-E(||xi-x*||)}(4)式中，E(·)为样本中个体xi与待预测个体x*之间距离的函数，||xi-x*||越小，E(||xi-x*||)越小，反之亦然，一般情况下，可定义E(·)为式(5)：式中，ε为一个事先给定的小正数，由式(5)可知，当时，E(||xi-x*||)＝ε；当||xi-x*||＝0时，E(||xi-x*||)＝0，当E(·)定义为式(5)时，Ε-不敏感损失函数；类似于ε-支持向量机回归模型，消极支持向量机回归模型的目标也是寻找一个适当的决策函数：f(x)＝wΦ(x)+b(6)拟合T，使得最小。2.根据权利要求1所述的一种适用于小样本预测的消极支持向量机模型，其特征在于还包括对上述模型进行求解，具体包括：最小化式(7)等价于求解约束最优化问题式(8)-式(11)：s.t.yi-ω·Φ(xi)-b≤E(||xi-x*||)+ξi,i＝1,2,…,l(9)为了求解此约束最优化问题，引进广义拉格朗日函数(GeneralizedLagrangefunction)，如式(12)所示：式中，式(12)的极大极小问题即为约束最优化问题式(8)-式(11)的对偶问题；设原始问题的最优解为对偶问题的最优解为首先求取根据KKT条件(Karush-Kuhn-Tuckerconditions)，可得：

【专利技术属性】
技术研发人员：付旭云，钟诗胜，林琳，张永健，王琳，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：山东,37