一种基于粒子群优化的最小二乘支持向量机组合预测方法技术

本发明专利技术提出了一种基于粒子群优化的最小二乘支持向量机组合预测方法，根据要预测的数据特征选择合适的单项预测模型，将不同的预测方法进行适当的组合，充分利用各单项预测模型所包含的有用信息，建立最小二乘支持向量机LSSVM回归模型，利用粒子群优化算法PSO优化影响LSSVM回归模型精度的2个核心参数包括核函数参数g以及LSSVM中正则化参数C，得到最佳的LSSVM回归模型；从而达到提高预测精度、降低预测风险的目的，极大提高了算法的收敛速度，更加符合实际工程需要。

【技术实现步骤摘要】

本专利技术属于信息处理
，特别是。
技术介绍
预测科学随着社会经济的不断向前发展而产生。预测专家通过历史的统计资料和当前掌握的实际信息，运用某些方法、模型和程序，分析研究预测对象和相关因素之间的相互关系，从而深层次地揭示出预测对象的变化规律，并推测出预测对象未来的发展方向以及结果。在此基础上，预测活动属于探索未来的活动，其充分体现了人类对未来世界的探知与掌控。现有的预测模型主要有时间序列预测模型、灰色预测模型、BP神经网络预测模型等，一般来说，采用预测模型不同，预测的结果也不同。 然而，利用单个预测模型进行预测存在一些缺陷，如信息源的不广泛性、对模型设定形式敏感等，这使得单一模型的预测效果往往不能令人满意。有必要考虑对待预测数据进行组合预测。组合预测方法的系统研究始于20世纪60年代末期。此后，组合预测理论与应用成为预测领域的重要且受关注的问题，目前国内外学者提出的各种不同的组合预测方法中，实际应用和理论研究最多的是以某种绝对误差最小作为最优准则来计算组合预测方法的权系数向量。唐小我发表于“电子科技大学学报1992,21(4) :448 454”中的“组合预测误差信息矩阵研究”，建立了以误差平方和达到最小的最优组合预测模型，利用组合预测绝对误差信息矩阵的性质判断简单平均方法是非劣性组合预测、优性组合预测的条件；马永开，唐小我，杨桂元发表于“运筹与管理，1997，6(2):广8”中的“非负权重最优组合预测方法的基本理论研究”，进一步研究了非负约束的误差平方和的最优组合预测模型；陈华友，侯定丕发表于“中国科学技术大学学报，2002, 32 (2) =172^180的“基于预测有效度的优性组合预测模型的研究”，提出了基于预测有效度的组合预测模型，给出其线性规划的解法，同时研究了基于预测有效度的组合预测模型的性质；王应明发表于“预测，2002，21 (2) 58飞2”中的“基于相关性的组合预测方法研究”，提出了基于相关性指标的最优组合预测模型。上述的组合预测模型大多是以某一种最优化标准来寻找一个固定的权重，由于组合预测的权重应该是随着预测步数而变化的，即应该是变权重。支持向量机(SVM)处理小样本数据具有其他模型无法比拟的优势，且SVM回归方法具有良好的拟合和外推能力。因此，本专利技术考虑同时采用多种不同的预测模型对预测数据进行预测，然后将各种预测结果进行综合，经过SVM 二次预测，得到比单个预测模型更全面的组合预测模型，以提高预测模型的精度和有效性。并且本专利技术采用的最小二乘支持向量机(LSSVM)，将标准支持向量机中的不等式约束改成等式约束，并把经验风险由误差的一范数改为二范数，这样，求解二次优化的问题就转化成了求解一次线性方程组问题，极大提高了算法的收敛速度。
技术实现思路
本专利技术针对上述问题，本专利技术提出了。为达成上述目的，本专利技术的技术方案是，所述方法包括如下步骤步骤A，根据数据特征选择合适的单项模型，步骤为步骤A-1，确定训练集和测试集，对于预测数据给定时间序列的实际测试值，将它们分为训练集I；和测试集 ；，yTri和nft分别代表训练集I；的实际值和样本量和nTe分别代表测试集的实际值和样本量；步骤A-2，数据预处理，采用级差标准化对训练集I；和测试集Te的实测数据进行标准化处理，标准化后的数值在范围内； 步骤A-3，训练集I；建模，利用训练集I；中的yM作为样本完成单一模型建模，得到AR模型、GM(1，I)模型和BP神经网络模型的参数；对于AR模型的阶数，利用AIC准则与FPE准则，不同的模型阶数P，计算出不同的AIC值与FPE值，取平均值，最小值时的P就是适用模型的阶数，相应的模型即为最佳适用模型；并将该AR模型的阶数值作为BP神经网络模型的嵌入维数，BP神经网络模型的隐层神经元数目由经验公式给出ηΗ= (ηι+η0)1/2+1,其中％为隐含层神经元数目，Ii1为输入层神经元数目，％为输出层神经元数目，I取值为I到10的整数；步骤B，通过单项预测方法得到初步预测结论作为最小二乘支持向量机LSSVM组合预测样本，根据支持向量机回归原理，建立LSSVM回归模型；分别对AR模型、GM (I, I)模型和BP神经网络模型输入对应的参数，得到训练集中数据yM的拟合值^形成训练样本，利用得到的训练样本，训练生成LSSVM模型本文档来自技高网...

【技术保护点】
一种基于粒子群优化的最小二乘支持向量机组合预测方法，其特征在于，所述方法包括如下步骤：步骤A，根据数据特征选择合适的单项模型，步骤为：步骤A?1，确定训练集和测试集，对于预测数据给定时间序列的实际测试值，将它们分为训练集Tr和测试集Te，yTri和nTr分别代表训练集Tr的实际值和样本量；yTei和nTe分别代表测试集的实际值和样本量；步骤A?2，数据预处理，采用级差标准化对训练集Tr和测试集Te的实测数据进行标准化处理，标准化后的数值在[0,1]范围内；步骤A?3，训练集Tr建模，利用训练集Tr中的yTri作为样本完成单一模型建模，得到AR模型、GM（1,1）模型和BP神经网络模型的参数；对于AR模型的阶数，利用AIC准则与FPE准则，不同的模型阶数p，计算出不同的AIC值与FPE值，取平均值，最小值时的p就是适用模型的阶数，相应的模型即为最佳适用模型；并将该AR模型的阶数值作为BP神经网络模型的嵌入维数，BP神经网络模型的隐层神经元数目由经验公式给出：nH＝(nI+nO)1/2+l，其中nH为隐含层神经元数目，nI为输入层神经元数目，nO为输出层神经元数目，l取值为1到10的整数；步骤B，通过单项预测方法得到初步预测结论作为最小二乘支持向量机LSSVM组合预测样本，根据支持向量机回归原理，建立LSSVM回归模型；分别对AR模型、GM（1,1）模型和BP神经网络模型输入对应的参数，得到训练集中数据yTri的拟合值形成训练样本，利用得到的训练样本，训练生成LSSVM模型：f(x)=Σi=1lαiK(x,xi)+b其中，高斯径向基核函数K(xi,xj)＝exp(?g||xi?xj||2)；αi为Lagrange因子，αi∈R；b为常值偏差；步骤C，利用粒子群优化算法PSO优化影响LSSVM回归模型精度的2个核心参数包括核函数参数g以及LSSVM中正则化参数C，得到最佳的LSSVM回归模型；将 g和C分别作为粒子的x轴坐标和y轴坐标，群体规模设为M，最大迭代次数为hmax，C∈[1,10000]，g∈[0,1]并按以下步骤：步骤C?1，初始化粒子群，随机设置粒子的初始位置x和速度v；步骤C?2，计算每个粒子的适应度值fitness，在每个粒子位置，运用训练样本数据训练得到LSSVM回归模型，并用训练好的模型计算得到测试样本的预测值，并将测试样本的真实值与预测值的平均绝对误差作为粒子的适应度值；步骤C?3，对所有的i∈{1,2,…,M}，如果fitnessi>Pbesti，则令Pbesti＝fitnessi，如果fitnessi>gbest，则重新设置gbest的索引号a；其中，Pbesti为第i个粒子曾经达到的最大适应度值，为粒子曾经到达的最大适应度值时对应的位置，gbest为在群体所有粒子经历过的最好位置；步骤C?4，每一个粒子的位置xi和速度vi分别为：vi=wvi+c1r1(xiPbest-xi)+c2r2(xigbest-xi)xi＝xi+vi其中，r1,r2为[0,1]之间的随机数，c1,c2为加速度系数，c1+c2≥4，w为惯性权值；步骤C?5，检查停止条件，如果达到最大迭代次数hmax则停止迭代；否则，返回步骤C?2；步骤C?6，根据得到的最优参数g和C，建立LSSVM回归模型；步骤D，利用已建立的单项模型分别进行外推预测，得到待预测数据的预测值输入到LSSVM模型中，得到数据在预测时间点的预测值求出各模型的外推误差ETe、拟合误差ETr和外推误差之和Es：ETr=1nTrΣi=1nTr|y^Tri-yTri|yTri×100%;ETe=1nTeΣi=1nTe|y^Tei-yTei|yTei×100%,Es＝ETr+ETe。FDA00002508504800011.jpg,FDA00002508504800021.jpg,FDA00002508504800022.jpg,FDA00002508504800024.jpg,FDA00002508504800025.jpg...

【技术特征摘要】
1.一种基于粒子群优化的最小二乘支持向量机组合预测方法，其特征在于，所述方法包括如下步骤 步骤A，根据数据特征选择合适的单项模型，步骤为 步骤A-1，确定训练集和测试集，对于预测数据给定时间序列的实际测试值，将它们分为训练集Tr和测试集Te，yTri和nT,分别代表训练集T,的实际值和样本量；yTei和nTe分别代表测试集的实际值和样本量； 步骤A-2，数据预处理，采用级差标准化对训练集I；和测试集Te的实测数据进行标准化处理，标准化后的数值在[O，I]范围内； 步骤A-3，训练集I；建模，利用训练集I；中的yM作为样本完成单一模型建模，得到AR模型、GM (I, I)模型和BP神经网络模型的参数；对于AR模型的阶数，利用AIC准则与FPE准则，不同的模型阶数P，计算出不同的AIC值与FPE值，取平均值，最小值时的p就是适用模型的阶数，相应的模型即为最佳适用模型；并将该AR模型的阶数值作为BP神经网络模型的嵌入维数，BP神经网络模型的隐层神经元数目由经验公式给出nH= (ni+nQ)1/2+l，其中nH为隐含层神经元数目，H1为输入层神经元数目，n0为输出层神经元数目，I取值为I到10的整数； 步骤B，通过单项预测方法得到初步预测结论作为最小二乘支持向量机LSSVM组合预测样本，根据支持向量机回归原理，建立LSSVM回归模型；分别对AR模型、GM (I, I)模型和BP神经网络模型输入对应的参数，得到训练集中数据yM的拟合值，形成训练样本，利用得到的训练样本，训练生成LSSVM模型其中，高斯径向基核函数K (xi, Xj) = exp (-g |x「xj Il2) ； a ;为 Lagrange 因子，OiGR5b为常值偏差； 步骤C，利用粒子群优化算法PSO优化影响LSSV...

【专利技术属性】
技术研发人员：李爱，陈果，王洪伟，程小勇，郝腾飞，于明月，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：