本发明专利技术涉及一种改进极限学习机，尤其是一种融合最小二乘向量机回归学习思想的改进极限学习机，属于人工智能的技术领域。本发明专利技术在传统极限学习机经验风险最小化基础上，融合了最小二乘向量机回归学习思想，增加了结构风险控制项，通过有效调节两种风险的比例来求解，这就大大降低了模型产生过度拟合的风险。通过在SinC数据集、Boston?Housing数据集及在渔业养殖中的溶氧预测中的实际应用这三个实验表明，与ELM算法和EOS-ELM算法相比，该方法的预测误差与训练误差比较接近，有效降低了过拟合问题，其预测的精度也得到了一定的提高。
【技术实现步骤摘要】
本专利技术涉及一种改进极限学习机，尤其是一种融合最小二乘向量机回归学习思想的改进极限学习机，属于人工智能的
技术介绍
支持向量机(Support Vector Machine, SVM)理论是Vapnik等人提出的一种基于统计学理论的学习方法(实际上也是一种单隐层前馈网络)，该方法根据结构风险最小化原则，尽量提高学习机的泛化能力，最终归结为求解一个具有线性不等式约束的二次规划(Quadratic Programming)问题，但当训练样本数量增大时，二次规划问题将面临维数灾难，具体参考文献“Cortes C，Vapnik V. Support vector networks. MachineLearning, 1995，20(3) :273_297”。因此，Suykens 等人提出了最小二乘支持向量机(LeastSquares Support Vector Machine，LS-SVM)将支持向量机中的线性不等式约束转化为线性 等式约束，从而把QP问题转化成求解线性方程组的问题，降低了支持向量机的学习难度，提高了求解效率，具体如文献“Suykens J A K，Vandewalle J. Least squares supportvector machine classifiers. Neural Processing Letters, 1999，9 (3) : 293-300，，中所述。极限学习机(Extreme Learning Machine, ELM)是Huang提出的一种新型的单隐层前馈神经网络学习方法，见文献“Huang G B，Zhu Q Y，Siew C K. Extreme learningmachine:theory and applications. Neurocomputing, 2006, 70(1-3) :489_501，，。 极限学习机的基本思想为训练前设置合适的隐层节点数，在执行过程中只需要为输入权值和隐层偏置随机赋值，整个过程一次完成，无需迭代，并且产生唯一的最优解；因此具有参数选择容易、学习速度快的优点。但是传统ELM是基于经验风险最小化原理，应用于预测时极易导致过度拟合问题。近年来，相关研究对其进行了改进，如文献“LiangN Y，Huang G B,P. Saratchandran, et al. A fast and accurate online sequentiallearning algorithm for feedforward networks [J]. IEEE Transactions on NeuralNetworks, 2006, 17 (6) : 1411-1423. ”中提出一种基于在线批量学习的极限学习机(0S-ELM)，该算法能够逐个或逐批的进行学习，有效地提高了算法的泛化能力，但是却过分地依赖实验数据。在文献“Lan Y，Soh Y C，Huang G B. Ensemble of online sequentialextreme learning machine. Neurocompting, 2009，72:3391-3395. ” 中提出了一种在线批量学习的极限学习机的集成算法(E0S-ELM)，算法中釆用多个OS-ELM模型来进行问题的处理。在文献 “Rong H j，Huang G b, N. sundararajan, et al. Online sequential fuzzyextreme learning machine for function approximation classification problems.IEEE transactions on systems, man, and Cybernetics-part b: cybernetics，2009，39 (4):1067-1072. ”中将TS模糊系统与OS-ELM算法相结合，提出一种OS-Fuzzy-ELM算法。在文献 “Feng G，Huang G B，Lin Q P，Gay R. Error minimized extreme learning machinewith growth of hidden nodes and incrementallearning. IEEE Transactions on NeuralNetworks, 2009，20 (8) : 1352-1357. ”中基于最小误差化提出了一种改进的ELM算法来提高算法的性能。但是上述算法仍都基于经验风险最小化原理，极易导致过度拟合问题。在文献 “Huang G B，Ding X J, Zhou H M. Optimization method based extreme learningmachine for classification. Neurocompting, 2010，74(1-3) :155-163”、“Liu Q, HeQ, Shi Z. Extreme suppo rt vector machine classifier. Lecture Notes in ComputerScience, 2008, 5012:222-233”中也对其进行了改进，但改进后的算法仅仅适用于分类问题。因此，如何能够较好地克服传统ELM应用于预测时的缺点，提高其预测效果显得非常重要。
技术实现思路
本专利技术的目的是克服现有技术中存在的不足，提供一种融合最小二乘向量机回归学习思想的改进极限学习机，其提高预测精度，具有较好的泛化性。按照本专利技术提供的技术方案，一种融合最小二乘向量机回归学习思想的改进极限学习机，所述改进极限学习机包括如下步骤步骤I、给定观测数据集T, T = {(X1, Y1)，…，(X」，Yj),…，(xN, yN)},其中，Xj G Rn, Yj G R, j = 1，…，N ;将包括N个隐层节点，激励函数为G的极限学习机回归模型设定为本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.ー种融合最小ニ乘向量机回归学习思想的改进极限学习机，其特征是，所述改进极限学习机包括如下步骤 步骤 I、给定观测数据集 T, T = Kx1, Y1), ···, (Xj, Yj), ···, (xN，yN)}，其中，Xj e Rn, Yj e R, j = I...
【专利技术属性】
技术研发人员：毛力，张立冬，
申请(专利权)人：江南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。