基于变长度粒子群优化算法的极限学习机制造技术

一种基于变长度粒子群优化算法的极限学习机，包括步骤：(1)随机初始化粒子群位置和速度，粒子群中的每一个粒子表示一个ELM分类器；(2)计算每个粒子对于评价函数的适应值f(pi)；(3)比较各个粒子的行数与全局最优解的行数的大小关系，选择不同的更新公式对各个粒子的速度和位置进行更新，生成下一代粒子群；(4)最优隐元个数及相应的输入权重和隐元偏置；(5)计算输出权重，得到使得交叉验证精度最高的ELM分类器。利用变长度粒子群优化算法自动地选择隐元个数，同时选择相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。

【技术实现步骤摘要】
【专利摘要】一种基于变长度粒子群优化算法的极限学习机，包括步骤：(1)随机初始化粒子群位置和速度，粒子群中的每一个粒子表示一个ELM分类器；(2)计算每个粒子对于评价函数的适应值f(pi)；(3)比较各个粒子的行数与全局最优解的行数的大小关系，选择不同的更新公式对各个粒子的速度和位置进行更新，生成下一代粒子群；(4)最优隐元个数及相应的输入权重和隐元偏置；(5)计算输出权重，得到使得交叉验证精度最高的ELM分类器。利用变长度粒子群优化算法自动地选择隐元个数，同时选择相应的输入权重和隐元偏置，使ELM分类器的泛化性能最大化，能够以较少隐元个数的ELM分类器获得最大的泛化性能，测试所需时间短，效率高。【专利说明】基于变长度粒子群优化算法的极限学习机
本专利技术涉及一种利用变长度粒子群的优化算法进行优化改进的极限学习机，属于极限学习机
。
技术介绍
单隐层前馈神经网络(SLFN:Single_hidden Layer Feedforward NeuralNetwork)可以任意精度逼近任意复杂的函数，1998年在《IEEE Transactions on NeuralNetworks》(IEEE神经网络学报)第9卷224-229页发表的《具有任意有界非线性激活函数的前馈神经网络的隐层神经元个数的上界》的研究表明，具有任意非线性激活函数的单隐层前馈神经网络至多需要N个隐层神经元就可以以零误差学习N个不同的样本，具有强大的非线性辨识能力，SLFNs己被广泛应用于模式识别、函数逼近、系统建模和控制等领域。SLFNs大多采用梯度下降法进行参数学习，收敛速度慢，且容易陷入局部极小值。针对这一问题，2004年南洋理工大学Huang Guangbin等在《Proceedings ofIEEEInternational Joint Conference on Neural Networks》(IEEE 神经网络国际会议论文集)第 2 卷 985—990 页发表的《Extreme learning machine:a new learning schemeof feedforward neural networks》(极限学习机:一种新的前馈神经网络学习方法)提出了一种简单易用、有效的单隐层前馈神经网络学习算法一极限学习机(ELM=ExtremeLearning Machine)，只需要设置隐层节点个数，输入权值和隐元偏置随机初始化给定，输出权值利用广义逆解析计算得到，与传统的BP算法相比，ELM算法不需迭代、学习效率高、精度高、参数调整简单，受到了广泛关注。传统的ELM基于训练误差最小化原理，输出权重直接由最小二乘估计方法得出，在训练样本少或者训练样本不均衡的情况下，会出现过拟合问题，导致泛化性能降低；初始定义的参数(隐层神经元个数、随机生成的输入权值和隐元偏置)对神经网络的泛化性能影响很大，特别是在训练样本不均衡或者训练样本少的情况；在实际应用过程中，为了达到理想精度，需要设置大量的隐层神经元个数，也会导致泛化性能的降低。所以，近年来研究者们提出了许多改进的ELM方法以提高ELM分类器的泛化性能。2013 年《Neurocomputing》(神经计算)在 101 卷 229_242 页发表的《Weightedextreme learning machine for imbalance learning》(解决不平衡学习的加权极限学习机)针对不均衡样本问题，通过为每一样本分配权重，强化样本少的类别对分类器的影响，同时弱化样本多的类别对分类器的影响。2012年《Soft Computing》(软计算)在16卷1493—1502 页发表的〈〈Dynamic ensemble extreme learning machine based on sampleentropy》(基于样本熵的动态合成极限学习机)应用AdaBoost将训练集分类，为每一训练子集训练一个ELM分类器，然后，基于样本熵动态合成策略将测试样本进行分类，会减轻过度学习训练样本带来的过拟合问题。2012年《Information Sciences》(信息科学)在185卷66-77页发表的《Voting based extreme learning machine))(基于投票机制的极限学习机)提出单独训练多个具有相同网络结构的ELM分类器，再基于多数投票方式确定最终的分类结果，提高分类精度。上述改进算法通过对训练样本加权、或者应用多分类器提高分类精度，而没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。CN103065191A公开的《一种快速的神经网络学习方法》和CN102708381A公开的《融合最小二乘向量机回归学习思想的改进极限学习机》通过在代价函数中综合考虑训练误差所代表的经验风险和输出权重范数所代表的结构风险，修正计算输出权重，优化泛化性能，也没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。2OO6 年《IEEE Transactions on Neural Networks》(IEEE 神经网络学报)在 17卷 1411-1423 页发表的〈〈A fast and accurate online sequential learning algorithmfor feedforward networks》(一种快速精确的前馈网络在线序列学习算法)提出了在线序列极限学习机(0S-ELM:0nline Sequential Extreme Learning Machine)，根据新得到的训练样本不断修正输出权重。2010年《Computers&Mathematics with Applications》(计算机、数学及其应用)在60卷377-389页发表的《A new online learning algorithm forstructure-adiustable extreme learning machine》(一种新型的结构可调在线极限学习机)提出了一种结构可调的在线极限学习机(SAO-ELM)，在线学习过程中，可以添加隐层神经元个数，再根据迭代公式计算修正输出权重。这些在线ELM分类器也没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。由于ELM算法随机选择输入权重和隐元偏置，利用随机选择的输入权重和隐元偏置计算使得训练误差最小的输出权重，而输入权重和隐元偏置的选择很有可能并不是最优的，研究者们已经开展了优化ELM输入权重和隐元偏置选择这方面的工作。2005年《Pattern recognition》(模式识别)在 38卷 1759—1763 页发表的《Evolutionary extremelearning machine》(进化极限学习机)，在给定隐层神经元个数前提下，应用差分进化算法选择能够使得性能指标(综合考虑误差和输出权重的范数)最优的输入权重和隐元偏置。2006年《Advances in Neural Networks-1SNN2006,Lecture Notes in Computer Science》(先进神经网络，计算机科学讲义)3971卷644-652页发表本文档来自技高网...

【技术保护点】
一种基于变长度粒子群优化算法的极限学习机，其特征是，包括以下步骤：(1)粒子群中的每一个粒子表示一个ELM分类器，粒子群中的第i个粒子表示为L×(n+1)的二维实数矩阵：pi=w11w12...w1nb1w21w22...w2nb2...............wL1wL2...wLnbL,其中，pi的行数L表示为该ELM分类器的隐元个数，(wj1?wj2?…?wjn?bj)表示第j个隐元的输入权重和偏置，j=1，…L，n为输入层神经元个数，即数据集特征维数；(2)计算每个粒子对于评价函数的适应值f(pi)，评价函数f(x)定义为分类器的交叉验证精度；(3)对各个粒子的速度和位置进行更新，生成下一代粒子群；vi(t)，pi(t)分别表示第t代粒子群中第i个粒子的速度和位置，表示第i个粒子在t代进化中产生的局部最优解，表示在t代进化中产生的全局最优解，按照pi(t)的行数与的行数是否相等，采用不同的更新公式；①如果pi(t)的行数与的行数相同，即第i个粒子pi(t)所代表的ELM分类器与全局最优解所代表的ELM分类器具有同样的隐元个数，那么，vi(t+1)=ωvi(t)+c1r1(pi*(t)-pi(t))+c2r2(pg*(t)-pi(t)),pi(t+1)=pi(t)+vi(t+1)。其中ω为惯性因子，r1，r2是[0，1]均匀取值的随机数，用来保持粒子的多样性，c1，c2是学习因子，为正常数，c1，c2=1.5，惯性因子ω的计算如下：ω=ωmax-ωmax-ωminitermax×t,其中，ωmax，ωmin分别为ω的上、下界，ωmax=1.2，ωmin=0.73，itermax=200为最大的迭代代数，t为当前的迭代代数；②如果pi(t)的行数与(t)的行数不同，即第i个粒子pi(t)所代表的ELM分类器与全局最优解(t)所代表的ELM分类器的隐元个数不相同，又分为两种情况：a.如果pi(t)的行数nri大于(t)的行数nrg，那么从pi(t)中随机选取nrg行构成(t)，从vi(t)中选择相应的nrg行构成，从局部最优解(t)中选择相应的nrg行构成(t)，分别表示为：pi′(t)=pi(t)(nrgnri),vi′(t)=vi(t)(nrgnri),pi*′(t)=pi*(t)(nrgnri).划掉这nrg行后，pi(t)，vi(t)，(t)剩余的部分分别用(t)，(t)，(t)表示；从而，第i个粒子pi(t)的更新分为两部分：分别是对(t)和(t)的更新；对于(t)，vi′(t+1)=ωvi′(t)+c1r1(pi*′(t)-pi′(t))+c2r2(pg*(t)-pi′(t)),pi′(t+1)=pi′(t)+vi′(t+1),对于(t)，v‾i′(t+1)=ωv‾i′(t)+c1r1(p‾i*′(t)-p‾i′(t)),p‾i′(t+1)=p‾i′(t)+v‾i′(t+1),更新之后，(t+1)和(t+1)按照原先在pi(t)中的行位置进行组合，构成pi(t+1)；同样的，(t+1)和(t+1)组合成vi(t+1)；b.如果pi(t)的行数nri小于(t)的行数nrg，那么从(t)中随机选取nri行构成(t)，用下式表示：pgi*(t)=pg*(t)(nrinrg),则更新公式定义如下：vi(t+1)=ωvi(t)+c1r1(pi*(t)-pi(t))+c2r2(pgi*(t)-pi(t)),pi(t+1)=pi(t)+vi(t+1)，第t+1代第i个粒子的局部最优解(t+1)根据下式进行更新：pi*(t+1)=pi*(t),iff(pi(t+1))≤f(pi*(t))pi(t+1),iff(pi(t+1))>f(pi*(t)),其中f(x)表示为粒子群优化算法中的评价函数；粒子群中所有粒子更新后，根据下式更新第t+1代粒子群的全局最优解，pg*(t+1)=maxpi*(f(p1*(t+1)),f(p2*(t+1)),··&CenterDot...

【技术特征摘要】

【专利技术属性】
技术研发人员：马昕，薛冰霞，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：