一种基于社会力模型群优化算法的极限学习机的学习方法技术

一种基于社会力模型群优化算法的极限学习机的学习方法。解决了现有极限学习机随机给定输入权值和偏差，ELM通常需要较多隐含层节点才能达到理想精度的问题。包括1、初始化种群的N个个体；2、计算每个个体的输出权重和适应度值；3、个体选择目标和种群分类；4、对种群Gk中的个体进行分类并执行相应搜索机制；5、更新非自由个体的速度和位置；6、更新个体历史记忆；7、个体间的协作；8、终止条件判断。本发明专利技术较好的克服了原有ELM随机给定权值和偏差的缺点，与PSO‑ELM，IPSO‑ELM，DE‑ELM和SaE‑ELM等算法相比，应用于分类和回归问题时，本算法获得的结果更精确，提高了ELM的稳定性和泛化能力。

【技术实现步骤摘要】
一种基于社会力模型群优化算法的极限学习机的学习方法
本专利技术属于人工智能
，涉及一种改进的极限学习机方法，具体涉及一种基于社会力模型群优化算法的极限学习机的学习方法。
技术介绍
传统的基于梯度下降算法神经网络(如BP神经网络)已经被广泛应用于多层前馈神经网络的训练中，但是该网络有收敛速度慢、容易陷入局部极小以及在不同的应用场合下其参数调整复杂等问题。为了克服传统神经网络的缺点，2004年，“HUANGGB，ZHUQY，SIEWCK.Extremelearningmachine:theoryandapplications.Neurocomputing，2006，70(1-3):489－501”等人提出了一种新型的人工神经网络模型，即极限学习机(ELM)。它是根据摩尔-彭罗斯(MP)广义逆矩阵理论提出的一种新的单隐层前馈神经网络学习算法(singlehiddenlayerfendforwardneuralnetwork,SLFNs)，ELM应用时需要预先设定隐含层节点数，随机初始化隐含层节点的参数(输入节点与隐层节点的连接权值和隐层节点的阈值)，在算法执行过程中不需要调整网络的输本文档来自技高网...

【技术保护点】
一种基于社会力模型群优化算法的极限学习机的学习方法，给定N个不同的样本(xi,yi)，i＝1,2,...,N，xi,yi分别表示第i个样本的输入值和输出值，xi＝(xi1,xi2,...,xin)

【技术特征摘要】
1.一种基于社会力模型群优化算法的极限学习机的学习方法，给定N个不同的样本(xi,yi)，i＝1,2,...,N，xi,yi分别表示第i个样本的输入值和输出值，xi＝(xi1,xi2,...,xin)T∈Rn，yi＝(yi1,yi2,...,yim)T∈Rm，其中T表示转置，R为实数集合，m和n表示样本的特征维数；隐层神经元的激活函数为g(·)，隐层节点数目为L；其特征是包括下述步骤：步骤1：初始化种群的N个个体行人的位置代表着优化问题的一个解，对N个行人在搜索空间进行初始化；行人具有如下信息：速度v、当前位置p、历史记忆h、行人的社会力F；行人的初始速度、历史记忆以及社会力在初始化时均设置为零向量；其中行人α的当前位置pα＝(pα,1,pα,2,...,pα,D)按照如下公式进行初始化：pα,i＝li+rand·(ui-li)(1)式中pα,i为pα的第i维分量，i＝1,2,…D，其中D为搜索空间的维度，rand为[0,1]之间的随机数，ui和li分别为搜索空间第i维分量的上下限；将初始化后的种群作为第一代种群，每个个体的编码方式如下所示：θi,G＝[w1,(i,t),...,wL,(i,t),b1,(i,t),...,bL,(i,t)](2)其中wj和bj分别代表个体的第j维输入权重和隐含层偏置，j＝1,…,L；wj和bj通过式(1)随机产生；i＝1,2,…N；t表示迭代代数；步骤2：计算输出权重和适应度值在极限学习机算法中：Hwo＝Y(3)其中H为网络的隐含层输出矩阵，wo为输出权重矩阵，Y表示网络输出矩阵，其中g(·)为激活函数，wj和bj分别代表个体的第j维输入权重和隐含层偏置，j＝1,…,L；L为隐层节点数目，N为样本个体数目，m表示样本的特征维数，T表示转置；由于输入权重和隐含层偏置可以随机给定，隐层输出矩阵H就变成一个确定的矩阵,这样前馈神经网络的训练就可以转化成一个求解输出权重矩阵的最小二乘解的问题，只需要求出输入权重的最小二乘解就能完成网络的训练，得到输出权重矩阵；对每个个体，根据等式(4)计算相应的最小输出权重矩阵；wo＝H+Y(4)其中H+表示隐含层输出矩阵H的Moore-Penrose广义逆，Y表示网络输出矩阵；如果是分类问题，采用式(5)计算每个种群的适应度值；回归问题则采用均方根误差如式(6)作为种群的适应度；公式(5)中MisclassCount是用检验数据集测试后实际分类结果与真实分类结果不相等的个数，nv是检验集样本数量；步骤3：个体选择目标和种群分类1)采用概率选择机制从历史记忆中选择行人目标，行人的历史记忆被选入目标集T的概率如下：式中fitness(hα)为行人α历史记忆的适应度值，max(fitness(h))，min(fitness(h))分别为行人历史记忆适应度值的最大值和最小值；2)当rand≤probα时，将行人α的历史记忆hα选入目标集T中，其中rand为[0,1]之间的随机数；目标集T确定后计算行人α与目标集中每个目标之间的距离，选择其中距离最短的一个目标作为α的目标Tα，并将相同目标的行人归类到一个种群Gk,k＝1,2,...,T；步骤4：对种群Gk中的个体进行分类并执行相应搜索机制1)依据公式(8)求出种群Gk中行人成为自由个体的概率：式中ρα为行人α成为自由个体的概率，RDisα为行人α与目标的相对距离；当随机数rand≤ρα时，行人α成为自由个体，否则为非自由个体，rand为[0,1]之间的随机数；2)群体分类完成后，分别执行不同的搜索机制对解空间进行搜索，成为自由个体的行人α会放弃当前位置pα并按公式(1)执行随机搜索，随机搜索能提高算法的全局搜索能力；而非自由个体则会在社会力的驱动下朝着选定的目标进行搜索；步骤5：更新非自由个体的速度和位置根据公式(9)、(10)来更新每个行人受社会力后的速度和位置；每个行人每一维的位置限制在[-1,1]之间,对个体进行边界检查，并对超出[-1,1]边界的个体按(1)式重新进行赋值；1)行人α的速度更新公式如下：式中，vα(t+Δt)与vα(t)分别为行人α在t+Δt和t代的速度，和分别为行人在t代所受期望力和排斥力，t表示当前迭代代数，Δt为1；2)行人α的位置更新公式如下：pα(t+Δt)＝pα(t)+vα(t)Δt(10)式中pα(t+Δt)和pα(t)分别是行人α在t+Δt和t代的位置，vα(t)是行人α在t代的速度；3)社会期望力期望速度行人β对α的排斥力以及半径r的定义：①行人α的期望力由下式定义：式中为第t代行人α的期望速度，vα(t)为第t代行人α实际速度，τ为松弛时间；eα(t)、分别为第t代行人α的期望运动方向和无向期望速度(标量)，由式(12)、(13)给出，u、l为解空间的上下限，Vfac为速度因子；式(12)中Tα为行人α的目标位置，Pα为行人α的位置；式(13)中ρ为缩放因子，θ为速度范围的控制参数；为行人α距目标Tk的距离，为子群体中个体到目标距离的最大值；②行人β对α的排斥力由下式给出：

【专利技术属性】
技术研发人员：续欣莹，徐晨晨，陈琪，谢珺，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西,14