一种基于狮群算法优化极限学习机集成学习的方法及系统技术方案

本发明专利技术公开了一种基于狮群算法优化极限学习机集成学习的方法及系统，将改进后的狮群算法应用于极限学习机的集成学习中，充分利用狮群算法精度高、收敛快以及极限学习训练速度快的特点，通过使用狮群算法追随当前搜索到的最优值来寻找全局最优解以减少迭代次数来优化极限学习机个体，并根据极限学习机相关理论制定了相应的选择机制，将输出权值的模小并且训练误差小的极限学习机选择出来以供集成网络，在可接受的训练时间内，网络稳定性和泛化能力得到了显著提升，是一种有实际应用价值的新方法。

An Integrated Learning Method and System Based on Lion Swarm Algorithms for Optimizing Extreme Learning Machines

【技术实现步骤摘要】
一种基于狮群算法优化极限学习机集成学习的方法及系统
本专利技术涉及人工智能
，具体涉及一种基于狮群算法优化极限学习机集成学习的方法及系统。
技术介绍
极限学习机(ExtremeLearningMachine,ELM)是一类基于前馈神经网络(feedforwardneuronnetwork)的机器学习算法，其主要特点是隐含层节点参数可以是随机或人为给定的且不需要调整，学习过程仅需计算输出权重。ELM具有学习效率高和泛化能力强的优点，被广泛应用于分类、回归、聚类、特征学习等问题中。但是由于一些参数是随机产生的，不可避免地一些较为差的参数被随机出来从而影响整个极限学习的稳定性及泛化能力，而且使用整个训练集进行训练有可能出现过适应问题。现有技术中，一般是通过集成学习的方式来改善上述问题，集成学习是通过使用一系列学习器进行学习，并使用某种规则把各学习结果进行整合，从而获得比单个学习器更好的学习效果的一种机器学习方法。例如采用Bagging、Boosting、随机森林的方式进行集成。本申请专利技术人在实施本专利技术的过程中，发现现有技术的方法，至少存在如下技术问题：现有的集成方法没有充分利用极限学习机的特点，因而集成的效果不理想。由此可知，现有技术中的方法存在集成效果不佳的技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于狮群算法优化极限学习机集成学习的方法及系统，用以解决或者至少部分解决现有技术中的方法存在的集成效果不佳的技术问题。为了解决上述技术问题，本专利技术第一方面提供了一种基于狮群算法优化极限学习机集成学习的方法，包括：步骤S1：将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体，形成初始种群；步骤S2：将形成的初始种群作为训练集，并从训练集中抽取出预设比例的训练样本作为验证测试集，基于验证测试集计算出每个个体的适应度以及各类狮子的数量，将适应度最佳的位置设置为狮王位置；步骤S3：分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置，其中，个体包括狮王、母狮和幼狮，狮王的位置更新函数为：母狮的位置更新函数为：幼狮的位置更新函数为：其中，γ为依照正太分布N(0,1)产生的随机数；为第i个狮子第k代的历史最优位置；gk表示第k代群体最优位置；为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置；为第i个幼狮在捕猎范围内被驱赶的位置，和分别为狮王活动空间范围内各维度的最小值均值和最大值均值；为幼狮跟随母狮的第k代历史最佳位置，αc表示幼狮移动范围扰动因子，概率因子q为依照均匀分布U[0,1]产生的均匀随机值；步骤S4：根据步骤S3中更新后的位置计算每个个体的适应度值，并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置；步骤S5：根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件，如果满足，则执行步骤S7，否则跳转到步骤S6；步骤S6：每隔预设迭代次数，重新排序，确定狮王、母狮及幼狮的位置，跳转S3；步骤S7：将狮群算法留下种群中的个体按照适应度值进行排序，根据预设集成数量确定保留的个体，其中，保留的个体对应一个极限学习机；步骤S8：将保留的个体对应的极限学习机进行集成，输出集成结果。在一种实施方式中，步骤S1中初始种群中每个个体的初始位置为：xi＝[w11,w12,…,w1L,w21,…,wn1,…,wnL,…,b1,b2,…,bL]其中，wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值，L为输入层节点数，bi为第i个隐含层节点的阈值。在一种实施方式中，步骤S2中适应度的计算公式为：其中，L为隐含层节点数，N为随机抽取的验证测试集中的样本个数，yj＝[yj1,yj2,…,yjn]T为验证测试集中第j个样本的输入，n为样本的输入维度即输入层节点数，tj＝[tj1,tj2,…,tjm]T为验证测试集中第j个样本的输出，m为样本输出的维度即输出层节点数，wi＝[wi1,wi2,…,win]T为输入层节点与第i个隐含层节点的连接权值，bi＝[bi1,bi2,…,biL]T为第i个隐含层节点的阈值，βi＝[βi1,βi2,…,βim]T为输出层节点与第i个隐含层节点的连接权值；g(wi·yj+bi)为隐含层激活函数。在一种实施方式中，根据预设集成数量确定保留的个体具体包括：筛选出数量为预设集成数量两倍的个体；根据筛选出的个体的输出权值，将输出权值的模中较小的一半作为保留的个体。在一种实施方式中，步骤S8具体包括：将每个个体对应的极限学习机所得结果进行平均计算，获得计算结果，将其作为输出的集成结果。基于同样的专利技术构思，本专利技术第二方面提供了一种基于狮群算法优化极限学习机集成学习的系统，包括：编码模块，用于将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体，形成初始种群；初始位置计算模块，用于将形成的初始种群作为训练集，并从训练集中抽取出预设比例的训练样本作为验证测试集，基于验证测试集计算出每个个体的适应度以及各类狮子的数量，将适应度最佳的位置设置为狮王位置；位置更新模块，用于分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置，其中，个体包括狮王、母狮和幼狮，狮王的位置更新函数为：母狮的位置更新函数为：幼狮的位置更新函数为：其中，γ为依照正太分布N(0,1)产生的随机数；为第i个狮子第k代的历史最优位置；gk表示第k代群体最优位置；为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置；为第i个幼狮在捕猎范围内被驱赶的位置，和分别为狮王活动空间范围内各维度的最小值均值和最大值均值；为幼狮跟随母狮的第k代历史最佳位置，αc表示幼狮移动范围扰动因子，概率因子q为依照均匀分布U[0,1]产生的均匀随机值；最优位置更新模块，用于根据位置更新模块中更新后的位置计算每个个体的适应度值，并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置；结束判断模块，用于根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件，如果满足，则执行保留个体确定模块中的步骤，否则执行位置重新确定模块中的步骤；位置重新确定模块，用于每隔预设迭代次数，重新排序，确定狮王、母狮及幼狮的位置，则跳转执行位置更新模块中的步骤；保留个体确定模块，用于将狮群算法留下种群中的个体按照适应度值进行排序，根据预设集成数量确定保留的个体，其中，保留的个体对应一个极限学习机；集成模块，用于将保留的个体对应的极限学习机进行集成，输出集成结果。在一种实施方式中，编码模块中，初始种群中每个个体的初始位置为：xi＝[w11,w12,…,w1L,w21,…,wn1,…,wnL,…,b1,b2,…,bL]其中，wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值，L为输入层节点数，bi为第i个隐含层节点的阈值。在一种实施方式中，初始位置计算模块中适应度的计算公式为：其中，L为隐含层节点数，N为随机抽取的验证测试集中的样本个数，yj＝[yj1,yj2,…,yjn]T为验证测试集中第j个样本的输入，n为样本的输入维度即输入层节点数，tj＝[tj1,tj2,…,tjm]T为验证测试集中第j个样本的输出，m为样本输出的维度即输出层节点数，wi＝[wi1,wi2,…,win]T为输入层节本文档来自技高网...

【技术保护点】
1.一种基于狮群算法优化极限学习机集成学习的方法，其特征在于，包括：步骤S1：将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体，形成初始种群；步骤S2：将形成的初始种群作为训练集，并从训练集中抽取出预设比例的训练样本作为验证测试集，基于验证测试集计算出每个个体的适应度以及各类狮子的数量，将适应度最佳的位置设置为狮王位置；步骤S3：分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置，其中，个体包括狮王、母狮和幼狮，狮王的位置更新函数为：

【技术特征摘要】
1.一种基于狮群算法优化极限学习机集成学习的方法，其特征在于，包括：步骤S1：将极限学习机随机产生的输入权值及隐含层节点阈值编码成狮群算法个体，形成初始种群；步骤S2：将形成的初始种群作为训练集，并从训练集中抽取出预设比例的训练样本作为验证测试集，基于验证测试集计算出每个个体的适应度以及各类狮子的数量，将适应度最佳的位置设置为狮王位置；步骤S3：分别根据每个个体的位置更新函数更新狮王、母狮和幼狮的位置，其中，个体包括狮王、母狮和幼狮，狮王的位置更新函数为：母狮的位置更新函数为：幼狮的位置更新函数为：其中，γ为依照正太分布N(0，1)产生的随机数；为第i个狮子第k代的历史最优位置；gk表示第k代群体最优位置；为从第k代母狮群中随机挑选的一个捕猎协作伙伴的历史最佳位置；为第i个幼狮在捕猎范围内被驱赶的位置，和分别为狮王活动空间范围内各维度的最小值均值和最大值均值；为幼狮跟随母狮的第k代历史最佳位置，αc表示幼狮移动范围扰动因子，概率因子q为依照均匀分布U[0，1]产生的均匀随机值；步骤S4：根据步骤S3中更新后的位置计算每个个体的适应度值，并根据计算出的适应度更新自身历史最优位置及狮群历史最优位置；步骤S5：根据更新后的个体的最优位置和狮群历史最优位置判断是否满足结束条件，如果满足，则执行步骤S7，否则跳转到步骤S6；步骤S6：每隔预设迭代次数，重新排序，确定狮王、母狮及幼狮的位置，跳转S3；步骤S7：将狮群算法留下种群中的个体按照适应度值进行排序，根据预设集成数量确定保留的个体，其中，保留的个体对应一个极限学习机；步骤S8：将保留的个体对应的极限学习机进行集成，输出集成结果。2.如权利要求1所述的方法，其特征在于，步骤S1中初始种群中每个个体的初始位置为：xi＝[w11，w12，...，w1L，w21，...，wn1，...，wnL，...，b1，b2，...，bL]其中，wji为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值，L为输入层节点数，bi为第i个隐含层节点的阈值。3.如权利要求1所述的方法，其特征在于，步骤S2中适应度的计算公式为：其中，L为隐含层节点数，N为随机抽取的验证测试集中的样本个数，yj＝[yj1，yj2，...，yjn]T为验证测试集中第j个样本的输入，n为样本的输入维度即输入层节点数，tj＝[tj1，tj2，...，tjm]T为验证测试集中第j个样本的输出，m为样本输出的维度即输出层节点数，wi＝[wi1，wi2，...，win]T为输入层节点与第i个隐含层节点的连接权值，bi＝[bi1，bi2，...，biL]T为第i个隐含层节点的阈值，βi＝[βi1，βi2，...，βim]T为输出层节点与第i个隐含层节点的连接权值；g(wi·yj+bi)为隐含层激活函数。4.如权利要求1所述的方法，其特征在于，步骤S7中，根据预设集成数量确定保留的个体具体包括：筛选出数量为预设集成数量两倍的个体；根据筛选出的个体的输出权值，将输出权值的模中较小的一半作为保留的个体。5.如权利要求1所述的方法，其特征在于，步骤S8具体包括：将每个个体对应的极限学习机所得结果进行平均计算，获得计算结果，将其作为输出的集成结果。6.一种基于狮群算法优化极限学习机集成学习的系统，其特征...

【专利技术属性】
技术研发人员：刘伟，胡明威，叶志伟，王春枝，黄千，汤远志，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北,42