极限学习机中超大规模隐含层节点快速选择方法技术

本发明专利技术提出了一种极限学习机中超大规模隐含层节点快速选择方法，在经典ELM算法框架下，拟在单隐层前馈神经网络的隐含层部分加入隐含层节点选择步骤，在大量的隐含层节点中选择出部分有效的隐层节点，组成新的隐含层矩阵，通过Cutting Plane算法对隐含层节点空间进行不断的切割，并配合节点选择阶段与节点权重更新子问题优化两阶段来实现对隐含层节点的快速选择；经过大量的实验数据的性能测试，本文算法的分类准确率相较于传统算法和其余一些算法都有明显提升。

【技术实现步骤摘要】
极限学习机中超大规模隐含层节点快速选择方法
本专利技术属于高维数据特征选择领域，具体涉及一种极限学习机中超大规模隐含层节点快速选择方法。
技术介绍
神经网络目前已经发展成为机器学习领域中的一门不可或缺的技术，这种网络模型具有一定的自学习能力，同时又能够保有较高的效率、准确率以及可靠性，通过一些非线性函数可以拟合任意复杂的数学函数，因而得到广泛的应用和研究。而在众多的神经网络中，前馈神经网络应用较为广泛，其网络结构较为简单，训练时间较短，而且函数的拟合能力较强。极限学习机算法作为单隐层前馈神经网络的一种创新型的方法，具有较强的学习能力，算法的学习效率也大大提升，因此成为了神经网络的一个里程碑式的突破。在现有的极限学习机隐含层节点选择算法中，修剪极限学习机(P-ELM)算法使用统计学方法来衡量各个隐藏节点的关联，从最初的大量隐藏节点开始，考虑相关的类别标签来裁剪不相关的节点。相比传统的ELM和其他流行的机器学习方法，P-ELM在几种常用分类问题和形式多样的隐层节点函数的实验中，P-ELM分类器表现更加快速，预测精度也更加稳定。P-ELM算法模型主要用于分类，基于P-ELM算法，提出最优修剪极限学习机(OP-ELM)算法，该算法不仅适用于分类问题，还能够处理回归问题。这种算法在ELM算法构建的单隐藏层神经网络框架下。对于P-ELM算法来说，很难确定开始构造的网络的大小，所以在构造网络时，为了能够找到最优的模型规模，在实验时往往会先构造一个规模较大的网络，便大大增加了模型计算的复杂性，浪费更多算法训练时间。还有一种改进的ELM降秩矩阵算法，用于计算MoorePenrose广义逆，该算法基于一个高效降秩的矩阵，通过计算较低秩矩阵保证了算法的有效性，并且介绍了在分类问题上，利用稀疏贝叶斯方法来学习ELM的输出权重，称为稀疏贝叶斯极限学习机(SBELM)算法，该方法通过估计网络输出的边界可能性，并且在训练阶段自动修剪大部分冗余的隐含神经元，从而得到一个准确紧凑的学习模型。但是却存在对计算资源要求高的问题，特别是当涉及到高维数据的情况下，会出现内存溢出的情况。
技术实现思路
为了解决现有技术中存在的问题，本专利技术研究工作主要集中在研究传统极限学习机的隐含层节点快速选择方面，详细的研究内容具体可以展开为：在经典ELM算法框架下，拟在单隐层前馈神经网络的隐含层部分加入隐含层节点选择步骤，在大量的隐含层节点中选择出部分有效的隐层节点，组成新的隐含层矩阵。具体方法是运用切平面算法实现隐含层节点的快速选择，将这一问题转化为最小二乘回归问题，并添加节点选择向量来进行节点选择，通过拉格朗日函数等凸优化方法进行化简与优化，主要过程分为节点选择阶段与算法优化两部分来进行分析，最终实现隐含层节点的选择研究。为了实现上述目的，本专利技术采用的技术方案是，极限学习机中超大规模隐含层节点快速选择方法，包括以下步骤：S1，将待训练数据集进行ELM算法的矩阵映射，即将训练数据集按隐含层矩阵计算方法来得到隐含层输出矩阵H；S2，输出矩阵H的每一行即为一个节点，在隐含层输出矩阵H基础上，根据分类误差计算各个节点与类别标签的紧密程度，然后选择紧密程度最为紧密的K个节点；并存入节点结合Ω中；分类误差的初始值为类别标签的向量表示；S3，基于步骤S2中选择的节点构建数据分类器，计算新的分类误差，并依据新的分类误差循环步骤S2和S3直至分类误差满足收敛条件。步骤S1的具体步骤如下：S11对隐含层的激励函数、隐含层节点数目进行设置；S12对隐含层输入权重与偏差进行随机赋值；S13将训练数据集输入隐含层节点，根据隐含层的激励函数、隐含层输入权重与偏差计算隐含层输出矩阵H。所述步骤S2决定了本专利技术的整体框架还是一个三层的学习算法；将训练数据集中各样本的预测误差作为该样本的权重，对训练数据集进行加权求和得到一个向量，向量中的每个值对应着各个节点的重要程度，依据此重要程度进行排序，选择其中最为重要的K个节点，即为与类别标签最为紧密的K个节点。所述步骤S3中具体包括：S31，将数据分类器的训练过程转化为SquaredGroup-LASSO问题并采用APG算法进行求解，获得新的隐含层输入权重；S32，基于新的隐含层输入权重计算新的分类误差，并根据分类误差对隐含层节点与标签之间紧密程度，选择其中最为紧密的K个节点。与现有技术相比，本专利技术至少具有以下有益效果，本专利技术的算法与其他的隐含层节点算法相比，隐含层节点重要度计算方法的线性复杂度与隐含层节点个数的一次幂成正比，而传统方法的复杂度为二次幂，因此在同样的隐含层节点规模下，本专利技术具有快速高效的特点；我们在隐含层节点选择时利用了标签信息，进行的有监督隐含层节点的选择，因此具有更好的精度和稳定性。本专利技术采用CuttingPlan技术解决含量随机节点的快速选择问题；并且采用输出反馈机制有效提升特征选择的准确性。本专利技术成功实现了极限学习机算法的隐含层节点选择，针对ELM算法随机产生权值与偏差而带来的隐含层节点冗余问题给出了一种解决办法，构建了一种新的隐含层节点选择方式，采用切平面算法对ELM算法中的隐含层节点备选集合进行不断地切割与优化，最终获得最优的隐含层节点子集合；本专利技术基于隐含层节点的选择算法，对ELM算法的分类精度有了进一步的提升，在大量的数据集，同时还包括一些医学数据集上都有较好得表现，这也为算法的实际应用打下了基础。本专利技术的步骤S2决定了本专利技术的整体框架还是一个三层的学习算法；这样可以保证原本ELM算法的性能，并且减少整个专利技术的算法的计算复杂度。附图说明图1是本专利技术的整体框架图。图2是对比例中14类数据集中选取6类数据集制作的本专利技术算法分类准确率与传统ELM算法的分类准确率展示图。图3为本专利技术的流程示意图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好的理解本专利技术。本专利技术包括如下步骤：步骤1：在公共网站下载传统ELM算法及数据集，并调试ELM算法各参数；步骤2：具体针对传统ELM算法的流程，计算相应的隐含层输出矩阵，并为下一步的节点选择做准备。步骤3：通过CuttingPlane算法对隐含层节点空间进行不断的切割，并配合节点选择阶段与节点权重更新子问题优化两阶段来实现对隐含层节点的快速选择。步骤4：利用训练数据集对所述的模型进行训练，优化算法各参数，训练算法模型，得到较优的预测结果。其中，步骤3中具体包括：在步骤2计算得到隐含层输出矩阵H之后，将H作为本专利技术算法的输入数据集，展开隐含层节点的选择研究，主要分为两部分展开，首先计算各个节点的系数，本专利技术通过对节点系数进行排序，按降序顺序将节点系数排序结束后，每一次选择前m个最大的系数来组成一组节点集合，然后再进行节点权重的更新阶段，主要解决权重β的更新问题，在β更新之后再返回第二阶段的节点选择，进行下一轮的节点选择，如此每次选择出m个节点，直至最终达到预期选择数目停止。如图3所示，首先对本专利技术的整体流程做如下介绍，本专利技术的极限学习机中超大规模隐含层节点快速选择方法，简称SHN-ELM，包括：输入：数据集h(xi)∈Rd×n，约束集Ω和预期选择节点数目m输出：Ω＝{k1,k2,...,kd}，其中ki是被选择的节点索引。算法步骤：1：初始化约束集本文档来自技高网...

【技术保护点】
1.极限学习机中超大规模隐含层节点快速选择方法，其特征在于，包括以下步骤：S1，将待训练数据集进行ELM算法的矩阵映射，即将训练数据集按隐含层矩阵计算方法来得到隐含层输出矩阵H；S2，在隐含层输出矩阵H基础上，根据分类误差计算各个节点与类别标签的紧密程度，然后选择紧密程度最为紧密的K个节点；并存入节点结合Ω中；分类误差的初始值为类别标签的向量表示；S3，基于步骤S2中选择的节点构建数据分类器，计算新的分类误差，并依据新的分类误差循环步骤S2和S3直至分类误差满足收敛条件。

【技术特征摘要】
1.极限学习机中超大规模隐含层节点快速选择方法，其特征在于，包括以下步骤：S1，将待训练数据集进行ELM算法的矩阵映射，即将训练数据集按隐含层矩阵计算方法来得到隐含层输出矩阵H；S2，在隐含层输出矩阵H基础上，根据分类误差计算各个节点与类别标签的紧密程度，然后选择紧密程度最为紧密的K个节点；并存入节点结合Ω中；分类误差的初始值为类别标签的向量表示；S3，基于步骤S2中选择的节点构建数据分类器，计算新的分类误差，并依据新的分类误差循环步骤S2和S3直至分类误差满足收敛条件。2.根据权利要求1所述的方法，其特征在于，步骤S1的具体步骤如下：S11对隐含层的激励函数、隐含层节点数目进行设置；S12对隐含层输入权重与偏差进行随机赋值；S13将训练数据集输入隐含层节点，根据隐...

【专利技术属性】
技术研发人员：邓万宇，张莎莎，陈琳，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西,61