一种基于引入隐藏信息极限学习机算法的智能分类方法技术

本发明专利技术涉及一种基于引入隐藏信息极限学习机算法的智能分类方法，包括步骤S1：在LUPI框架中，训练样本引入隐藏信息；S2：根据ELM原理，得出引入隐藏信息后的ELM+的最优表达式；S3：利用拉格朗日乘子法求解该最优表达式，得出ELM+的输出方程；S4：得出利用ELM+解决二分类问题时以及解决多分类问题时的决策方程；S5：将待预测样本代入所述决策方程，输出类别标签，进行分类。本发明专利技术以极限学习机算法为基础，通过在LUPI框架下，在训练阶段利用训练样本及其隐藏信息共同求解输出权值，来进一步提高传统ELM算法的识别性能，是一种整体性能更优、适用领域更广、识别结果更符合实际需求的智能分类器设计方法。

【技术实现步骤摘要】
一种基于引入隐藏信息极限学习机算法的智能分类方法
本专利技术属于模式识别智能分类器领域，特别是涉及一种基于引入隐藏信息极限学习机算法的智能分类方法。
技术介绍
传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数，并且很容易产生局部最优解。此外，传统神经网络学习算法还存在前馈神经网络训练速度慢，容易陷入局部极小值点，学习率的选择敏感等缺点。极限学习机(extremelearningmachine)ELM是一种简单易用、有效的单隐层前馈神经网络(SLFNs)学习算法，由Huang等人于2004年提出。极限学习机只需要设置网络的隐层节点个数，在算法执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因此极限学习机具有结构简单，学习速度快，良好的全局搜索能力以及泛化能力等优点，在异常行为检测与异常识别领域有广泛应用。2011年，G.B.Huang对极限学习机方法进行了综述，他指出极限学习机方法的最大优点是其高效的学习过程，而需要继续改进的难点问题主要包括两个方面：一是针对具体应用，如何提高系统识别率；二是如何对隐层节点结构进行优化。近年来，针对极限学习机存在的问题，通过利用样本集中的隐藏信息来改进传统的分类学习已成为机器学习领域的一个热点。最近，Vapnik提出了一种解决这种问题的新方法称之为LearningUsingPrivilegedInformation(LUPI，特权信息学习)和LearningWithStructuredData(LWSD，结构数据学习)。但该算法忽略了隐藏信息，数据集中的一些隐藏信息不能被有效利用，仍然会导致分类方法准确度不高的问题。目前，处理高维数据成为了一个热门话题，在处理高维数据的时候传统算法往往会采用降维的方式将高维数据降到低维空间中再进行分类。但是，数据集中的一些隐藏信息不能被有效利用，因此导致传统的分类方法存在分类准确度不高的问题。鉴于此，本专利技术基于上述的LUPI和LWSD优化规则，对现有ELM算法进行改进，提出了引入隐藏信息(PrivilegedInformation)的极限学习机方法，我们称之为ELM+。此方法有效地利用了这些隐藏信息，从而有效地提高了分类的准确性。
技术实现思路
为了解决现有技术中存在的传统分类方法准确度不高的问题，以及基于LUPI和LWSD的算法忽略隐藏信息、分类准确仍不高的问题，本专利技术提供了一种基于引入隐藏信息极限学习机算法的智能分类方法。本专利技术要解决的技术问题通过以下技术方案实现：一种基于引入隐藏信息极限学习机算法的智能分类方法，包括以下步骤：S1：在LUPI框架下，向训练样本中引入隐藏信息，构造新的训练样本；S2：根据ELM原理，将引入隐藏信息的新的训练样本代入ELM算法公式，得出引入隐藏信息后的ELM+的表达式，所述ELM+的表达式为最优化方程式；S3：利用拉格朗日乘子法求解该最优化方程式得到最优解，即ELM+的输出方程；S4：将上述ELM+的输出方程代入基本二分类及多分类问题决策方程，得出利用ELM+解决二分类问题时以及解决多分类问题时的决策方程；S5：将待预测样本代入所述决策方程，输出类别标签，进行分类。进一步地，所述步骤S1的具体过程为：在LUPI框架中，训练样本(x,y)引入隐藏信息x*∈X*后记作(x,x*,y)。进一步地，所述步骤S2的具体过程为：根据ELM原理，得出引入隐藏信息后的ELM+的表达式如下：Minimize(最小化量):Subjectto(约束方程):其中LELM+为待优化最小化量，β为极限学习机的输出权值，μ为隐藏信息和原始特征的调节权值，C为误分类的惩罚因子，ti为第i个样本所对应的标签，h(xi)为第i个样本经过隐层函数映射后得到的隐层输出。是隐藏信息x*所对应的隐层修正函数，为第i个样本所对应的隐藏信息经过隐层函数映射后得到的隐层输出，β*为其所对应的隐层修正权值。进一步地，所述步骤S3的具体过程为：利用拉格朗日乘子法求解所述最优化方程式得到最优解，得出ELM+的输出方程，求解过程及输出方程如下：其中αi≥0为拉格朗日因子。函数L的极值应满足条件根据式(1)～(4)可求得其中，H为所有样本的整体隐层输出矩阵，I为单位矩阵，T为所有样本标签构成的向量，H*：所有样本对应的隐藏信息经过隐层函数映射得到的整体隐层输出矩阵，是矩阵HT的广义逆。ELM+的输出方程可以写为下式进一步地，所述步骤S4的具体过程为：将步骤S3得出的ELM+输出方程，代入基本二分类及多分类决策方程，即可得出利用ELM+解决二分类问题时，其决策方程为：解决多分类问题时，其决策方程为：与现有技术相比，本专利技术的有益效果：与现有的ELM算法相比，本专利技术在LUPI框架下，以极限学习机算法为基础，向训练样本中引入隐藏信息，利用训练样本与隐藏信息共同求解输出权值，从而使隐藏信息得到充分利用，体现了模式的内在联系，解决了分类器设计与模式之间脱节的问题，是一种整体性能更优、适用领域更广、识别性能更高的智能分类器设计方法。附图说明图1是本专利技术的智能分类方法的流程图。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，以使本专利技术的技术方案和有益效果能更易于被本领域技术人员理解，从而对本专利技术的保护范围作出更为清楚明确的界定。但本专利技术的实施方式不限于此。为了更好地说明本专利技术的技术方案，首先对本专利技术所基于的极限学习机算法(ELM)进行简单介绍。极限学习机(Extremelearningmachine，ELM)是基于单隐层前馈神经网络的机器学习算法，相对于传统前馈神经网络训练速度慢，容易陷入局部极小值点，学习率的选择敏感等缺点，ELM算法随机产生输入层与隐含层的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需要设置隐含层神经元的个数，便可以获得唯一的最优解。其主要思路是：极限学习机中所有的隐层参数均为随机产生，把此时的整个网络看作为一个线性系统，从而通过对隐层输出矩阵求广义逆得到输出权值。极限学习机的基本原理如下：对一个含有N个样本的训练样本集输入为d维向量xi∈R，极限学习机的输出为其中，aj为连接第j个隐层节点的输入权值；bj为第j个隐层节点的偏差；βj为第j个隐层节点到极限学习机输出节点的权值；G(aj,bj,xi)为第j个隐层节点到输出层的连接方式以及激活函数；h(xi)＝[G(a1,b1,xi),...,G(aL,bL,xi)]为隐层关于xi的输出向量，h(xi)的作用是将样本xi由d维输入空间映射到L维的特征空间。具体的，ELM的学习算法主要有以下几个步骤：S10：确定隐含层神经元个数，随机设定输入层与隐含层的连接权值w和隐含层神经元的阈值bS20：选择一个无限可微的函数作为隐含层神经元的激活函数，进而计算隐含层输出矩阵H；S30：计算输出层权值βj；S40：得出输出表达式。极限学习机是在单隐层神经网络基础上提出的一种高效的学习方法，不同于传统的神经网络方法，ELM中所有的隐层参数均为随机产生，而不需要烦琐的迭代过程，其输出权值则通过求解隐层输出矩阵的广义逆得到。因此，相较于传统的学习方法，ELM具有参数选择容易，学习速度快，人为干预少等优点。本专利技术的设计原理为：为了进一步提高其识别性能，本专利技术提出本文档来自技高网...

【技术保护点】
1.一种基于引入隐藏信息极限学习机算法的智能分类方法，其特征在于，包括以下步骤：S1：在LUPI框架下，向训练样本中引入隐藏信息，构造新的训练样本；S2：根据ELM原理，将引入隐藏信息的新的训练样本代入ELM算法公式，得出引入隐藏信息后的ELM+的表达式，所述ELM+的表达式为最优化方程式；S3：利用拉格朗日乘子法求解步骤S2所述的最优化方程式得到最优解，即ELM+的输出方程；S4：将所述ELM+的输出方程代入基本二分类及多分类问题决策方程，得出利用ELM+解决二分类问题时以及解决多分类问题时的决策方程；S5：将待预测样本代入所述决策方程，输出类别标签，进行分类。

【技术特征摘要】
1.一种基于引入隐藏信息极限学习机算法的智能分类方法，其特征在于，包括以下步骤：S1：在LUPI框架下，向训练样本中引入隐藏信息，构造新的训练样本；S2：根据ELM原理，将引入隐藏信息的新的训练样本代入ELM算法公式，得出引入隐藏信息后的ELM+的表达式，所述ELM+的表达式为最优化方程式；S3：利用拉格朗日乘子法求解步骤S2所述的最优化方程式得到最优解，即ELM+的输出方程；S4：将所述ELM+的输出方程代入基本二分类及多分类问题决策方程，得出利用ELM+解决二分类问题时以及解决多分类问题时的决策方程；S5：将待预测样本代入所述决策方程，输出类别标签，进行分类。2.根据权利要求1所述的智能分类方法，其特征在于，所述步骤S1的具体过程为：在LUPI框架中，训练样本(x,y)引入隐藏信息x*∈X*后记作(x,x*,y)。3.根据权利要求2所述的智能分类方法，其特征在于，所述步骤S2的具体过程为：根据ELM原理，得出引入隐藏信息后的ELM+的表达式如下：Minimize(最小化量):Subjectto(约束方程):其中LELM+为待优化最小化量，β为极...

【专利技术属性】
技术研发人员：张文博，杨生辉，刘崇晧，段育松，李鑫，张志宏，方镇，李婧婷，
申请(专利权)人：昆山鲲鹏无人机科技有限公司，
类型：发明
国别省市：江苏,32