一种基于极限学习机算法的识别方法技术

本发明专利技术公开了一种基于极限学习机算法的识别方法，其提高网络的泛化性能，使解析求得的输出权值更加利于分类，从而大大提高了识别率。该方法包括训练阶段，对于给定训练集N＝{(xi,ti)|xi∈Rn,ti∈Rm,i＝1,…,N},激活函数g(x)＝log(1+ex)，隐单元个数L，其包括步骤：(1)随机生成输入单元与隐单元之间的权值wj，隐单元的偏置bj，其中j＝1,…,L；(2)计算隐单元的输出矩阵；(3)分别计算H中同一类别分量的类内距Sw和不同类别分量的类间距Sb对输出权值β求导中的S1,S2；(4)通过公式(20)计算隐单元到输出单元的输出权值β。

【技术实现步骤摘要】
一种基于极限学习机算法的识别方法
本专利技术属于模式识别和神经网络的
，具体地涉及一种基于极限学习机算法的识别方法。
技术介绍
人工神经网络(ArtificialNeuralNetwork，ANN)拥有强大的自学习、自组织、自适应能力，一直以来都是机器学习领域中比较普遍且实用的方法。其中，单隐层的前馈神经网络(Single-hiddenLayerFeedforwardNeuralnetworks,SLFN)因为结构简单并且具有一致的逼近能力，成为了ANN模型中研究的热点。传统的SLFN普遍采用梯度下降算法来训练，其收敛速度慢，网络中所有的参数都要经过多次迭代求得，通常花费时间要几小时几天甚至更长，有时甚至还会陷入局部最优解。为了解决以上问题，G.B.Huang等人于2004年提出了一种新型的SLFN算法，被称为极限学习机(ExtremeLearningMachine，ELM)。该算法不依赖于输入权值和隐单元偏置的选择，可以进行随机赋值，然后通过合适的激活函数得到隐含层的输出矩阵，网络的输出权值可由解析直接求得。整个算法中所有参数的确定无需迭代，无需微调，因此与传统的训练方法如BP算法相比，其学习速度更快，泛化性能更好。在神经网络当中，激活函数的性能表现一直处于核心地位，如果激活函数选择不当，那么无论怎么改进网络结构和学习方法都难以达到很好的学习精度，甚至根本不可能完成学习任务。Hornik和Leshno已经证明：对于含有可加节点的SLFN，如果激活函数为连续的，有界的并且非常数的非多项式，则一定可以逼近任意连续的目标函数。因此如果能选择合适的激活函数对于优化网络性能具有重要作用。同时，传统的ELM算法通过优化网络实际输出与理论输出误差解析求得输出权值，所以它能很好地表示输入信号。当将ELM算法应用于分类任务时，训练样本类别信息是可利用的，如何将样本的类别信息加入到网络的学习模型当中，使学到的网络在保证表示效果的同时对同类样本具有更好的聚集性，对不同类样本具有更好的可分性，这对于分类识别问题尤为必要。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供一种基于极限学习机算法的识别方法，其提高网络的泛化性能，使解析求得的输出权值更加利于分类，从而大大提高了识别率。本专利技术的技术解决方案是：这种基于极限学习机算法的识别方法，该方法包括训练阶段，对于给定训练集N＝{(xi,ti)|xi∈Rn,ti∈Rm,i＝1,…,N},激活函数g(x)＝log(1+ex)，隐单元个数L，其包括以下步骤：(1)随机生成输入单元与隐单元之间的权值wj，隐单元的偏置bj，其中j＝1,…,L；(2)通过公式(3)计算隐单元的输出矩阵H，(3)通过公式(15)、(16)分别计算H中同一类别分量的类内距Sw和不同类别分量的类间距Sb对输出权值β求导中的S1,S2，(4)通过公式(20)计算隐单元到输出单元的输出权值β本专利技术首先提出了一种更加接近生物学的激活模型且具有一定稀疏能力的Softplus激活函数来替代传统最常用的Sigmoid函数，提高网络的泛化性能；其次，为了更好的利用训练样本的标签信息，使解析求得的输出权值更加利于分类，本专利技术又提出了基于改进Fisher判别约束的ELM算法；从而在一定程度上进一步提高识别率。附图说明图1是极限学习机算法ELM的网络结构示意图。图2是Sigmoid函数图像的示意图。图3是ReLU和Softplus函数图像的示意图。具体实施方式这种基于极限学习机算法的识别方法，该方法包括训练阶段，对于给定训练集N＝{(xi,ti)|xi∈Rn,ti∈Rm,i＝1,…,N},激活函数g(x)＝log(1+ex)，隐单元个数L，其包括以下步骤：(1)随机生成输入单元与隐单元之间的权值wj，隐单元的偏置bj，其中j＝1,…,L；(2)通过公式(3)计算隐单元的输出矩阵H，(3)通过公式(15)、(16)分别计算H中同一类别分量的类内距Sw和不同类别分量的类间距Sb对输出权值β求导中的S1,S2，(4)通过公式(20)计算隐单元到输出单元的输出权值β本专利技术首先提出了一种更加接近生物学的激活模型且具有一定稀疏能力的Softplus激活函数来替代传统最常用的Sigmoid函数，提高网络的泛化性能；其次，为了更好的利用训练样本的标签信息，使解析求得的输出权值更加利于分类，本专利技术又提出了基于改进Fisher判别约束的ELM算法；从而在一定程度上进一步提高识别率。优选地，该方法包括测试阶段，对于给定测试集和训练好的网络，其包括以下步骤：(I)与训练时网络所有的参数一致，通过公式(21)记录每个测试样本由网络输出的类别向量：(I)通过公式(22)计算识别率：将网络输出的类别信息oi与样本对应的实际标签ti进行对比求得识别率：优选地，当是数字库(MNIST)时，输入单元节点为784，隐含单元节点为1000，输出单元结点分别为10，随机输入权值和隐单元偏置w,b∈(-1,1)，激活函数为Sigmoid时C＝0.1，激活函数为ReLU和Softplus时C＝0.01，a＝0.2，b＝0.3。优选地，当是人脸库(ORL、AR、ExtendedYaleB)时，输入单元节点都为784，隐含单元节点都为600，输出单元结点分别为40、120、38，随机输入权值和隐单元偏置w,b∈(-1,1)，激活函数为Sigmoid时C＝0.1，激活函数为ReLU和Softplus时C＝0.01，a＝0.2，b＝0.8。以下更详细地说明本专利技术：1极限学习机算法(ELM)ELM是一种新型的单层前馈神经网络算法，最早由Huang于2004年提出。该算法不依赖于输入权值和隐单元偏置的选择，可以进行随机赋值，然后通过合适的激活函数得到隐含层的输出矩阵，网络的输出权值可由解析直接求得。与传统神经网络相比，ELM的训练速度非常快，并且泛化性能更强。ELM包括三层：输入层、隐含层和输出层。网络结构如图1所示。对于N个不同样本(xi,ti),其中xi＝[xi1,xi2,…,xin]T表示第i个样本，ti＝[xi1,xi2,…,xim]T表示第i个样本的实际标签，输入单元的个数n表示每个样本的维数，输出单元的个数m表示样本总的类别数目,给定L个可加型的隐含单元和激活函数g(x)，则存在一组参数wj,bj和βj，使得该网络可以以零误差逼近这N个不同样本点，即其中wj＝[wj1,wj2,…,wjn]T，表示第j个隐单元与输入单元之间的权值，bj表示第j个隐单元的偏置，βj＝[βj1,βj2,…,βjm]T，表示第j个隐含单元到输出单元之间的权值。对于上面N个等式可以写成下面的矩阵形式：Hβ＝T(2)其中H是该神经网络隐含层的输出矩阵，H的第j列是第j个隐单元关于输入样本x1,x2,…,xN的输出。然而，通常情况下隐单元的个数远小于训练样本的个数，即L＜＜N,此时H就不是方阵不可逆，因此对等式(2)的求解通常转化为求下式的最小二乘问题：上面等式最小范数的唯一最小二乘解为：其中H+表示矩阵H的伪逆矩阵，H+＝(HTH)-1HT。为了防止过拟合，让算法具有鲁棒性并且泛化性能更好，正则化的ELM算法被提出，它将原来的算法加入一个关于β的正则项，原来的目标函数改为：由本文档来自技高网...

【技术保护点】
一种基于极限学习机算法的识别方法，其特征在于，该方法包括训练阶段，对于给定训练集N＝{(xi,ti)|xi∈Rn,ti∈Rm,i＝1,…,N},激活函数g(x)＝log(1+ex)，隐单元个数L，其包括以下步骤：(1)随机生成输入单元与隐单元之间的权值wj，隐单元的偏置bj，其中j＝1,…,L；(2)通过公式(3)计算隐单元的输出矩阵H，通过公式(15)、(16)分别计算H中同一类别分量的类内距Sw和不同类别分量的类间距Sb对输出权值β求导中的S1,S2，S1=Σi=1n[Σj=1nih(xj)i-1niΣk=1nih(xj)i]T[Σj=1nih(xj)i-1niΣk=1nih(xk)i]---(15)]]>S2=Σi=1n[1niΣj=1nih(xj)i-1NΣk=1Nh(xk)]T[1niΣj=1nih(xj)i-1NΣk=1Nh(xk)]---(16);]]>(3)通过公式(20)计算隐单元到输出单元的输出权值ββ=(IC+HTH+a*S1-b*S2)-1HTT---(20).]]>...

【技术特征摘要】
1.一种基于极限学习机算法的人脸识别方法，其特征在于，该方法包括训练阶段，对于给定训练集N＝{(xi,ti)|xi∈Rn,ti∈Rm,i＝1…N},N＝28，人脸图像采样为28×28维大小，激活函数g(x)＝log(1+ex)，隐单元个数L，其包括以下步骤：(1)随机生成输入单元与隐单元之间的权值wj，隐单元的偏置bj，其中j＝1…L；(2)通过公式(3)计算隐单元的输出矩阵H，通过公式(15)、(16)分别计算H中同一类别分量的类内距Sw和不同类别分量的类间距Sb对输出权值β求导中的S1,S2，(3)通过公式(20)计算隐单元到输出单元的输出权值β2.根据权利要求1所述的基于极限学习机算法的人脸识别方法，其特征在于，该...

【专利技术属性】
技术研发人员：孙艳丰，杨新东，胡永利，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11