一种基于共轭梯度法的超限学习机建模方法技术

本发明专利技术公开了一种基于共轭梯度法的超限学习机建模方法，属于超限学习机理论技术领域。本发明专利技术的建模方法是在计算机上执行以下步骤，模型选择、参数初始化、优化初始权值和测试精度。本发明专利技术比基于最速下降法的相关算法训练速度要快。同时，因为本发明专利技术从输入层到隐层之间的权值在随机选取后，用共轭梯度法进行了迭代优化。因此在达到相同训练精度的前提下，本发明专利技术所需要的隐层节点数大大少于超限学习机算法所需要的隐层节点数。

【技术实现步骤摘要】

【技术保护点】
一种基于共轭梯度法的超限学习机建模方法，其特征在于：所述建模方法是在计算机上执行以下步骤实现的：步骤1：模型选择给定有N个训练样本的训练样本集N＝{(xi,ti)|i＝1,…,N}，其中每个输入向量xi＝[x1i,x2i,…,xni]有n维数据组成，每个理想输出向量ti＝[t1i,t2i,…,tmi]有m维数据组成，给定的网络隐层节点个数设为输入层到隐层的权值W为一个的矩阵，偏置b为一个的向量，其中每个元素的值为1，隐层激活函数记为G(wi,bi,x)，误差函数为E＝||Y‑T||2；步骤2、参数初始化随机赋值从输入层到隐层的初始权值矩阵W0；步骤3、优化初始权值(1).设初始迭代次数k＝0；(2).得出隐层输出矩阵(3).定义从隐层到输出层的权值矩阵为实际输出为Yk＝UkTHk，其误差函数Ek＝||Yk‑Tk||2，利用Moore‑penrose广义逆可以得到：Uk＝(HkHkT)‑1HkTT。代入Hk和T得到了隐层到输出层的权值矩阵Uk；(4).计算训练样本的误差函数；Ek＝||Yk‑T||2＝Tr[(UkTHk‑T)(UkTHk‑T)T]，若误差函数值小于误差阈值，则转步骤4；否则，转下一步；(5).计算误差函数关于输入权值W的梯度：其中是H的广义逆；(6).令共轭方向dk=-gkifk=0-gk+βdk-1ifk≥1]]>其中则权值更新公式为：Wk+1＝Wk+ηkdk,其中，学习率ηk通过线搜索的方式获得；(7).令k＝k+1，返回步骤(2)；步骤4、测试精度根据优化后的隐层到输入层的权值Wk，以及根据步骤3得到的隐层到输出层的权值Uk，得到网络参数，计算测试样本的精度。...

【技术特征摘要】

【专利技术属性】
技术研发人员：王健，龚晓玲，叶振昀，时贤，温艳青，杨国玲，张炳杰，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东;37