带遗忘因子的在线时序多隐含层极限学习机的应用方法技术

本发明专利技术涉及一种带遗忘因子的在线时序多隐含层极限学习机的应用方法，包括以下步骤：1)求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式；2)对上述多隐含层极限学习机模型进行实时更新，输出更新后模型的表达式。本发明专利技术采用带遗忘因子的在线时序多隐含层极限学习机的方法来处理间歇过程的数据变化，法既能根据数据结构上的变化来调整模型，也可以对模型参数进行深度优化，达到更好的效果，保证最终的隐藏输出更接近预期的隐藏输出。

【技术实现步骤摘要】
带遗忘因子的在线时序多隐含层极限学习机的应用方法
本专利技术涉及一种学习机，具体为一种带遗忘因子的在线时序多隐含层极限学习机的应用方法。
技术介绍
由于间歇过程的变量间存在着很强的非线性和耦合性，且很多实时数据都随时间变化，具有很强的时效性，而传统的单隐层极限学习机或者多隐层极限学习机都是事先根据建立好的模型预测结果输出，不能根据数据结构上的变化来调整模型的变化，模型太过僵硬；单隐层的极限学习机对模型结构参数的优化不够彻底，不能有效的减少噪声的干扰，无法保证最终的隐藏输出更接近预期的隐藏输出。因此需要使用集成的在线时序单隐层极限学习机(EOS-ELM)，或者带遗忘机制的集成的在线时序单隐层极限学习机(FOS-ELM)，它们可以根据数据结构上的变化调整模型变化，适应不同的时间阶段，达到更好地效果；由于实时变化的数据都带有一系列的不可避免噪声信号的干扰。目前，能够满足上述要求的在线时序学习机尚未见报道。
技术实现思路
针对现有技术中单隐层极限学习机或者多隐层极限学习机存在不能根据数据结构上的变化来调整模型变化等不足，本专利技术要解决的问题是提供一种既能根据数据结构上的变化来调整模型，也可以对模型参数进行深度优化的带遗忘因子的在线时序多隐含层极限学习机的应用方法。为解决上述技术问题，本专利技术采用的技术方案是：本专利技术一种带遗忘因子的在线时序多隐含层极限学习机的应用方法，包括以下步骤：1)求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式；2)对上述多隐含层极限学习机模型进行实时更新，输出更新后模型的表达式。步骤1)中，求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式，具体为：11)给定样本和多个隐含层的网络结构，隐含层的激活函数为g，网络输出为g(a,b,X)，其中a为输入层和第一隐含层之间的权重，b为第一隐层的偏差，X为输入矩阵；12)假设数据分批次变化，且每一批次都持续S个单位时间，在第k-th个单位时间的数据表示为Nj为j批次数据的个数；χk在[kk+s]的范围内有效，j＝0,1,…k.，ti为标志变量，在第(k+1)-th个单位时间的数据表示为k为任意大的正整数，xi为输入样本，ti为样本标志量，th为批次。13)假设k≥s-1，训练数据的个数远大于隐藏层节点的数目，Zk+1为第(k+1)-th个单位时间预测出的结果，设l＝k-s+1,k-s+2,…k；数据在l-th时刻网络第一个隐含层的输出为：(ai,bi)为输入层和第一个隐含层之间的权值与阈值，i＝1,...L.随机初始化；G为隐含层激活函数，T为[k-s+1，k]内批数据样本的标志量，Tl为第l批数据样本的标志量；l为在[k-s+1，k]内的一个正整数；得到最终隐含层的输出权值β为：且14)假设第二个隐含层的权值和偏差为W1,B1，则第二个隐含层的输出为：15)假设WHE＝[B1W1]，则第二个隐含层的权值和偏差通过计算且假设HE＝[1H]T，1为元素全为1的一维行向量，g-1(x)为激活函数的g(x)反函数，WHE和HE为假设的变量；16)更新第二个隐含层的输出为H2＝g(WHEHE)；更新最终隐含层的输出权值β为17)假设第三个隐含层的权值和偏差为W2,B2，则第三个隐含层的输出为18)假设WHE1＝[B2W2]，则第三个隐含层的权值和偏差通过计算且HE1＝[1H2]T，1为元素全为1的一维行向量；g-1(x)为激活函数的g(x)反函数；WHE1、HE1为为假设的变量；更新第三个隐含层的输出为：H4＝g(WHE1HE1)(2)19)更新最终隐含层的输出权值β为：则最终的输出为f＝βnew1H4。对于具有多个隐含层的网络结构，循环迭代公式(1)、(2)、(3)，三个隐层迭代一次，四个隐层迭代两次，N个隐层迭代N-2次，每次迭代结束使得βnew＝βnew1，H2＝H4。步骤2)中，对上述多隐含层极限学习机模型进行实时更新，输出更新后模型的表达式，具体为：21)假设Zk+2为第(k+2)-th个单位时间预测出的结果，在(k+1)-th时间的结果已知的情况下，与上一次保持同样的(ai,bi),i＝1,...L，输出权值表示为：且则Pk+1由Pk表示为：且则22)假设第二个隐含层的权值和偏差为W1,B1，则第二个隐含层的输出为23)假设WHE＝[B1W1]，则第二个隐含层的权值和偏差通过计算且HE＝[1H]T，1为元素全为1的一维行向量；g-1(x)为激活函数的g(x)反函数，24)更新第二个隐含层的输出为H2＝g(WHEHE)；更新最终隐含层的输出权值β为25)假设第三个隐含层的权值和偏差为W2,B2，则第三个隐含层的输出为26)假设WHE1＝[B2W2]，则第三个隐含层的权值和偏差通过计算且HE1＝[1H2]T，1为元素全为1的一维行向量，g-1(x)为激活函数的g(x)反函数；27)更新第三个隐含层的输出为：H4＝g(WHE1HE1)(5)28)更新最终隐含层的输出权值β为：则最终的输出为f＝βnew1H4。本专利技术还包括以下步骤：对于具有多个隐含层的网络结构，循环迭代公式(4)、(5)、(6)，三个隐层迭代一次，四个隐层迭代两次，N个隐层迭代N-2次，每次迭代结束，使得βnew＝βnew1，H2＝H4。本专利技术具有以下有益效果及优点：1.本专利技术采用带遗忘因子的在线时序多隐含层极限学习机的方法来处理间歇过程的数据变化，法既能根据数据结构上的变化来调整模型，也可以对模型参数进行深度优化，达到更好的效果，保证最终的隐藏输出更接近预期的隐藏输出。附图说明图1为FOS-ELM模型和FOS-MELM模型下，在每一批次的数据只有2个有效时间时，训练集的均方根误差值；图2为FOS-ELM模型和FOS-MELM模型下，在每一批次的数据只有2个有效时间时，测试集的均方根误差值；图3为FOS-ELM模型和FOS-MELM模型下，在每一批次的数据只有3个有效时间时，训练集的均方根误差值；图4为FOS-ELM模型和FOS-MELM模型下，在每一批次的数据只有3个有效时间时，测试集的均方根误差值。具体实施方式下面结合说明书附图对本专利技术作进一步阐述。为了使训练输出更加接近于实际输出，考虑到单隐层的极限学习机对模型结构参数的优化不够彻底，不能有效的减少噪声的干扰，因此为了保证最终的隐藏输出更接近预期的隐藏输出，结合以前的改进极限学习机的优势成果，本专利技术用一种带遗忘因子的在线时序多隐含层极限学习机的方法来处理间歇过程的数据变化，这种方法既能根据数据结构上的变化来调整模型，也可以对模型参数进行深度优化，以达到更好地效果。本专利技术带遗忘因子的在线时序多隐含层极限学习机的应用方法包括以下步骤：1)求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式；2)对上述多隐含层极限学习机模型进行实时更新，输出更新后模型的表达式。本实施例使用一个带有三个隐含层的ELM网络结构为例，来分析带遗忘机制的在线时序多隐层极值学习机(FOS-MELM)的算法步骤。步骤1)中，求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式，具体为：11)首先给定样本和三个隐含层的网络结构(每个隐含层含有L个节点)，隐含层本文档来自技高网...

【技术保护点】
一种带遗忘因子的在线时序多隐含层极限学习机的应用方法，其特征在于包括以下步骤：1)求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式；2)对上述多隐含层极限学习机模型进行实时更新，输出更新后模型的表达式。

【技术特征摘要】
1.一种带遗忘因子的在线时序多隐含层极限学习机的应用方法，其特征在于包括以下步骤：1)求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式；2)对上述多隐含层极限学习机模型进行实时更新，输出更新后模型的表达式。2.根据权利要求1所述的带遗忘因子的在线时序多隐含层极限学习机的应用方法，其特征在于：步骤1)中，求一个具有多隐含层的极限学习机模型，得到该多隐含层极限学习机模型的输出表达式，具体为：11)给定样本和多个隐含层的网络结构，隐含层的激活函数为g，网络输出为g(a,b,X)，其中a为输入层和第一隐含层之间的权重，b为第一隐层的偏差，X为输入矩阵；12)假设数据分批次变化，且每一批次都持续S个单位时间，在第k-th个单位时间的数据表示为Nj为j批次数据的个数；χk在[kk+s]的范围内有效，j＝0,1,…k.，ti为标志变量，在第(k+1)-th个单位时间的数据表示为k为任意大的正整数，xi为输入样本，ti为样本标志量，th为批次。13)假设k≥s-1，训练数据的个数远大于隐藏层节点的数目，Zk+1为第(k+1)-th个单位时间预测出的结果，设l＝k-s+1,k-s+2,…k；数据在l-th时刻网络第一个隐含层的输出为：(ai,bi)为输入层和第一个隐含层之间的权值与阈值，i＝1,...L.随机初始化；(G为隐含层激活函数，T为[k-s+1，k]内批数据样本的标志量，Tl为第l批数据样本的标志量；l为在[k-s+1，k]内的一个正整数；得到最终隐含层的输出权值β为：且14)假设第二个隐含层的权值和偏差为W1,B1，则第二个隐含层的输出为：15)假设WHE＝[B1W1]，则第二个隐含层的权值和偏差通过计算且假设HE＝[1H]T，1为元素全为1的一维行向量，g-1(x)为激活函数的g(x)反函数，WHE和HE为假设的变量；16)更新第二个隐含层的输出为H2＝g(WHEHE)；更新最终隐含层的输出权值β为17)假设第三个隐含层的权值和偏差为W2,B2，则第三个隐含层的输出为18)假设WHE1＝[B2W2]，则第三个隐含层的权值和偏差通过计算且HE1＝[1H2]T，1为元素全为1的一维行向量；g-1(x)为激活函数的g(x)反函数；WHE1、HE1为为假设的变量；更新第三个隐含层的输出为：H4＝g(WHE1HE1)(2)19)更新最终隐含层的输出权值β为：

【专利技术属性】
技术研发人员：肖冬，李北京，毛亚纯，柳小波，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21