一种基于样本增量驱动的神经网络增量型前馈算法，神经网络的输入权值和隐层阈值根据输入样本的特性，采用最小二乘方法计算所得，完成模型参数初始化；模型的输入权值和隐层阈值根据新样本与旧样本之间的增量进行更新，建立模型参数与输入样本之间的函数关系，实现样本自适应性和在线前馈调整的功能。本发明专利技术算法具有预测精度高、泛化能力强、可在线前馈调节等优点。
【技术实现步骤摘要】
本专利技术涉及在线学习神经网络领域，尤其是一种在线学习单隐层前馈神经网络的 算法。
技术介绍
从上个世纪八十年代至今，神经网络已经衍生出多种模型结构和学习规则，像最 早提出的基于误差反传学习方式的BP神经网络、径向基神经网络、离散和连续型Hopfield 神经网络、SOM神经网络等。上述各种神经网络可用于分类和回归问题，而且都取得了很好 的模型效果。近年来提出的极端学习机算法成为研究热点，其属于一种单隐层前馈神经网 络，单隐层前馈神经网络具有良好的非线性辨识能力，而且具有结构简单、可调参数少、学 习速度快、模型精度高等优点，单隐层前馈神经网络既可用于基于数据块的离线学习模式， 也可用于时间序列数据的在线学习模式，在各个领域得到广泛应用。 目前，所有的实际工程应用系统建模都是基于时间序列数据的，而且大部分的神 经网络的输入权值和隐层阈值都是随机初始化产生的，产生的模型参数与实际系统的输入 样本数据没有内在的规律性，这导致神经网络的预测效果和稳定性较差。因此建立一种在 线学习模式神经网络具有很强的应用使用价值。
技术实现思路
本专利技术目的在于提供一种模型稳定性高、预测精度高、泛化能力强、具有前馈调节 功能的基于样本增量驱动的神经网络增量型前馈算法。 为实现上述目的，采用了以下技术方案，本专利技术所述算法步骤如下： 步骤1，在神经网络中，选取任意时刻L〇个训练样本进行模型参数初始化； 步骤2,计算得出输入权值和隐层阈值； 步骤3,再计算得出隐层输出矩阵Ho; 步骤4，根据最小二乘法和MP广义逆法计算得出输出权值矩阵β〇; 步骤5,引入新样本心，计算新样本与初始训练样本的第L〇个样本之间是否有增量， 如果有样本增量，根据样本增量对输入权值和隐层阈值进行更新;如果没有样本增量，则不 修改输入权值和隐层阈值，不进行更新； 步骤6,计算新样本的隐层输出矩阵； 步骤7,动态更新输出权值矩阵，计算得到模型输出权值矩阵； 步骤8,判断所有样本是否测试完毕，若测试完毕，则模型建立完成，否则返回步骤 5重新检测新旧样本增量继续学习； 建立模型参数与输入样本之间的函数关系，根据样本增量对优化模型的输入权值 和隐层阈值进行在线前馈调节。 在步骤5中，当样本增量的秩等于0时，即样本增量为0,此时输入权值和隐层阈值 不进行更新;当样本增量的秩不等于〇时，输入权值和隐层阈值进行更新。 在步骤8中，当有新增样本时，需删除远端的旧样本，使输出权值只依赖于限定个 数的最新数据信息。 与现有技术相比，本专利技术具有如下优点： 1、建立了输入权阈值和输入样本之间的函数关系，根据输入样本确定模型参数， 实现模型参数的样本自适应性，即根据不同的样本，产生不同的模型。 2、本专利技术算法是在线学习模式，神经网络的输入权值和隐层阈值也会随着样本的 序列增加，实现模型参数在线更新。相对于模型输出误差反传机制更新方式，样本增量驱动 的神经网络具有前馈调节功能。 3、本专利技术算法提高了模型的稳定性，提高了神经网络模型的预测精度和泛化能 力，满足了变工况运行时的动态优化控制要求。【附图说明】 图1是本专利技术算法的流程图。【具体实施方式】 下面结合附图对本专利技术做进一步说明： 如图1所示，本专利技术所述算法步骤如下： 步骤1，在神经网络中，选取任意时刻Lo个训练样本*5。匕进行模型参数初始 化;随机设置一个mXn的矩阵P，m为隐层节点个数，η为输入节点个数。计算复合矩阵贫1:; 步骤2,计算得出输入权值和隐层阈值；步骤3,再计算得出隐层输出矩阵Ho; 步骤4,根据最小二乘法和MP广义逆法计算得出输出权值矩阵设置参数k = 0，k 为样本增加的序列数。 步骤5,引入新样本心，计算新样本与初始训练样本的第Lo个样本之间是否有增量， 如果有样本增量，根据样本增量对输入权值和隐层阈值进行更新;如果没有样本增量，则不 修改输入权值和隐层阈值，不进行更新；当样本增量的秩等于〇时，即样本增量为〇,此时输 入权值和隐层阈值不进行更新；当样本增量的秩不等于〇时，输入权值和隐层阈值进行更 新。 步骤6,计算新样本的隐层输出矩阵； 步骤7，动态更新输出权值矩阵，计算得到模型输出权值矩阵；步骤8,判断所有样本是否测试完毕，若测试完毕，则模型建立完成。否则，设置k = k+1，返回步骤5重新检测新旧样本增量继续学习；当有新增样本时，需删除远端的旧样本， 使输出权值只依赖于限定个数的最新数据信息。建立模型参数与输入样本之间的函数关系，根据样本增量对优化模型的输入权值 和隐层阈值进行在线前馈调节。 详细推导过程如下： 模型参数推导： 对于任意的N个随机样本(Xi，ti)，Xi= TeRn，n为输入层节点个数， 七1 = ￥1?1，输出层节点数为1个，隐藏层激励函数为8(1)，则数学模型如下 所示：⑴ 式（1)中，（i = l，2,…，Ν)，ω」= T为第j个隐层节点与输入节点 之间的权值，第j个隐层节点阈值为h，输出层节点与第j个隐层节点的连接权值为比= T。上述N个方程可以简写为： Η被称作隐藏层输出矩阵，β是输出层权值矩阵，Τ是期望输出，k是输出层节点个 数。根据上述方程的最小范数二乘解的求法可得：#=丑+Γ (5)当前第1页1 2 本文档来自技高网...
【技术保护点】
一种基于样本增量驱动的神经网络增量型前馈算法，其特征在于，所述算法步骤如下：步骤1，在神经网络中，选取任意时刻L0个训练样本进行模型参数初始化；步骤2，计算得出输入权值和隐层阈值；步骤3，再计算得出隐层输出矩阵H0；步骤4，根据最小二乘法和MP广义逆法计算得出输出权值矩阵β0；步骤5，引入新样本X1，计算新样本与初始训练样本的第L0个样本之间是否有增量，如果有样本增量，根据样本增量对输入权值和隐层阈值进行更新；如果没有样本增量，则不修改输入权值和隐层阈值，不进行更新；步骤6，计算新样本的隐层输出矩阵；步骤7，动态更新输出权值矩阵，计算得到模型输出权值矩阵；步骤8，判断所有样本是否测试完毕，若测试完毕，则模型建立完成，否则返回步骤5重新检测新旧样本增量继续学习；建立模型参数与输入样本之间的函数关系，根据样本增量对优化模型的输入权值和隐层阈值进行在线前馈调节。
【技术特征摘要】
【专利技术属性】
技术研发人员：牛培峰，马云鹏，李国强，武怀勤，李霞，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北;13
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。