记忆减退型在线序列极限学习机制造技术

本发明专利技术涉及到机器学习中在线学习领域，引入自适应记忆因子和遗忘机制提出了一种新型的在线极限学习机。一般来说在流式数据更新过程中，新数据相比旧数据更能反映当前数据的特征，失效数据是无法体现当前数据的特征。因此更新模型时，新数据对模型的贡献较大；旧数据对模型的贡献较小；失效数据的贡献为零。通过引入遗忘机制淘汰失效数据。同时引入自适应记忆因子调节新、旧数据对模型的贡献，从而提高模型的预测精度。

Memory-Depressed Online Sequence Extreme Learning Machine

【技术实现步骤摘要】
记忆减退型在线序列极限学习机
本专利技术涉及机器学习领域，使用了自适应记忆因子和遗忘机制来提高在线序列极限学习机的预测精度。
技术介绍
当前社会正处于数据爆炸的时代，各行各业纷纷想着如何从大量的数据中挖掘出更多的有利价值。随着现代计算机的存储能力和计算能力快速提升，数据驱动建模方法已经成为机器学习的一种重要建模方法。所谓的数据驱动建模是指利用数理统计和机器学习等技术对历史数据进行处理、分析和研究其客观特征和规律，从而建立可以对未来事件进行预测的数学模型。许多机器学习算法是离线学习算法通常处理的数据是静态数据，所谓的静态数据是指在很长的一段时间内不会变化的数据。但是有许多领域中数据是实时更新的，这些数据称为流式数据。与静态数据相比，流式数据具有动态性和强烈时间属性，样本的特征和对模型的贡献可能随时间变化而呈现动态变化特征。面对流式数据动态性，离线学习算法在实际应用中表现的不足。在线学习算法是针对流式数据的机器学习算法。在许多领域内，流式数据更新速度越来越快，要求预测模型的更新速度越来越快。在线序列极限学习机(OnlineSequentialExtremeLearningMachine，OS-ELM)是一种可以快速更新预测模型的算法。OS-ELM有一下特点：(1)该算法根据上一步的OS-ELM模型和对新数据的训练结果，递推更新模型。(2)OS-ELM算法对每一批数据的规模大小没有要求(每批数据规模可以是固定也可以是变化)。(3)每当新一批数据到达，算法只对新数据进行训练，从而避免了对之前的数据重复训练。(4)一旦算法对数据训练结束，就可以删除这些数据从而减少存贮空间。流式数据在更新过程中，数据同时还具有两个特性。一是时效性。所谓时效性是指数据随着时间的推移而数据对模型的贡献会逐渐失效。二是差异性。通常来说，新数据比旧数据更能反映当前数据的特点及变化趋势，则新数据比旧数据对模型的贡献要大。差异性是指有效数据因新旧程度对预测模型的贡献不同。OS-ELM算法无法解决流式数据的时效性和差异性。为了解决流式数据的时效性和差异性，提出在记忆减退型在线序列极限学习机(MemoryDegradationbasedOS-ELM，MDOS-ELM)。
技术实现思路
本专利技术的目的在于提高在线预测模型的精度。通过引入有效时段的概念。有效时段是指数据从被采集或测量到最终失效这一段时间。当数据在超过其有效时段，则这些数据就会变为失效数据。MDOS-ELM算法采用遗忘机制及时淘汰失效数据。通过自适应引入记忆因子自动调整新旧数据的比重。在流式数据更新过程中，新数据比旧数据更能反映当前数据的特点和变化趋势。因此，新旧数据的信息在模型中所占比重不同。也可以这样理解，随着时间的累积MDOS-ELM对新旧数据的记忆能力不同。越靠近当前时刻的数据“记忆越深”；越远离当前时刻的数据“记忆越浅”。通常来说，数据之间的相似度越高则它们对模型的贡献越相似。自适应引入记忆因子的确定两个元素有关。一个是新与旧数据之间的相似性，另一个是上一步所获模型上模型对当前数据的预测误差。本专利技术包括初阶段和在线序列在线学习阶段，具体步骤如下：阶段I：初始阶段初始训练集S0包含N0个样本；设置隐含层节点个数L和激活函数G(.)，样本有效时长u和相似度计算方法，其中N0＞L；第1步：随机设定SLFNs隐含层的参数aj和bj，其中j＝1,2,L,L；第2步：计算隐含层输出矩阵第3步：模型输出权重向量建立了初始模型阶段II：在线序列在线学习阶段第k批训练样本块Sk包含Nk个样本，其中k＝1,2,L,∞。第4步：计算记忆因子λk；第5步：计算隐含层对应输出矩阵Hk；第6步：计算工作矩阵Pk；当k＜u时，当k≥u时，第7步：计算MDOS-ELM模型的输出权重向量当k＜u时，计算输出权重向量当k≥u时，计算输出权重向量此时有获得模型；第8步：当有新训练样本块加入模型时，令k＝k+1，转入第4步。附图说明图1设置不同的有效时段的MDOS-ELM算法在Magic04数据集进行实验。图2设置不同的有效时段的MDOS-ELM算法在Magic04数据集进行实验。图3每批在线模型在每批测试集的正确率。具体实施方式本专利技术的实施例是在以本专利技术技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述实施例。详细步骤如下:步骤1：将Magic04数据集73批训练样本块。初始在线训练集都包括1000个样本；剩下每一批在训练集样本都包含200个样本。步骤2：设置不同隐藏层节点进行实验，找出最优隐藏层节点个数，实验结果图1。步骤3：设置不同的有效时段进行实验，找出最优有效时段个数，实验结果图2。步骤4：设置相似度计算方法。步骤5：每一批训练之前计算相似度。步骤6：采用k批训练集训练得到的预测模型，再使用第k批测试集检验模型，每一批测试集的正确率，图3。本文档来自技高网...

【技术保护点】
1.采用记忆减退型在线序列极限学习机建立在线预测模型，其特征在于：依次包括以下步骤：(1)数据预处理，对输入数据归一化，对输出数据是回归类型也归一化；对输出数据为分类类型采用函数ind2vec()转化为向量；(2)随机选取数据作为训练集，剩下的数据作为测试集；训练集随机分n批在线训练集；测试集随机分n批在线测试集。(3)采用k批在线训练集训练得到的模型

【技术特征摘要】
1.采用记忆减退型在线序列极限学习机建立在线预测模型，其特征在于：依次包括以下步骤：(1)数据预处理，对输入数据归一化，对输出数据是回归类型也归一化；对输出数据为分类类型采用函数ind2vec()转化为向量；(2)随机选取数据作为训练集，剩下的数据作为测试集；训练集随机分n批在线训练集；测试集随机分n批在线测试集。(3)采用k批在线训练集训练得到的模型再使用k批在线测试集测试模型。2.根据权利要求1所述的采用记忆减退型在线序列极限学习机建立在线预测模型，其特征在于：记忆减退型在线序列极限学习机中的记忆因子λk-1∈(0,1)是用来调整新旧...

【专利技术属性】
技术研发人员：周昌军，邹全义，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：浙江,33