基于压缩感知的池化回声状态网络的序列预测方法及系统技术方案

本发明专利技术提出了基于压缩感知的池化回声状态网络的序列预测方法及系统，属于网络信息预测技术领域,获取预测任务要求的序列数据；构建基于压缩感知的池化回声状态网络模型，并对网络模型进行训练；将获取的序列数据输入到训练好的池化回声状态网络模型中，得到预测结果；在池化回声状态网络模型的储备池，增加池化层和压缩感知层，池化层用于重新调整储备池节点状态的权值，压缩感知层则对节点进行稀疏变换以及随机亚采样；本发明专利技术基于压缩感知和池化算法的机理，提出了一种可以有效减少冗余节点，提高节点活跃性能的机制，有效提高ESN的模型性能，使得储备池在活跃的同时还可以减少计算量，提高模型计算的准确率与运行效率。提高模型计算的准确率与运行效率。提高模型计算的准确率与运行效率。

【技术实现步骤摘要】
基于压缩感知的池化回声状态网络的序列预测方法及系统


[0001]本专利技术属于网络信息预测
，尤其涉及基于压缩感知的池化回声状态网络的序列预测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]在机器学习、深度学习技术与应用飞速发展的今天，回声状态网络模型(Echo State Network，ESN)在各行各业的应用越来越深刻广泛，比如天气预测、股票预测、自然语言处理、风力预测以及混沌序列预测等；与传统的神经网络相比，回声状态网络使用一个储备池模式代替了原本的神经网络模型中包括的大量隐藏层，ESN的预测过程更主要体现在数据维度的变动上，并且不同于反向传播的形式更新参数，ESN大部分参数的确定方式是在局限的范围内随机初始化，其他参数的训练方式是以最小二乘解的形式去确定取值，并且参数取值确定以后就不会随着训练或者预测的其他过程改变了。数据的维度也会从输入层进入储备池后提升到高维，接着依据任务要求下降到规定的指定维度，完成预测过程。
[0004]储备池中主要包含一个图结构的储备池节点群以及激活函数，在节点以及激活函数的作用下，整个回声状态网络将会产生强大的非线性拟合能力，由于该网络的预测原理是基于时间轴下不同时刻的节点取值的划分，而时间序列又与时间极其相关，因此，对于各种形式不同的时间序列数据预测，回声状态网络具备强大的预测性能，同时由于储备池涉及了大量的节点关系，模型中可能包含冗余节点，冗余节点的存在会影响模型的性能，此外，模型的训练过程、预测过程的计算量是巨大的，直接减少储备池的节点数又会导致模型的性能下降，因此找到合适的优化策略、提升计算效率是回声状态网络进一步优化的重点。
[0005]目前出现的减少储备池节点的方法有压缩感知、神经网络Dropout层等，但是压缩感知应用到ESN中的稀疏表示与随机采样的方式不当会使得稀疏表示与采样时出现数据特征的丢失，直接地减少储备池节点数又会导致模型预测效果变差；因此，寻找一种更好的储备池节点的更新方法以及节点的表示形式是提升模型效果的关键。

技术实现思路

[0006]为克服上述现有技术的不足，解决如何更有效减少回声状态网络模型中的节点冗余、提升模型准确率、计算效率等问题，本专利技术提供了基于压缩感知的池化回声状态网络(Pool Compressed Sensing Echo State Network，PCSESN)的序列预测方法及系统，为池化回声状态网络模型增加池化算法和压缩感知，有效减少冗余节点，提高节点活跃性能，提高ESN的模型性能，使得储备池在活跃的同时还可以减少计算量，提高模型计算的准确率与运行效率。
[0007]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0008]本专利技术第一方面提供了基于压缩感知的池化回声状态网络的序列预测方法；
[0009]基于压缩感知的池化回声状态网络的序列预测方法，包括：
[0010]获取预测任务要求的序列数据；
[0011]构建基于压缩感知的池化回声状态网络模型，并对网络模型进行训练；
[0012]将获取的序列数据输入到训练好的池化回声状态网络模型中，得到预测结果；
[0013]其中，在池化回声状态网络模型的储备池，增加池化层和压缩感知层，池化层用于重新调整储备池节点状态的权值，压缩感知层则对节点进行稀疏变换以及随机亚采样。
[0014]进一步的，所述池化回声状态网络模型，以经典回声状态网络模型为基础，由三部分组成：输入层、储备池和输出层；
[0015]将储备池改进并划分为三层：归一层、池化层、压缩感知层。
[0016]进一步的，所述归一层对输入数据进行归一化处理，使输入数据取值映射到0
‑
1之间。
[0017]进一步的，所述池化层对储备池的节点进行优化更新，对储备池中不活跃的或者冗余的节点进行状态调整，得到更优的节点状态。
[0018]进一步的，所述输出层与储备池层之间的连接参数取值，通过最小二乘解的形式确定。
[0019]进一步的，所述回声状态网络模型的训练过程主要分为两个阶段：采样阶段和权值计算阶段。
[0020]进一步的，所述采样阶段，用于构建系统状态矩阵和样本数据向量；
[0021]所述权值计算阶段，计算回声状态网络模型的输出连接权重矩阵。
[0022]本专利技术第二方面提供了基于压缩感知的池化回声状态网络的序列预测系统。
[0023]基于压缩感知的池化回声状态网络的序列预测系统，包括数据获取模块、模型构建模块和结果预测模块；
[0024]数据获取模块，被配置为：获取预测任务要求的序列数据；
[0025]模型构建模块，被配置为：构建基于压缩感知的池化回声状态网络模型，并对网络模型进行训练；
[0026]结果预测模块，被配置为：将获取的序列数据输入到训练好的池化回声状态网络模型中，得到预测结果；
[0027]其中，在池化回声状态网络模型的储备池，增加池化层和压缩感知层，池化层用于重新调整储备池节点状态的权值，压缩感知层则对节点进行稀疏变换以及随机亚采样。
[0028]本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的基于压缩感知的池化回声状态网络的序列预测方法中的步骤。
[0029]本专利技术第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的基于压缩感知的池化回声状态网络的序列预测方法中的步骤。
[0030]以上一个或多个技术方案存在以下有益效果：
[0031]本专利技术在网络的储备池内加入了归一化处理层，提出了新的储备池的节点值更新算法—池化算法，并使用了新的压缩感知的稀疏表示与随机采样的方法来提取节点信息，基于所预测的任务，将所述序列数据放入模型，得到预测结果，即基于压缩感知和池化算法
的机理，提出了一种可以有效减少冗余节点，提高节点活跃性能的机制。
[0032]本专利技术提出的池化算法并不减少节点数目，而是在传统的池化方法的基础上添加噪声值，调整储备池节点的节点状态，使得冗余或不活跃的节点进行状态调整，进而储备池的预测模式能够更加贴近模型所要预测的混沌序列的混沌特性，最终模型达到更好的预测效果。
[0033]新的压缩感知的稀疏表示与随机采样比起原本的采样方法可以更精确的、更高效的提取储备池节点的主要信息，最大程度避免信息的泄露与丢失，有效提高ESN的模型性能，使得储备池在活跃的同时还可以减少计算量，提高模型计算的准确率与运行效率。
[0034]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0035]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于压缩感知的池化回声状态网络的序列预测方法，其特征在于，包括：获取预测任务要求的序列数据；构建基于压缩感知的池化回声状态网络模型，并对网络模型进行训练；将获取的序列数据输入到训练好的池化回声状态网络模型中，得到预测结果；其中，在池化回声状态网络模型的储备池，增加池化层和压缩感知层，池化层用于重新调整储备池节点状态的权值，压缩感知层则对节点进行稀疏变换以及随机亚采样。2.如权利要求1所述的基于压缩感知的池化回声状态网络的序列预测方法，其特征在于，所述池化回声状态网络模型，以经典回声状态网络模型为基础，由三部分组成：输入层、储备池和输出层；将储备池改进并划分为三层：归一层、池化层、压缩感知层。3.如权利要求2所述的基于压缩感知的池化回声状态网络的序列预测方法，其特征在于，所述归一层对输入数据进行归一化处理，使输入数据取值映射到0
‑
1之间。4.如权利要求2所述的基于压缩感知的池化回声状态网络的序列预测方法，其特征在于，所述池化层对储备池的节点进行优化更新，对储备池中不活跃的或者冗余的节点进行状态调整，得到更优的节点状态。5.如权利要求1所述的基于压缩感知的池化回声状态网络的序列预测方法，其特征在于，所述输出层与储备池层之间的连接参数取值，通过最小二乘解的形式确定。6.如权利要求1所述的基于压缩感知的池化回声状态网络的序列预测方法，其特...

【专利技术属性】
技术研发人员：王梓鉴，康明磊，赵慧，郑明文，
申请(专利权)人：济南大学，
类型：发明
国别省市：