基于MCP罚函数的小世界回声状态网络时间序列预测方法技术

本发明专利技术公开一种时间序列预测方法，通过在小世界回声状态网络的构建中采用MCP惩罚模型优化小世界回声状态网络的输出权重，解决常规回归方法计算权重时出现的过拟合问题，选择LQA近似分解MCP罚函数，求得模型的近似解，解决MCP罚函数在原点不可导问题，并且提出基于融入交叉和排挤策略的人工蜂群算法优化MCP惩罚模型的超参数，保证优化参数的全局最优性的同时提高收敛有效性，以此提高MCP惩罚模型的有效压缩能力，此方法在非线性时间序列预测中具有较高的应用价值。

【技术实现步骤摘要】
基于MCP罚函数的小世界回声状态网络时间序列预测方法
：本专利技术涉及一种时间序列预测方法，具体涉及基于MCP罚函数的小世界回声状态网络时间序列预测方法。
技术介绍
：时间序列预测已经在工业、金融、军事等领域中得到了广泛的应用，由于实际生活中的时间序列大多呈现非线性和不稳定性，因此对于非线性和不稳定时间序列的预测问题一直备受各个领域中研究学者的关注。目前，对于非线性和不稳定时间序列进行预测的主要方法之一是采用回声状态网络(EchoStateNetwork，ESN)。ESN的特点是在训练时只需训练储备池至输出层的输出权重，解决传统神经网络存在的易陷入局部最优、训练算法复杂等问题。因此，计算输出权重是回声状态网络学习的关键。传统ESN在计算输出权重时通常采用伪逆法、Ridge回归法或Lasso回归法，在处理高维非线性数据时易出现共线性问题和过拟合问题。因此，为了解决以上问题并满足对非线性和不稳定时间序列准确有效的预测需求，需要一种方法进一步优化ESN的输出权重，本案由此而生。
技术实现思路
：为了满足回声状态网络对于非线性和不稳定时间序列预测需求，本专利技术提出一种基于融入交叉和排挤策略人工蜂群的MCP-SWESN时间序列预测方法，更适合高维非线性数据的处理，能够优化上述现有技术中出现的共线性和过度拟合问题。为了实现上述专利技术目的，本专利技术所采用的技术方案为：基于MCP罚函数的小世界回声状态网络时间序列预测方法，内容包括：步骤1：设置小世界回声状态网络参数、输出权值优化方案参数、误差阈值、最大迭代次数，并输入历史时间序列样本；步骤2：小世界回声状态网络构建，获得输出权重初值并开始训练；步骤3：判断训练误差与设定阈值的关系，若训练误差小于等于设定阈值则训练结束，若训练误差大于设定阈值则进行输出权值的优化；对输出权值优化时，先构建MCP惩罚模型，然后采用局部二次近似算法对MCP罚函数进行求解，对MCP惩罚模型的超参数采用基于融入交叉和排挤策略的人工蜂群算法进行优化；步骤4：获得更新的输出权重后开始训练，并判断迭代次数与最大迭代次数的关系，若迭代次数小于等于最大迭代次数，则返回步骤3，若迭代次数大于最大迭代次数，则结束训练。进一步，所述步骤2中的小世界回声状态网络构建的具体内容包括：设置小世界回声状态网络规模以及储备池的拓扑结构；输入权重矩阵Win、储备池内部权重矩阵Wx随机生成，确定后训练时不再改变，初始化输出权重矩阵Wout，开始训练获得输出权重初值；小世界回声状态网络的状态方程和输出方程分别为：x(t)＝f(Winu(t)+Wxx(t-1))(1)y(t)＝xT(t)Wout(2)其中,u(t)、x(t)和y(t)分别表示储备池t时刻的输入变量、状态变量和输出变量；激活函数f取双曲正切tanh函数；输出权重矩阵Wout在训练时获得，即最小化目标函数对应的Wout值，如公式(3)所示，采用伪逆法获得，如公式(4)所示：Wout＝argmin||XWout-Y||2(3)其中，(X,Y)是训练样本，是X的伪逆。进一步，所述步骤3中最小化添加惩罚项的目标函数对应的Wout估计值如公式(5)所示：MCP罚函数如公式(6)所示：上式中，J表示变量个数，ρλ,γ表示罚函数，γ,λ为可调超参数，θ为参数向量，本专利技术中为输出权重Wout。进一步，所述步骤2中采用局部二次近似算法对MCP罚函数求解具体如下：假设已知，MCP罚函数近似分解如公式(7)所示；式(7)中前两项与Wout无关，可看作常数C，则Wout估计值如公式(8)所示：其中，为输出权重初值，由公式(4)获得，为罚函数的一阶导，D为Wout中非零元素个数；通过对式(8)重复执行Ridge回归解可得输出权重估计如下：进一步，所述步骤3中对MCP惩罚模型的超参数优化方法如下：Step1：初始化参数，设置食物源种群数量为Z，种群最大迭代次数为Q，交叉概率为K，排挤因子为P，排挤数目为Pa，当前迭代次数q＝0，并初始化γ,λ，作为初始食物源，即随机生成一组均匀分布γ和λ可调超参数组合；Step2：输入训练样本，计算训练误差，通过训练误差求出适应度值F：F＝1/ρλ,γ(|θ|)(10)Step3：对每一个食物源附近未知解空间进行搜索，生成新的食物源，即随机在一定范围内生成一个空间扰动向量L，分别针对γ和λ可调超参数在其数值空间附近进行随机方向搜索获得新食物源，直至食物源种群数量达到2*Z；Step4：分别针对γ和λ可调超参数进行归一化处理，随机选择P个食物源作为排挤因子，循环计算其他食物源与排挤因子的γ和λ的差值，按照差值之和进行升序排序，淘汰前Pa个食物源，并重新随机生成Pa个食物源以保证种群数量不发生改变；Step5：随机从种群中抽取两个食物源，计算食物源的数值位数，循环执行以下交叉操作，直到完成食物源中每一位的交叉操作，获得新的两个食物源，并添加到新种群：选择食物源的第i位，随机生成[0,1]区间的随机数，若该随机数大于预先设定的交叉概率K，则不改变，否则进行交叉操作，即互换两个食物源的第i位数值；Step6：计算适应度值，根据适应度值对当前种群中食物源进行降序排序，选择当前种群中适应度值排在最后的一部分食物源，对其进行食物源初始化；记录当代食物源存入食物源记录集合中，若集合中已存在该食物源，则对其计数，使其值增1，若其值达到最大进化阈值，则对其进行重新初始化，并使得其值归0，保留当代最优解，若当代最优解优于历史最优解，则将其替代，反之，不发生改变，保留历史最优解进入下一代种群；Step7：令q＝q+1，若q≤Q，则跳到步骤Step2，否则，进入步骤Step8；Step8：输出历史最优解，即获得最优超参数γ,λ，结束训练。本专利技术在小世界回声状态网络的构建中提出一种输出权重优化方案：采用MCP惩罚模型优化小世界回声状态网络的输出权重，解决常规回归方法计算权重时出现的过拟合问题，选择LQA近似分解MCP罚函数，求得模型的近似解，解决MCP罚函数在原点不可导问题，并且提出基于融入交叉和排挤策略的ABC算法优化MCP惩罚模型的超参数，保证优化参数的全局最优性的同时提高收敛有效性，以此提高MCP惩罚模型的有效压缩能力，此方法在非线性时间序列预测中具有较高的应用价值。以下通过附图和具体实施方式对本专利技术做进一步阐述。附图说明：图1为本专利技术实施例中时间序列预测方法的框架示意图；图2为本专利技术实施例中时间序列预测方法的实现流程图；图3为本专利技术的时间序列预测方法中SWESN构建实现流程图；图4为本专利技术的时间序列预测方法中输出权重优化方案设计实现流程图；图5为本专利技术实施例中ABC算法实现流程图。具体实施方式：在介绍本实本文档来自技高网...

【技术保护点】
1.基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：包括以下内容：/n步骤1：设置小世界回声状态网络参数、输出权值优化方案参数、误差阈值、最大迭代次数，并输入历史时间序列样本；/n步骤2：小世界回声状态网络构建，获得输出权重初值并开始训练；/n步骤3：判断训练误差与设定阈值的关系，若训练误差小于等于设定阈值则训练结束，若训练误差大于设定阈值则进行输出权值的优化；/n对输出权值优化时，先构建MCP惩罚模型，然后采用局部二次近似算法对MCP罚函数进行求解，对MCP惩罚模型的超参数采用基于融入交叉和排挤策略的人工蜂群算法进行优化；/n步骤4：获得更新的输出权重后开始训练，并判断迭代次数与最大迭代次数的关系，若迭代次数小于等于最大迭代次数，则返回步骤3，若迭代次数大于最大迭代次数，则结束训练。/n

【技术特征摘要】
1.基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：包括以下内容：
步骤1：设置小世界回声状态网络参数、输出权值优化方案参数、误差阈值、最大迭代次数，并输入历史时间序列样本；
步骤2：小世界回声状态网络构建，获得输出权重初值并开始训练；
步骤3：判断训练误差与设定阈值的关系，若训练误差小于等于设定阈值则训练结束，若训练误差大于设定阈值则进行输出权值的优化；
对输出权值优化时，先构建MCP惩罚模型，然后采用局部二次近似算法对MCP罚函数进行求解，对MCP惩罚模型的超参数采用基于融入交叉和排挤策略的人工蜂群算法进行优化；
步骤4：获得更新的输出权重后开始训练，并判断迭代次数与最大迭代次数的关系，若迭代次数小于等于最大迭代次数，则返回步骤3，若迭代次数大于最大迭代次数，则结束训练。


2.根据权利要求1所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤2中的小世界回声状态网络构建的具体内容包括：设置小世界回声状态网络规模以及储备池的拓扑结构；输入权重矩阵Win、储备池内部权重矩阵Wx随机生成，确定后训练时不再改变，初始化输出权重矩阵Wout，开始训练获得输出权重初值；
小世界回声状态网络的状态方程和输出方程分别为：
x(t)＝f(Winu(t)+Wxx(t-1))(1)
y(t)＝xT(t)Wout(2)
其中,u(t)、x(t)和y(t)分别表示储备池t时刻的输入变量、状态变量和输出变量；激活函数f取双曲正切tanh函数；
输出权重矩阵Wout在训练时获得，即最小化目标函数对应的Wout值，如公式(3)所示，采用伪逆法获得，如公式(4)所示：
Wout＝argmin||XWout-Y||2(3)



其中，(X,Y)是训练样本，是X的伪逆。


3.根据权利要求2所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤3中最小化添加惩罚项的目标函数对应的Wout估计值如公式(5)所示：



MCP罚函数如公式(6)所示：



上式中，J表示变量个数，ρλ,γ表示罚函数，γ,λ为可调超参数，θ为参数向量，本发明中为输出权重Wout。


4.根据权利要求3所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤2中采用局部二次近似算法对MCP罚函数求解具体如下：...

【专利技术属性】
技术研发人员：刘半藤，陈唯，王章权，陈友荣，
申请(专利权)人：浙江树人学院浙江树人大学，
类型：发明
国别省市：浙江;33