基于改进的多目标差分优化回声状态网络的时间序列预测模型制造技术

一种基于改进的多目标差分优化回声状态网络的时间序列预测模型。首先，随机初始化种群，依次对种群中的个体进行适应度评价。其次，设置种群最大的迭代次数进行迭代。再次，采用差分进化为种群中的每个个体生成变异个体和试验个体，将试验个体组成试验种群，将当代种群和试验种群组成混合种群；利用参考向量将混合种群分解成K个子种群，并进行子种群更新。所有更新完的子种群即为下一代新的种群，返回上一步。最后，当迭代次数达到最大得到一个最终种群，从中选出一个个体作为最优输出个体。本发明专利技术利用改进的多目标差分进化算法优化储备池参数，提高模型的寻优性能，提出的模型可以提高时间序列的预测精度，且具有良好的泛化能力及实际应用价值。

Time series prediction model based on improved multi-objective difference optimized echo state network

【技术实现步骤摘要】
基于改进的多目标差分优化回声状态网络的时间序列预测模型
本专利技术涉及一种复杂时间序列预测模型，特别涉及一种基于改进的多目标差分优化回声状态网络的时间序列预测模型。
技术介绍
时间序列广泛存在于社会生活的各个方面。它在经济领域中广泛存在，例如商品价格，股票指数。它也广泛存在于工业领域，例如轴承健康监测。在水文领域，年径流量和星系形态，等等。因此，时间序列预测的准确性通常是许多研究人员追求的目标。在过去的几十年中，已经提出了各种时间序列预测模型，例如自回归模型，神经网络，支持向量回归和模糊系统。尤其是神经网络在处理非线性方面表现出极大的优势。在许多学者的不断努力下，神经网络已经得到了深刻的发展。例如，Jaeger和Haas提出了一种用于训练神经网络的随机算法，称为回声状态网络(ESN)。发现ESN在时间序列预测中具有一定优势。它训练算法简单，训练时间短，并且保证了解的全局最优性。尽管回声状态网络具有上述优点，但也存在一些问题，例如储备池的适应性和稳定性问题，病态解的出现以及对不同时间序列ESN参数值设定的问题。近些年来，许多学者利用群智能优化算法优化神经网络，得到了很好的研究成果。例如乔玉晶等的《基于蜂群算法优化BP神经网络三目视觉标定》(公开号：CN110009696A)利用人工蜂群算法为BP神经网络选取最佳的初始权重与偏置。但是人工蜂群算法对具体问题和应用环境的依赖性较大，且计算复杂度高。BP神经网络的训练时间较长，整体来看蜂群算法优化BP神经网络这个算法的适用性不高。玄东吉等的《基于蚁群算法优化后的BP神经网络来估算SOC的方法》(公开号：CN109738807A)选取蚁群算法来优化BP神经网络来估算现阶段动力电池的SOC。尽管蚁群算法具有很强的鲁棒性，但它具有明显的经验性，收敛速度慢和适用性低的特点，因此它不适合直接用于实际问题。易辉等的《基于改进的萤火虫算法优化概率神经网络的电力变压器故障诊断方法及系统》(公开号：CN110363277A)改进的萤火虫算法来优化概率神经网络进行电力变压器故障诊断，达到诊断精度高，误差小的效果。但是萤火虫算法发现率低、求解精读不高、求解速度慢，导致萤火虫算法优化概率神经网络的开销很大。目前熟知的群智能优化算法有一定的不足。遗传算法的局部搜索能力不强，无法找到全局最优解，搜索效率低。粒子群算法的鲁棒性很差，而且粒子群算法容易陷入局部最优解，参数的初始化对算法的性能影响很大。人工鱼群算法尽管不易陷入局部最优，但不适用于同时优化具有不同范围的参数，其本身算法结构复杂且效率低下。鸽群优化算法收敛速度慢且稳定性相对较差。教与学优化算法具有过早收敛的现象。研究发现，差分进化算法结构很简单而且具有强大的全局搜索能力，并且可以平衡局部和全局信息以进行搜索。因此本专利技术选择差分进化来优化回声状态网络的储备池参数，为了进一步提高预测的准确定和稳定性，本专利技术选择多目标差分来进行两个目标函数的优化。
技术实现思路
本专利技术的主要目的是解决回声状态网络的储备池参数应对不同时间序列时难以确定的问题，提供一种利用改进的多目标差分进化算法来优化回声状态网络的储备池参数的预测模型，不必人工手动调节参数以此节省时间，而且适用于不同的时间序列预测，提高预测精度。为了达到上述目的，本专利技术采用的技术方案为：回声状态网络由输入层、储备池、输出层组成，储备池参数的设定直接决定着回声状态网络的预测性能。人工调节既费时间又不能选出最合适的参数值，因此本专利技术利用改进的多目标差分优化回声状态网络的储备池参数，构造一种基于改进多目标差分算法优化回声状态网络的时间序列预测模型。待优化的参数是回声状态网络的储备池参数，分别是储备池规模、谱半径、稀疏度、输入变换因子。本专利技术使用的差分进化结构简单、易于实现、鲁棒性高、全局搜索能力强。差分进化算法主要分为四个操作：初始化、变异操作、交叉操作和选择操作。单目标优化的目标函数是预测值的绝对误差最小，缺点是不能保证预测效果的稳定性，本专利技术对改进的多目标差分进化算法采用两个目标函数，分别为f1(x)和f2(x)，其中，第一个函数表示绝对误差的最小和，以确保预测准确性。另一个函数表示误差的方差最小，以保证预测的稳定性。目标函数如公式(1)所示：在这里y(t)为数据的真实值，y′(t)是回声状态网络的输出值即预测值。n为样本数据的数量。其步骤如下：步骤1：随机初始化种群，NP为种群个体数，G为当前迭代次数。种群个体的每一维代表回声状态网络中储备池的一个参数,每一个参数都有选择范围，因此对个体的每一维进行约束。步骤2：种群中的个体用xi表示，其中i＝1,2,...,NP。将个体xi的每一维分别赋值给回声状态网络中储备池对应的参数：储备池规模、稀疏度、谱半径和输入变换因子。实验数据被划分为训练集和测试集。训练集数据输入到回声状态网络中，得出预测值并进行该个体的适应度评价即计算F(x)。依次对种群中的个体进行适应度评价。步骤3：设置种群最大的迭代次数为Max-Iteration，如果迭代次数大于设定的最大迭代次数，则停止迭代，执行步骤8；反之，执行步骤4。步骤4：采用差分进化的变异操作与交叉操作为种群中的每个个体生成变异个体和试验个体，将生成的试验个体组成试验种群，记作Trial-Pop。此时将当代种群和试验种群组成一个混合种群，记作Mix-Pop。所述的变异操作和交叉操作中用到的缩放因子F及交叉概率CR均为0～1之间的任意值，且不能取0、1。步骤5：利用一组随机均匀分布的参考向量L＝{l1,l2,...,lK},k＝1,2,...,K将混合种群分解成K个子种群。种群分解原则是为混合种群中每个个体找到离其本身最近的参考向量，并将每个个体划入离它最近的向量所对应的子种群中。种群个体xi在向量lk上的投影距离记作d1，垂直距离记作d2。d1和d2分别代表种群个体的收敛性和多样性。种群分解原则具体为：分别计算混合种群中每个种群个体与K个参考向量之间的夹角，找到最小夹角，最小夹角表示为αi＝min{arg(cos(xi,lk))}，并将该种群个体xi划分到向量lk对应的子种群Subpop{k}中。步骤6：将每个子种群根据划分为Pcon和Pdiv两个子集，其中为G-1代所有个体的d1的平均值。如果种群个体对应的d1小于则种群个体被划分到子集Pcon里。否则，将其放在子集Pdiv里。显然，子集Pcon的收敛性好于子集Pdiv。子种群更新规则如下：①如果|Pcon|>NP/K，对子集Pcon按照ψ(x)＝d1(x)+θ×d2(x)进行升序排列，选取前NP/K个解，组成下一代子种群。其中，θ为惩罚函数，|Pcon|代表子集的大小。NP表示种群的大小，K表示子种群个数。②如果|Pcon|＝NP/K，本专利技术将子集Pcon中的解作为下一代子种群。③如果|Pcon|<NP/K，此时子集Pcon中的解全进入到下一代子种群，并将子集Pdiv按照d1值进行升序排列，之后在子集Pdiv中选取前(NP本文档来自技高网...

【技术保护点】
1.一种基于改进多目标差分算法优化回声状态网络的时间序列预测模型，其特征在于，所述改进的多目标差分进化算法采用两个目标函数，分别为f

【技术特征摘要】
1.一种基于改进多目标差分算法优化回声状态网络的时间序列预测模型，其特征在于，所述改进的多目标差分进化算法采用两个目标函数，分别为f1(x)和f2(x)，其中，第一个函数表示绝对误差的最小和，以确保预测准确性；另一个函数表示误差的方差最小，以保证预测的稳定性；目标函数如公式(1)所示：



在这里y(t)为数据的真实值，y′(t)是回声状态网络的输出值即预测值；n为样本数据的数量；
其步骤如下：
步骤1：随机初始化种群，NP为种群个体数，G为当前迭代次数；种群个体的每一维代表回声状态网络中储备池的一个参数，每一个参数都有选择范围，因此对个体的每一维进行约束；
步骤2：种群中的个体用xi表示，其中i＝1,2,...,NP；将个体xi的每一维分别赋值给回声状态网络中储备池对应的参数：储备池规模、稀疏度、谱半径和输入变换因子；将实验数据划分为训练集和测试集；训练集数据输入到回声状态网络中，得出预测值并进行该个体的适应度评价即计算F(x)；依次对种群中的个体进行适应度评价；
步骤3：设置种群最大的迭代次数为Max-Iteration，如果迭代次数大于设定的最大迭代次数，则停止迭代，执行步骤8；反之，执行步骤4；
步骤4：采用差分进化的变异操作与交叉操作为种群中的每个个体生成变异个体和试验个体，将生成的试验个体组成试验种群，记作Trial-Pop；此时将当代种群和试验种群组成一个混合种群，记作Mix-Pop；
步骤5：利用一组随机均匀分布的参考向量L＝{l1,l2,...,lK},k＝1,2,...,K将混合种群分解成K个子种群；种群分解原则是为混合种群中每个个体找到离其本身最近的参考向量，并将每个个体划入离它最近的向量所对应的子种群中；种群个体xi在向量lk上的投影距离记作d1，垂直距离记作d2；
步骤6：将每个子种群根据划分为Pcon和Pdiv两个子集，其...

【专利技术属性】
技术研发人员：任伟杰，王依雯，韩敏，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21