基于改进知识蒸馏ESN的边缘端时间序列预测方法技术

基于改进知识蒸馏ESN的边缘端时间序列预测方法，首先将回声状态网络ESN与知识蒸馏KD结合，构造基于改进知识蒸馏ESN的时间序列预测模型；然后提出训练算法，在服务器端训练该模型，优化储备池结构，提高其长期记忆能力并降低其计算开销；最终在边缘端使用训练好的基于改进知识蒸馏ESN的时间序列预测模型进行时间序列预测。该方法可以提高储备池的长期记忆能力并且降低其计算开销，使ESN更适合部署在边缘端完成时间序列预测任务。边缘端完成时间序列预测任务。边缘端完成时间序列预测任务。

【技术实现步骤摘要】
基于改进知识蒸馏ESN的边缘端时间序列预测方法


[0001]本专利技术属于计算机应用
，具体涉及一种基于改进知识蒸馏ESN的边缘端时间序列预测方法。

技术介绍

[0002]随着万物互联时代的到来和无线网络设备的普及，网络边缘的设备数量与产生的数据快速增长，增加了服务器端的工作负荷。边缘智能可以将计算任务分配给接近数据源的边缘端中，有效降低服务器端的工作负荷的同时提高了数据处理速度。然而，边缘端上的设备一般计算能力与存储能力有限。这限制了边缘智能在具体生产实践中的应用。
[0003]时间序列预测，通过对时间序列进行建模，可以对未来时刻的时间序列值进行预测。时间序列预测一直是学术界以及工业界研究的热点之一，特别是在工业界，有着更为实际的研究价值，比如温度预测等。在边缘端进行时间序列预测，可以有效提高预测的实时性。作为神经网络模型的一种，回声状态网络(Echo State Network,ESN)具备较高的预测性能且计算开销较低，在时间序列预测上取得了不错的效果。然而，ESN具备较强短期记忆能力的同时，长期记忆能力却稍显不足，这限制了其预测性能的进一步提高。另一方面，受边缘端设备计算能力与存储能力的限制，ESN的计算开销需要进一步降低。

技术实现思路

[0004]针对上述
技术介绍
中提出的问题，本专利技术提出一种基于改进知识蒸馏ESN的边缘端时间序列预测方法。该方法能够优化ESN的储备池结构，提高其长期记忆能力的同时降低计算开销。本专利技术可以提高时间序列预测的准确率，降低预测过程中的计算开销，更加适合部署在边缘端进行时间序列预测。
[0005]基于改进知识蒸馏ESN的边缘端时间序列预测方法，包括如下步骤：
[0006]步骤1：构造基于改进知识蒸馏ESN的时间序列预测模型，包括教师网络、助教网络与学生网络；
[0007]步骤2：在边缘端采集时间序列数据并在服务器端使用采集到的时间序列数据训练步骤1构造的基于改进知识蒸馏ESN的时间序列预测模型；共包括教师网络训练、助教网络训练与学生网络训练三部分；学生网络在助教网络的帮助下，学习教师网络的长期记忆能力，优化储备池结构，从而得到相应的储备池连接矩阵W；
[0008]步骤3：在边缘端使用步骤2中训练好的基于改进知识蒸馏ESN的时间序列预测模型，基于采集的待预测时间序列数据，预测未来时刻时间序列。
[0009]进一步地，所述步骤1中，构造基于改进知识蒸馏ESN的时间序列预测模型具体步骤如下：
[0010]步骤1
‑
1：以LSTM作为教师网络，设置其参数；
[0011]步骤1
‑
2：以ESN作为学生网络，设置其参数；
[0012]步骤1
‑
3：以双环ESN作为助教网络，设置其参数；
[0013]步骤1
‑
4：使用上述步骤中的教师网络、学生网络与助教网络，构造基于改进知识蒸馏ESN的时间序列预测模型；其中，教师网络输入训练集，输出蒸馏知识，助教网络输入训练集与蒸馏知识，输出助教知识；学生网络输入训练集、蒸馏知识与助教知识，完成储备池结构的训练；设置助教蒸馏学习率α、β，学生蒸馏学习率μ、v、o，迭代剪枝次数it；
[0014]步骤1
‑
5：确定模型的输入和输出；模型的输入向量为时间序列历史数据u(t)＝(tr(t
‑
P+1),tr(t
‑
P+2),
…
,tr(t))，P为滑动窗口大小，tr(t)为t时刻的时间序列数据；输出向量为预测数据y(t)＝tr(t+1)。
[0015]进一步地，步骤1
‑
1中，LSTM负责教授长期记忆能力，包括输入层、隐藏层、输出层，其中隐藏层采用双层结构；输入层和隐藏层、隐藏层与隐藏层间以及输出层和隐藏层之间全连接；设置LSTM的输入层和输出层神经元个数分别为K和L；设置第一层隐藏层神经元个数为M1，第二层隐藏层神经元个数为M2；使用线性整流函数relu(
·
)作为隐藏层神经元激励函数，使用线性函数liner(
·
)作为输出层神经元激励函数；设置学习率为
[0016]进一步地，步骤1
‑
2中，ESN负责时间序列预测，包括输入层、储备池、输出层；输入层和隐藏层以及输出层和隐藏层之间全连接，储备池中的神经元稀疏连接；设置ESN的输入层和输出层神经元个数分别为K和L；设置储备池中的神经元个数为N；构造大小为K
×
N的输入连接矩阵W
in
，内部权值随机初始化；构造大小为N
×
N的初始储备池连接矩阵W，内部权值随机初始化；使用双曲正切函数tanh(
·
)作为储备池内部激励函数f
in
，使用恒等函数identity(
·
)作为输出激励函数f
out
；设置学习率为
[0017]进一步地，步骤1
‑
3中，双环ESN负责监督蒸馏学习方向，包括输入层、双环储备池、输出层；构造大小为K
×
N的输入连接矩阵W
in
‑
dlrs
，内部权值随机初始化；构造大小为N
×
N的双环储备池连接矩阵W
dlrs
，内部权值初始化为零；设置双环储备池为环形反馈储备池，储备池中的神经元以环形连接，相邻两个神经元之间存在反馈连接；设置双环间隔d，间隔d个位置的神经元间存在反馈连接；设置非零元素绝对值r为反馈连接权值，即连接矩阵W
dlrs
中有w
i,i+1
＝r，w
i+1，i
＝r，其中i＝1,2,
…
N
‑
1，N为储备池中神经元个数，当i＝N时，设置w
i,1
＝r,w
1,i
＝r；有w
i,i+d
＝r,w
i+d,i
＝r，其中＝r，其中d为双环间隔；当时，设置w
i,1
＝r,w
1,i
＝r；使用双曲正切函数tanh(
·
)作为储备池内部激励函数f
in
，使用恒等函数identity(
·
)作为输出激励函数f
out
；设置学习率为
[0018]进一步地，所述步骤2中，训练的具体步骤如下：
[0019]步骤2
‑
1：采集时间序列数据并构造训练集；
[0020]在规定的采样时间内，在边缘端采集时间序列数据集合T
r
(p)＝{tr(1),tr(2),
…
,tr(t),
…
,tr(p)}并传输到服务器端，其中tr(t)表示t时刻的时间序列数据，p为采集的数据总数；
[0021]在服务器端，根据T
r
(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进知识蒸馏ESN的边缘端时间序列预测方法，其特征在于：所述方法包括如下步骤：步骤1：构造基于改进知识蒸馏ESN的时间序列预测模型，包括教师网络、助教网络与学生网络；步骤2：在边缘端采集时间序列数据并在服务器端使用采集到的时间序列数据训练步骤1构造的基于改进知识蒸馏ESN的时间序列预测模型；共包括教师网络训练、助教网络训练与学生网络训练三部分；学生网络在助教网络的帮助下，学习教师网络的长期记忆能力，优化储备池结构，从而得到相应的储备池连接矩阵W；步骤3：在边缘端使用步骤2中训练好的基于改进知识蒸馏ESN的时间序列预测模型，基于采集的待预测时间序列数据，预测未来时刻时间序列。2.根据权利要求1所述的基于改进知识蒸馏ESN的边缘端时间序列预测方法，其特征在于：所述步骤1中，构造基于改进知识蒸馏ESN的时间序列预测模型具体步骤如下：步骤1
‑
1：以LSTM作为教师网络，设置其参数；步骤1
‑
2：以ESN作为学生网络，设置其参数；步骤1
‑
3：以双环ESN作为助教网络，设置其参数；步骤1
‑
4：使用上述步骤中的教师网络、学生网络与助教网络，构造基于改进知识蒸馏ESN的时间序列预测模型；其中，教师网络输入训练集，输出蒸馏知识，助教网络输入训练集与蒸馏知识，输出助教知识；学生网络输入训练集、蒸馏知识与助教知识，完成储备池结构的训练；设置助教蒸馏学习率α、β，学生蒸馏学习率μ、v、o，迭代剪枝次数it；步骤1
‑
5：确定模型的输入和输出；模型的输入向量为时间序列历史数据u(t)＝(tr(t
‑
P+1),tr(t
‑
P+2),
…
,tr(t))，P为滑动窗口大小，tr(t)为t时刻的时间序列数据；输出向量为预测数据y(t)＝tr(t+1)。3.根据权利要求2所述的基于改进知识蒸馏ESN的边缘端时间序列预测方法，其特征在于：步骤1
‑
1中，LSTM负责教授长期记忆能力，包括输入层、隐藏层、输出层，其中隐藏层采用双层结构；输入层和隐藏层、隐藏层与隐藏层间以及输出层和隐藏层之间全连接；设置LSTM的输入层和输出层神经元个数分别为K和L；设置第一层隐藏层神经元个数为M1，第二层隐藏层神经元个数为M2；使用线性整流函数relu(
·
)作为隐藏层神经元激励函数，使用线性函数liner(
·
)作为输出层神经元激励函数；设置学习率为4.根据权利要求2所述的基于改进知识蒸馏ESN的边缘端时间序列预测方法，其特征在于：步骤1
‑
2中，ESN负责时间序列预测，包括输入层、储备池、输出层；输入层和隐藏层以及输出层和隐藏层之间全连接，储备池中的神经元稀疏连接；设置ESN的输入层和输出层神经元个数分别为K和L；设置储备池中的神经元个数为N；构造大小为K
×
N的输入连接矩阵W
in
，内部权值随机初始化；构造大小为N
×
N的初始储备池连接矩阵W，内部权值随机初始化；使用双曲正切函数tanh(
·
)作为储备池内部激励函数f
in
，使用恒等函数identity(
·
)作为输出激励函数f
out
；设置学习率为5.根据权利要求2所述的基于改进知识蒸馏ESN的边缘端时间序列预测方法，其特征在于：步骤1
‑
3中，双环ESN负责监督蒸馏学习方向，包括输入层、双环储备池、输出层；构造大小为K
×
N的输入连接矩阵W
in
‑
dlrs
，内部权值随机初始化；构造大小为N
×
N的双环储备池连
接矩阵W
dlrs
，内部权值初始化为零；设置双环储备池为环形反馈储备池，储备池中的神经元以环形连接，相邻两个神经元之间存在反馈连接；设置双环间隔d，间隔d个位置的神经元间存在反馈连接；设置非零元素绝对值r为反馈连接权值，即连接矩阵W
dlrs
中有w
i,i+1
＝r，w
i+1,i
＝r，其中i＝1,2,
…
N
‑
1，N为储备池中神经元个数，当i＝N时，设置w
i,1
＝r,w
1,i
＝r；有w
i,i+d
＝r,w
i+d,i
＝r，其中d为双环间隔；当d为双环间隔；当时，设置w
i,1
＝r,w
1,i
＝r；使用双曲正切函数tanh(
·
)作为储备池内部激励函数f
in
，使用恒等函数identity(
·
)作为输出激励函数f
out
；设置学习率为6.根据权利要求1所述的基于改进知识蒸馏ESN的边缘端时间序列预测方法，其特征在于：所述步骤2中，训练的具体步骤如下：步骤2
‑
1：采集时间序列数据并构造训练集；在规定的采样时间内，在边缘端采集时间序列数据集合T
r
(p)＝{tr(1),tr(2),
…
,tr(t),
…
,tr(p)}并传输到服务器端，其中tr(t)表示t时刻的时间序列数据，p为采集的数据总数；在服务器端，根据T
r
(p)来构造训练样本集：U＝{(u
train
(t),y
train
(t+1)),P≤t≤m
‑
1}其中，u
train
(t)＝(tr(t
‑
P+1),tr(t
‑
P+2),
…
,tr(t))，y
train
(t+1)＝tr(t+1)，P是滑动窗口大小；将训练集U均分为三部分，包括教师训练集U1、助教训练集U2、学生训练集U3；步骤2
‑
2：在服务器端，根据U1，训练教师网络并输出蒸馏知识T1；步骤2
‑
3：在服务器端，根据U2，训练助教网络...

【专利技术属性】
技术研发人员：周剑，蒋余文，严筱永，李鑫，李群，张伯雷，肖甫，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：