基于LSTM-SVR的用电需求预测方法技术

本发明专利技术涉及基于LSTM

【技术实现步骤摘要】
基于LSTM
‑
SVR的用电需求预测方法


[0001]本专利技术属于用电需求预测
，具体涉及基于LSTM
‑
SVR的用电需求预测方法。

技术介绍

[0002]众所周知，电力行业对于国家经济的快速发展起着至关重要的影响，精确高效的用电需求预测是规划国家资源分配和提高资源利用率的前提条件，有助于提升经济效益和社会效益，随着人工智能技术的崛起，各类机器学习预测模型相继被提出，国内外相关学者将机器学习智能算法应用于用电需求预测研究方面也取得了一定的成果，例如时间序列预测负荷模型，但仅适用于短期负荷预测；BP神经网络预测用电负荷，在非线性复杂系统中发挥了较好的效果，但搜索方向易发生偏差，学习效果较差；这些研究虽然都为解决用电需求预测方法提供了理论依据，但是存在预测精度较低以及需求预测值不精确的问题；因此，提供一种提升电力负荷的预测精度、电力需求预测值更加精确、平均绝对百分误差、拟合程度高的基于LSTM
‑
SVR的用电需求预测方法是非常有必要的。

技术实现思路

[0003]本专利技术的目的是为了克服现有技术的不足，而提供一种提升电力负荷的预测精度、电力需求预测值更加精确、平均绝对百分误差、拟合程度高的基于LSTM
‑
SVR的用电需求预测方法。
[0004]本专利技术的目的是这样实现的：基于LSTM
‑
SVR的用电需求预测方法，它包括以下步骤：
[0005]步骤1：构建LSTM网络模型；
[0006]步骤2：采用PSO来对SVR的参数进行寻优；
[0007]步骤3：构建LSTM
‑
SVR模型；
[0008]步骤4：实验并进行分析。
[0009]所述的步骤1中的构建LSTM网络模型具体为：LSTM是由循环神经网络RNN发展而来，RNN是一种动态的深度神经网络模型，RNN公式为：h
t
＝Ux
t
+Ws
t
‑1(1)，s
t
＝f(h
t
)(2)，o
t
＝g(Vs
t
)(3)，式中h
t
为t时刻用电需求量的预测输出值；f、g为遗忘门、输出门控制函数；t
‑
1、t、t+1表示时间序列；x
t
表示t时刻输入的特征向量；s
t
表示t时刻隐藏层状态；o
t
为t时刻用电量的输出预测向量；W表示上一时刻输入的样本特征向量的存储值权重矩阵；U表示此刻输入的样本特征量的真实值权重矩阵；V表示用电量预测值的权重矩阵；RNN网络在处理时间序列数据上相比与前馈神经网络有优势，但易出现梯度爆炸或者梯度消失的问题，为了克服这些问题，LSTM被开发出来，其具有记忆性，能够学习序列长期的变化规律，用来解决特征的长期依赖问题，LSTM原理与RNN在本质上基本一致，区别体现在LSTM存在输入门、输出门和遗忘门三种门结构。
[0010]所述的LSTM网络模型中的遗忘门具体为：在用户用电需求预测中，遗忘门用于接
收长期记忆，并决定要保留和遗忘的信息，记为：f
t
＝σ(W
f
[h
t
‑1,x
t
]+b
f
)(4)，式中，f
t
是遗忘门的控制函数，W
f
为遗忘门样本特征向量的真实值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
f
为遗忘门的偏差向量；σ为sigmoid激活函数；
[0011]所述的输入门用于挑选信息记录于当前的记录单元之中，与f
t
类似，通过改变权重矩阵的值对新输入的样本特征向量进行选择，选择出对预测结果相关性高的特征向量的值加入到记忆细胞中，记为：i
t
＝σ(W
i
[h
t
‑1,x
t
]+b
i
)(5)，式中，i
t
为输入门的控制函数，W
i
为输入门样本特征向量的真实值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
i
为输入门的偏差向量，σ为sigmoid激活函数；
[0012]所述的输出门用于输出当前记忆单元的值，记为：o
t
＝σ(W
o
[h
t
‑1,x
t
]+b
o
)(6)，式中，o
t
为输出门控制函数，W
o
为输出门样本特征向量的真实值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
o
为输出门的偏差向量；σ为sigmoid激活函数。
[0013]所述的LSTM网络模型通过在LSTM结构单元中C
t
用来更新细胞状态，控制其长期状态，即对相关性较强的样本特征向量进行记忆，对上一时刻相关性较弱的部分记忆进行遗忘，将新挑选出的数据加入记忆，这样不断更新细胞状态，记为：C
t
＝f
t
*C
t
‑1+i
t
*C
t
′
(7)，C
t
′
＝tanh(W
C
[h
t
‑1,x
t
]+b
C
)(8)式中，W
C
为当前样本特征向量的存储值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
C
为当前时刻的偏差向量；C
t
′
为当前时刻样本特征向量真实值的tanh函数转换值，描述当前输入的单元状态；*为矩阵相乘符号；h
t
＝o
t
*tanhC
t
(9)，式中，h
t
为当前时刻用电需求量的预测输出值；在用户用电需求预测中，原始数据都会呈现时间序列特点，存在一定的周期性，而且还会受到气象外部因素的影响，因此从这两个方面入手，分别从LSTM和SVR模型来进行预测，实现更为精准的用电需求预测。
[0014]所述的步骤2中的采用PSO来对SVR的参数进行寻优具体为：SVR是将支持向量机SVM用于回归时的模型，其主要不同在于：SVR的数据全属于一类，它的目的是找到一个最优的超平面最小化样本到超平面的距离，而SVM的目的在于寻找使不同类的样本距离最远的超平面，对于用户用电需求预测问题，其往往呈现非线性变化的趋势，为了解决非线性回归问题，SVR主要利用核函数，将数据集映射到更高维的特征空间中，以最小化结构风险为目标构造最优回归函数：式中，ω和b是回归方程待确定的参数；代表的是一个非线性的映射函数，使用高斯径向基核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于LSTM
‑
SVR的用电需求预测方法，其特征在于：它包括以下步骤：步骤1：构建LSTM网络模型；步骤2：采用PSO来对SVR的参数进行寻优；步骤3：构建LSTM
‑
SVR模型；步骤4：实验并进行分析。2.如权利要求1所述的基于LSTM
‑
SVR的用电需求预测方法，其特征在于：所述的步骤1中的构建LSTM网络模型具体为：LSTM是由循环神经网络RNN发展而来，RNN是一种动态的深度神经网络模型，RNN公式为：h
t
＝Ux
t
+Ws
t
‑1(1)，s
t
＝f(h
t
)(2)，o
t
＝g(Vs
t
)(3)，式中h
t
为t时刻用电需求量的预测输出值；f、g为遗忘门、输出门控制函数；t
‑
1、t、t+1表示时间序列；x
t
表示t时刻输入的特征向量；s
t
表示t时刻隐藏层状态；o
t
为t时刻用电量的输出预测向量；W表示上一时刻输入的样本特征向量的存储值权重矩阵；U表示此刻输入的样本特征量的真实值权重矩阵；V表示用电量预测值的权重矩阵；RNN网络在处理时间序列数据上相比与前馈神经网络有优势，但易出现梯度爆炸或者梯度消失的问题，为了克服这些问题，LSTM被开发出来，其具有记忆性，能够学习序列长期的变化规律，用来解决特征的长期依赖问题，LSTM原理与RNN在本质上基本一致，区别体现在LSTM存在输入门、输出门和遗忘门三种门结构。3.如权利要求2所述的基于LSTM
‑
SVR的用电需求预测方法，其特征在于：所述的LSTM网络模型中的遗忘门具体为：在用户用电需求预测中，遗忘门用于接收长期记忆，并决定要保留和遗忘的信息，记为：f
t
＝σ(W
f
[h
t
‑1,x
t
]+b
f
)(4)，式中，f
t
是遗忘门的控制函数，W
f
为遗忘门样本特征向量的真实值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
f
为遗忘门的偏差向量；σ为sigmoid激活函数；所述的输入门用于挑选信息记录于当前的记录单元之中，与f
t
类似，通过改变权重矩阵的值对新输入的样本特征向量进行选择，选择出对预测结果相关性高的特征向量的值加入到记忆细胞中，记为：i
t
＝σ(W
i
[h
t
‑1,x
t
]+b
i
)(5)，式中，i
t
为输入门的控制函数，W
i
为输入门样本特征向量的真实值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
i
为输入门的偏差向量，σ为sigmoid激活函数；所述的输出门用于输出当前记忆单元的值，记为：o
t
＝σ(W
o
[h
t
‑1,x
t
]+b
o
)(6)，式中，o
t
为输出门控制函数，W
o
为输出门样本特征向量的真实值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
o
为输出门的偏差向量；σ为sigmoid激活函数。4.如权利要求3所述的基于LSTM
‑
SVR的用电需求预测方法，其特征在于：所述的LSTM网络模型通过在LSTM结构单元中C
t
用来更新细胞状态，控制其长期状态，即对相关性较强的样本特征向量进行记忆，对上一时刻相关性较弱的部分记忆进行遗忘，将新挑选出的数据加入记忆，这样不断更新细胞状态，记为：C
t
＝f
t
*C
t
‑1+i
t
*C
t
′
(7)，C
t
′
＝tanh(W
C
[h
t
‑1,x
t
]+b
C
)(8)式中，W
C
为当前样本特征向量的存储值权重矩阵；h
t
‑1为上一时刻的用电需求量的预测输出值；b
C
为当前时刻的偏差向量；C
t
′
为当前时刻样本特征向量真实值的tanh函数转换值，描述当前输入的单元状态；...

【专利技术属性】
技术研发人员：李慧璇，李鹏，杨钦臣，郑永乐，张艺涵，祖文静，张泓楷，田春筝，
申请(专利权)人：国网河南省电力公司经济技术研究院，
类型：发明
国别省市：