基于TPA-Seq2Seq的电力负荷预测方法及相关组件技术

本发明专利技术公开了基于TPA‑Seq2Seq的电力负荷预测方法及相关组件。所述方法包括：获取用电量数据及其对应的相关变量数据，得到多变量时间序列，并对用电量数据及其对应的相关变量数据进行归一化处理，得到对应的数据集，将数据集分为训练集和测试集；对数据集进行滚动切分处理，并将预处理后的多变量时间序列输入至Seq2Seq网络模型中，利用Seq2Seq网络模型中的LSTM编码器计算多变量时间序列的隐状态，得到隐状态矩阵；通过TPA注意力机制对所述隐状态矩阵进行学习，并加权输出目标隐状态序列；利用Seq2Seq网络模型中的解码器对目标隐状态序列进行解码，得到预测结果，从而构建TPA‑Seq2Seq网络模型；通过测试集对所述TPA‑Seq2Seq网络模型进行评价。本发明专利技术提高了电力负荷预测精度，使预测结果更准确。

【技术实现步骤摘要】
基于TPA-Seq2Seq的电力负荷预测方法及相关组件
本专利技术涉及电力预测领域，具体涉及基于TPA-Seq2Seq电力负荷预测方法及相关组件。
技术介绍
在日常生活中，时间序列数据无处不在，例如，家庭用电量、道路占用率、货币兑换率、太阳能发电量等，都可以看作是时间序列数据。在电力负荷预测领域内，大多数情况下收集到的数据为多变量时间序列数据，而这些数据通常由当地电力公司跟踪，并且不同的多变量时间序列之间存在复杂的动态相互依赖关系，从而导致难以对多变量时间序列进行捕获和分析。传统的用于时间序列预测的非线性自回归模型很难捕捉到一段较长时间内的数据间的时间相关性，也比较难选择相应的驱动数据来对多变量时间序列数据进行预测。传统的线性模型具体包括：自回归模型(AR，Auto-Regressivemodel，是一种统计上一种处理时间序列的方法)、移动平均模型(MA，MovingAveragemodel)、自回归移动平均模型(ARMA，Auto-RegressiveMovingAverageModel)、自回归合成移动平均模型(ARIMA，Auto-RegressiveIntegratedMovingAverage)等，这些模型针对小规模的预测取得了很好的效果，但是不能满足用电量数据存在的突变性和多依赖性等非线性要求。随着神经网络、支持向量机等技术的不断提出，出现了基于机器学习算法的预测模型，例如：人工神经网络、最小二乘支持向量机等算法模型。以上算法存在的问题在于缺少对时序数据时间相关性的考虑，从而导致预测精度有限。
技术实现思路
本专利技术实施例提供了一种基于TPA-Seq2Seq的电力负荷预测方法、装置、计算机设备及存储介质，旨在提高基于多变量时间序列数据的电力负荷预测精度。第一方面，本专利技术实施例提供了一种基于TPA-Seq2Seq的电力负荷预测方法，包括：获取用电量数据及其对应的相关变量数据，得到多变量时间序列，并对所述用电量数据及其对应的相关变量数据进行归一化处理，得到对应的数据集，并将所述数据集分为训练集和测试集；对所述数据集进行滚动切分处理，并将预处理后的多变量时间序列输入至Seq2Seq网络模型中，利用所述Seq2Seq网络模型中的LSTM编码器计算所述多变量时间序列的隐状态，并得到隐状态矩阵；通过TPA注意力机制对所述隐状态矩阵进行学习，并加权输出目标隐状态序列；利用Seq2Seq网络模型中的解码器对所述目标隐状态序列进行解码，得到预测结果，从而构建TPA-Seq2Seq网络模型；通过所述测试集对所述TPA-Seq2Seq网络模型进行评价；通过所述TPA-Seq2Seq网络模型对未来指定时间的用电量数据进行预测。进一步的，所述对所述数据集进行滚动切分处理，并将预处理后的多变量时间序列输入至Seq2Seq模型中，包括：根据预设滑窗的窗口长度对所述数据集进行滚动切分，得到k组多变量时间序列，并使每组多变量时间序列包含w个时刻的样本数据，且每个时刻的样本数据包含n个特征变量。进一步的，所述隐状态矩阵为：H＝{ht-w,ht-w+1,……,ht-1}，其中，每一隐状态的维度为m，w为滑窗窗口长度，t为最后时刻，ht即为最后时刻的隐状态。进一步的，所述通过TPA注意力机制对所述隐状态矩阵进行学习，并加权输出目标隐状态序列，包括：按下述公式对所述隐状态的相关变量进行卷积计算，得到目标矩阵HC：式中，Hi,j表示所述隐状态矩阵H第i个行向量和第j个卷积核作用的结果值，T为TPA注意力机制过程中所覆盖的范围，l表示所述滑窗的窗口长度w中的每个时刻；按下述公式计算所述目标矩阵HC第i个行向量与最后时刻的隐状态ht的相关性，并得到相关性评分函数：式中，f为相关性评分函数，为目标矩阵的第i行，ht为最后时刻的隐状态，Wa∈Rm×k，Wa为待训练学习的参数矩阵，Rm×k为m行k列的实数矩阵；按下述公式利用sigmoid函数对所述相关性评分函数进行归一化处理，得到注意力权重αi：按下述公式利用所述注意力权重αi对所述目标矩阵HC的每一行进行加权求和，得到上下文向量vt：式中，αi为注意力权重，为目标矩阵的第i行，m为隐状态的维度；按下述公式将所述上下文向量vt与所述LSTM编码器中输出的最后时刻的隐状态ht进行融合，得到所述目标隐状态序列h't：h′t＝Whht+Wvvt式中，ht,h't∈Rm,Wh∈Rm×m,Wv∈Rm×k，Wh和Wv均为待训练学习的参数矩阵，Rm为m行的实数矩阵，Rm×m为m行m列的实数矩阵，Rm×k为m行k列的实数矩阵。进一步的，所述利用Seq2Seq网络模型中的解码器对所述目标隐状态序列进行解码，得到预测结果，从而构建TPA-Seq2Seq网络模型，包括：将所述目标隐状态序列作为LSTM网络的初始隐藏层状态并输入至所述LSTM网络中，并根据下列公式计算t个隐藏层状态：h″t＝σ(Wh″t-1+b)式中，h″t为第t个神经元输出的隐藏层状态，h″t-1为第t-1个神经元输出的隐藏层状态，W为权重矩阵，b为偏置项，σ为神经元激活函数；根据下列公式计算每个隐藏层状态输出的预测结果：y″t＝σ(vh″t+c)式中，y″t为第t个神经元输出的预测结果，V为权重矩阵，c为偏置项，σ为神经元激活函数。进一步的，还包括：通过损失函数计算所述TPA-Seq2Seq网络模型的预测值和对应的真实值之间偏差的均方误差：式中，yi为第i个数据的真实值，y'i为第i个数据在所述TPA-Seq2Seq网络模型输出的预测值，n为样本个数。进一步的，所述通过所述测试集对所述TPA-Seq2Seq网络模型进行评价，包括：通过MAPE指标对所述TPA-Seq2Seq网络模型进行评价，计算公式为：式中，yi为测试集中第i个数据的真实值，y'i为第i个数据在所述TPA-Seq2Seq网络模型输出的预测值，n为测试集样本个数。第二方面，本专利技术实施例提供了一种基于TPA-Seq2Seq的电力负荷预测装置，包括：获取单元，用于获取用电量数据及其对应的相关变量数据，得到多变量时间序列，并对所述用电量数据及其对应的相关变量数据进行归一化处理，得到对应的数据集，并将所述数据集分为训练集和测试集；编码单元，用于对所述数据集进行滚动切分处理，并将预处理后的多变量时间序列输入至Seq2Seq网络模型中，利用所述Seq2Seq网络模型中的LSTM编码器计算所述多变量时间序列的隐状态，并得到隐状态矩阵；学习单元，用于通过TPA注意力机制对所述隐状态矩阵进行学习，并加权输出目标隐状态序列；解码单元，用于利用Seq2Seq网络模型中的解码器对所述目标隐状态序列进行解码，得到预测结果，从而构建TPA-Seq2Seq网络模型；本文档来自技高网...

【技术保护点】
1.一种基于TPA-Seq2Seq的电力负荷预测方法，其特征在于，包括：/n获取用电量数据及其对应的相关变量数据，得到多变量时间序列，并对所述用电量数据及其对应的相关变量数据进行归一化处理，得到对应的数据集，并将所述数据集分为训练集和测试集；/n对所述数据集进行滚动切分处理，并将预处理后的多变量时间序列输入至Seq2Seq网络模型中，利用所述Seq2Seq网络模型中的LSTM编码器计算所述多变量时间序列的隐状态，并得到隐状态矩阵；/n通过TPA注意力机制对所述隐状态矩阵进行学习，并加权输出目标隐状态序列；/n利用Seq2Seq网络模型中的解码器对所述目标隐状态序列进行解码，得到预测结果，从而构建TPA-Seq2Seq网络模型；/n通过所述测试集对所述TPA-Seq2Seq网络模型进行评价；/n通过所述TPA-Seq2Seq网络模型对未来指定时间的用电量数据进行预测。/n

【技术特征摘要】
1.一种基于TPA-Seq2Seq的电力负荷预测方法，其特征在于，包括：
获取用电量数据及其对应的相关变量数据，得到多变量时间序列，并对所述用电量数据及其对应的相关变量数据进行归一化处理，得到对应的数据集，并将所述数据集分为训练集和测试集；
对所述数据集进行滚动切分处理，并将预处理后的多变量时间序列输入至Seq2Seq网络模型中，利用所述Seq2Seq网络模型中的LSTM编码器计算所述多变量时间序列的隐状态，并得到隐状态矩阵；
通过TPA注意力机制对所述隐状态矩阵进行学习，并加权输出目标隐状态序列；
利用Seq2Seq网络模型中的解码器对所述目标隐状态序列进行解码，得到预测结果，从而构建TPA-Seq2Seq网络模型；
通过所述测试集对所述TPA-Seq2Seq网络模型进行评价；
通过所述TPA-Seq2Seq网络模型对未来指定时间的用电量数据进行预测。


2.根据权利要求1所述的基于TPA-Seq2Seq的电力负荷预测方法，其特征在于，所述对所述数据集进行滚动切分处理，并将预处理后的多变量时间序列输入至Seq2Seq模型中，包括：
根据预设滑窗的窗口长度对所述数据集进行滚动切分，得到k组多变量时间序列，并使每组多变量时间序列包含w个时刻的样本数据，且每个时刻的样本数据包含n个特征变量。


3.根据权利要求1所述的基于TPA-Seq2Seq的电力负荷预测方法，其特征在于，所述隐状态矩阵为：
H＝{ht-w,ht-w+1,……,ht-1}，其中，每一隐状态的维度为m，w为滑窗窗口长度，t为最后时刻，ht即为最后时刻的隐状态。


4.根据权利要求2所述的基于TPA-Seq2Seq的电力负荷预测方法，其特征在于，所述通过TPA注意力机制对所述隐状态矩阵进行学习，并加权输出目标隐状态序列，包括：
按下述公式对所述隐状态的相关变量进行卷积计算，得到目标矩阵HC：



式中，Hi,j表示所述隐状态矩阵H第i个行向量和第j个卷积核作用的结果值，T为TPA注意力机制过程中所覆盖的范围，l表示所述滑窗的窗口长度w中的每个时刻；
按下述公式计算所述目标矩阵HC第i个行向量与最后时刻的隐状态ht的相关性，并得到相关性评分函数：



式中，f为相关性评分函数，为目标矩阵的第i行，ht为最后时刻的隐状态，Wa∈Rm×k，Wa为待训练学习的参数矩阵，Rm×k为m行k列的实数矩阵；
按下述公式利用sigmoid函数对所述相关性评分函数进行归一化处理，得到注意力权重αi：



按下述公式利用所述注意力权重αi对所述目标矩阵HC的每一行进行加权求和，得到上下文向量vt：



式中，αi为注意力权重，为目标矩阵的第i行，m为隐状态的维度；
按下述公式将所述上下文向量vt与所述LSTM编码器中输出的最后时刻的隐状态ht进行融合，得到所述目标隐状态序列h't：
h′t＝Whht+Wvvt
式中，ht,h't∈Rm,Wh∈Rm×m,Wv∈Rm×k，Wh和Wv均为待训练学习的参数矩阵，Rm为m行的实数矩阵，Rm×m为m行m列的实数矩阵，Rm×k为m行k列的实数矩阵。

【专利技术属性】
技术研发人员：刘雨桐，石强，熊娇，王国勋，
申请(专利权)人：润联软件系统深圳有限公司，
类型：发明
国别省市：广东;44