基于层次残差自注意力神经网络的长期电力负荷预测方法技术

本发明专利技术公开了一种基于层次残差自注意力神经网络的长期电力负荷预测方法。本发明专利技术包括三部分的内容：第一，自适应的提取历史负荷数据中的趋势项，周期项，节假日项，天气项的混合特征数据并与历史负荷序列数据融合。第二，对融合后的序列数据进行时间分量递归分解，并利用层次残差自注意力网络块对时间分量进行编码，第三，重建时间分量，进行生成式解码，预测未来一段时间的电力负荷波动。本发明专利技术通过层次化的对负荷序列进行拆解，重建，预测，有效的捕捉了序列的长短期特征，提升了模型在长序列负荷预测场景下的预测精度。荷预测场景下的预测精度。荷预测场景下的预测精度。

【技术实现步骤摘要】
基于层次残差自注意力神经网络的长期电力负荷预测方法


[0001]本专利技术涉及电力能源系统的负荷预测
，具体涉及一种基于层次残差自注意力神经网络的长期电力负荷预测方法

技术介绍

[0002]电力负荷预测技术是智能电网系统组成中不可或缺的一部分业务，活跃的应用到许多场景下，如何有效去控制电能负荷达到供需平衡，已经成为现代化电力系统运行和管理中的一个重要的研究方向，电力系统的存在旨在为各类用户提供经济，可靠和高质量的电能，应随时满足客户的负荷需要，同时，未来将以新能源为新型的电力行业改革目标,这使得如何有效的保障电网的稳定运行，合理的制定发电计划成为了未来负荷预测的一大挑战。负荷预测的核心问题是如何获得预测对象的历史变化规律及其与某些影响因素的关系，预测模型实际上就是表达这种变化规律的数学函数，而负荷预测的挑战在于其会受到诸多的外部因素的影响，包括电力交易市场因素，国家政策因素，天气因素，居民用电习惯因素等等，这是待要解决的问题
[0003]用于负荷预测的模型本质上可以归类为用于时间序列预测的数学模型，常用的方法可以分为：传统统计学方法，基于机器学习的方法，基于深度学习的方法以及第三方工具预测方法。(1)基于传统统计学的方法，常见的包括自回归模型(Auto Regression，AR)，自回归移动平均模型(Auto Regression Moving Average，ARMA)等时间序列模型，这些模型原理简单，适用于对小数量级下的平稳序列和简单非平稳序列进行分析，但是不适合解决非线性的预测场景，(2)基于机器学习的方法，机器学习是一个很大的门类，其中有许多适合解决非线性预测的模型，常见的包括支持向量机模型(Support Vector Machines，SVM)，决策树模型，K近邻模型等，甚至还有预测能力更好的集成学习模型(XGBoost，LightGBM)等，机器学习模型很好的解决了非线性问题，但是在大量级且高维的数据预测场景下会受制于其特征挖掘能力，构建机器学习预测模型往往需要人为手动的处理数据特征。(3)基于深度学习的方法，深度学习模型由于具备强大的拟合能力，能够自适应的挖掘并学习数据特征，非常适合解决非线性预测问题，常见的方法包括卷积神经网络(Convolutional Neural Networks，CNN)，长短期记忆网络(Long Short
‑
Term Memory，LSTM)，门控循环单元(Gate Recurrent Unit，GRU)等，其中以LSTM和GRU为代表的循环神经网络广泛用于序列建模中，其具备很好的序列能力，但是循环神经网络由于是串行学习，在训练的过程中会逐渐失去对长距离历史特征的学习能力，且存在误差累积现象，所以往往会结合其他深度学习模型共同使用，(4)第三方工具预测法，近几年，一些大型的国内外公司也开源了其自研的时间序列预测方法，例如，FaceBook在2017年推出了Prophet模型，该模型综合考虑了时间序列的趋势项，周期项，节假日项，模型使用简单，具备稳定的预测能力，之后，Amazon在2018年推出了DeepAR模型，该模型使用了基于概率的自回归推理方式，减少了预测过程中的不确定性，这些工具的预测精准度显著，但是只能做到短期的预测，并不适用于实时性高，稳定性强的能源负荷场景中

技术实现思路

[0004]本专利技术的目的旨在结合现有的技术，并针对现有的技术进行改进，优化了负荷预测模型在电力负荷预测场景下的建模效果，具体来说，本专利技术使用了神经网络的方式去建模，提出了一种基于层次残差自注意力机制的网络结构，用于对稳定且周期性较强的电力负荷数据进行长序列预测
[0005]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0006]一种基于层次残差自注意力神经网络的长期电力负荷预测方法，包括以下步骤：
[0007]步骤1.从时序数据库中获取机组负荷序列的源数据和传感器监测到的天气数据
[0008]步骤2.对源数据进行数据清洗，从清洗后的历史负荷数据与天气数据中进行特征提取，分别提取出负荷波动的趋势项，周期项，节假日项，天气项四大特征，将历史负荷序列数据与特征数据进行数据融合得到融合向量，用于下一步神经网络建模的输入
[0009]步骤3.利用本专利技术提出的层次残差自注意力神经网络对输入序列进行编码，提取并挖掘其中的重要特征，进行模型训练
[0010]步骤4.对待预测的源历史负荷数据提取出来的特征进行生成式编码，预测下一个时间步范围内的负荷序列。
[0011]本专利技术的有益效果：本专利技术提出的模型基于Transformer神经网络，该网络结构的内部使用了自注意力机制，相比于传统循环神经网络更加具备捕捉全局特征的能力，本专利技术方法在其基础上，将Transformer进行改进，将其作为子网络单元进行特征提取，同时加入了更多的残差连接，外部单元设计成层次结构，每一层都会对时间序列进行分解，将分解后的时间序列依次通过残差自注意力单元，最后通过底层的卷积网络重建时间序列，并进行生成式解码，预测出一整段的未来负荷数据。该方法相比于传统方法在特征挖掘能力，模型泛化能力上更加优秀和灵活，通过该方法实现负荷预测可以很好的降低中长期负荷预测的预测误差，为电力机组运行调配提供反馈指导，保证电力系统的稳定运行。
附图说明
[0012]图1为本专利技术实施例中一种基于层次残差自注意力神经网络的长期电力负荷预测方法的流程示意图；
[0013]图2是本专利技术实施例中一种基于层次残差自注意力神经网络预测模型的整体框架示意图；
[0014]图3是Transformer神经网络模型的框架示意图；
[0015]图4是残差神经网络模型的框架示意图；
[0016]图5是本专利技术实施例中每一层改进的残差自注意力块的框架示意图；
[0017]图6是本专利技术实施例中使用生成式解码进行预测的框架示意图；
具体实施方式
[0018]以下结合附图对本专利技术作进一步说明，本专利技术的实施流程图如图1所示，
[0019]步骤1.确定开始时间T
start
和结束时间T
end
，使用中间件服务或者数据分析软件从存有机组负荷序列的数据库中读取指定时间范围内的负荷数据X
raw
，同理，读取出传感器搜集到的天气数据X
weather
，跳转至步骤2。
[0020]步骤2.从历史负荷数据和天气数据中提取序列特征数据并与源历史负荷数据进行数据融合，包括以下分步骤：
[0021]步骤2
‑
1.天气数据特征的提取。
[0022]对传感器搜集到的天气数据进行编码，搜集到的数据中至少包括了温度数据，天气状态数据，时间戳数据等，对其数据进行分析，剔除其中偏离度过大的异常数据，对温度数据X
weather
(T)进行最大最小值归一化，其中归一化函数表示为：
[0023][0024]同理对于其他数值型天气相关数据，都可以用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于层次残差自注意力神经网络的长期电力负荷预测方法，其特征在于该方法包括以下步骤：步骤1. 从时序数据库中获取机组负荷序列的源数据和传感器监测到的天气数据；步骤2. 对源数据进行数据清洗，从清洗后的历史负荷数据与天气数据中进行特征提取，分别提取出负荷波动的趋势项，周期项，节假日项，天气项四大特征；将历史负荷序列数据与天气特征数据进行数据融合得到融合向量，用于下一步神经网络建模的输入；步骤3. 利用层次残差自注意力神经网络对输入序列进行编码，提取并挖掘其中的重要特征，进行模型训练；步骤4. 对待预测的源历史负荷数据提取出来的特征进行生成式编码，预测下一个时间步范围内的负荷序列；其中步骤2具体包括:使用卷积神经网络在原始负荷序列中提取出整体趋势项和周期项特征；使用独热编码方式对节假日项与天气项进行特征提取，最后使用加性思想对源负荷序列与所有提取出的特征数据进行水平拼接，通过一个全连接层进行转换即可得到融合后的时序特征向量；步骤3具体包括:采用递归的思想，层次性地对时序特征向量进行特征降采样分解，使用残差自注意力网络对每层分解后的时序分量进行特征挖掘，在达到分解深度的基础上，将挖掘出的特征按照原相对位置进行重新组合，通过一个一维卷积层转换为预测结果，...

【专利技术属性】
技术研发人员：占翔昊，寇亮，张纪林，周丽，袁俊峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：