一种基于迁移学习和多头注意力机制的负荷预测方法技术

本发明专利技术公开了一种基于迁移学习和多头注意力机制的负荷预测方法，采用数据集向量到向量的数据处理流程，可以在统一框架下提供未来多步时刻的用电负荷预测结果；通过循环神经网络进行数据集编码，并构造多头注意力机制，能有效识别多种负荷模型，提升数据精度；并利用迁移学习方法，将某特定区域训练好的神经网络模型参数迁移至其他区域，大幅度降低模型对数据集规模要求，有效降低适用门槛。

A load forecasting method based on transfer learning and multi attention mechanism

【技术实现步骤摘要】
一种基于迁移学习和多头注意力机制的负荷预测方法
本专利技术涉及用电负荷预测领域，具体涉及一种基于迁移学习和多头注意力机制的负荷预测方法。
技术介绍
近年来，以时间序列、机器学习技术为基础的多种算法或模型被用于用电负荷预测中，如：Arima、GBDT、循环神经网络等。其中Arima等传统时间序列预测模型精度较低；GBDT及其变种无法直接进行多步预测；循环神经网络模型复杂度较高，对小型数据集预测精度较差。现有技术方案不仅存在上述内在缺陷，由于用电主体往往存在多种负荷模式，模式间规律性差异较大，因此上述各种算法或模型均不能准确预测用电负荷。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种基于迁移学习和多头注意力机制的负荷预测方法解决了现有技术无法预测具有多样性且只有小型数据集样本的用电负荷的问题。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于迁移学习和多头注意力机制的负荷预测方法，包括以下步骤：S1、从能源大数据平台获取研究区域内的所有用电单元历史粒度负荷数据，得到用电本文档来自技高网...

【技术保护点】
1.一种基于迁移学习和多头注意力机制的负荷预测方法，其特征在于，包括以下步骤：/nS1、从能源大数据平台获取研究区域内的所有用电单元历史粒度负荷数据，得到用电数据集X＝{x

【技术特征摘要】
1.一种基于迁移学习和多头注意力机制的负荷预测方法，其特征在于，包括以下步骤：
S1、从能源大数据平台获取研究区域内的所有用电单元历史粒度负荷数据，得到用电数据集X＝{x0，…，xt，…，xτ}，t为当前时间，其值在区间[0，τ]内，τ为所获取的用电数据集的时间长度；
S2、采用GRU循环神经网络，利用均值为0方差为0.05的正态分布，对用电数据集X进行编码，得到隐藏状态编码集
S3、根据多头注意力机制，构造6个注意力向量，并用注意力向量对隐藏状态编码集进行进一步编码，得到最终编码向量henc；
S4、采用GRU循环神经网络，利用均值为0方差为0.05的正态分布，根据用电数据集X、隐藏状态编码集和最终编码向量henc，对未来用电负荷进行预测，得到未来时刻用电负荷预测集{p’t+1，…，p’t+i，…，p’t+K}，其中K为预测范围内，未来时间中的单位时刻总数；
S5、继续监控并采集用电负荷情况，得到与未来时刻用电负荷预测集对应的相对未来时刻用电负荷真实值{pt+1，…，pt+i，…，pt+K}，并计算未来时刻用电负荷预测集和相对未来时刻用电负荷真实值的均方误差MSE；
S6、根据均方误差MSE，采用梯度下降法训练GRU循环神经网络的各项权值，判断权值是否在训练过程中发生变化，若是，则跳转至步骤S1，若否，则跳转至步骤S7；
S7、记录训练出的GRU循环神经网络的各项权值，扩大需要进行用电负荷预测的研究区域，并通过迁移学习方法，采用记录得到的GRU循环神经网络的各项权值构建成熟的GRU循环神经网络对新的区域进行数据集神经网络训练，进而实现用电负荷预测。


2.根据权利要求1所述的基于迁移学习和多头注意力机制的负荷预测方法，其特征在于，所述步骤S1的用电数据集X＝{x0，…，xt，…，xτ}由[0，τ]时间范围内的[0，N]用电单元的负荷、当前用电单元产生负荷的当前时间是否为节假日的标志信息以及当前用电单元产生负荷的当前时间是否为周末的标志信息组合而成，即其中u为当前的用电单元编号，其值在区间[0，N]内，N为用电单元总数，为用电单元u在t时刻的用电负荷，为用电单元u在t时刻是否为其节假日的标志信息，为t时刻是否为周末的标志信息。


3.根据权利要求2所述的基于迁移学习和多头注意力机制的负荷预测方法，其特征在于，所述步骤S2中...

【专利技术属性】
技术研发人员：周知瑞，邓世杰，
申请(专利权)人：四川万益能源科技有限公司，
类型：发明
国别省市：四川;51