【技术实现步骤摘要】
本专利技术属于电力负荷预测领域，具体涉一种基于transformer的电力需求预测方法。
技术介绍
1、电力需求预测是为电力系统调度提供可靠的信息，从而全面优化电力供需结构，实现电力系统经济、高效和安全运行的重要时序预测任务。随着当前电力产业转型发展，新能源发电占比提升和极端气候增多，影响电力需求因素趋向于复杂多变，当前电力需求面临的形势越来越复杂。因此，如何考虑影响电量的不同因素的影响，准确预测不同地区以及不同行业在不同时间尺度下的电力需求，对电力供应商为客户提供更好的电力需求体验和服务具有重要意义。
2、近年来，在电量预测研究方面，国内外研究普遍集中于电力消费与经济增长、产业发展等单因素关系研究，缺乏对不同时间、空间尺度下涵盖经济、社会、能源、气象等复杂因素影响的综合性研究。同时，随着人工智能技术的发展，电力需求预测的研究成果从集中在研究基于经典统计学方法的传统时序预测，转变为集中在研究机器和深度学习模型方法上。这些新方法的出现推动了电力需求预测领域的发展，提升了电力预测的准确度和泛化性，为电力供应公司及电力需求客户提供了更好的服务。
3、目前比较常用的电力需求预测方法有灰色系统分析法，回归分析法等，对现实中多个行业的多个影响电力需求不同因素的依赖关系考虑较少，同时对时间序列的时间依赖关系学习较少。若对不同因素的影响机理没有学习刻画，对电量整体数据直接进行预测，会影响电量预测的精度，需要一个新的技术方案来解决这个问题。
技术实现思路
1、本专利技术的目的
2、本专利技术的目的是这样实现的：一种基于transformer的电力需求预测方法，其包括以下步骤：
3、s1、对数据进行预处理，利用归一化法消除数据量纲；
4、s2、使用transformer模型的编码部分有效捕捉多个输入变量和目标变量之间的复杂关系；
5、s3、使用全连接网络构成的解码器层捕捉不同历史时间序列间的时间依赖性；
6、s4、将得到的预测结果与测试集作比较，结合定义的日度、月度误差公式来对预测结果进行评价，得到预测准确度。
7、进一步地，所述对数据进行预处理包括利用归一化法补全数据，其公式为，
8、
9、式中，x为电力需求数据，xmax和xmin分别为该数据的最大值和最小值。
10、进一步地，所述使用transformer模型的编码部分有效捕捉多个输入变量和目标变量之间的复杂关系包括以下步骤：
11、通过位置编码为输入向量嵌入位置信息，使模型能够捕捉容量输入序列的顺序，通过使用正余弦函数进行位置编码，其公式为，
12、
13、
14、式中，pos表示特征在整个序列中的位置，i指的特征向量的维度；经过位置编码，得到一个和输入维度完全一致的编码数组xpos，且将它叠加到原来的特征嵌入上得到新特征嵌入，所述新特征嵌入表达式为，
15、xembedding＝xembedding+xpos
16、进一步地，通过多头自注意力机制计算每个输入向量与所有输入向量的相似度，然后加权求和得到每个输入向量的新表示，使用多头自注意力旨在使模型能够同时关注多个重点区域，忽略序列之间的距离，多头自注意力的数学表达式为，
17、multihead(q,k,v)＝concat(head1,···,headh)wo
18、其中，headi＝attention(qwiq,kwik,vwiv)
19、式中，q,k,v是输入序列由三个线性映射层映射得到的三个向量，其维度分别是dq,dk和dv，concat表示拼接函数，用于将所有head的输出结果拼接起来；他们分别表示第i个head的q,k,v向量对应的权重矩阵和降维得到最终输出的权重矩阵，而dk＝dv＝s/h，注意力机制的计算公式为，
20、
21、式中，dh＝s/h,softmax是激活函数,是为了把注意力矩阵变成标准正态分布，该注意力的定义使得每一个子序列向量的嵌入都包含当前序列内所有子序列的信息，用于避免梯度消失。
22、进一步地，通过加法与范数部分，将上一层的输入和上一层的输出进行残差连接，以及进行层标准化，把神经网络中隐藏层归一为标准正态分布，用于加速收敛。
23、进一步地，在前馈与加法与范数部分，通过前馈网络经过线性映射及激活函数得到特征表示，所述特征表示的公式为，
24、xhidden＝relu(xhidden*w1*w2)
25、式中，w1，w2分别为两个线性层的权重，relu为激活函数。
26、进一步地，所述全连接网络的表达公式为，
27、xl＝f(wlxl-1+bl)
28、式中，xl为当前连接层l的输出，wl为当前层的权重，bl为隐含层的偏置，f(·)为非线性激活函数，且通过softmax作为激活函数。
29、进一步地，所述将得到的预测结果与测试集作比较，结合定义的日度、月度误差公式来对预测结果进行评价，得到预测准确度，包括日平均误差指标、月平均误差指标；所述日平均误差指标和月平均误差指标的表达公式分别为，
30、
31、
32、式中，ypred(i)为第i天的电力需求预测值，ytrue(i)为第i天的电力需求真实值。
33、本专利技术的有益效果：与现有技术相比，本专利技术使用transformer的编码部分捕获不同影响因素之间的依赖关系，并使用全连接神经网络捕获时间依赖性。使用自然语言处理领域的变压器模型学习影响电力需求的多种因素的依赖关系，并考虑较长历史时间段的时间序列，提高电网的规划和电网运行稳定性，大大提高电力需求预测的精度。
本文档来自技高网...【技术保护点】
1.一种基于transformer的电力需求预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于transformer的电力需求预测方法，其特征在于：所述对数据进行预处理包括利用归一化法补全数据，其公式为，
3.根据权利要求1所述的基于transformer的电力需求预测方法，其特征在于：所述使用transformer模型的编码部分有效捕捉多个输入变量和目标变量之间的复杂关系包括以下步骤：
4.根据权利要求3所述的基于transformer的电力需求预测方法，其特征在于：通过多头自注意力机制计算每个输入向量与所有输入向量的相似度，然后加权求和得到每个输入向量的新表示，使用多头自注意力旨在使模型能够同时关注多个重点区域，忽略序列之间的距离，多头自注意力的数学表达式为，
5.根据权利要求4所述的基于transformer的电力需求预测方法，其特征在于：通过加法与范数部分，将上一层的输入和上一层的输出进行残差连接，以及进行层标准化，把神经网络中隐藏层归一为标准正态分布，用于加速收敛。
6.根据权利要求5所述的基于
7.根据权利要求1所述的基于transformer的电力需求预测方法，其特征在于：所述全连接网络的表达公式为，
8.根据权利要求1所述的基于transformer的电力需求预测方法，其特征在于：所述将得到的预测结果与测试集作比较，结合定义的日度、月度误差公式来对预测结果进行评价，得到预测准确度，包括日平均误差指标、月平均误差指标；所述日平均误差指标和月平均误差指标的表达公式分别为，
...【技术特征摘要】
1.一种基于transformer的电力需求预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于transformer的电力需求预测方法，其特征在于：所述对数据进行预处理包括利用归一化法补全数据，其公式为，
3.根据权利要求1所述的基于transformer的电力需求预测方法，其特征在于：所述使用transformer模型的编码部分有效捕捉多个输入变量和目标变量之间的复杂关系包括以下步骤：
4.根据权利要求3所述的基于transformer的电力需求预测方法，其特征在于：通过多头自注意力机制计算每个输入向量与所有输入向量的相似度，然后加权求和得到每个输入向量的新表示，使用多头自注意力旨在使模型能够同时关注多个重点区域，忽略序列之间的距离，多头自注意力的数学表达式为，
5.根据权利要求4所述的基于trans...
【专利技术属性】
技术研发人员：邓振立，邓方钊，李虎军，杨萌，田春筝，郭兴五，司佳楠，于泊宁，金曼，李鹏，张艺涵，尹硕，冯泊翔，张志宏，曾逸洲，刘军会，柴喆，路尧，陈兴，杨钦臣，李慧璇，郑永乐，谢安邦，祖文静，张泓楷，王世谦，李秋燕，宋大为，王圆圆，华远鹏，韩丁，卜飞飞，贾一博，汪涵，
申请(专利权)人：国网河南省电力公司经济技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。