基于Transformer模型的风电功率预测方法技术

本发明专利技术公开了一种基于Transformer模型的风电功率预测方法，具体包括如下步骤：步骤1，对风电功率进行数据预处理，得到风电功率时间序列数据；步骤2，将步骤1所得的风电功率时间序列数据经过嵌入式操作和位置编码，然后输入到Nx层编码器中，最终输出K和V向量；步骤3，将步骤2所得的K、V向量输入到解码器中进行解码操作，输出训练时的预测结果；步骤4，通过Adam优化算法对步骤2所用到的权值矩阵进行更新，得到新的权值矩阵后再循环进行步骤2、步骤3，达到预定的迭代次数后输出最终的风电功率预测值。采用本发明专利技术能够实现风电场发电功率预测。测。测。

【技术实现步骤摘要】
基于Transformer模型的风电功率预测方法


[0001]本专利技术属于新能源中的风力发电
，涉及一种基于Transformer模型的风电功率预测方法。

技术介绍

[0002]当今世界，由于化石能源之类的不可再生资源的过分开发与利用，能源与环境问题日益严重。在该战略背景之下，我国天然风能资源储量大、分布广，因此近年来风力发电产业规模发展迅速，已经成为新能源发展的重要支撑领域之一。在实际的生产活动中，我们需要对风电功率进行预测活动，从而尽量减少风电企业因为发电量波动、环境变化等所造成的经济财产损失。
[0003]风力发电功率预测问题是一种典型的时间序列预测问题，这类问题如果用人脑的思维方式解决，会首先对过去的一段时间内的数据进行记忆，并分析出数据本身的特征规律，然后根据这些历史数据对未来的数据做出预测。因此，如果应用到计算机中，深度神经网络模型是比较适合解决时间序列预测问题的一类模型，而这种运用神经网络模型的方法一般属于统计方法。
[0004]统计方法是需要通过对不同历史样本数据进行分析，从而建立不同样本之间的非映射关系。常见的时序外推办法有持续法、移动平均法等等，还有人工神经网络(ANN)、支持向量机(SVM)等其他人工智能方法，然而因为风电功率预估属动态的时间序列难题，系统的输入与如今及过去的输出都相关，前述办法的预测精确度有限且预测性能逐渐不能达到实际生产需求，因此基于长短期神经网络(LSTM)的模型，甚至是在此基础上的LSTM
‑
Attention和LSTM
‑
VMD等组合神经网络因其较高的预测性能广受欢迎。
[0005]时间序列预测问题最近一直是一些深度神经网络模型重点解决的实际问题，这类问题的主要任务是根据历史时间段内某对象或者事件的特征来预测未来某一时刻或者某一时间段内该对象或者事件的特征。在早期研究中，人们往往采用循环神经网络(RNN)模型进行预测，因为RNN网络与之前的深度神经网络最大的不同就在于它具有记忆功能，当前的输出与之前的输出是有关系的。但是RNN在处理比较长的序列时会“记忆力衰减”，影响预测效果。所以随着长短期记忆人工神经网络模型(LSTM)的出现，甚至后面在此基础上又结合了注意力机制(Attention)，明显推动了时间序列预测问题的研究。

技术实现思路

[0006]本专利技术的目的是提供一种基于Transformer模型的风电功率预测方法，采用该方法能够实现风电场发电功率预测。
[0007]本专利技术所采用的技术方案是，基于Transformer模型的风电功率预测方法，具体包括如下步骤：
[0008]步骤1，对风电功率进行数据预处理，得到风电功率时间序列数据；
[0009]步骤2，将步骤1所得的风电功率时间序列数据经过嵌入式操作和位置编码，然后
输入到Nx层编码器中，最终输出K和V向量；
[0010]步骤3，将步骤2所得的K、V向量输入到解码器中进行解码操作，输出训练时的预测结果；
[0011]步骤4，通过Adam优化算法对步骤2所用到的权值矩阵进行更新，得到新的权值矩阵后再循环进行步骤2、步骤3，达到预定的迭代次数后输出最终的风电功率预测值。
[0012]本专利技术的特点还在于：
[0013]步骤1的具体过程为：
[0014]步骤1.1，获取风电功率数据：
[0015]通过现有数据库或者实际风电场获得风电功率时间序列数据；
[0016]步骤1.2，对步骤1.1获取的风电功率数据进行归一化处理与数据划分：
[0017]对风电功率时间序列进行归一化，将风电数据集统一映射到[0，1]区间上，按9:1的比列划分成训练集和测试集，得到归一化后的风电时间序列训练集和测试集。
[0018]步骤2的具体过程为：
[0019]步骤2.1，通过Input Embedding操作，将步骤1所得的风电功率时间序列数据转化为稀疏矩阵X1形式，经过Embedding后进行位置编码；
[0020]步骤2.2，将步骤2.1所得稀疏矩阵X1以及位置编码送入第一层编码器中的多头注意力机制层，与若干组权值矩阵W
Q
、W
K
、W
V
相乘，转化为计算注意力值所需的若干组Q、K、V向量；每组向量计算得到一个Z矩阵，把得到的若干个Z矩阵通过多头注意力机制进行拼接；
[0021]步骤2.3，将稀疏矩阵X1与步骤2.2得到的矩阵Z经过残差连接与归一化处理，得到X1与Z的归一化连接值；
[0022]步骤2.4，将步骤2.3所得结果输入到全连接前馈神经网络层中进行特征提取；
[0023]步骤2.5，步骤2.4提取得到的特征再次进行Add&Normalize操作，然后输入到下一层解码器中；
[0024]步骤2.6，重复执行步骤2.2～2.5，直至将步骤1所得的风电功率时间序列训练集经过Nx层编码器编码，得到最终输出的K、V向量。
[0025]步骤3的具体过程为：
[0026]步骤3.1，初始阶段输入起始符，后续输入上一时刻transformer的输出，通过Embedding后获得稀疏矩阵X2,并进行位置编码；
[0027]步骤3.2，步骤3.1得到的经过位置编码后的稀疏矩阵X2输入到Masked Multi
‑
HeadAttention模块，对输入的稀疏矩阵X2进行对齐，输出Q向量后，经过Add&Normal输入下一层多头注意力机制；
[0028]步骤3.3，步骤3.2所得结果和步骤2的编码器最后一层的输出K和V向量输入到第二层多头注意力机制层中得到输出序列；
[0029]步骤3.4，步骤3.3得到的结果与稀疏矩阵X2进行残差连接与归一化，得到归一化连接值；
[0030]步骤3.5，将步骤3.4得到的归一化连接值经过全连接前馈神经网络提取特征向量，再进行一次残差连接与归一化得到结果向量；
[0031]步骤3.6，将得到的结果向量继续传给下一层解码器，重复步骤3.2～3.5，经过N
X
层解码器解码后，最后一层解码器输出最终向量。
[0032]步骤3.7，将最后一层解码器输出的向量经过线性层，映射到一个logits向量；
[0033]步骤3.8，将logits向量经过softmax层将相关性得分的分数转换为风电功率预测值出现的概率，选择概率最高的那个数字对应的风电功率的值。
[0034]步骤4的具体过程为：
[0035]步骤4.1，通过步骤1、2得到初始权重下的损失函数，将损失函数作为目标函数计算相应梯度值；
[0036]步骤4.2，根据步骤4.1所得梯度值对transformer模型权值进行迭代更新，完成最后一次迭代训练后终止优化训练，获得最优transformer模型与权重；
[0037]步骤4.3，将步骤1中所得的测试集输入到4.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer模型的风电功率预测方法，其特征在于：具体包括如下步骤：步骤1，对风电功率进行数据预处理，得到风电功率时间序列数据；步骤2，将步骤1所得的风电功率时间序列数据经过嵌入式操作和位置编码，然后输入到Nx层编码器中，最终输出K和V向量；步骤3，将步骤2所得的K、V向量输入到解码器中进行解码操作，输出训练时的预测结果；步骤4，通过Adam优化算法对步骤2所用到的权值矩阵进行更新，得到新的权值矩阵后再循环进行步骤2、步骤3，达到预定的迭代次数后输出最终的风电功率预测值。2.根据权利要求1所述的基于Transformer模型的风电功率预测方法，其特征在于：所述步骤1的具体过程为：步骤1.1，获取风电功率数据：通过现有数据库或者实际风电场获得风电功率时间序列数据；步骤1.2，对步骤1.1获取的风电功率数据进行归一化处理与数据划分：对风电功率时间序列进行归一化，将风电数据集统一映射到[0，1]区间上，按9:1的比列划分成训练集和测试集，得到归一化后的风电时间序列训练集和测试集。3.根据权利要求2所述的基于Transformer模型的风电功率预测方法，其特征在于：所述步骤2的具体过程为：步骤2.1，通过Input Embedding操作，将步骤1所得的风电功率时间序列数据转化为稀疏矩阵X1形式，经过Embedding后进行位置编码；步骤2.2，将步骤2.1所得稀疏矩阵X1以及位置编码送入第一层编码器中的多头注意力机制层，与若干组权值矩阵W
Q
、W
K
、W
V
相乘，转化为计算注意力值所需的若干组Q、K、V向量；每组向量计算得到一个Z矩阵，把得到的若干个Z矩阵通过多头注意力机制进行拼接；步骤2.3，将稀疏矩阵X1与步骤2.2得到的矩阵Z经过残差连接与归一化处理，得到X1与Z的归一化连接值；步骤2.4，将步骤2.3所得结果输入到全连接前馈神经网络层中进行特征提取；步骤2.5，步骤2.4提取得到的特征再次进行Add&Normalize操作，然后输入到下一层解码器中；步骤2.6，重复执...

【专利技术属性】
技术研发人员：程松，任景，周鑫，张小东，褚云龙，马晓伟，董丹，王鹏，李俊，薛斌，李宁，
申请(专利权)人：国家电网有限公司西北分部，
类型：发明
国别省市：