一种基于稀疏自注意力的生成推理发电功率预测方法技术

本发明专利技术公开了一种基于稀疏自注意力的生成推理发电功率预测方法，具体包括：首先对风电场气象数据、时间序列特性等风电场站基础特征数据进行数据预处理操作。将处理后的数据按照时间排序，送入到Transformer模型中进行特征嵌入和时间位置嵌，利用稀疏自注意力机制降低Transformer的时间复杂度，提高模型训练速度；经过编码器与解码器的联动将特征映射到高维并提取出多种全局特征。最后将解码器与全连接层连接，将隐藏层的特征投影到功率预测常规输出空间上，得到短期内所有时间点的发电功率预测结果。本申请使用基于稀疏自注意力的生成推理预测方法进行发电功率预测，不仅可以提高预测速度，将模型的时间复杂度大大降低，实现了更快的风力发电输出功率预测，又有效解决了现有基于单向时间线模型累计误差大的问题，有效提高输出电力功率预测精度。效提高输出电力功率预测精度。效提高输出电力功率预测精度。

【技术实现步骤摘要】
一种基于稀疏自注意力的生成推理发电功率预测方法


[0001]本专利技术属于风力发电
，具体涉及一种基于稀疏自注意力的生成推理发电功率预测方法。

技术介绍

[0002]随着新能源行业的不断发展，我国风电装机总量和装机容量急剧增加。风电机组的智能化将是风电行业的重要发展趋势，而风机的智能化发展一方面需要传统制造工艺过关作为基础，另一方面则需充分融合互联网技术创新，运用大数据、序列预测等新一代信息技术，最终实现远程风机的后台监控和全生命周期管理，确保智慧风电场的运行状态。风力发电的智能功率预测监控，作为数字智慧风电场的“发电心脏”，对风电场的输出电量进行后续调度入网起到至关重要的作用。所以如何高效准确的对风力发电的发电功率进行预测，成为了风电领域的重点关注问题。
[0003]大数据分析技术作为新一代信息技术，可以将实时数据流分析和历史相关数据相结合，通过对数据场景进行建模，帮助系统预测和预防未来运行中可能会出现的中断和性能问题。
[0004]现阶段的风力发电功率预测方法主要以统计模型和深度神经网络模型为主，如随机森林(Random Forest)、误差反传网络(Back Propagation,BP)、门控循环神经网络(gated recurrent unit,GRU)等，且取得了一定的预测效果。但是现阶段的模型训练和使用过程均采用了依赖时间线建模的方法，这种单向的序列建模算法虽然可以模拟气象变化对风力场站发电功率的影响，但其每一步的误差都会沿时间线累计，尤其是在模型预测过程中，该误差在最后预测时刻会累积到最大，严重影响了风电场后续的发电并网调度。

技术实现思路

[0005]为了解决上述问题，本专利技术提供一种基于稀疏自注意力的生成推理发电功率预测方法，以高效的稀疏自注意力机制通过使用生成式的解码方法，依赖解码器加入一段引导序列一步式生成未来整段时间线上的所有结果，在保证模型准确率的同时加快了训练和预测速度，实现了更为准确的风力发电功率预测，有效改进了现有单向滑动窗口式功率预测算法的缺陷，协助风电场更有效地进行后续电力并网调度指挥决断。本专利技术方法可以有效解决现有基于单向时间线模型滑动窗口预测产生的累计误差问题和普通注意力机制时间复杂度高的问题，并且在降低模型计算时间的同时，有效提高短期电力功率预测精度。
[0006]为实现上述目的，本专利技术的技术方案为：
[0007]一种基于稀疏自注意力的生成推理发电功率预测方法，该方法具体包括：
[0008]步骤1：对包括风电场气象数据和时间序列特征的风电场站基础特征数据进行数据预处理操作；将处理后的数据按照时间排序，送入到Transformer模型中进行特征嵌入和时间位置嵌入；
[0009]步骤2：将步骤1进行过特征嵌入和时间位置嵌入的数据送入Transformer模型编
码器注意力层中，进行带放缩的点乘稀疏自注意力计算，得到注意力分数和各时间点向量的权重，并得到解码器交叉注意力层的关键字向量和值向量；
[0010]步骤3：将步骤1进行过特征嵌入和时间位置嵌入的数据送入Transformer模型解码器注意力层中，进行带放缩的点乘稀疏自注意力计算，得到查询向量，解码器交叉注意力层利用步骤2得到的编码器输出经过处理后作为关键字向量和值向量值与查询向量进行交叉注意力计算得到隐含表示作为解码器输出；
[0011]步骤4：解码器输出与全连接层连接，将隐藏层的特征投影到功率预测常规输出空间上，得到短期内所有时间点的发电功率预测结果。
[0012]进一步地，所述步骤1具体实现方式为：
[0013]步骤11：对时间特征进行嵌入，即提取时间特种中包括月份和天数的时间粒度信息嵌入到特征向量中；
[0014]步骤12：对气象特征，包含风速、气温、湿度和气压特征进行标准化与数据清洗，剔除异常数据；对风向和舵角特征进行归一化，将其映射空间采用sin函数和cos函数归一化；
[0015]步骤13：运用统计学知识，利用温度和降雪强度特征构造新的统计学特征第二天覆雪情况，利用风速数据构造近3时点风俗均值新特征。
[0016]进一步地，所述步骤2具体实现方式如下：
[0017]步骤21：编码器的输入通过神经网络线性层线性变换得到关键字矩阵、值矩阵和查询矩阵，仅对稀疏性度量大的关键字矩阵与查询矩阵通过稀疏注意力机制得到注意力矩阵，经过软层级最大化得到注意力权重矩阵；
[0018]步骤22：注意力权重矩阵经过放缩再与值矩阵相乘得到有关于此时刻注意力分布的全局特征向量，经过一系列残差连接、层归一化和前馈网络得到编码器输出。
[0019]进一步地，所述步骤3具体实现方式如下：
[0020]步骤31：解码器的输入首先通过解码器的自注意力层进行全局的特征提取，并将该步结果作为下一层多头注意力的查询向量；
[0021]步骤32：利用步骤2得到的编码器输出作为关键字向量和值向量与查询向量步骤32中得到的查询向量进行计算得到隐含表示输出到全连接层。
[0022]进一步地，所述步骤4具体实现方式为：
[0023]步骤41：指定全连接层输出维数，一步得出未来时刻的风力发电功率预测值；
[0024]步骤42：通过逆转归一化得到实际尺度上的未来时刻风力发电功率预测值。本专利技术的技术效果：
[0025]本专利技术在训练过程中，采用稀疏注意力机制代替普通注意力机制利用生成推理的方法一步式生成结果。该方法既可以提高预测速度，又能避免多步预测产生的累计偏差，削减了误差。在模型训练过程中，采用稀疏注意力的方式只计算稀疏度量高的查询，将模型的时间复杂度大大降低。这种方式可以更为高效的训练模型，简化注意力矩阵降低模型的部署难度，最终实现更快的风力发电输出功率预测。
[0026]通过使用基于稀疏注意力的Transformer架构利用生成推理的方法，可以有效降低算法时间复杂度，解决现有基于单向时间线模型累计误差大的问题，有效提高输出电力功率预测精度，协助风电场更有效地进行后续电力并网调度指挥决断。
[0027]Transformer是一个利用注意力机制来提高模型训练速度和性能的模型，使用了
编码器
‑
解码器的架构，是一种完全基于自注意力机制的深度学习模型。因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的门控循环神经网络(gated recurrent unit,GRU)。介于此，本专利技术提出了一种基于Transformer架构的稀疏自注意力的生成推理发电功率预测方法，该方法相对于Transformer主要有两点创新，第一，运用稀疏注意力代替Transformer中所用的普通注意力机制，该改进可大幅降低算法的时间复杂度；第二，在解码器中加入一段引导序列一步式生成未来整段时间线上的所有结果，加快训练和预测速度以及避免累计偏差问题。其网络模型结构包括输入层、编码器层、解码器层和全连接层。
附图说明
[0028]图1为一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏自注意力的生成推理发电功率预测方法，其特征在于，该方法具体包括：步骤1：对包括风电场气象数据和时间序列特征的风电场站基础特征数据进行数据预处理操作；将处理后的数据按照时间排序，送入到Transformer模型中进行特征嵌入和时间位置嵌入；步骤2：将步骤1进行过特征嵌入和时间位置嵌入的数据送入Transformer模型编码器注意力层中，进行带放缩的点乘稀疏自注意力计算，得到注意力分数和各时间点向量的权重，并得到解码器交叉注意力层的关键字向量和值向量；步骤3：将步骤1进行过特征嵌入和时间位置嵌入的数据送入Transformer模型解码器注意力层中，进行带放缩的点乘稀疏自注意力计算，得到查询向量，解码器交叉注意力层利用步骤2得到的编码器输出经过处理后作为关键字向量和值向量值与查询向量进行交叉注意力计算得到隐含表示作为解码器输出；步骤4：解码器输出与全连接层连接，将隐藏层的特征投影到功率预测常规输出空间上，得到短期内所有时间点的发电功率预测结果。2.根据权利要求1所述一种基于稀疏自注意力的生成推理发电功率预测方法，其特征在于，所述步骤1具体实现方式为：步骤11：对时间特征进行嵌入，即提取时间特种中包括月份和天数的时间粒度信息嵌入到特征向量中；步骤12：对气象特征，包含风速、气温、湿度和气压特征进行标准化与数据清洗，剔除异常数据；对风向和舵角特征进行归一化，将其映射空间采用s...

【专利技术属性】
技术研发人员：高宁，高阳，掌旭，刘文超，修唯，李一鸣，
申请(专利权)人：沈阳嘉越电力科技有限公司，
类型：发明
国别省市：