【技术实现步骤摘要】
本专利技术属于可再生能源与深度学习领域，具体涉及一种基于改进bert的长期风电功率预测方法。
技术介绍
1、风力发电是一种可再生能源，有助于减缓对化石燃料的依赖，并推动可持续发展。但是，风力发电受天气和季节的影响极大，从而导致发电功率不稳定。因此，风电功率的预测具有非常重要的应用价值。风电功率预测可以根据预测时间范围被分为超短期(30分钟以内)、短期(30分钟—6小时)、中期(6小时—1天)和长期(1天以上)。长期风电功率预测能够有效促进风能等可再生能源的整合，确保其在能源系统中发挥更大的作用，促进能源转型。对于电力调度而言，长期风电功率预测为电力调度计划提供了重要的支撑信息。
2、最近，深度学习被广泛应用于时间序列预测任务中，其中基于transformer的模型受益于自注意力机制，在长时间序列预测任务中表现出色。自注意力机制能够更好地注意到输入序列中相关性较高的部分，从而有效地捕捉长距离依赖。
3、然而，原始的自注意力机制模块的时间复杂度非常高，其时间复杂度为o(n2)。本专利技术提出的改进bert模型，能够将时间复杂度降低至o(n log n)，同时提高预测的准确率。
技术实现思路
1、本专利技术针对长期风电功率预测问题，提供一种基于改进bert的长期预测风电功率方法。传统的基于transformer的模型都由encoder层和decoder层两部分组成，而本模型仅具有encoder层，使得模型有少量的参数。此外，本模型利用基于angular的局部敏感哈
2、本专利技术为解决上述技术问题采用以下技术方案：
3、一种基于改进bert的长期风电功率预测方法，包括下列步骤：
4、步骤1)，对数据集中的缺失值采用后向填充的方法进行填充，并对处理后的数据进行归一化处理，再对数据的时间戳进行分层处理。
5、步骤2)，将每台风机预处理后的信息输入到一个卷积层中，并进行绝对位置编码。同时，将经分层处理后的时间戳输入到一个全连接层中。然后，将经卷积层处理和绝对位置编码后的每台风机的信息矩阵与经全连接层处理后的每台风机的时间戳矩阵逐元素相加，从而获得带有时序信息和时间信息的风机信息的高维度表示，将风机信息的高维度表示同时输入到两个不同的全连接层中，分别得到多头自注意力机制所需的共享查询键矩阵和值矩阵。
6、步骤3)，将共享查询键矩阵进行随机旋转，映射到编号不同的哈希桶中，然后利用映射关系，将风机信息的高维度表示按照哈希桶编号从小到大进行排序，在编号相同的哈希桶内按时序进行排序，再在每个哈希桶内使用多头自注意力机制。
7、步骤4)，将经多头自注意力机制处理后的最终结果与风机信息的高维度表示进行残差连接，并进行层归一化处理，再输入到两层卷积层中，并进行残差连接和层归一化处理，得到模型的最终输出。
8、作为本专利技术一种基于改进bert的长期风电功率预测方法进一步的优化方案，其特征在于，所述步骤1)中，对数据集中的缺失值采用后向填充的方法进行填充，并对处理后的数据进行归一化处理，再对数据的时间戳进行分层处理：
9、首先，将数据集中风机信息的部分特征的异常值置为阈值。例如，风机功率值小于0，将其置为0；风机的三个叶片的角度值大于89，将其置为89。接着，利用后向填充的方法来填充数据集中的缺失值，即使用缺失数据后一时刻的数据进行填充。
10、然后，计算数据集中风机信息所有特征的均值和标准差，使用均值和标准差对数据进行归一化处理，归一化处理公式如下：
11、
12、其中，data表示具体的特征的值，mean表示具体的特征的均值，std表示具体的特征的标准差。
13、最后，对数据集中的时间戳特征进行分层处理。将时间戳分为小时、分钟和秒钟三层，分别对时间戳的小时、分钟和秒钟进行缩放处理。缩放处理公式如下：
14、
15、其中，stamph、stampm、stamps分别表示时间戳中的小时、分钟、秒钟值。
16、作为本专利技术一种基于改进bert的长期风电功率预测方法进一步的优化方案，其特征在于，所述步骤2)中，将每台风机预处理后的信息输入到一个卷积层中，并进行绝对位置编码。同时，将经分层处理后的时间戳输入到一个全连接层中。然后，将经卷积层处理和绝对位置编码后的每台风机的信息矩阵与经全连接层处理后的每台风机的时间戳矩阵逐元素相加，从而获得带有时序信息和时间信息的风机信息的高维度表示，将风机信息的高维度表示同时输入到两个不同的全连接层中，分别得到多头自注意力机制所需的共享查询键矩阵和值矩阵：
17、首先，将经预处理后的每台风机的三个叶片的角度、周围环境温度、产生功率等信息输入到一个卷积核大小为3，步幅为1，填充为1，不包含偏置的一维卷积滤波器中，将数据集中的原始数据投影到预设定的维度上，得到风机信息的嵌入表示，公式如下：
18、u＝conv1d(x)
19、其中，表示得到的风机信息的嵌入表示，表示预处理后的风机信息数据。s、p、d、f分别表示输入序列的长度，预测序列的长度，嵌入维度和序列的特征数，conv1d()表示一维卷积操作。
20、接着，利用绝对位置嵌入的方法来保留原始数据的时序信息。具体地，使用sin函数处理风机信息数据的偶数索引位置的具体特征的值，使用cos函数处理风机信息数据的奇数索引具体位置的特征的值，得到时序信息。绝对位置嵌入公式如下：
21、
22、其中，表示时序信息，pos表示风机信息的具体时刻位置的索引，表示每一时刻风机信息数据的具体特征的位置索引。(对于每台风机，一个批次的风机信息是一个二维矩阵，每行表示每一时刻的风机信息，其列表示风机信息数据包含的特征)。
23、同时，将分层后的时间戳数据输入到一个不包含偏置的全连接层中，得到时间信息，公式如下：
24、se＝linear(xmark)
25、其中，表示时间信息，表示分层后的时间戳数据，m表示时间戳的类型总数(在本实施例中的值为3，分别表示小时、分钟、秒钟)，linear()表示全连接层。
26、然后，将上述步骤得到的数据矩阵u、pe、se逐元素相加，得到带有时序信息和时间信息的风机信息的高维度表示，计算公式如下：
27、
28、其中，表示带有时序信息和时间信息的风机信息的高维度表示，α表示自定义超参数(当数据经过归一化处理后，α设为1)，+表示逐元素相加操作。
29、最后，将高维度表示的风机信息输入到一个不包含偏置的全连接层中，得到多头自注意力机制所需的共享查询键矩阵，计算公式如下：
30、
31、其中，表示多头自注意力机制所需的共享查询键矩阵。
32、同时，将高维本文档来自技高网...
【技术保护点】
1.一种基于改进Bert的长期风电功率预测方法，包括下列步骤：
2.根据权利要求1所述的一种基于改进Bert的长期风电功率预测方法中，其特征在于，所述步骤1)中，对数据集中的缺失值采用后向填充的方法进行填充，并对处理后的数据进行归一化处理，再对数据的时间戳进行分层处理：
3.根据权利要求2所述的一种基于改进Bert的长期风电功率预测方法中，其特征在于，所述步骤2)中，将每台风机预处理后的信息输入到一个卷积层中，并进行绝对位置编码。同时，将经分层处理后的时间戳输入到一个全连接层中。然后，将经卷积层处理和绝对位置编码后的每台风机的信息矩阵与经全连接层处理后的每台风机的时间戳矩阵逐元素相加，从而获得带有时序信息和时间信息的风机信息的高维度表示，将风机信息的高维度表示同时输入到两个不同的全连接层中，分别得到多头自注意力机制所需的共享查询键矩阵和值矩阵：
4.根据权利要求3所述的一种基于改进Bert的长期风电功率预测方法，其特征在于，所述步骤3)中，将共享查询键矩阵进行随机旋转，映射到编号不同的哈希桶中，然后利用映射关系，将风机信息的高维度表示按照哈希桶
5.根据权利要求4所述的一种基于改进Bert的长期风电功率预测方法，其特征在于，所述步骤4)中，将经多头自注意力机制处理后的最终结果与风机信息的高维度表示进行残差连接，并进行层归一化处理，再输入到两层卷积层中，并进行残差连接和层归一化处理，得到模型的最终输出：
...【技术特征摘要】
1.一种基于改进bert的长期风电功率预测方法，包括下列步骤：
2.根据权利要求1所述的一种基于改进bert的长期风电功率预测方法中，其特征在于，所述步骤1)中，对数据集中的缺失值采用后向填充的方法进行填充，并对处理后的数据进行归一化处理，再对数据的时间戳进行分层处理：
3.根据权利要求2所述的一种基于改进bert的长期风电功率预测方法中，其特征在于，所述步骤2)中，将每台风机预处理后的信息输入到一个卷积层中，并进行绝对位置编码。同时，将经分层处理后的时间戳输入到一个全连接层中。然后，将经卷积层处理和绝对位置编码后的每台风机的信息矩阵与经全连接层处理后的每台风机的时间戳矩阵逐元素相加，从而获得带有时序信息和时间信息的风机信息的高维度表示，将风机信息的...
【专利技术属性】
技术研发人员：丁鸿飞，余永红，张傲然，谭耀，
申请(专利权)人：南京邮电大学通达学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。