基于注意力网络的电力负荷预测方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于注意力网络的电力负荷预测方法、装置及系统，所述方法包括根据时间序列周期性特征，将原始数据集划分为N个子序列，根据预测对象选择其中子序列一个作为目标序列，将其余N

【技术实现步骤摘要】
基于注意力网络的电力负荷预测方法、装置及系统


[0001]本专利技术属于领域，具体涉及一种基于注意力网络的电力负荷预测方法、装置及系统。

技术介绍

[0002]电力负荷预测是时间序列分析领域的重要子课题，也是典型时间序列预测问题。提高预测的精度和效率对提高社会多方面的运行效率具有重要的现实意义。在电力故障分析中，可以挖掘电力负荷随时间的变化规律和趋势，以便发现潜在的突变或故障、及早采取相应的预防措施，从而减少时间和经济方面的损失。
[0003]当前针对电力负荷预测的方法主要有基于概率及统计的方法、基于分类的方法。其中，基于概率及统计的方法的前提是假设数据符合已知分布，或者适用于线性、平稳的时间序列。基于分类的方法主要分为两类：1)传统方法大多是监督学习算法，基本采用经典的机器学习或数据挖掘算法；2)基于深度学习的方法。
[0004]由于电力负荷数据时间跨度长、数据量大，直接应用传统方法会导致误差累积，性能表现不佳。若根据时间序列周期性特征对时间序列进行划分，不仅一定程度上可以缩短输入序列的长度、减小误差累积的影响，而且使得输入序列的规律性更强、更有利于模型的学习和特征提取。但是也带来了多个相关子序列的问题，现有方法无法有效地并行处理多个输入序列，会对最终结果的准确性造成影响。

技术实现思路

[0005]针对上述问题，本专利技术提出一种基于注意力网络的电力负荷预测方法、装置及系统，在长时间序列预测中能够有效减少误差累积，且能同时有效处理多个相关序列，实现输入特征的提取及融合，提高预测准确性和模型性能。
[0006]为了实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：
[0007]第一方面，本专利技术提供了一种基于注意力网络的电力负荷预测方法，包括：
[0008]根据时间序列周期性特征，将原始数据集划分为N个子序列，根据预测对象选择其中子序列一个作为目标序列，将其余N
‑
1个子序列作为相关输入序列；
[0009]将所述目标序列及所有关输入序列输入至预测模型，获得目标序列预测值，所述预测模型采用多级注意力网络结合多序列融合机制构建而成。
[0010]可选地，所述预测模型包括编码器和解码器；所述编码器包括：输入注意力单元、多序列融合单元和编码器隐藏状态更新单元；所述解码器包括时间注意力单元、上下文向量计算单元、解码器隐藏状态更新单元和输出单元；
[0011]所述输入注意力单元针对输入序列，基于编码器在时间t
‑
1的隐藏状态和单元状态，计算出在时间t的输入注意力权重；
[0012]所述多序列融合单元基于所述在时间t的输入注意力权重，在每个未来时间步长通过输入注意力权重学习每个输入序列的相对重要性并进行融合，获得新的输入序列；
[0013]所述编码器隐藏状态更新单元基于新的输入序列和编码器的先前隐藏状态，获得编码器在时间t的隐藏状态；
[0014]所述时间注意力单元基于解码器在时间t
‑
1的隐藏状态和单元状态，计算出在时间t的时间注意力权重；
[0015]所述上下文向量计算单元对时间t的注意力权重和编码器在时间t的隐藏状态加权和，得到在时间t的上下文向量；
[0016]所述解码器隐藏状态更新单元在每个时间步都观察到后向和前向动态特征，获得解码器在时间t的隐藏状态；
[0017]所述输出单元基于在时间t的上下文向量和解码器在时间t的隐藏状态，生成最终的预测结果。
[0018]可选地，所述在时间t的输入注意力权重的计算公式为：
[0019][0020][0021]其中是在时间t的输入注意力权重，用于衡量在时间t处第k个输入序列的重要性，性，是要学习的参数，p是编码器的隐藏状态的大小，h
t
‑1和
t
‑1分别是编码器的先前隐藏状态和单元状态，x
k
为第k个输入序列，x
k
＝h
t
‑1、
t
‑1分别是编码器在时间t
‑
1的隐藏状态和单元状态。
[0022]可选地，所述新的输入序列的计算公式为：
[0023][0024]所述编码器在时间t的隐藏状态的计算公式为：
[0025]h
t
＝LSTM(h
t
‑1；
′
t
)
[0026]其中，h
t
是编码器在时间t的隐藏状态，表示时间t处输入序列的向量。
[0027]可选地，所述在时间t的时间注意力权重的计算公式为：
[0028][0029][0030]其中，是要学习的参数，q是解码器隐藏状态的大小，d
t
‑1、分别解码器的先前隐藏状态和单元状态，p是编码器的隐藏状态的大小，为在时间t的时间注意力权重，h
t
为时间t处编码器隐藏状态，为中间变量，d
t
‑1、分别为解码器t
‑
1时刻的隐藏状态和单元状态。
[0031]可选地，所述在时间t的上下文向量的计算公式为：
[0032][0033]其中，c
t
为在时间t的上下文向量，为在时间t的时间注意力权重，h
t
为时间t处编码器隐藏状态。
[0034]可选地，所述解码器在时间t的隐藏状态的计算公式为：
[0035][0036]其中，其中，是要学习的参数；y
t
为时间t处目标序列的输出值；d
t
‑1、d
t+1
分别为解码器t
‑
1和t+1时刻的隐藏状态，c
t
为在时间t的上下文向量；
[0037]所述最终的预测结果的计算公式为：
[0038][0039]其中，表示解码器隐藏状态和上下文向量的串联；参数和为将串联映射到解码器隐藏状态时需要学习的参数；为权重、为偏差，均为产生最终预测结果所需学习的参数。
[0040]第二方面，本专利技术提供了一种基于注意力网络的电力负荷预测装置，包括：
[0041]序列生成模块，用于根据时间序列周期性特征，将原始数据集划分为N个子序列，根据预测对象选择其中一个作为目标序列，将其余N
‑
1个子序列作为相关输入序列；
[0042]预测模块，用于将所述目标序列及所有关输入序列输入至预测模型，获得目标序列预测值，所述预测模型采用多级注意力网络结合多序列融合机制构建而成。
[0043]可选地，所述预测模型包括编码器和解码器；所述编码器包括：输入注意力单元、多序列融合单元和编码器隐藏状态更新单元；所述解码器包括时间注意力单元、上下文向量计算单元、解码器隐藏状态更新单元和输出单元；
[0044]所述输入注意力单元针对输入序列，基于编码器在时间t
‑
1的隐藏状态和单元状态，计算出在时间t的输入注意力权重；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力网络的电力负荷预测方法，其特征在于，包括：根据时间序列周期性特征，将原始数据集划分为N个子序列，根据预测对象选择其中子序列一个作为目标序列，将其余N
‑
1个子序列作为相关输入序列；将所述目标序列及所有关输入序列输入至预测模型，获得目标序列预测值，所述预测模型采用多级注意力网络结合多序列融合机制构建而成。2.根据权利要求1所述的一种基于注意力网络的电力负荷预测方法，其特征在于：所述预测模型包括编码器和解码器；所述编码器包括：输入注意力单元、多序列融合单元和编码器隐藏状态更新单元；所述解码器包括时间注意力单元、上下文向量计算单元、解码器隐藏状态更新单元和输出单元；所述输入注意力单元针对输入序列，基于编码器在时间t
‑
1的隐藏状态和单元状态，计算出在时间t的输入注意力权重；所述多序列融合单元基于所述在时间t的输入注意力权重，在每个未来时间步长通过输入注意力权重学习每个输入序列的相对重要性并进行融合，获得新的输入序列；所述编码器隐藏状态更新单元基于新的输入序列和编码器的先前隐藏状态，获得编码器在时间t的隐藏状态；所述时间注意力单元基于解码器在时间t
‑
1的隐藏状态和单元状态，计算出在时间t的时间注意力权重；所述上下文向量计算单元对时间t的注意力权重和编码器在时间t的隐藏状态加权和，得到在时间t的上下文向量；所述解码器隐藏状态更新单元在每个时间步都观察到后向和前向动态特征，获得解码器在时间t的隐藏状态；所述输出单元基于在时间t的上下文向量和解码器在时间t的隐藏状态，生成最终的预测结果。3.根据权利要求2所述的一种基于注意力网络的电力负荷预测方法，其特征在于：所述在时间t的输入注意力权重的计算公式为：在时间t的输入注意力权重的计算公式为：其中，是在时间t的输入注意力权重，用于衡量在时间t处第k个输入序列的重要性，ω
e
、是要学习的参数，p是编码器的隐藏状态的大小，h
t
‑1和
t
‑1分别是编码器的先前隐藏状态和单元状态，x
k
为第k个输入序列，为第k个输入序列，h
t
‑1、s
t
‑1分别是编码器在时间t
‑
1的隐藏状态和单元状态。4.根据权利要求3所述的一种基于注意力网络的电力负荷预测方法，其特征在于：所述新的输入序列的计算公式为：所述编码器在时间t的隐藏状态的计算公式为：h
t
＝LSTM(h
t
‑1；x
′
t
)其中，h
t
是编码器在时间t的隐藏状态，表示时间t处输入序列的向量。
5.根据权利要求2所述的一种基于注意力网络的电力负荷预测方法，其特征在于：所述在时间t的时间注意力权重的计算公式为：在时间t的时间注意力权重的计算公式为：其中，ω
v
、是要学习的参数，q是解码器隐藏状态的大小，d
t
‑1、s
′
t
‑1分别解码器的先前隐藏状态和单元状态，p是编...

【专利技术属性】
技术研发人员：段子怡，
申请(专利权)人：国电南京自动化股份有限公司，
类型：发明
国别省市：