基于并行多重时间注意力机制的燃气负荷预测方法及系统技术方案

本发明专利技术公开基于并行多重时间注意力机制的燃气负荷预测方法及系统，属于燃气负荷预测领域；基于并行多重时间注意力机制的燃气负荷预测方法包括：S1，构建使用并行多重时间注意力机制的encoder

【技术实现步骤摘要】
基于并行多重时间注意力机制的燃气负荷预测方法及系统


[0001]本专利技术属于燃气负荷预测领域，具体涉及基于并行多重时间注意力机制的燃气负荷预测方法及系统。

技术介绍

[0002]随着深度学习的发展，循环神经网络(Recurrent Neural Network)被广泛的应用于序列任务。基于RNN网络，Cho，Van，Gulcehre等人在“Learning Phrase Representations using RNN Encoder
‑
Decoder for Statistical Machine Translation”中提出encoder
‑
decoder架构，通过组合两个RNN网络来提升网络模型准确度——一个RNN网络作为编码器(encoder)对输入数据进行编码，另一个RNN网络作为解码器(decoder)对编码结果进行解码输出。由于该架构在机器翻译任务中的成功，遂被应用于时间序列任务的研究。
[0003]基于注意力机制的encoder
‑
decoder结构，在时间序列预测中，采用RNN类网络实现的encoder
‑
decoder架构存在处理长输入序列时，模型的拟合能力快速下降问题。通过在encoder
‑
decoder之间添加一层注意力模块，能够有效处理输入长序列时，模型拟合能力下降过快问题。
[0004]如，在Yang Li等人提出的“Area Attention”中，为让注意力机制能够学习到更多层次的内容，通过固定方式结合相邻的key与value；对新的K与V进行一次常规的注意力运算，并结和原始的K于V的注意力运算，合并成一个上下文向量。相对于一般的注意力机制，area attention能够学习多个层次或者多个时间步骤的信息(通过生成新的K与V)。但是，生成K与V的过程中，原始数据结合的步长是固定的，只是通过设置最大步长来确定合并次数；没有依据数据自身的特性来自适应的选择合并步长。
[0005]在Yao Qin等人提出的“A Dual
‑
Stage Attention
‑
Based Recurrent Neural Network for Time Series Prediction”中，设计两个阶段的注意力计算，第一个阶段为特征注意力模块，用于计算特征数据重要性；第二阶段为时间注意力，用于计算历史数据的重要程度，实现特征与时间的双注意；但是在时间注意力机制中，每次只计算单步时间步骤，且只计算出上下文向量，以解决encodedr
‑
decoder模型中输入数据过长时，性能下降的问题；没有对历史数据进行选择；同时两层注意力机制为串行运行，增加了模型训练时间。
[0006]在常见的encoder
‑
decoder架构中，注意力机制中无法在模型训练过程中自适应的调整时间步骤，且大都只通过生成上下文向量的方式进行时间模式的选择，未对历史数据进行处理。

技术实现思路

[0007]针对现有技术的不足，本专利技术的目的在于提供基于并行多重时间注意力机制的燃气负荷预测方法及系统。
[0008]本专利技术的目的可以通过以下技术方案实现：
[0009]基于并行多重时间注意力机制的燃气负荷预测方法，包括以下步骤：
[0010]S1，构建使用并行多重时间注意力机制的encoder
‑
decoder模型；
[0011]模型包括编码器和解码器，编码器和解码器之间设置有多层时间注意力模块和局部历史注意力模块；
[0012]S2，将燃气特征数据输入S1建立的模型中进行训练，生成一个包含不同层次时间信息的上下文向量，并依据局部历史信息，让模型选择最相关的历史输入数据；
[0013]S3，基于S2生成的上下文向量和加权后的燃气数据，来预测燃气负荷。
[0014]进一步地，所述多层次时间注意力模块，利用上一时间步骤中解码器产生的隐藏状态h
′
t
‑1与cell状态c
′
t
‑1，结合当前编码器的所有隐藏状态，生成一个从全局出发的包含多层次时间模式信息的上下文向量；
[0015]所述局部历史注意力模块，利用上一时间步骤中编码器产生的隐藏状态h
t
‑1与上一时间步骤中解码器产生的隐藏状态h
′
t
‑1，同时结合当前编码器的所有隐藏状态信息，对输入的历史信息进行加权处理，使得解码器在解码预测过程中能够关注局部重要性更高的历史数据。
[0016]进一步地，S2中，模型训练步骤包括：
[0017]S21，利用多层次时间注意力模块计算得到包含不同层次时间信息上下文向量；
[0018]S22，利用局部历史注意力模块，结合局部历史数据的时间依赖计算出输入历史数据的注意力权重，以便解码器在解码过程中能够更加关注最相关的历史数据。
[0019]进一步地，S21中上下文向量的计算步骤包括：
[0020]S211，对原始输入数据h
′
t
‑1，c
′
t
‑1及h
1～3
通过可学习参数进行转化；
[0021]转化方式如下：
[0022]q＝W
q
[(h
′
t
‑1+c
′
t
‑1)/2]+(h
′
t
‑1+c
′
t
‑1)/2(1)
[0023]k
i
＝W
k
h
i
+h
i
，1≤i≤T(2)
[0024]v
i
＝W
v
h
i
，1≤i≤T(3)
[0025]设解码器隐藏层维度为d，则h
′
t
‑1∈R
d
×1，c
′
t
‑1∈R
d
×1，h
i
∈R
d
×1，其中W
q
∈R
d
×
d
，W
k
∈R
d
×
d
，W
v
∈R
d
×
d
为可学习参数矩阵；则K＝(k1，k2，k3)，V＝(v1，v2，v3)；后续操作在新数据q，K，V上进行操作；
[0026]S212，多层次时间注意力模块分两步并行计算，分别计算单时间步长与多时间步长的注意力信息；多层次时间注意力模块包括单时间步长注意力单元和多时间步长注意力单元；
[0027]单步长时间注意力单元与传统注意力机制计算方式相同，每次计算单个向量，即一个k值，计算过程如下：
[0028]e...

【技术保护点】

【技术特征摘要】
1.基于并行多重时间注意力机制的燃气负荷预测方法，其特征在于，包括以下步骤：S1，构建使用并行多重时间注意力机制的encoder
‑
decoder模型；模型包括编码器和解码器，编码器和解码器之间设置有多层时间注意力模块和局部历史注意力模块；S2，将燃气特征数据输入S1建立的模型中进行训练，生成一个包含不同层次时间信息的上下文向量，并依据局部历史信息，让模型选择最相关的历史输入数据；S3，基于S2生成的上下文向量和加权后的燃气数据，来预测燃气负荷。2.根据权利要求1所述的基于并行多重时间注意力机制的燃气负荷预测方法，其特征在于，所述多层次时间注意力模块，利用上一时间步骤中解码器产生的隐藏状态h'
t
‑1与cell状态c'
t
‑1，结合当前编码器的所有隐藏状态，生成一个从全局出发的包含多层次时间模式信息的上下文向量；所述局部历史注意力模块，利用上一时间步骤中编码器产生的隐藏状态h
t
‑1与上一时间步骤中解码器产生的隐藏状态h'
t
‑1，同时结合当前编码器的所有隐藏状态信息，对输入的历史信息进行加权处理，使得解码器在解码预测过程中能够关注局部重要性更高的历史数据。3.根据权利要求2所述的基于并行多重时间注意力机制的燃气负荷预测方法，其特征在于，S2中，模型训练步骤包括：S21，利用多层次时间注意力模块计算得到包含不同层次时间信息上下文向量；S22，利用局部历史注意力模块，结合局部历史数据的时间依赖计算出输入历史数据的注意力权重，以便解码器在解码过程中能够更加关注最相关的历史数据。4.根据权利要求3所述的基于并行多重时间注意力机制的燃气负荷预测方法，其特征在于，S21中上下文向量的计算步骤包括：S211，对原始输入数据h'
t
‑1，c'
t
‑1及h
1～3
通过可学习参数进行转化；转化方式如下：q＝W
q
[(h
′
t
‑1+c
′
t
‑1)/2]+(h
′
t
‑1+c
′
t
‑1)/2(1)k
i
＝W
k
h
i
+h
i
,1≤i≤T(2)v
i
＝W
v
h
i
,1≤i≤T(3)设解码器隐藏层维度为d，则h'
t
‑1∈R
d
×1，c'
t
‑1∈R
d
×1，h
i
∈R
d
×1，其中W
q
∈R
d
×
d
，W
k
∈R
d
×
d
，W
v
∈R
d
×
d
为可学习参数矩阵；则K＝(k1,k2,k3)，V＝(v1,v2,v3)；后续操作在新数据q,K,V上进行操作；S212，多层次时间注意力模块分两步并行计算，分别计算单时间步长与多时间步长的注意力信息；多层次时间注意力模块包括单时间步长注意力单元和多时间步长注意力单元；单步长时间注意力单元与传统注意力机制计算方式相同，每次计算单个向量，即一个k值，计算过程如下：e
i
＝qk
i
,1≤i≤T(4)
其中，context2为单时间步长注意力单元产生上下文向量，e
i
为第i个key所对应能量权重a
i
为第i个key所对应的注意力权重；多步时间注意力单元先对原始K,V矩阵进行自适应步长合并，得到新矩阵K',V'；获取到新的矩阵后，注意力计算方式...

【专利技术属性】
技术研发人员：徐晓钟，曹辰光，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：