基于注意力机制的燃气负荷预测方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于注意力机制的燃气负荷预测方法、装置、设备及介质，所述方法包括：采集与燃气负荷具有相关性的因素的历史数据；对历史数据进行预处理，得到训练数据集；对数据样本进行向量映射处理得到第一嵌入向量；将第一嵌入向量输入至编码器中计算注意力；将需要预测的序列和第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；将第二嵌入向量输入至解码器中，生成第二查询矩阵，并再次计算注意力得到重构后的第二值矩阵；将第二值矩阵输入至全连接层，得到燃气负荷预测结果。本发明专利技术可以充分利用气温、天气情况等数据特征，提高燃气负荷预测的准确性。提高燃气负荷预测的准确性。提高燃气负荷预测的准确性。

【技术实现步骤摘要】
基于注意力机制的燃气负荷预测方法、装置、设备及介质


[0001]本专利技术涉及燃气负荷预测
，尤其涉及一种基于注意力机制的燃气负荷预测方法、装置、设备及介质。

技术介绍

[0002]燃气负荷预测是供气系统运行调度的重要依据，需要在满足用户用气需求的条件下，尽量减少储气量，降低储气成本。
[0003]然而燃气负荷受到气温、天气情况、以及人类的工作与生活习惯等多种因素的影响，呈现明显的非线性特征，给燃气负荷预测工作带来了困难，如果仅凭经验对燃气负荷进行预测，会使得预测结果产生很大的偏差，无法满足系统运行调度的需求。
[0004]随着机器学习技术的发展，基于注意力机制的预测算法在时间序列的预测方面取得了良好的表现，但是该算法在进行译码器的掩码设计时，没有充分利用气温、天气情况等已知的预测信息。

技术实现思路

[0005]本专利技术实施例提供了一种基于注意力机制的燃气负荷预测方法、装置、设备及介质，所述方法通过对需要预测的负荷序列用“0”进行掩盖，保留了天气、气温等特征信息，充分利用天气的数据特征，提高预测的准确性。
[0006]为实现上述目的，本专利技术实施例提供了一种基于注意力机制的燃气负荷预测方法，包括：
[0007]采集与燃气负荷具有相关性的因素的历史数据；
[0008]对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为其中X1为时间序列，X2～X5为特征序列；
[0009]对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；
[0010]将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；
[0011]将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；
[0012]将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；
[0013]将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。
[0014]其中，所述与燃气负荷具有相关性的因素包含当日的日期、气温、天气类型和节日类型。
[0015]其中，所述对所述历史数据进行预处理，具体包括：
[0016]将天气类型进行量化处理；其中，天气类型为大雨或暴雨，量化为1.0；天气类型为雷阵雨或中雨，量化为0.9；天气类型为小雨，量化为0.8；其他天气类型量化为0.7。
[0017]进一步的，所述对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量，具体包括：
[0018]将数据样本中的时间序列X1进行时间编码，具体为：
[0019]以日期中的日、月、年为粒度提取时间戳，分别记为T1，T2，T3；其中，T1＝(a1
‑
1)/(b1
‑
1)
‑
0.5，a1表示当日对应的周索引，b1表示一周的天数；T2＝(a2
‑
1)/(b2
‑
1)
‑
0.5，a2表示当日对应的月索引，b2表示一月的天数；T3＝(a3
‑
1)/(b3
‑
1)
‑
0.5，a3表示当日对应的年索引，b3表示一年的天数；将所述T1、T2、T3输入至一维卷积层中得到全局时间戳S；
[0020]将数据样本中的特征序列X2～X5进行位置编码，具体为：
[0021][0022][0023]其中，pos为所述特征序列的绝对位置索引，d
model
为输入的特征向量的维度，j为特征向量的位置索引，2j表示偶数位置，2j+1表示奇数位置；
[0024]将所述特征序列X2～X5输入至一维卷积层中得到高维特征向量u；
[0025]将所述高维特征向量u、所述位置编码P和所述全局时间戳S进行叠加得到第一嵌入向量。
[0026]进一步的，所述将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力，具体包括：
[0027]将所述第一嵌入向量分别与权重矩阵W
Q
、W
K
、W
V
相乘，得到第一查询矩阵Q
en
、第一关键字矩阵K
en
、第一值矩阵V
en
矩阵；
[0028]选取第一查询矩阵Q
en
中值最大的前个Q
en
矩阵，记为
[0029][0030]其中，q
i
、k
i
为Q
en
、K
en
的第i行，L
K
为K
en
的行数，d为输入特征向量的维度；
[0031]根据所述第一查询矩阵Q
en
、第一关键字矩阵K
en
、第一值矩阵V
en
矩阵计算注意力，并对V
en
进行更新；
[0032][0033]其中，d为输入特征向量的维度；
[0034]对于未被选中的Q
en
，对应的V
en
值用V
en
的均值进行更新；将更新后的V
en
输入至一维卷积层，并使用ELU作为激活函数后，再输入至池化层中进行下采样计算得到层编码器的隐
藏表示：
[0035][0036]其中，l表示当前编码器的层数；将输入到下一层编码器进行迭代，可以得到最终的编码器输出
[0037]进一步的，所述将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量，具体包括：
[0038]将需要预测的序列和所述第一嵌入向量的部分进行拼接得到
[0039][0040]其中，需要预测的序列记为其中的用天气预报的数据代入，则用掩码“0”进行掩盖；为所述第一嵌入向量的部分；
[0041]将进行向量映射处理得到第二嵌入向量。
[0042]进一步的，所述将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵，具体包括：
[0043]解码器根据第二嵌入向量生成第二查询矩阵Q
de
，并根据所述第二查询矩阵Q
de
与编码器生成的K
en
、V
en
计算注意力并生成第二值矩阵V
de
：
[0044][0045]相应地，本专利技术实施例还提供了一种基于注意力机制的燃气负荷预测装置，包括：
[0046]数据采集模块，用于采集与燃气负荷具有相关性的因素的历史数据；
[0047]数据预处理模块，用于对所述历史数据进行预处理，得到训练数据集；其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的燃气负荷预测方法，其特征在于，包括：采集与燃气负荷具有相关性的因素的历史数据；对所述历史数据进行预处理，得到训练数据集；其中，所述训练数据集中t时刻的数据样本记为其中X1为时间序列，X2～X5为特征序列；对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量；将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力；将需要预测的序列和所述第一嵌入向量的部分进行拼接后进行向量映射处理得到第二嵌入向量；将所述第二嵌入向量输入至解码器中，生成第二查询矩阵，根据所述第二查询矩阵、所述第一关键字矩阵和所述第一值矩阵进行注意力计算得到重构后的第二值矩阵；将所述第二值矩阵输入至全连接层，得到燃气负荷预测结果。2.如权利要求1所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述与燃气负荷具有相关性的因素包含当日的日期、气温、天气类型和节日类型。3.如权利要求2所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述对所述历史数据进行预处理，具体包括：将天气类型进行量化处理；其中，天气类型为大雨或暴雨，量化为1.0；天气类型为雷阵雨或中雨，量化为0.9；天气类型为小雨，量化为0.8；其他天气类型量化为0.7。4.如权利要求3所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述对所述训练数据集中每一个数据样本进行向量映射处理得到第一嵌入向量，具体包括：将数据样本中的时间序列X1进行时间编码，具体为：以日期中的日、月、年为粒度提取时间戳，分别记为T1，T2，T3；其中，T1＝(a1
‑
1)/(1
‑
1)
‑
0.5，a1表示当日对应的周索引，b1表示一周的天数；T2＝(a2
‑
1)/(2
‑
1)
‑
0.5，a2表示当日对应的月索引，b2表示一月的天数；T3＝(a3
‑
1)/(3
‑
1)
‑
0.5，a3表示当日对应的年索引，b3表示一年的天数；将所述T1、T2、T3输入至一维卷积层中得到全局时间戳S；将数据样本中的特征序列X2～X5进行位置编码，具体为：进行位置编码，具体为：其中，pos为所述特征序列的绝对位置索引，d
model
为输入的特征向量的维度，j为特征向量的位置索引，2j表示偶数位置，2j+1表示奇数位置；将所述特征序列X2～X5输入至一维卷积层中得到高维特征向量u；将所述高维特征向量u、所述位置编码P和所述全局时间戳S进行叠加得到第一嵌入向
量。5.如权利要求1所述的一种基于注意力机制的燃气负荷预测方法，其特征在于，所述将所述第一嵌入向量输入至编码器中生成第一查询矩阵、第一关键字矩阵、第一值矩阵并计算注意力，具体包括：将所述第一嵌入向量分别与权重矩阵W
Q
、W
K
、W
V
相乘，得到第一查询矩阵Q
en
、第一关键字矩阵K
en
、第一值矩阵V
en
矩阵；选取第一查询矩阵Q
en
中值最大的前个Q
en
矩阵，记为矩阵，记为其中，q
i
、k
i
...

【专利技术属性】
技术研发人员：张昕，容荣，周震，
申请(专利权)人：中电科普天科技股份有限公司，
类型：发明
国别省市：