基于并行神经网络模型LDformer的长时间序列预测方法技术

长时间序列预测是一个非常重要的问题，在很多领域都有着广泛的场景，例如股票、交通、电力等。现有时序预测方法存在时间复杂度高，参数量大，预测精度低等问题，不适用于真实世界数据的高精度长期预测。针对这些问题，本发明专利技术提出了并行的时间序列预测模型LDformer，首先将Informer框架与LSTM结合，充分考虑时间序列的深层特征。然后提出一种结合UniDrop的概率稀疏注意力机制，减少失去序列中关键连接的风险；同时考虑到数据的稳定性及参数量大小，在蒸馏操作中通过一维卷积进行提取数据。在三个电力数据集ETTm1，ETTh1及ETTh2的不同预测长度上的实验结果表明，本发明专利技术提出的方法在长时间序列预测中优于最先进的基线，并通过消融实验验证了关键组件设计的有效性。验验证了关键组件设计的有效性。验验证了关键组件设计的有效性。

【技术实现步骤摘要】
基于并行神经网络模型LDformer的长时间序列预测方法


[0001]本专利技术涉及电力预测领域，是一种基于并行神经网络模型LDformer的长时间序列预测方法。

技术介绍

[0002]随着大数据时代的到来，数据已经渗透到每一个行业。各种类型的传感器和应用程序连续收集了大规模的时间序列，例如零售商店和超市的货品销量，铁路、航空部门的客流量，城市的交通流量，电力部门的负荷需求，金融领域的股票价格，气象领域的天气情况等。电力分配问题是电网根据顺序变化的需求管理电力分配到不同用户区域。但要预测特定用户区域的未来需求是困难的，因为它随工作日、假日、季节、天气、温度等的不同因素变化而变化。现有时序预测方法不能适用于长期真实世界数据的高精度长期预测，并且任何错误的预测都可能产生严重的后果。因此当前没有一种有效的方法来预测未来的用电量，管理人员就不得不根据经验值做出决策，而经验值的阈值通常远高于实际需求。保守的策略导致不必要的电力和设备折旧浪费。值得注意的是，变压器的油温可以有效反映电力变压器的工况。因此，长时间序列预测建模是解决该问题的关键。然而长时间序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力预测领域中基于并行神经网络模型LDformer的长时间序列预测方法，包括从多角度考虑的嵌入层、长短时记忆网络LSTM、编码器和解码器。编码器结合蒸馏操作使用多路并行方式，其中编码器使用了结合UniDrop的概率稀疏注意力机制。解码器包括两个注意力机制，其中第一个是加了掩码的结合UniDrop的概率稀疏注意力机制，防止每个位置关注未来位置，避免自回归，第二个是普通自注意力。其具体步骤如下：步骤1：以电力数据集为例，为解决长时间序列预测问题，提出基于并行神经网络模型LDformer的长时间序列预测方法。首先确定模型的输入输出，选择合适的训练数据集，模型输入为六个负载特征和目标值{X
(1)
，X
(2)
，X
(3)
，X
(4)
，X
(5)
，X
(6)
，Y}，通过从训练集中采集六个特征{X
(1)
，X
(2)
，X
(3)
，X
(4)
，X
(5)
，X
(6)
}的m个样本的小批量数据集来预测目标值“OT”的n个序列之后转入步骤2。步骤2：数据预处理。首先对输入的训练数据集使用StandardScaler()标准化，保证每个维度数据方差为1，均值为0。使得测试结果不会被某些维度过大的特征值而主导。其转化函数为其中μ为所有样本数据的均值，σ为所有样本数据的标准差。之后转入步骤3。步骤3：经过步骤2所得的数据集进入多角度考虑的嵌入层Embedding。分别进行数据编码、位置编码以及时间戳编码，将维度分别扩充到统一维度d
‑
model，求和得到最终Embedding结果。步骤3.1为数据编码，步骤3.2为位置编码，步骤3.3为时间戳编码。步骤3.1：数据编码。数据中的Embedding使用一维卷积将数据转换为统一维度d
‑
model。其公式如下所示：DE＝conv1d(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)步骤3.2：位置编码。这里的输入序列中的元素是一起处理的，不同于RNN一个一个处理，虽然加快了速度，但是忽略了序列中元素的先后关系，因此加入为位置编码，公式如下所示：所示：步骤3.3：时间戳编码。时间戳编码的方法有month_embed、day_embed、weekday_embed、hour_embed和minute_embed多种，本发明使用的数据集时间片分别为15分钟和1小时，因此选用minute_embed和hour_embed，得到时间戳编码结果。步骤4：构建面向长时间序列预测的并行神经网络模型LDformer。数据经过嵌入层后，主要有以下步骤：步骤4.1：使用LSTM接收输入数据进行特征提取，获得时间序列中的深层表达能力。LSTM在循环神经网络的基础上增加门控机制(输入门、遗忘门和输出门)以确定信息的存储和丢弃，这种方式解决了普通循环神经网络在长序列训练过程中的梯度消失和梯度爆炸问题。
步骤4.2：构建编码器模块。编码器的设计用于提取时间序列输入的鲁棒性远程依赖，主要包含两个子层，多头注意力层(结合UniDrop的概率稀疏注意力机制)和两个线性映射组成的前馈层，两个子层后都带有一个批量归一化层，子层之间有跳跃连接。编码器采用多通道并行模式，分别取时序数据长度为L，L/2，L/4，L/8四个通道并行执行。结合蒸馏操作，以提高模型鲁棒性。蒸馏操作主要使用一维卷积，将上一层的输出送至下层的多头注意力模块之前做维度修剪和降低内存占用。其中蒸馏操作总比Encoder层少一层。其中编码器中的注意力使用本发明构建的结合UniDrop的概率稀疏自注意力机制。步骤4.2.1：结合UniDrop的概率稀疏自注意力机制。UniDrop技术中的Feature Dropout(FD)可以以一定的概率随机抑制网络中的某些神经元。FD
‑
1应用于注意权重A,用于提高多头注意的泛化。FD
‑
2应用在feed
‑
forward network子层的两个线性变换之间的激活函数之后。然而，FD
‑
1直接应用于权重A,可能会下降值A(i～j)，意味着忽略标记i和标...

【专利技术属性】
技术研发人员：田冉，李新梅，马忠彧，刘颜星，王晶霞，王楚，王灏篷，
申请(专利权)人：西北师范大学，
类型：发明
国别省市：