一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法技术

本发明专利技术公开了一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，采用非侵入式注意机制增强的深度学习模型用于长期能量消耗预测，由一个基于注意机制的预处理模型和一个通用的BiLSTM网络组成，称为AP‑BiLSTM。基于注意机制的预处理模型是由卷积层和全连接层的点积来完成，这两层进行原始输入数据的特征映射，这是提高AP‑BiLSTM方法性能的关键。通过这种方式，输入数据长期依赖关系中的本地和全局关联都得到了增强。本发明专利技术包括以下步骤：S1：非侵入式的数据预处理过程；S2：将S1中的结果输入进BiLSTM网络模型中，得出最终的预测结果。

A prediction method based on non-invasive attention preprocessing process and bilstm model

【技术实现步骤摘要】
一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法
本专利技术涉及电力负荷预测
，具体为基于已有时间段的用电数据，利用结合非侵入式注意力预处理与BiLSTM模型的预测方法来预测未来时间段的用电数据。
技术介绍
电力负荷预测是根据电力负荷的过去和现在推测它的未来数值，进行电力负荷预测可以推知负荷的发展趋势和可能达到的状况，提高经济效益和社会效益。当前的电力负荷预测方法大方向分为传统预测方法和现代预测方法，其中现代预测方法主要包括以下几种：基于卷积神经网络模型的预测方法，利用LSTM(long-short-termmemory长短期记忆网络模型)模型结合时间序列预测电力系统负荷的方法，以及利用用电数据、温度、时间等多维数据进行直接卷积等神经网络方法，都取得了较好的效果。其中，BiLSTM(Bi-directionallong-short-termmemory双向长短期记忆网络模型)是一种人工循环神经网络结构，非常适合基于时间序列数据的预测。BiLSTM模型解决了梯度消失问题，并提供了长期的相关性。然而，虽然BiLSTM在时间序列预测任务中表现良好，但序列计算的基本约束仍然存在。注意力机制可以解决这个问题，注意力机制使得模型在输入或输出序列中，无论输入数据的长度如何，都能获得更好的结果。但是当前结合注意力与BiLSTM等循环神经网络的模型中，通常需要对BiLSTM内部结构进行修改，增加了模型设计的难度。基于此，本专利技术将注意力机制作为一个预处理过程，再结合BiLSTM模型，既增强了模型的长期记忆能力，又避免了对BiLSTM模型内部的修改。
技术实现思路
本专利技术公开了一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，采用非侵入式注意机制增强的深度学习模型用于长期能量消耗预测，由一个基于注意机制的预处理模型和一个通用的BiLSTM网络组成，称为AP-BiLSTM。基于注意机制的预处理模型是由卷积层和全连接层的点积来完成，这两层进行原始输入数据的特征映射，这是提高AP-BiLSTM方法性能的关键。通过这种方式，输入数据长期依赖关系中的本地和全局关联都得到了增强。技术方案一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，包括以下步骤：S1：非侵入式的数据预处理过程；S2：将S1中的结果输入进BiLSTM网络模型中，得出最终的预测结果。S1中：基于非侵入式注意力机制的数据预处理，训练数据经过该处理模块后所得出的输出已经学习了时间序列前后数据之间的关系，但是仍然可以作为新的输入，输入进BiLSTM网络中，具体包括以下步骤：S1.1：将原始输入数据表示为：x1,x2,…,xm，其中1,2,…,m表示输入时间序列的时长，则总长度为m，则该数据可用形状为(m,1)的矩阵表示。对数据进行根据时间序列滑动窗口采样预处理，窗口长度记为window_size，依次截取形状为(window_size,1)的窗口数据，作为样本，构造样本数据集，则预处理后的每个样本可以表示为：x1,x2,…,xwindow_size，则总样本数据可用形状为：(m,window_size,1)的矩阵表示；S1.2：将数据按照20％，10％，70％的比例分为：测试集，验证集，训练集；S1.3：对S1.2中的每个输入训练数据做一维卷积操作，卷积核大小为k，卷积过程表示为：其中cxt表示卷积结果，xt表示t时刻输入数据，xt+n表示xt的n阶近邻，其中n<k,即k阶近邻，wc和bc表示要学习的参数；S1.4：对S1.2中的输入训练数据做全连接计算，计算过程可表示为：dxt＝ωdxt+bd,其中wd和bd表示要学习的参数，dxt表示该步输出结果；S1.5：对S1.3和S1.4中结果做加权求和，计算过程可表示为：其中cxt是S1.3中的卷积结果，dxt是S1.4中的全连接层的计算结果，[·]表示点乘；S1.6：将S1.5中的输出结果(即)，与原始输入序列：x1,x2,…,ｘwindow_size做连接操作，过程可以表示为：其中表示S1.5中的计算结果，xt表示原始输入，连接处理后的数据可用形状为(window_size,2)的矩阵表示，window_size是S1.1中输入数据的滑动窗口大小；S2中：所述的BiLSTM网络模型为，具有Encoder-Decoder架构，Encoder架构由BiLSTM网络层组成，Decoder架构由LSTM网络层和Dense网络层组成，具体包括以下步骤：S2.1：将S1.6中的结果输入BiLSTM网络层中，BiLSTM的前向传播层具有15个神经元，反向传播层具有15个神经元，神经元个数可用units表示，则输出数据可用形状为(m,window_size,30)的矩阵表示，m表示样本数量；S2.2：将S2.1中的输出表示为(ｙ′ｔ1,ｙ′ｔ2,…,ｙ′units),并输入到LSTM网络层中；S2.3：将S2.2中的输出表示为(ｙ″ｔ1,ｙ″t2,…,y″window_size-1)，并输入到Dense网络层中，输出最终的预测结果output，即形状为(m,1)的矩阵；S2.4：通过S1和S2.1-S2.3所述的网络模型，所输出的预测序列output,可展开表示为(y1,y2,…yi)，其中yi,i＝1…m,分别表示第i个样本的数据的预测结果，再将yi与真实值对比，使用通过反向传播更新网络参数，其中损失函数为均值平方差(MSE)损失函数，学习率设置为0.01。并利用模型在验证集上的表现实现早停，重复以上步骤，不断调整模型参数，得到较好的准确率。S2.5：使用步骤S1及S2.1-S2.4得到优化后的最终网络模型，通过测试集测试模型表现，最终应用在实际的预测工作中。本专利技术有益效果：本专利技术方法通过一个新的非侵入式注意力预处理过程，通过将注意力操作从内部模型提取到预处理过程中，输入数据长期依赖关系中的本地和全局关联都得到了增强。同时，该预处理过程可以应用于大多数深度学习网络，并避免了对其网络结构的修改。因此，本专利技术所述方法在长期预测中表现仍然较好。附图说明图1是本专利技术预测方法流程图。图2是本专利技术整体模型架构图。图3是本专利技术基于非侵入式注意力预处理模块结构图。(创新部分)图4是本专利技术实例中用到的数据可视化图。图5是本专利技术方法与其他4种对比方法的预测结果指标图。具体实施方式为了使本专利技术的目的和效果更加清楚，下面以本专利技术中一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法为例，利用美国全国2015年7月1日至2020年1月23日共1667条每日总用电负荷数据，对本专利技术的集成模型进行详细描述。S1：将原始输入数据表示为：x1,x2,…,xm，其中1,2,…,m表示输入时间序列的时长，则总长度为m，数据形状为(m,1)。对数据进行根据时间序列滑动窗口采样预处理本文档来自技高网...

【技术保护点】
1.一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，其特征在于，包括以下步骤：/nS1：非侵入式的数据预处理过程；/nS2：将S1中的结果输入进BiLSTM网络模型中，得出最终的预测结果。/n

【技术特征摘要】
1.一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，其特征在于，包括以下步骤：
S1：非侵入式的数据预处理过程；
S2：将S1中的结果输入进BiLSTM网络模型中，得出最终的预测结果。


2.如权利要求书1所述一种新的用于电力负荷预测的基于非侵入式注意力预处理过程与BiLSTM模型的预测方法，其特征在于，S1中：基于非侵入式注意力机制的数据预处理过程，具体包括以下步骤：
S1.1：将原始输入数据表示为：x1，x2，...，xm，其中1，2，...，m表示输入时间序列的时长，则总长度为m，则该数据可用形状为(m，1)的矩阵表示；对数据进行根据时间序列滑动窗口采样预处理，窗口长度记为window_size，依次截取形状为(window_size，1)的窗口数据，作为样本，构造样本数据集，则预处理后的每个样本可以表示为：x1，x2，...，xwindow_size，则总样本数据可用形状为：(m，window_size，1)的矩阵表示；
S1.2：将数据分为：测试集，验证集，训练集；
S1.3：对S1.2中的每个输入训练数据做一维卷积操作，卷积核大小为k，卷积过程表示为：其中cxt表示卷积结果，xt表示t时刻输入数据，xt+n表示xt的n阶近邻，其中n＜k，即k阶近邻，wc和bc表示要学习的参数；
S1.4：对S1.2中的输入训练数据做全连接计算，计算过程可表示为：dxt＝ωdxt+bd，其中wd和bd表示要学习的参数，dxt表示该步输出结果；
S1.5：对S1.3和S1.4中结果做加权求和，计算过程可表示为：其中cxt是S1.3中的卷积结果，dxt是S1.4中的全连接层的计算结果，[·]表示点乘；
S1.6：将S1.5中的输出结果(即)，与原始输入序列：x1，x2，...，xwindow_size...

【专利技术属性】
技术研发人员：李丹丹，史清江，曾歆，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31