本发明专利技术属于电量统计技术领域，具体为一种基于自注意力神经网络的月度用电量预测算法，该月度用电量预测算法的步骤流程如下：第一步、数据预处理：在开展预测工作之前，对输入数据进行归一化处理，完成输入数据的归一化后，将归一化结果输入自注意力神经网络进行训练，本申请提出了一种月度用电量预测模型，解决了用电量预测模型中考虑社会数据时气象数据量大、特征复杂的问题，基于自注意力神经网络，有效解决了长期时间序列预测困难的问题，并提供了一个堆叠框架，以提高预测精度和模型泛化能力。
【技术实现步骤摘要】
本专利技术涉及电量统计，具体为一种基于自注意力神经网络的月度用电量预测算法。
技术介绍
1、用电量预测对于电网运营、交易、规划至关重要，上述业务均需要以用电量的预测结果为基础。因此，迫切需要通过用电量预测方法来支持电网相关业务需求。
2、目前，月度用电量预测方法可简单分为使用传统时间序列预测算法和使用深度学习算法。前者包括小波分析、arima、卡尔曼滤波等，优点是数学模型成熟、可解释性强、可定向调整参数；后者是在神经网络基础上发展起来的一系列模型，具有自适应和自组织的特点，可以通过多次迭代学习数据的隐藏特征，获得高精度的预测分析结果。
3、上述传统时间序列分析方法提取数据隐藏特征的能力不足，深度学习方法提取隐藏特征的能力较强，但其可解释性较差，参数调整困难。因此，本专利提出将结合从时序数据中提取隐藏特征能力强的自注意力神经网络与可解释性好的xgboost算法相结合，以某地电量数据进行测算，验证了预测方法的有效性和预测精度。
技术实现思路
1、本专利技术的目的在于提供一种基于自注意力神经网络的月度用电量预测算法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于自注意力神经网络的月度用电量预测算法，该月度用电量预测算法的步骤流程如下：
3、第一步、数据预处理：
4、在开展预测工作之前，对输入数据进行归一化处理，完成输入数据的归一化后，将归一化结果输入自注意力神经网络进行训练；
<
p>5、第二步、自注意力神经网络：6、该自注意力神经网络包括缩放点积注意力神经网络和多头注意力神经网络；所述缩放点积注意力神经网络特征包括q、k和v可视为输入数据，模型首先需要计算q和k之间的相关性，以获得v的权重，然后，根据权重对v进行加权求和，下一步，进行屏蔽，这一步将对指定位置的输入数据设置为0，屏蔽后，对未设置为0的数据执行softmax标准化，最后，将计算结果f作为v的权重，对v进行加权求和，得到输出值；
7、多头注意力神经网络中的多头指的是有多个缩放点积注意力神经网络，将相同的q、k和v输入多个缩放点积注意力神经网络，将多个缩放点积注意力神经网络的输出结果拼接起来，将拼接后的输出结果通过线性神经网络形成最终预测结果；
8、第三步、基于模型堆叠的用电量预测模型：
9、自注意力神经网络很好地解决了长时间跨度数据分析困难的问题，但使用单一算法进行预测的泛化能力较差，使用多个模型进行堆叠可以有效解决这一不足，同时，自注意力模型提取的时序特征可以用来丰富其他模型的输入数据，提高其准确性，堆叠是一种将多个模型的输出结果以某种形式整合起来以产生更好结果的结构；将时序数据t和自注意力神经网络的计算结果f合并，得到新的输入数据，将新的输入数据用于训练rnn和lstm模型，并从这两个模型中得到用电量预测值p1和p2，将p1和p2与自注意力模型得到的预测结果p3合并，并输入xgboost模型，将xgboost模型的预测结果作为最终结果，使用rnn模型和lstm模型是因为这两种模型在长期时间序列预测问题上都表现出了良好的预测精度，选择使用xgboost来整合多个模型的预测结果；
10、第四步、算例分析：
11、评价指标：为了比较分析不同模型之间的差异，评估本专利所设计的模型，将采取预测精度评价指标来分析模型，本专利采用的指标有两个，即rmse和mape；
12、实验环境和模型参数：为了提高用电量预测的准确性，有必要选择合适的训练参数，本专利需要调整的参数包括批量大小、时期、学习率、神经网络层数和训练器；
13、预测结果分析：为验证本专利提出的算法的有效性，本专利所应用模型的预测结果与其他独立使用自注意力神经网络模型、lstm模型和rnn模型的预测结果进行了比较。
14、优选的，所述第一步中，归一化算法如下：式中x是输入数据，μ是输入数据的平均值，σ是输入数据的方差。
15、优选的，所述第二步中，q、k和v的数据格式如下：q:(batch,nq,dq)；k:(batch,nk,dk)；v:(batch,nv,dv)；s.t.nk＝nv,dq＝dk；
16、输入数据首先在进行矩阵乘法计算，计算公式为u＝qkt；
17、使用以下公式来标准化它们的方差：
18、softmax标准化的计算公式如下所示：式中，ci为c中的第i个数据，fi为第i个数据的softmax标准化计算结果；
19、将计算结果f作为v的权重，对v进行加权求和，得到输出值：o＝fv，f是注意力神经网络计算出的权重，计算出的fi越大，vi对应的权重也就越大，vi对输出数据o的影响也就越大，权重可视为时序数据的特征提取结果；
20、线性神经网络的计算过程如下，式中，oi是第i个神经网络，wi是线性神经网络学习得到的权重，r是基于h个网络的预测结果，使用的自注意力神经网络模型是多头注意力神经网络，但这个多头注意力神经网络的输入q、k和v完全相同，都是用电数据，自注意力神经网络可以学习时序数据中的相关性和非线性，并提供预测结果。
21、优选的，所述第四步中，rmse和mape两个指标的计算公式为：公式中，y为实际值，为预测值，n为样本数。
22、与现有技术相比，本专利技术的有益效果是：
23、本申请提出了一种月度用电量预测模型，解决了用电量预测模型中考虑社会数据时气象数据量大、特征复杂的问题，基于自注意力神经网络，有效解决了长期时间序列预测困难的问题，并提供了一个堆叠框架，以提高预测精度和模型泛化能力，具体包含3点：
24、1)利用自注意力神经网络模型分析用电预测数据，该算法可以自适应、自组织地学习和提取用电数据中的非线性特征，解决了以往用电预测模型对长期数据特征的分析能力较弱的问题；
25、2)利用自注意力算法的特征提取结果提高预测算法的准确性，本专利将自留存计算过程中的中间量作为新特征，将新特征与数据拼接后输入其他模型进行训练，可以提高其他模型的预测精度；
26、3)基于堆叠架构，整合多个模型，堆叠模型不仅能训练自注意力神经网络模型，还能训练lstm模型和rnn模型，将多个模型的预测结果转移到xgboost算法中进行整合，输出最终的用电量预测值，提高了模型的泛化能力和预测精度。
本文档来自技高网...
【技术保护点】
1.一种基于自注意力神经网络的月度用电量预测算法，其特征在于，该月度用电量预测算法的步骤流程如下：
2.根据权利要求1所述的一种基于自注意力神经网络的月度用电量预测算法，其特征在于：所述第一步中，归一化算法如下：式中x是输入数据，μ是输入数据的平均值，σ是输入数据的方差。
3.根据权利要求1所述的一种基于自注意力神经网络的月度用电量预测算法，其特征在于：所述第二步中，Q、K和V的数据格式如下：Q:(BATCH,nq,dq)；K:(BATCH,nk,dk)；V:(BATCH,nv,dv)；s.t.nk＝nv,dq＝dk；
4.根据权利要求1所述的一种基于自注意力神经网络的月度用电量预测算法，其特征在于：所述第四步中，RMSE和MAPE两个指标的计算公式为：公式中，y为实际值，为预测值，n为样本数。
【技术特征摘要】
1.一种基于自注意力神经网络的月度用电量预测算法，其特征在于，该月度用电量预测算法的步骤流程如下：
2.根据权利要求1所述的一种基于自注意力神经网络的月度用电量预测算法，其特征在于：所述第一步中，归一化算法如下：式中x是输入数据，μ是输入数据的平均值，σ是输入数据的方差。
3.根据权利要求1所述的一种基于自注意力神经网络的月度用电量预测算法，其...
【专利技术属性】
技术研发人员：曹有霞，韩号，王品，汤旭，张世康，李智，陶红尘，黄进，韩德伟，赵倩，黄鑫，肖盼，迟新纪，倪妍妍，高云强，胡婧，刘梅，
申请(专利权)人：国网安徽省电力有限公司营销服务中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。