System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 嵌入多头注意力机制的混合神经网络日前电价预测方法技术_技高网

嵌入多头注意力机制的混合神经网络日前电价预测方法技术

技术编号:40195991 阅读:12 留言:0更新日期:2024-01-26 23:59
本发明专利技术是嵌入多头注意力机制的混合神经网络日前电价预测方法。电价的准确预测是电力市场调度与决策策略制定的先决条件,针对粗粒度因素特征导致的短期电价预测精度较差的问题,提出嵌入多头注意力机制的混合神经网络日前电价预测方法。首先,设计了一种混合神经网络电价预测模型结构,通过将短期局部变化特征提取的TCN层和全局趋势特征提取的GRU层相融合,解决了由于电价数据在不同的时间尺度上呈现出不同模式和趋势导致特征提取困难的问题;其次,提出了基于动态时间弯曲距离的相似日选取算法,通过融合特征向量几何相似性和距离相近性提升相似日选取精度;最后,设计了多头注意力机制权重计算方法,将预测模型输出的特征序列通过线性变换映射到注意力头上,基于softmax函数将缩放后的相似度得分转化为注意力权重,权重计算增强了预测模型的理解和表示能力,提升了电价预测精度。通过实验验证了所提模型的有效性。

【技术实现步骤摘要】

本专利技术涉及电价预测,即嵌入多头注意力机制的混合神经网络日前电价预测方法


技术介绍

1、电价反映电力行业的经济状况,因此准确预测短期电价对于市场参与者获得更高利润和监管机构采取最佳预防性监管措施至关重要。这有助于在最小程度的干预下引导市场实现其基本目标。随着经济的发展和分布式能源的并网,影响电网稳定性的因素不断增加,峰谷差持续拉大,电价的局部变化情况变得越发随机与复杂。由于粗粒度数据难以捕捉到市场局部变化和特定影响因素,为提高电价预测的准确性和精细化管理,需要科学有效地挖掘影响电价的细粒度因素特征和局部电价变化之间的联系,通过细粒度数据来提高电价的预测精度。这有助于电力市场建立科学合理的市场交易价格,提高发输配电资本的运用效率,并合理引导区域用电计划。

2、目前,国内外对电力市场中电价预测的方法主要分为统计学方法、市场模型方法和机器学习方法:传统的统计学方法在电价预测中常用的包括时间序列分析、回归分析和arima模型等。这些模型通过分析历史数据中的趋势、周期和季节性变化等因素,进行电价的预测。而统计学方法通常假设数据具有线性关系或满足特定的分布假设,因此在处理非线性关系或具有较大波动的电力市场数据时性能较差;市场模型这类方法建立了一个包含供给、需求和市场竞争等因素的电力市场模型,通过模拟市场运行情况来预测电价。市场模型方法可以考虑到市场结构、政策调控和竞争行为等因素对电价的影响,能够较好地反映市场机制和变化。但由于市场模型方法对建模和参数设置要求较高,预测结果容易受到模型假设的限制;近年来,随着机器学习和人工智能的发展,机器学习方法在电价预测中得到了广泛应用。机器学习方法通过学习数据中的模式和趋势,能够自动地发现变量之间的复杂关系,从而提高预测的准确性。机器学习方法利用机器学习算法,通过学习历史电价数据的模式和特征来进行预测。常见的机器学习方法包括支持向量机、随机森林、循环神经网络等。这些算法能捕捉到电价的非线性关系和复杂特征,提高了预测的准确性,可以适应不同的市场环境和非线性关系。

3、在机器学习预测方法中,深度学习领域的tcn模型和gru模型所具有的较强提取时序数据特征的能力在预测领域获得了较为普遍的应用。tcn使用一系列的卷积层和非线性激活函数,可以学习到输入序列的时序关系和长期依赖性。gru的门控机制有助于解决传统rnn面临的梯度消失和梯度爆炸问题,它可以处理序列数据的时序特征和短期依赖性。与传统统计学方法、市场模型方法甚至是与其他深度学习方法相比,tcn和gru表现出优异的预测性能。但是tcn比较擅长短期局部变化特征提取,gru比较擅长全局趋势特征提取。此外,tcn或者gru单模型可能出现“过拟合”问题,即在训练时,网络因过分强调训练集的预测精度导致其泛化能力较弱,在实际预测中反而预测精度降低。由于单一的机器学习模型往往难以捕捉电力市场数据的变化趋势。为了提高预测准确性,通常采用组合预测模型的方法。组合预测模型将多个单一模型的预测结果进行融合,以获得更加准确和稳健的预测结果。组合模型还可以通过结合不同的模型结构和参数,减轻过拟合风险,可以更好地拟合数据。

4、综上,国内外在电价预测
方面的研究已经取得一定理论成果,但技术仍然存在一些问题需要解决。


技术实现思路

1、本专利技术的目的在于提供一种嵌入多头注意力机制的混合神经网络日前电价预测方法,以解决上述存在的技术问题。可以实现对电价预测精度的提升,更有效的证明嵌入了多头注意力机制的混合模型在整体电价预测及关键时刻点预测都表现优异,误差曲线较平稳且模型的拟合性更好。

2、为了实现上述目的,本专利技术采用以下技术解决方案:嵌入多头注意力机制的混合神经网络日前电价预测方法,其包括以下步骤:

3、步骤1)输入层:

4、输入为连续一周的电价数据样本。每日的非时序数据包含日平均温度、日平均电价等经过归一化处理后产生的维的数据,一共20维数据。每日的电价数据是按照24小时设置24个采样点,时间间隔为60分钟,获得到的24个电价数据。

5、步骤2)相似日选取层:

6、根据步骤1)使用dtw动态规划方法,调整时间序列中不同时间点对应元素之间的关系,通过在时间轴上的非线性拉伸或收缩进行两条电价曲线的形状匹配,计算两条电价曲线的dtw距离。

7、具体操作流程如下:

8、(1)需要收集相关的数据,包括历史电价数据以及其他可能影响电价的因素,如负荷、煤炭价格、天然气价格、油价、可再生能源等。然后,使用dtw算法计算电价历史数据与目标日期的相似性得分,同时使用灰色关联分析计算其他因素与目标日期的关联度分数。

9、(2)对dtw和灰色关联分析的分数进行标准化。确保这两个不同类型的分数具有可比性,这是由于它们通常具有不同的尺度和范围。标准化后的分数将处于0到1的范围内。

10、(3)对于每个因素计算其熵值。熵值表示每个因素的不确定性或信息量。在电价预测中,dtw距离反映电价的时间序列模式相似性,而灰色关联分析分数反映其他因素(如经济指标等)对电价的影响度。根据每个因素熵值,计算其相对权重。熵值越高的因素具有更高的权重。熵值越高在综合评估中就会具有较高的权重,表示电价的时间序列模式相似性对于预测的重要性较大。

11、(4)使用计算得到的权重,对dtw和灰色关联分析的分数进行综合评估。采用加权平均的方法,将每个分数乘以其对应的权重,通过求和得到最终的综合评估分数。

12、步骤3)时间卷积网络和门限循环单元层:

13、本模型采用一个混合深度卷积神经网络结构,该结构采用2层残差单元,每个残差单元包含2个卷积单元和1个非线性映射层。这一结构的设计旨在提高模型的学习能力和性能。卷积单元采用了relu函数作为激活函数,这有助于加速模型的收敛和提高非线性建模能力。为了防止过拟合,通过引入dropout机制,并设置适当的dropout系数,可以随机地丢弃部分神经元的输出,从而增加模型的鲁棒性和泛化能力。一个重要的设计考虑是残差连接,它在深度神经网络中的性能提升中起到关键作用。由于残差单元的输入和输出具有不同的维度,并且引入一个1x1的卷积层,以实现维度的匹配。这个残差映射层有助于确保信息的有效传递和梯度的稳定传播,实现残差连接的有效性。深度卷积神经网络结构借鉴了残差单元和卷积操作的最新发展,通过非线性映射层、激活函数、dropout和1x1卷积层等元素的组合,实现了更强大的特征提取和表示学习能力。

14、设置一层的gru单元,定义单元数量32个,设置dropout系数为0.2。将tcn模型和gru模型的输出连接在一起,确保数据的维度和样本个数匹配,生成数据ct。使用keras将时间卷积网络的输出连接起来,以作为门限循环单元的输入。

15、ct=f(x(2,t),gt)

16、步骤4)多头注意力机制权重计算层:

17、将步骤3)处理后的输出被用作提取输入序列的重要特征。这些特征将本文档来自技高网...

【技术保护点】

1.嵌入多头注意力机制的混合神经网络日前电价预测方法,其特征在于包括以下步骤:

2.根据权利要求1所述的嵌入多头注意力机制的混合神经网络日前电价预测方法,其特征在于所述步骤2)相似日选取层包括如下步骤:

3.根据权利要求1所述的嵌入多头注意力机制的混合神经网络日前电价预测方法,其特征在于所述步骤4)多头注意力机制权重计算层包括:

【技术特征摘要】

1.嵌入多头注意力机制的混合神经网络日前电价预测方法,其特征在于包括以下步骤:

2.根据权利要求1所述的嵌入多头注意力机制的混合神经网络日前电价预测方法,其特征在于所...

【专利技术属性】
技术研发人员:曲朝阳李鹏程王蕾杨红柳王万鑫刘思佳王志远倪雪妍郑淇文蔡伟李昕泽
申请(专利权)人:东北电力大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1