基于SARSA(λ)算法的风电-抽蓄联合系统日随机动态调度方法技术方案

本发明专利技术提供了基于SARSA(λ)算法的风电‑抽蓄联合系统日随机动态调度方法，具体如下：首先考虑风电出力的随机性，并用Beta分布来表示风电出力的概率分布；其次建立考虑分时电价的风电‑抽蓄联合系统日随机动态调度模型；最后将强化学习中多步时序差分的SARSA(λ)算法引入到模型求解中，通过历史场景数据进行学习，不断试错积累经验。该方法为解决考虑随机性的风蓄联合优化调度这类多阶段决策问题提供了新的思路，在获得优化调度目标的同时，提高了求解效率。

【技术实现步骤摘要】
基于SARSA(λ)算法的风电-抽蓄联合系统日随机动态调度方法
本专利技术属于节能环保产业领域中水资源循环利用与节水活动中的天然水收集与分配问题，采用大数据中的强化学习方法求解。涉及一种基于强化学习SARSA(λ)算法的风电-抽蓄联合系统日随机动态调度方法。
技术介绍
在能源行业步入高质量发展的今天，风力发电在世界范围内得到了广泛的应用。同时，风电的随机性和波动性给电网的运行调度带来了挑战，如何控制风电并网时的功率特性，高效的消纳大规模风电成为了亟待解决的难题。随着储能技术的发展，抽水蓄能电站作为技术成熟、应用广泛的储能装置，具有反应灵活、启停迅速的特性，为电力系统配备抽水蓄能电站，不仅可以削峰填谷，而且可以提供旋转备用、负荷跟踪、调相、频率控制等动态服务，提高系统的静稳定性和动稳定性，为系统带来可观的效益，保障电网安全稳定运行。将风电与抽水蓄能电站联合优化运行，可有效提高风电运行效益，降低风电并网局限性，取得可观的经济效益。现有的方法中，对于风电-抽水蓄能联合系统的调度，采用传统随机动态规划算法，存在调度效果不佳以及效率低的技术问题。
技术实现思路
本专利技术提出一种基于SARSA(λ)算法的风电-抽蓄联合系统日随机动态调度方法，用于解决或者至少部分解决现有技术中存在的调度效果不佳以及效率低的技术问题。为了解决上述技术问题，本专利技术提供了基于SARSA(λ)算法的风电-抽蓄联合系统日随机动态调度方法，包括：S1：描述风电出力的随机性；S2：根据风电出力的随机性以及分时电价，构建风电-抽蓄联合系统日随机动态调度模型：式中：T为一个周期内的时段数；Rt为t时段的指标函数；Vt为t时段初的抽水蓄能电站上水库的库容；Ptgd为t时段抽水蓄能电站发出的功率，小于0为抽水，大于0为发电；Rt、Ptgd的表达式如下所示：式中：Ct为t时段对应的峰谷电价；将t时段风电预测误差分布函数曲线离散成N个值后，其对应功率为相应的概率为pt,i；Gh为抽水蓄能电站启停单个机组所需的费用，nt为抽水蓄能电站t时段开启/关闭的机组台数；当t时段抽水蓄能电站机组处于发电态时，的值为1，否则为0；Ptg为t时段机组对应的发电出力；当t时段抽水蓄能电站机组处于电动机态时，的值为1，否则为0，Ptd为t时段机组对应的抽水功率；S3：确定风电-抽蓄联合系统日随机动态调度模型的约束条件；S4：采用强化学习中的SARSA(λ)算法对风电-抽蓄联合系统日随机动态调度模型进行求解，得到调度结果。在一种实施方式中，S1具体包括：采用Beta分布来表示风电功率预测误差的概率密度函数，表达式为：式中：x为风电出力预测误差；a,b为Beta分布的形状参数，通过改变a,b的值，可以得到不同形状的Beta分布，满足风电出力预测误差可能出现的正偏或负偏性；其中，B(a,b)表达式为：通过对风电场历史数据的采集整理，得出该风电场预测误差频数分布，由预测误差的均值和方差算出Beta分布的形状参数a,b，计算方程式为：式中：μ为预测误差的均值；σ为预测误差的标准差。在一种实施方式中，S3中的约束条件包括：(1)水库库容约束：Vmin≤Vt≤Vmax式中：Vmin、Vmax分别为抽水蓄能电站上水库可利用的最小和最大库容，Vt为t时段抽水蓄能电站上水库可利用的实际库容；(2)每天首末时段库容变动量约束：V24-V0＝0其中，抽水蓄能水库为日调节，每天首末时段水库的库容相等，V24、V0分别表示24时和0时的水库的库容；(3)发电、抽水功率约束：式中：分别为抽水蓄能电站机组的发电出力上下限，Ptg为t时段抽水蓄能电站机组的实际发电出力；抽水功率的约束为：Ptd＝Pdkt式中：Ptd为t时段抽水蓄能电站单台机组的实际抽水功率，Pd为抽水蓄能电站单台机组的额定抽水功率，kt为t时段运行的抽水机组总数；(4)抽发互斥约束：该约束表示同一时段下抽水蓄能电站机组不能同时处于发电和抽水状态，为t时段抽水蓄能电站机组是否处于发电态的标识，为t时段抽水蓄能电站机组是否处于电动机态的标识；(5)机组总台数约束：式中：为t时段处于工作状态的机组总数，N为抽水蓄能电站所有可用的机组总台数。在一种实施方式中，S4中的SARSA(λ)算法在与模型无关的SARSA算法基础上，引入一个记录每个回合中走过的路径和衰减情况的E矩阵，以及步伐衰减系数λ，将SARSA算法的单步更新方式改为SARSA(λ)算法的回合更新方式。在一种实施方式中，SARSA(λ)算法在回合中，每走过一步，即当前状态下选择了一个动作后，效用迹函数E(S,A)对应的(S,A)位置处数值加1，且每次动作后均会对价值函数Q(S,A)以及效用迹函数E(S,A)进行更新，Q(S,A)更新方式如下：其中，α为学习率，用于控制学习的收敛情况；γ为衰减因子，用以降低未来的回报对当前策略的影响；TD误差δ表示Q(S,A)的理想值与实际值的误差；E(S,A)更新方式如下：E(S,A)＝γλE(S,A)。在一种实施方式中，SARSA(λ)算法迭代过程中采用贪婪策略来选取各个状态下的动作，具体为：随机生成一个0-1之间的小数，并将其与探索概率ε比较大小；若小于ε，系统采用随机的方式选取动作，每个动作被选取的概率相同；若不小于ε时，系统将选取当前状态下已知的最优动作，见下式：式中，Ai为状态S下已知的最优策略。在一种实施方式中，S4具体包括：S4.1：将电价历史数据、风电出力历史数据处理后投入风电-抽蓄联合系统日随机动态调度模型求解中进行预学习，通过预学习阶段不断的探索积累经验，更新Q值表和效用迹函数E的元素值；S4.2：根据预学习阶段得到的更新后的Q值表和效用迹函数E的元素值，进行在线学习，根据贪婪策略来选择当前状态下Q值最大的动作。在一种实施方式中，S4.1具体包括：S4.1.1：初始化Q值表、效用迹函数E、迭代次数和学习率，SARSA(λ)算法初始阶段Q值表内各元素都为0，所有状态动作对应的效用迹函数E为0；S4.1.2：确定当前时段对应的上水库库容值为状态序列的第一个状态，由当前时段下的风电预测值以及服从Beta分布的风电预测误差概率密度函数，求出当前时段的风电出力；S4.1.3：确定当前时段抽水蓄能电站上水库的库容值所对应的状态S，并根据当前时段电价以及各时段的电价趋势，通过贪婪策略来选取抽水/发电动作，根据动作确定抽水蓄能电站上水库的抽水/发电流量；S4.1.4：由状态转移方程得到采取动作后抽水蓄能电站下一时段的上水库库容所对应的新状态S′，以及采取此动作所获得的奖励R；S4.1.5：求出下一时段风电出力；S4.1.6：根据下一本文档来自技高网...

【技术保护点】
1.基于SARSA(λ)算法的风电-抽蓄联合系统日随机动态调度方法，其特征在于，包括：/nS1：描述风电出力的随机性；/nS2：根据风电出力的随机性以及分时电价，构建风电-抽蓄联合系统日随机动态调度模型的目标函数：/n

【技术特征摘要】
1.基于SARSA(λ)算法的风电-抽蓄联合系统日随机动态调度方法，其特征在于，包括：
S1：描述风电出力的随机性；
S2：根据风电出力的随机性以及分时电价，构建风电-抽蓄联合系统日随机动态调度模型的目标函数：



式中：T为一个周期内的时段数；Rt为t时段的指标函数；Vt为t时段初的抽水蓄能电站上水库的库容；Ptgd为t时段抽水蓄能电站发出的功率，小于0为抽水，大于0为发电；Rt、Ptgd的表达式如下所示：



式中：Ct为t时段对应的峰谷电价；将t时段风电出力预测误差分布函数曲线离散成N个值后，其对应功率为相应的概率为pt,i；Gh为抽水蓄能电站启停单个机组所需的费用，nt为抽水蓄能电站t时段开启/关闭的机组台数；当t时段抽水蓄能电站机组处于发电态时，的值为1，否则为0；为t时段机组对应的发电出力；当t时段抽水蓄能电站机组处于电动机态时，的值为1，否则为0，Ptd为t时段机组对应的抽水功率；
S3：确定风电-抽蓄联合系统日随机动态调度模型的约束条件；
S4：采用强化学习中的SARSA(λ)算法对风电-抽蓄联合系统日随机动态调度模型进行求解，得到调度结果。


2.如权利要求1所述的动态调度方法，其特征在于，S1具体包括：
采用Beta分布来表示风电功率预测误差的概率密度函数，表达式为：



式中：x为风电出力预测误差；a,b为Beta分布的形状参数，通过改变a,b的值，可以得到不同形状的Beta分布，满足风电出力预测误差可能出现的正偏或负偏性；其中，B(a,b)表达式为：



通过对风电场历史数据的采集整理，得出风电场预测误差频数分布，由预测误差的均值和方差算出Beta分布的形状参数a,b，计算方程式为：



式中：μ为预测误差的均值；σ为预测误差的标准差。


3.如权利要求1所述的动态调度方法，其特征在于，S3中的约束条件包括：
(1)水库库容约束：
Vmin≤Vt≤Vmax
式中：Vmin、Vmax分别为抽水蓄能电站上水库可利用的最小和最大库容，Vt为t时段抽水蓄能电站上水库可利用的实际库容；
(2)每天首末时段库容变动量约束：
V24-V0＝0
其中，抽水蓄能水库为日调节类型，每天首末时段水库的库容相等，V24、V0分别表示24时和0时的水库的库容；
(3)发电、抽水功率约束：



式中：分别为抽水蓄能电站机组的发电出力上下限，Ptg为t时段抽水蓄能电站机组的实际发电出力；
抽水功率的约束为：
Ptd＝Pdkt
式中：Ptd为t时段抽水蓄能电站单台机组的实际抽水功率，Pd为抽水蓄能电站单台机组的额定抽水功率，kt为t时段运行的抽水机组总数；
(4)抽发互斥约束：



该约束表示同一时段下抽水蓄能电站机组不能同时处于发电和抽水状态，为t时段抽水蓄能电站机组是否处于发电态的标识，为t时段抽水蓄能电站机组是否处于电动机态的标识；
(5)机组总台数约束：



式中：为t时段处于工作状态的机组总数，N为抽水蓄能电站所有可用的机组总台数。


4...

【专利技术属性】
技术研发人员：李文武，郑凯新，刘江鹏，石强，余跃，赵迪，
申请(专利权)人：三峡大学，
类型：发明
国别省市：湖北;42