一种基于深度强化学习的风光水互补系统智能调度方法技术方案

本发明专利技术公开了一种基于深度强化学习的风光水互补系统智能调度方法，步骤如下：建立风光水互补系统优化调度模型；根据建立的风光水互补系统优化调度模型，将风光水互补系统优化调度问题转换为马尔可夫决策过程；搭建基于双延迟深度确定性策略梯度算法的风光水互补系统智能调度模型；采用历史数据训练风光水互补系统智能调度模型，基于训练好的调度模型，对风光水互补系统进行智能调度。本发明专利技术提出的方法能够自适应风光出力未来的不确定性，提高风光水互补系统发电收益，并且能够快速地给出风光水互补系统的调度结果。光水互补系统的调度结果。光水互补系统的调度结果。

【技术实现步骤摘要】
一种基于深度强化学习的风光水互补系统智能调度方法


[0001]本专利技术涉及风光水互补系统，特别是一种基于深度强化学习的风光水互补系统智能调度方法。

技术介绍

[0002]近年来，能源危机迅速蔓延全球，环境污染问题日趋严重，寻找化石能源替代方案迫在眉睫。为推动能源结构转型，减少碳排放量，清洁高效的可再生能源受到了广泛关注。
[0003]风能和太阳能具有较强的波动性、间歇性，若直接将这两种新能源发电输送到电网，将直接威胁着电网的安全稳定运行。水能是一种经济、高效的可再生能源，水力发电具有调节范围广、能源储存容量大的特点。将水电与风力发电、光伏发电结合，组成多能互补发电系统，利用水电的灵活调度能力，补偿风电和光伏发电的功率变化，有效促进了新能源的消纳。
[0004]目前风光水互补系统研究中，在处理风、光等不确定性时，主要采用随机优化和鲁棒优化方法，随机优化方法倾向于一种统计上的预期结果，具有一定的风险，当出现较大的预测误差时，可能难以保证系统的安全运行。鲁棒优化的结果往往过于保守，给出的优化结果通常是面向最坏的运行情况。这些方法对风光不确定性的描述往往与实际存在着较大的差异，降低了优化结果在实际执行时的可行性。其次，针对风光水互补系统优化调度求解，广泛使用的算法有混合整数线性规划、遗传算法、粒子群算法等。这些算法求解速度慢，易陷入局部最优，难以快速地得到有效的风光水互补系统优化调度结果。

技术实现思路

[0005]专利技术目的：本专利技术的目的是提供一种基于深度强化学习的风光水互补系统智能调度方法，从而自适应风光出力未来的不确定性，并提高风光水互补系统发电收益。
[0006]技术方案：本专利技术所述的一种基于深度强化学习的风光水互补系统智能调度方法，包括以下步骤：
[0007](1)建立风光水互补系统优化调度模型。
[0008]步骤(1)中所述的风光水互补系统优化调度模型包括目标函数和约束条件。
[0009]所述目标函数为：
[0010][0011]P
tA
＝P
tW,for
+P
tS,for
+P
tH
[0012]式中，T是日前调度周期长度；P
tA
为t时刻风光水互补系统计划总出力；分别为t时刻水电站预留的向上备用容量和向下备用容量；β1、β2分别为风光水互补系统发电收益系数和备用容量成本系数；P
tW,for
为t时刻风电出力日前预测值；P
tS,for
为t时刻光伏出力日前预测值；P
tH
为t时刻日前水电计划出力。
[0013]所述约束条件包括水电站出力约束、水电站发电流量约束、水电站出库流量约束、水量平衡约束、水库蓄水量约束，具体如下：
[0014]水电站出力约束：
[0015][0016][0017][0018]式中，为j水电站在t时刻的出力；k
j,n
(n＝1,2,
…
,6)为j水电站的能量转换系数；Q
j,t
为j水电站在t时刻的发电流量；V
j,t
为j水电站在t时刻的水库容量；分别为j水电站在t时刻预留的向上备用容量和向下备用容量；分别是j水电站在t时刻出力的上限和下限。
[0019]水电站发电流量约束：
[0020]Q
j,min
≤Q
j,t
≤Q
j,max
[0021]式中，Q
j,min
、Q
j,max
分别是j水电站发电流量的下限和上限；
[0022]水电站出库流量约束：
[0023][0024][0025]式中，为j水电站在t时刻的出库流量；分别是j水电站出库流量的下限和上限；S
j,t
为j水电站在t时刻的弃水流量。
[0026]水量平衡约束：
[0027][0028][0029]式中，V
j,t+1
为j水电站在t+1时刻的水库容量；为j水电站在t时刻的入库流量；Δt为调度时间间隔；U
j
为j水电站直接上游水电站的集合；为k水电站在t时刻的出库流量；q
j,t
为j水电站在t时刻的天然来水量。
[0030]水库蓄水量约束：
[0031]V
j,min
≤V
j,t
≤V
j,max
[0032]|V
j,end
‑
V
j,start
|≤ΔV
j
[0033]式中，V
j,min
、V
j,max
分别是j水电站蓄水量的下限和上限；V
j,end
、V
j,start
分别是j水电站调度结束蓄水量和调度初始蓄水量；ΔV
j
表示j水电站蓄水量在调度周期内的最大变化。
[0034](2)根据步骤(1)建立的风光水互补系统优化调度模型，将风光水互补系统优化调度问题转换为马尔可夫决策过程。
[0035]步骤(2)中所述的马尔可夫决策过程包括状态、动作和奖励函数的建立，具体如
下：
[0036]状态建立：t时刻的状态s
t
包括风电出力、光伏出力、负荷需求、梯级水电天然来水量、梯级水电水库水量和调度时刻，即：
[0037][0038]式中，分别是t
‑
1/4和t
‑
1/2时刻的风电出力日前预测值；分别是t
‑
1/4和t
‑
1/2时刻的光伏出力日前预测值；q
t
是包含每个梯级水电站天然来水的集合；V
t
是包含每个梯级水电站水库水量的集合。
[0039]动作建立：t时刻的动作a
t
包括梯级水电站发电流量、梯级水电站弃水流量、梯级水电站预留的向上备用容量和向下备用容量，即：
[0040][0041]式中，是包含每个梯级水电站发电流量的集合；S
t
是包含每个梯级水电站弃水流量的集合；分别是包含每个梯级水电站预留的向上备用容量和向下备用容量的集合。
[0042]奖励函数建立：t时刻的奖励r
t
包括风光水互补系统日收益、备用不能平衡不确定性的惩罚和违反约束条件的惩罚，即：
[0043][0044][0045]P
terr
＝P
tW,act
‑
P
tW,for
+P
tS,act
‑
P
tS,for
[0046]式中，C
t
是t时刻风光水互补系统日收益；b1、b2、b3是各分量的权重系数；是t时刻备用不能平衡不确定性的惩罚；是t时刻违反约束条件的惩罚；P
terr
是t时刻风电和光伏预测误本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的风光水互补系统智能调度方法，其特征在于，包括以下步骤：(1)建立风光水互补系统优化调度模型；(2)根据步骤(1)建立的风光水互补系统优化调度模型，将风光水互补系统优化调度问题转换为马尔可夫决策过程；(3)搭建基于双延迟深度确定性策略梯度算法的风光水互补系统智能调度模型；(4)采用历史数据训练风光水互补系统智能调度模型，基于训练好的调度模型，对风光水互补系统进行智能调度。2.根据权利要求1所述的一种基于深度强化学习的风光水互补系统智能调度方法，其特征在于，步骤(1)中所述的风光水互补系统优化调度模型包括目标函数和约束条件；所述目标函数为：P
tA
＝P
tW,for
+P
tS,for
+P
tH
式中，T是日前调度周期长度；P
tA
为t时刻风光水互补系统计划总出力；分别为t时刻水电站预留的向上备用容量和向下备用容量；β1、β2分别为风光水互补系统发电收益系数和备用容量成本系数；P
tW,for
为t时刻风电出力日前预测值；P
tS,for
为t时刻光伏出力日前预测值；P
tH
为t时刻日前水电计划出力；所述约束条件包括水电站出力约束、水电站发电流量约束、水电站出库流量约束、水量平衡约束、水库蓄水量约束，具体如下：水电站出力约束：水电站出力约束：水电站出力约束：式中，为j水电站在t时刻的出力；k
j,n
(n＝1,2,
…
,6)为j水电站的能量转换系数；Q
j,t
为j水电站在t时刻的发电流量；V
j,t
为j水电站在t时刻的水库容量；分别为j水电站在t时刻预留的向上备用容量和向下备用容量；分别是j水电站在t时刻出力的上限和下限；水电站发电流量约束：Q
j,min
≤Q
j,t
≤Q
j,max
式中，Q
j,min
、Q
j,max
分别是j水电站发电流量的下限和上限；水电站出库流量约束：水电站出库流量约束：
式中，为j水电站在t时刻的出库流量；分别是j水电站出库流量的下限和上限；S
j,t
为j水电站在t时刻的弃水流量；水量平衡约束：水量平衡约束：式中，V
j,t+1
为j水电站在t+1时刻的水库容量；为j水电站在t时刻的入库流量；Δt为调度时间间隔；U
j
为j水电站直接上游水电站的集合；为k水电站在t时刻的出库流量；q
j,t
为j水电站在t时刻的天然来水量；水库蓄水量约束：V
j,min
≤V
j,t
≤V
j,max
|V
j,end
‑
V
j,start
|≤ΔV
j
式中，V
j,min
、V
j,max
分别是j水电站蓄水量的下限和上限；V
j,end
、V
j,start
分别是j水电站调度结束蓄水量和调度初始蓄水量；ΔV
j
表示j水电站蓄水量在调度周期内的最大变化。3.根据权利要求1所述的一种基于深度强化学习的风光水互补系统智能调度方法，其特征在于，步骤(2)中所述的马尔可夫决策过程包括状态、动作和奖励函数的建立，具体如下：状态建立：t时刻的状态s
t
包括风电出力、光伏出力、负荷需求、梯级水电天然来水量、梯级水电水库水量和调度时刻，即：式中，分别是t
‑
1/4和t
‑
1/2时刻的风电出力日前预测值；分别是t
‑
1/4和t
‑
1/2时刻的光伏出力日前预测值；q
t
是包含每个梯级水电站天然来水的集合；V
t
是包含每个梯级水电站水库水量的集合；动作建立：t时刻的动作a
t
包括梯级水电站发电流量、梯级水电站弃水流量、梯级水电站预留的向上备用容量和向下备用容量，即：式中，是包含每个梯级水电站发电流量的集合；S
t
是包含每个梯级水电站弃水流量的集合；分别是包含每个梯级水电站预留的向上备用容量和向下备用容量的集合；奖励函数建...

【专利技术属性】
技术研发人员：葛远裕，谢俊，段佳南，邢单玺，徐志诚，金永天，周翠玉，
申请(专利权)人：河海大学，
类型：发明
国别省市：