一种基于深度强化学习的水电站实时负荷分配方法组成比例

本发明专利技术公开了一种基于深度强化学习的水电站实时负荷分配方法，包括：构建基于深度强化学习的负荷优化分配模型，运用电站运行历史数据训练基于深度强化学习的负荷优化分配模型；电站接收负荷指令后，结合当前负荷指令更新电站的开机机组组合，在此基础上进一步设置其余可行的开机机组组合，并运用基于深度强化学习的负荷优化分配模型对流量及负荷指令的预报信息开展快速滚动计算以优选开机机组组合；更新电站的开机机组组合，运用基于深度强化学习的负荷优化分配模型求解电网负荷指令在开机机组间的优化分配方案。本发明专利技术适用于水电站的实时负荷分配，可以被用于指导水电站机组的实时运行。组的实时运行。组的实时运行。

【技术实现步骤摘要】
一种基于深度强化学习的水电站实时负荷分配方法


[0001]本专利技术涉及电站优化调度技术，具体涉及一种基于深度强化学习的水电站实时负荷分配方法。

技术介绍

[0002]目前水电站站内实时负荷分配问题的求解算法包括传统优化算法和智能算法两类。传统优化算法主要包含等微增率法、动态规划法和负荷分配表法，智能算法主要包含遗传算法和粒子群算法。但这些方法很难被应用到实际的实时调度决策指导中，主要包含以下几个问题：
[0003](1)传统优化算法中，等微增率法需要机组的流量特性曲线连续可微、微增率单调递增，但机组存在振动区，多数电站难以满足该条件，动态规划法和负荷分配表法均容易陷入维数灾，难以应对多机组、高精度的厂内经济运行问题。
[0004](2)智能算法存在决策结果不稳定的问题，容易产生优化效果较差的解或者不可行解。

技术实现思路

[0005]专利技术目的：本专利技术的目的是提供一种基于深度强化学习的水电站实时负荷分配方法。
[0006]技术方案：本专利技术的一种基于深度强化学习的水电站实时负荷分配方法，包括以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的水电站实时负荷分配方法，其特征在于，包括以下步骤：S1、构建基于深度强化学习的负荷优化分配模型，并结合历史运行数据训练基于深度强化学习的负荷优化分配模型；该负荷优化分配模型包括状态、动作、奖励和约束，以会对电站负荷分配决策产生影响的所有因素作为状态s；以负荷调整的思路设计动作，将一次负荷指令的分配转换为一个负荷分配方案逐步调整的过程，包含负荷调整与方案输出两类动作；每一次动作会有一个即时奖励r；基于深度强化学习的负荷优化分配模型的约束包含电站运行的约束条件；S2、电站接收电网负荷指令，计算当前开机机组组合中各台机组的最小出力和最大出力，将各台机组的最小出力相加得到电站的出力范围下边界，将各台机组的最大出力相加得到电站的出力范围上边界；结合负荷指令的值判断当前开机机组组合能否完成该负荷指令；若能完成该负荷指令，则保持当前开机机组组合不变，并执行步骤S4；否则，执行步骤S3；S3、若电网负荷指令大于电站的出力范围上边界，则开启当前关机时间最长的机组，更新电站机组的开停机状态及负荷范围，直至电网负荷指令在电站的出力范围下边界和电站的出力范围上边界之间；若电网负荷指令小于电站的出力范围下边界，则关闭当前开机时间最长的机组，更新电站机组的开停机状态及负荷范围，直至电网负荷指令在电站的出力范围下边界和电站的出力范围上边界之间；S4、判断是否存在其余可行的开机机组组合，若不存在其余可行的开机机组组合，则直接进入步骤S6，否则，执行步骤S5；S5、结合机组启停的合理性约束生成其余可行的开机机组组合，结合未来一段时间内的负荷、流量预报信息，运用基于深度强化学习的负荷优化分配模型滚动计算所有可行开机机组组合方案在计算时段内的站内负荷分配方案及其所能取得的目标函数值；计算各方案在预报时段内所能取得的总目标函数值，结合总目标函数值选择最优开机机组组合，更新电站的开机机组组合；S6、运用基于深度强化学习的负荷优化分配模型生成开机机组间的优化负荷分配方案。2.根据权利要求1所述的一种基于深度强化学习的水电站实时负荷分配方法，其特征在于，步骤S1中状态为一维张量[Q
in
,Q
flood
,Q
generate
,Q
g,t
,Z,N
in
‑
plant
]，其中，Q
in
为入库流量，Q
flood
为泄洪流量，Q
generate
为发电流量，Q
g,t
为t时刻完成电站水量调度目标所需要达到的发电流量，Z为上游水位，N
in
‑
plant
为机组负荷；即时奖励r的计算公式为：其中，r为深度强化学习模型的即时奖励；n为机组总数；s
j
和s
j+1
分别为执行动作前和执行动作后的状态；和分别为执行动作前和执行动作后的机组i的出力；H为电站当前的水头；和分别为机组在出力为和水头为H时的发
电流量；约束包含电站运行的约束条件：机组运行约束、水量平衡约束、水位约束、水位
‑
蓄水量关系约束和尾水位
‑
出库流量关系约束。3.根据权利要求2所述的一种基于深度强化学习的水电站实时负荷分配方法，其特征在于，通过计算完成电站水量调度目标所需要达到的发电流量Q
g,t
来优化电站的发电流量，在电站需要蓄水时，Q
g,t
可以取为电站的最小下泄流量，在电站有水位控制需求时，Q
g,t
的计算公式为：Q
g,t
＝Q
in,t
‑
Q
flood,t
+(V(Z
t
)
‑
V(Z
g,t
))/
△
t其中，Q
in,t
为t时刻电站的入库流量，Q
flood,t
为t时刻电站的泄洪流量，V(Z
t
)和V(Z
g,t
)分别为水位为Z
t
和Z
g,t
时，电站水库的蓄水量，Z
t
为电站在t时刻的水位，Z
g,t
为电站在t时刻的目标水位，
△
t为负荷指令间的时间间隔。4.根据权利要求1所述的一种基于深度强化学习的水电站实时负荷分配方法，其特征在于，步骤S1中基于深度强化学习的负荷优化分配模型的训练过程具体步骤包括：(1)随机生成一个初始价值函数Q(s,a)，取计数器i＝0，计数器j＝0，令训练轮数为I，抽样数为J，随机选取动作的概率P
r
，生成一个与电站历史运行数据库相同的样本库；(2)在样本库中，以不放回抽样的方式，随机取出一条运行数据，并在保持当前开机机组组合不变的前提下，随机生成一个负荷指令N
c
的可行负荷分配方案N
in
‑
plant
，结合运行数据和可行负荷分配方案构建当前时刻的状态s＝[Q
in
,Q
flood
,Q
generate
,Q
g,t
,Z,N
in
‑
plant
]，若样本库中所有数据均被采样，则重新生成一个与电站历史运行数据库相同的样本库，并令i＝i+1；(3)将当前时刻的状态s输入负荷优化分配模型，判断并屏蔽将导致机组负荷落入振动区或为负值的无效动作，在[0,1]间生成一个随机数p，若p≤P
r
，则在可选动作中随机选取一动作作为当前时刻的动作a，否则，在可选动作中选取能取得最大价值函数值的动作作为当前时刻的动作a；(4)执行当前时刻的动作a，更新N
in
‑
plant
以得到下一时刻的状态s'，计算该动作所能获得的即时奖励r，将(s,a,r,s')存入经验池，令j＝j+1，若j≥J，则按照PER方法在经验池中抽取J个样本，结合样本更新智能体的价值函数Q(s,a)，其计算公式为：Q'(s,a)＝Q...

【专利技术属性】
技术研发人员：闻昕，谭乔凤，曾宇轩，王珍妮，吕俞锡，陈新宇，
申请(专利权)人：河海大学，
类型：发明
国别省市：