基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
基于Transformer改进深度强化学习的多目标多水库调度优化方法


[0001]本专利技术涉及水库调度优化领域，具体涉及一种基于
Transformer
改进的深度强化学习方法，实现了多水库调度的多目标优化
。

技术介绍

[0002]作为一种清洁
、
可再生并且不产生污染的能源，水电系统正在被不断开发以应对地球上传统能源日益紧俏的情况
。
并且随着社会的发展，水电站水库除了承担供电任务外，仍提供居民区供水
、
维持生态环境等各种作用
。
多个水库常常需要进行联合调度以实现水库的多目标调度需求
。
因此，如何协调水库调度过程中的多目标需求，提出协调多方利益的调度方案，是当前水库运行管理领域的重点研究对象
。
[0003]现有技术中，水库多目标调度优化的求解方法主要有两种：第一种是多目标进化算法，如
NSGA
‑
III、MOPSO
等，这些方法能够直接得到多目标优化模型的帕累托前沿以及一组帕累托最优解
。
并且这些方法拥有结果不稳定
、
不具有泛化性以及初始解的好坏对于结果影响较大等缺点
。
第二种是对目标函数进行赋权，将多目标的优化问题转化为单目标优化问题，采用线性规划
、
动态规划
、
遗传算法等单目标算法进行求解
。
这些方法一次运行只能够产生一组最优解，如果想要获得帕累托前沿的话需要花费大量的时间
。
[0004]本专利技术提出了一种
T
‑
DRL
求解多目标多水库调度优化的方法，将水库发电量最大
、
修正后的年比例流量偏差
(amended annual proportional flow deviation,AAPFD)
值最小以及居民区送水收益最大作为优化目标，建立多目标水库调度模型，采用
T
‑
DRL
方法求解该调度优化模型
。
该方法以平水年数据作为运行的实例，对每个水库每个月的发电流量和供水水流量进行优化，在保证各水库能够安全运行的前提下，提高发电量以及送水收益并降低
AAPFD
值
。

技术实现思路

[0005]专利技术目的：本专利技术提供一种基于
Transformer
改进的深度强化学习方法实现多目标多水库的调度优化，实现多水库发电最大
、AAPFD
值最小以及居民区送水收益最大的三个目标
。
[0006]技术方案：一种基于
Transformer
改进深度强化学习的多目标多水库调度优化方法，将水库发电量最大
、
修正后的年比例流量偏差值最小以及居民区送水收益最大作为优化目标，包括建立多目标水库调度模型，还包括对每个水库每个月的发电流量和供水水流量进行优化；
[0007]所述方法步骤如下：
[0008](1)
获取水库运行的基本数据，包括库容与水位的关系
、
月均水流出流量
、
最低最高水位线
、
每月水位线
、
水库月均流入流量，根据水库运行的基本数据建立考虑水库水位线
、
发电流量
、
居民区送水流量约束的多目标多水库优化调度模型；
[0009](2)
设计多目标多水库运行调度的约束条件，包括水平衡约束
、
水位线约束
、
发电量约束
、
供水量约束
、
初始状态约束以及水位线和储存量之间的非线性约束；
[0010](3)
求解多目标多水库优化调度模型，包括设置发电总量
、AAPFD
值和供水总收益的权重，并在该权重组合下将多目标优化问题分解为
M
个子问题，
M
个子问题采用邻居的参数迁移策略来进行合作计算，在训练的过程中，上一个子问题训练的网络参数将会作为下一个子问题的网络初始参数，据此完成对于水库的解码过程
、
编码过程和训练过程
。
[0011]进一步的，步骤
(1)
设计多目标多水库运行调度的年发电量
F
power
、AAPFD
值
F
AAPFD
和居民区供水收益
F
water
作为优化目标函数，具体如下：
[0012]根据获取的水库运行基本数据建立考虑水库水位线
、
发电流量
、
居民区送水流量约束的多目标多水库优化调度模型，目标函数主要包括调度期间的发电量最大的发电目标函数
、AAPFD
值最小的环境目标函数以及供水收益最大的供水目标函数，具体的目标函数为：
[0013]目标函数1：最大化总发电量
F
power
[0014][0015]式中，
F
power
为多水库的年总发电量，单位为
kwh
；
A
i
为第
i
个水库的出力系数；
Q
itp
为第
i
个水库在
t
时段的发电流量，单位为
m3/s
；
H
it
为第
i
个水库在
t
时段的发电水头，单位为
m
；
Δ
t
为
t
时段的调度时长
。
[0016]目标函数2：最小化总
AAPFD
值
F
AAPFD
[0017][0018]式中，
F
AAPFD
为多水库的
AAPFD
值；为第
i
个水库在
t
时段的最适宜流出流量，单位为
m3/s
，由历史的流出流量数据得到
。
[0019]目标函数3：最大化总供水收益
F
water
[0020][0021]式中，
F
water
为多水库向多居民区供水的总收益，单位为元；
b
jt
为在
t
时段向第
j
个居民区供水的单位收益，单位为元
/m3；为第
i
个水库在
t
时段对第
j
个居民区的供水流量，单位为
m3/s
；
c
ijt
为在
t
时段第
i
个水库向第
j
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Transformer
改进深度强化学习的多目标多水库调度优化方法，其特征在于：将水库发电量最大
、
修正后的年比例流量偏差值最小以及居民区送水收益最大作为优化目标，包括建立多目标水库调度模型，还包括对每个水库每个月的发电流量和供水水流量进行优化；所述方法步骤如下：
(1)
获取水库运行的基本数据，包括库容与水位的关系
、
月均水流出流量
、
最低最高水位线
、
每月水位线
、
水库月均流入流量，根据水库运行的基本数据建立考虑水库水位线
、
发电流量
、
居民区送水流量约束的多目标多水库优化调度模型；
(2)
设计多目标多水库运行调度的约束条件，包括水平衡约束
、
水位线约束
、
发电量约束
、
供水量约束
、
初始状态约束以及水位线和储存量之间的非线性约束；
(3)
求解多目标多水库优化调度模型，包括设置发电总量
、AAPFD
值和供水总收益的权重，并在该权重组合下将多目标优化问题分解为
M
个子问题，
M
个子问题采用邻居的参数迁移策略来进行合作计算，在训练的过程中，上一个子问题训练的网络参数将会作为下一个子问题的网络初始参数，据此完成对于水库的解码过程
、
编码过程和训练过程
。2.
根据权利要求1所述的基于
Transformer
改进深度强化学习的多目标多水库调度优化方法，其特征在于：步骤
(1)
包括如下三种目标函数的计算：
(11)
最大化总发电量
F
power
：式中，
F
power
为多水库的年总发电量，单位为
kwh
；
A
i
为第
i
个水库的出力系数；为第
i
个水库在
t
时段的发电流量，单位为
m3/s
；
H
it
为第
i
个水库在
t
时段的发电水头，单位为
m
；
Δ
t
为
t
时段的调度时长；
(12)
最小化总
AAPFD
值
F
AAPFD
：式中，
F
AAPFD
为多水库的
AAPFD
值；为第
i
个水库在
t
时段的最适宜流出流量，单位为
m3/s
，由历史的流出流量数据得到；
(13)
最大化总供水收益
F
water
：式中，
F
water
为多水库向多居民区供水的总收益，单位为元；
b
jt
为在
t
时段向第
j
个居民区供水的单位收益，单位为元
/m3；为第
i
个水库在
t
时段对第
j
个居民区的供水流量，单位为
m3/s
；
c
ijt
为在
t
时段第
i
个水库向第
j
个居民区供水的单位成本，单位为元
/m4；
l
ij
为第
i
个水库与第
j
个居民区之间的距离；
x
ijt
在
t
时段第
i
个水库是否向第
j
个居民区供水，其值取1表示进行供水，取0表示不进行供水
。3.
根据权利要求1所述的基于
Transformer
改进深度强化学习的多目标多水库调度优化方法，其特征在于：步骤
(2)
所述的多目标多水库运行调度的约束条件具体如下：
①
水平衡约束：式中，
V
it
为第
i
个水库在
t
时段的存储量，单位为
m3；为第
i
个水库在
t
时段的流入流量，单位为
m3/s
；
②
水位线约束：式中，为第
i
个水库在
t
时段最低水位线，单位为
m
；
L
it
为第
i
个水库在
t
时段的水位线，单位为
m
；为第
i
个水库在
t
时段最高水位线，单位为
m
；
③
发电量约束：式中，为第
i
个水库在
t
时段最小发电总量，单位为
kwh
；为第
i
个水库在
t
时段最大发电总量，单位为
kwh
；
④
供水量约束：式中，为第

【专利技术属性】
技术研发人员：王然，吴日新，郝洁，吴强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：