基于深度强化学习的电-热耦合新能源系统能量管理方法技术方案

本发明专利技术公开的基于深度强化学习的电

【技术实现步骤摘要】
基于深度强化学习的电
‑
热耦合新能源系统能量管理方法


[0001]本专利技术属于能源系统优化控制方法
，具体涉及一种基于深度强化学习的电
‑
热耦合新能源系统能量管理方法。

技术介绍

[0002]近年来，能源需求大幅增长与环境问题日益严峻，加快发展以风光为代表的可再生能源，促进能源转型是当今各国关心的问题。具有强不确定性的可再生能源大规模并网给传统电力系统优化运行带来巨大挑战。电
‑
热耦合系统(Electronic
‑
Heat combined system)实现能量互补利用，以其灵活供能特点，为进一步提高可再生能源利用率提供了有效途径。
[0003]目前，工业界普遍采用传统数学规划算法和启发式算法。前者依赖对日前新能源出力以及负荷等数据预测的准确性，多用于日前优化调度问题，后者虽具有良好的全局搜索能力，但受限于计算速度，多用于对计算速度要求不高系统。
[0004]另一类基于人工智能的学习驱动算法，强化学习(Reinforcement Learni ng,RL)/深度强化学习(Deep Reinforcement Learning,DRL)通过与环境不断交互试错，训练智能体在复杂情况中寻找出最优策略。同时，训练好的智能体不需要依赖预测信息。目前在学术界，采用RL求解电
‑
热耦合新能源系统经济调度问题是一个热门方向。

技术实现思路

[0005]本专利技术的目的在于提供一种基于深度强化学习的电r/>‑
热耦合新能源系统能量管理方法，可以提高可再生能源的利用率。
[0006]本专利技术所采用的技术方案是：基于深度强化学习的电
‑
热耦合新能源系统能量管理方法，包括以下步骤：
[0007]步骤1、建立针对电
‑
热耦合新能源系统的优化运行模型目标函数和响应约束条件；
[0008]步骤2、将步骤1所建立模型表述为马尔可夫决策过程，再将其定义为深度强化学习框架下的环境，并设计相应奖励函数机制；
[0009]步骤3、使用基于改进的多线程PPO算法，以最大化累计奖励为期望，得到最优能量管理策略。
[0010]本专利技术的特点还在于，
[0011]步骤1中建立的优化运行模型目标为电
‑
热耦合新能源系统调度周期的最小化运行成本，目标函数表示为：
[0012]F＝min(f1+f2)
ꢀꢀꢀꢀ
(1)
[0013]式(1)中，F为系统优化运行目标，f1表示系统在一个调度日内的运行成本，表示为：
[0014]f1＝C
g
+C
chp
ꢀꢀꢀ
(2)
[0015]式(2)中，C
g
为火电机组运行成本，C
chp
为热电联产机组运行成本；
[0016][0017]式(3)中，表示t时刻火电机组运行成本，P
tg
表示t时刻火电机组出力，α
g
,β
g
,γ
g
为火电机组能耗系数；
[0018][0019]式(4)中，表示t时刻热电联产机组运行成本，P
tchp
表示t时刻热电联产机组所发有功功率，表示热电联产机组t时刻热出力，a0,a1,a2,a3,a4,a5,a6为热电联产机组能耗系数；
[0020]式(1)中，f2表示惩罚函数项，表示为：
[0021]f2＝λd
p
+γd
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0022]式(5)中，λd
p
为电网惩罚，d
p
在数值上等于弃风功率或切电负荷；γd
h
为热网惩罚，d
h
在数值上等于所弃热负荷的平方。
[0023]步骤1中的响应约束条件包括：
[0024]火电机组出力约束P
tg
，表示为：
[0025][0026]式(6)中，和分别为火电机组出力的最大最小值；
[0027]火电机组爬坡约束R
g
，表示为：
[0028][0029]式(7)中，和分别为火电机组的上爬坡和下爬坡速率；
[0030]热电联产机组有功出力约束P
tchp
，表示为：
[0031][0032]式(8)中，和表示热电联产机组有功出力最大最小值；
[0033]热电联产机组产热约束表示为：
[0034][0035]式(9)中，表示热电联产机组产热最大值；
[0036]抽水蓄能电站抽水功率约束P
th.p
，表示为：
[0037][0038]式(10)中，和表示抽水蓄能电站抽水最大和最小功率；
[0039]抽水蓄能电站发电功率约束P
th.g
，表示为：
[0040][0041]式(11)中，和表示抽水蓄能电站发电最大和最小功率；
[0042]抽水蓄能电站上游水库库容约束V
u
，表示为：
[0043][0044]式(12)中，和表示上游水库的可用于发电的库容最大值和最小值；
[0045]抽水蓄能电站下游水库库容约束V
d
，表示为：
[0046][0047]式(13)中，和表示下游水库的可用于抽水的库容最大值和最小值；
[0048]抽水蓄能电站上下水库状态转移约束表示为：
[0049][0050][0051]式(14)中，V
tu
,V
td
表示t时刻上下水库水量，X
h
∈{0,1}表示发电状态；式(15)中，Y
h
∈{0,1}表示抽水状态，X
h
+Y
h
＝1；Δt为一个调度时段，η
g
和η
p
为抽水蓄能电站发电与抽水效率因数；
[0052]风电机组出力约束P
tw
，表示为：
[0053][0054]式(16)中，和表示风电机组出力的最大值和最小值；
[0055]储热装置供热状态约束和充热状态约束表示为：
[0056][0057][0058]式(17)中，表示储热罐充热功率最大值，表示储热罐供热功率最大值；式(18)表示储热罐承担剩余热负荷时供热时状态变量；
[0059]储热罐状态转移约束表示为：
[0060][0061]式(19)中，表示储热罐在t时刻的供热情况，大于零表示向热负荷供热，小于零表示吸收热电联产机组多余的热量；
[0062]储热罐出力约束表示为：
[0063][0064]式(20)中，和表示储热罐供热/蓄热的最大值和最小值。
[0065]步骤2具体包括：定义步骤1所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的电
‑
热耦合新能源系统能量管理方法，其特征在于，包括以下步骤：步骤1、建立针对电
‑
热耦合新能源系统的优化运行模型目标函数和响应约束条件；步骤2、将步骤1所建立模型表述为马尔可夫决策过程，再将其定义为深度强化学习框架下的环境，并设计相应奖励函数机制；步骤3、使用基于改进的多线程PPO算法，以最大化累计奖励为期望，得到最优能量管理策略。2.如权利要求1所述的基于深度强化学习的电
‑
热耦合新能源系统能量管理方法，其特征在于，所述步骤1中建立的优化运行模型目标为电
‑
热耦合新能源系统调度周期的最小化运行成本，目标函数表示为：F＝min(f1+f2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式(1)中，F为系统优化运行目标，f1表示系统在一个调度日内的运行成本，表示为：f1＝C
g
+C
chp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式(2)中，C
g
为火电机组运行成本，C
chp
为热电联产机组运行成本；式(3)中，表示t时刻火电机组运行成本，P
tg
表示t时刻火电机组出力，α
g
,β
g
,γ
g
为火电机组能耗系数；式(4)中，表示t时刻热电联产机组运行成本，P
tchp
表示t时刻热电联产机组所发有功功率，表示热电联产机组t时刻热出力，a0,a1,a2,a3,a4,a5,a6为热电联产机组能耗系数；式(1)中，f2表示惩罚函数项，表示为：f2＝λd
p
+γd
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)式(5)中，λd
p
为电网惩罚，d
p
在数值上等于弃风功率或切电负荷；γd
h
为热网惩罚，d
h
在数值上等于所弃热负荷的平方。3.如权利要求1所述的基于深度强化学习的电
‑
热耦合新能源系统能量管理方法，其特征在于，所述步骤1中的响应约束条件包括：火电机组出力约束P
tg
，表示为：式(6)中，和分别为火电机组出力的最大最小值；火电机组爬坡约束R
g
，表示为：式(7)中，和分别为火电机组的上爬坡和下爬坡速率；热电联产机组有功出力约束P
tchp
，表示为：式(8)中，和表示热电联产机组有功出力最大最小值；热电联产机组产热约束表示为：
式(9)中，表示热电联产机组产热最大值；抽水蓄能电站抽水功率约束P
th.p
，表示为：式(10)中，和表示抽水蓄能电站抽水最大和最小功率；抽水蓄能电站发电功率约束P
th.g
，表示为：式(11)中，和表示抽水蓄能电站发电最大和最小功率；抽水蓄能电站上游水库库容约束V
u
，表示为：式(12)中，和表示上游水库的可用于发电的库容最大值和最小值；抽水蓄能电站下游水库库容约束V
d
，表示为：式(13)中，和表示下游水库的可用于抽水的库容最大值和最小值；抽水蓄能电站上下水库状态转移约束表示为：表示为：式(14)中，V
tu
,V
td
表示t时刻上下水库水量，X
h
∈{0,1}表示发电状态；式(15)中，Y
h
∈{0,1}表示抽水状态，X
h
+Y
h
＝1；Δt为一个调度时段，η
g
和η
p
为抽水蓄能电站发电与抽水效率因数；风电机组出力约束P
tw
，表示为：式(16)中，和表示风电机组出力的最大值和最小值；储热装置供热状态约束和充热状态约束表示为：表示为：式(17)中，表示...

【专利技术属性】
技术研发人员：毋格一，杨远超，安雯静，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：