基于深度强化学习的多园区能源调度方法和系统技术方案

基于深度强化学习的多园区能源调度方法，包括：S1：构建分布式园区综合能源系统模型；S2：用基于多智能体的深度强化学习算法解决综合能源系统的动态调度问题，搭建分布式园区综合能源系统的多智能体深度强化学习框架；S3：以实时奖励函数代替目标函数，利用各园区内的智能体与环境互动，寻找分布式园区综合能源系统最优调度策略；S4：将测试集数据用于训练后的智能体进行调度决策，并将其获得的目标成本与经由线性化处理后的综合能源系统模型通过求解器获得的目标成本进行比较，证明算法的有效性。本发明专利技术还包括基于深度强化学习的多园区能源调度系统。本发明专利技术在促进各园区内的光伏消纳的同时，提高了综合能源系统经济运行的有效性。性。性。

【技术实现步骤摘要】
基于深度强化学习的多园区能源调度方法和系统


[0001]本专利技术涉及一种基于多智能体深度强化学习的多能源协调互补优化调度办法。

技术介绍

[0002]随着环境压力的增加和可再生能源技术的发展，以化石能源为主的传统电力系统正逐渐被化石能源与可再生能源协调使用的综合能源系统(Integrated EnergySystem,IES)所替代。而综合能源系统内的多种类能源在提升系统灵活性、供能多样性的同时，也为系统提高整体的能源利用率，实现经济运行带来困难。因此研究综合能源系统内的多能协调优化调度策略对于促进可再生能源消纳，提高系统经济性具有重要意义。
[0003]对综合能源系统的研究主要集中在日前的调度，依赖于对可再生能源出力、负荷需求等数据的预测，受限于固定的调度计划，不能动态地对源和荷的随机变化做出响应。为解决上述问题，近年来随着人工智能技术的发展，强化学习(reinforcementlearning，RL)算法受到越来越多的青睐。已有研究将强化学习用于电力能源系统的经济调度和能量管理中，但是传统的强化学习算法，在面对综合能源系统的复杂环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的多园区能源调度方法，其特征在于，包括以下步骤：S1：构建分布式园区综合能源系统模型，提出一种以最优经济运行为目标的分布式园区综合能源系统优化调度架构，并对各园区之间的能源交互进行设计，分为多园区共享层和单园区消纳层；S2：在所提架构的基础上，用基于多智能体的深度强化学习算法解决综合能源系统的动态调度问题，搭建分布式园区综合能源系统的多智能体深度强化学习框架；S3：以实时奖励函数代替目标函数，利用各园区内的智能体与环境互动，寻找分布式园区综合能源系统最优调度策略，避免传统能源调度方式中无法实时响应源和荷随机变动的问题；S4：将测试集数据用于训练后的智能体进行调度决策，并将其获得的目标成本与经由线性化处理后的综合能源系统模型通过求解器获得的目标成本进行比较，证明算法的有效性。2.如权利要求1所述的基于深度强化学习的多园区能源调度方法，其特征在于，步骤S1所述的构建的分布式园区综合能源系统模型，具体包括：分布式园区综合能源系统模型的具体架构，分为多园区共享层和单园区消纳层；S1
‑
1：在多园区共享层中，不同的多能源园区之间可进行信息交流，并通过能源母线进行园区间的能源协调互补；园区间进行能源交互时，能源富余的园区优先考虑将多余的能源供给其他园区，若在供给结束后仍有余能，则考虑将余能卖给外部能源供应商；能源不足的园区优先考虑园区间的内部能源消纳，若园区间的内部供能仍无法满足用能需求，则考虑向外部能源供应商购能；因各园区进行能源交互时，热能传递损耗率大、成本高；所述的园区间能源交互仍以电能交互为主，热能用于满足各园区内的能源消耗；S1
‑
2：单个多能源园区平稳运行所需要的能源由其他园区、上级电网、天然气源共同提供；园区内包含电、热两种类型的负荷和燃气轮机、燃气锅炉、光伏、电锅炉和储能电池等设备；各单元按照能量传输介质用电、热两条能量总线连接，忽略线路损耗；S1
‑
3：多能源园区优化调度的目标是最小化园区运行成本，包括从上级电网购买的电力成本以及从燃气供应商处购买的天然气成本；目标成本的函数表达式为：C
min
＝C
e
+C
f
ꢀꢀꢀꢀꢀꢀꢀ
(1)式中，C
min
为最小运行成本；C
e
为向电网购售电的成本；C
f
为向燃气供应商购买天然气的成本；购电成本由下式定义：式中，T为系统调度的总时间段数；Δt为时隙长度；为时间t内的园区向电网的购/售电价格；p
grid
(t)为时间t内园区与电网的交互功率，为正表示向电网购电，为负表示向电网售电；园区购入天然气的成本为：式中，ε
gas
(t)为时间t内的天然气单位热值价格；γ(t)为天然气消耗速率；S1
‑
4：单园区优化调度的约束包括功率平衡约束、电网交互功率约束和设备运行约束；
(1)功率平衡约束多能源园区内包含多种能源类型，但其主要考虑的功率平衡约束为电功率平衡约束、热功率平衡约束两类，具体如下：式中：p
op
(t)为时间t内的其他园区功能，为正时表示接受其他园区能量，为负时表示将能量供给其他园区；p
pv
(t)为时间t内的光伏设备输出功率；p
gt
(t)为时间t内的燃气轮机输出功率；p
eb
(t)为时间t内的电锅炉需求功率；p
bes
(t)为时间t内储能电池的充放电功率，为正时表示储能电池的放电功率，为负时表示储能电池的充电功率；h
eb
(t)为时间t内的电锅炉输出热功率；h
gt
(t)为时间t内的燃气轮机回收热功率；h
bt
(t)为时间t内的燃气锅炉输出功率；p
load
(t)、h
load
(t)分别为时间t内的需求侧电、热负荷；(2)电网交互功率约束考虑到电网侧的稳定运行，上级电网对多能源园区的功率交互有上下限约束要求：式中，分别为微能源网系统和主电网交互功率的上下限；(3)设备运行约束多能源园区中各设备均有设备运行上、下限约束，对于燃气锅炉、燃气轮机、电锅炉输出功率、储能电池充电/放电功率有：出功率、储能电池充电/放电功率有：出功率、储能电池充电/放电功率有：出功率、储能电池充电/放电功率有：式中，分别为燃气锅炉、燃气轮机、电锅炉输出功率、储能电池充电/放电功率的下限；分别为燃气锅炉、燃气轮机、电锅炉输出功率、储能电池充电/放电功率的上限；对于储能电池，还需避免深度充放电对储能的损害，因此储能电池的荷电状态需要被限定在一定范围内：式中，分别为储能电池荷电状态的上、下限；E
soc
(t)为时间t内的储能电池荷电状态；其中E
soc
(t)的表达式如下：式中Q
bes
为储能电池的容量；η
bes
为储能电池充/放电系数，如式(10)所示：
为储能电池出现过充电或过放电时的惩罚，其数值大小同样设置为M；d2惩罚项体现的是储能电池在一个调度周期初末需要保持容量相等的约束，但深度Q网络所能设定的动作空间内只有离散动作，且储能电池在进行充放电动作时受充电/放电效率影响，所以在一个调度周期初末储能电池容量无法达到完全相等；因此定义惩罚...

【专利技术属性】
技术研发人员：张帆，徐汶，伊比益，毛毳，陈玉萍，武东昊，兰哲雄，苏昊成，张有兵，王力成，冯昌森，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：