一种基于深度强化学习的混合能源系统多目标调度优化方法技术方案

本发明专利技术属于电力系统自动化技术领域，具体为一种基于深度强化学习的混合能源系统多目标调度优化方法，步骤1：建立电热综合能源系统模型；步骤2：建立电气综合能源系统模型；步骤3：建立电热气综合能源系统的优化模型，其结构合理，以供热网络

【技术实现步骤摘要】
一种基于深度强化学习的混合能源系统多目标调度优化方法


[0001]本专利技术涉及电力系统自动化
，具体为一种基于深度强化学习的混合能源系统多目标调度优化方法
。

技术介绍

[0002]随着化石燃料的日益紧缺，能源成为了
21
世纪以来全球社会生产最不可或缺的物质要素之一，推动着人类发展进
‑
步前行
。
在中国，庞大的人口基数带来的是能源需求急速增长
。
最直观的是传统能源，例如煤炭
、
天然气
、
石油等不可再生资源的使用量得到空前地开发利用
。
因此，发展风能
、
光伏
、
水能等清洁的可再生能源成为了现代能源发展的主要趋势，也成为了许多国家未来能源发展的最重要的战略之一
。
[0003]近年来，能源枢纽的概念被提出，能源枢纽通过不同的能源载体实现各种能源
(
例如，天然气，电力
)
的转换，以实现对能源更有效地利用
。
由于能源枢纽和智能电网的集成，形成了智能多能源系统
。
同时，产销者这个角色的出现，自然导致了本地能源市场的出现，除了零售能源市场以外，还为产销者提供了额外的能源交易选择
。
因此，多能源调度策略的设计对于提高多能源系统中的能源利用率至关重要
。
[0004]现有技术中，申请号为
CN202010757411.0
一种基于深度强化学习的多能源系统能量调度方法，所记载的技术方案中，包括以下步骤：步骤
1、
每个交易开始前，产销者根据当前交易周期的零售能源市场的能源价格
、
自身能源需求
、
能源存储以及本地能源市场的历史交易平均价格，选择有效交易动作；步骤
2、
产销者根据有效交易动作，得到在零售能源市场和本地能源市场的实际交易量；步骤
3、
产销者根据实际交易量，计算当前交易周期的收益或者开销；步骤
4、
产销者根据经验，更新交易策略，进入下一个交易周期；步骤
5、
重复上述步骤，直到得到稳定的交易策略
。
该方案可实现能源之间的有效转换，提高能源利用率，增加产销者的长期效益；
[0005]申请号为
CN202210662643.7
，申请名称为基于深度强化学习的微电网能源系统的多目标安全优化方法，所记载的技术方案中，包括步骤1：建立多目标优化模型；步骤2：将多目标优化模型分解成一组标量子问题，通过粒子群优化算法基于边界交叉法的替换策略在其子种群中进行优化；步骤3：运用强化学习中深度确定性策略梯度算法对
PBI
中惩罚因子进行训练，将子问题周围解的浓度定义为状态，将惩罚因子
θ
值的变化定义为动作，再将状态经不同动作策略下得出的状态和反馈组成经验元组并形成深度强化学习中
DDPG
算法学习所需的经验池；步骤4：通过强化学习训练出神经网络中的相关权重，从而得出最优的惩罚因子，提高
PBI
算法的聚合效率，通过
PSO
算法优化子种群推动解逼近真实的帕累托前沿
。
[0006]近些年，我国持续推进能源革命与转型，具有可再生
、
清洁无污染等特点的可再生能源得到了迅速发展与广泛应用
。
虽然以风电和光伏为代表的可再生能源能够有效地促进“碳达峰
、
碳中和”的进程，但是可再生能源发电的随机性与波动性的特性降低了电力系统的安全稳定裕度，制约了电网的灵活调度，进而影响了可再生能源的消纳能力
。
基于上述问题，我们提出一种基于深度强化学习的混合能源系统多目标调度优化方法
。

技术实现思路

[0007]本部分的目的在于概述本专利技术的实施方式的一些方面以及简要介绍一些较佳实施方式
。
在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分
、
说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围
。
[0008]鉴于现有技术中存在的问题，提出了本专利技术
。
[0009]因此，本专利技术的目的是提供一种基于深度强化学习的混合能源系统多目标调度优化方法，以供热网络
、
供气网络充当电网的储能从而保障大规模风电平滑接入电网，提高系统对可再生能源的消纳能力，保证电网运行的稳定性与经济性
。
[0010]为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了如下技术方案：
[0011]一种基于深度强化学习的混合能源系统多目标调度优化方法，其包括如下步骤：
[0012]步骤1：建立电热综合能源系统模型；
[0013]步骤2：建立电气综合能源系统模型；
[0014]步骤3：建立电热气综合能源系统的优化模型
。
[0015]作为本专利技术所述的一种基于深度强化学习的混合能源系统多目标调度优化方法的一种优选方案，其中：所述步骤1中，电热综合能源系统的结构由五部分组成，风机
(Wind Turbine,WT)、
热泵
(Heat Pump,HP)、
热电联产
(Combined Heat and Power Plant,CHP)、
用户端和上级电网
。
[0016]作为本专利技术所述的一种基于深度强化学习的混合能源系统多目标调度优化方法的一种优选方案，其中：风机
(Wind Turbine,WT)、
热泵
(Heat Pump,HP)、
热电联产
(Combined Heat and Power Plant,CHP)、
用户端和上级电网由两个网络连接：电力子网和热力子网，在混合能源系统运行模式下，系统运营商可以根据电价向上级电网购电或售电，电力子网用于满足用户的用电需求，而热子网用于满足用户的热需求；热电联产可以同时产生热能和电能，可同时作为热网和电网的能量来源；风机“直接”连接到电力系统，并通过热泵“间接”连接到热力系统；通过将多余的风能转换成热能，部分供热需求也可以由热泵提供，最后，热源，即热电联产和热泵，连接到分布式热网，用于将产生的热量从热源传输到用户
。
[0017]作为本专利技术所述的一种基于深度强化学习的混合能源系统多目标调度优化方法的一种优选方案，其中：所述步骤2中，电气综合能源系统主要包括天然气管网，天然气管网主要由天然气源
、
管道
、
加压站
、
储气设备和天然气负荷组成；管道负责连接各节点，加压站用于补充能量输送过程中的压力损失，根据能量在多个周期内的动态变化，在模型中加入储气设备
。...

【技术保护点】

【技术特征摘要】
1.
一种基于深度强化学习的混合能源系统多目标调度优化方法，其特征在于：包括如下步骤：步骤1：建立电热综合能源系统模型；步骤2：建立电气综合能源系统模型；步骤3：建立电热气综合能源系统的优化模型
。2.
根据权利要求1所述的一种基于深度强化学习的混合能源系统多目标调度优化方法，其特征在于：所述步骤1中，电热综合能源系统的结构由五部分组成，风机
(Wind Turbine,WT)、
热泵
(Heat Pump,HP)、
热电联产
(Combined Heat and Power Plant,CHP)、
用户端和上级电网
。3.
根据权利要求2所述的一种基于深度强化学习的混合能源系统多目标调度优化方法，其特征在于：风机
(wind turbine,WT)、
热泵
(Heat Pump,HP)、
热电联产
(Combined Heat and Power Plant,CHP)、
用户端和上级电网由两个网络连接：电力子网和热力子网，在混合能源系统运行模式下，系统运营商可以根据电价向上级电网购电或售电，电力子网用于满足用户的用电需求，而热子网用于满足用户的热需求；热电联产可以同时产生热能和电能，可同时作为热网和电网的能量来源；风机“直接”连接到电力系统，并通过热泵“间接”连接到热力系统；通过将多余的风能转换成热能，部分供热需求也可以由热泵提供，最后，热源，即热电联产和热泵，连接到分布式热网，用于将产生的热量从热源传输到用户
。4.
根据权利要求1所述的一种基于深度强化学习的混合能源系统多目标调度优化方法，其特征在于：所述步骤2中，电气综合能源系统主要包括天然气管网，天然气管网主要由天然气源
、
管道
、
加压站
、
储气设备和天然气负荷组成；管道负责连接各节点，加压站用于补充能量输送过程中的压力损失，根据能量在多个周期内的动态变化，在模型中加入储气设备
。5.
根据权利要求4所述的一种基于深度强化学习的混合能源系统多目标调度优化方法，其特征在于：在...

【专利技术属性】
技术研发人员：田雨森，
申请(专利权)人：华电宁夏能源有限公司，
类型：发明
国别省市：