基于进化MADDPG综合能源系统集群协同运行方法技术方案

本发明专利技术涉及综合能源以及深度强化学习领域，并更具体的涉及一种基于进化MADDPG综合能源系统集群协同运行方法，建立综合能源系统优化调度模型的目标函数，其次基于园区综合能源系统以各种约束构建优化模型，最后依据所建立的模型确定状态空间、动作空间和奖励函数，最后应用进化MADDPG方法的到最优调度策略。本发明专利技术采用基于进化MADDPG方法求解最优调度与能量储存方案，各系统可与集群内多个系统进行能源交互，使得运行成本最低，且满足各个系统的能量需求。能量需求。能量需求。

【技术实现步骤摘要】
基于进化MADDPG综合能源系统集群协同运行方法


[0001]本专利技术涉及综合能源以及深度强化学习领域，并更具体的涉及一种基于进化MADDPG综合能源系统集群协同运行方法。

技术介绍

[0002]随着社会生产力水平的不断提高，人们越来越意识到节能减排和经济社会可持续发展的重要性，因此，综合能源系统也逐渐引起全社会的重视。综合能源系统以冷/热/电/气等能源供应形式满足用户的多种能源需求，打破能源子系统之间的壁垒，在区域内、跨区域间实现多种能源互补和协同优化，并且促进了可再生能源消纳、优化能源结构以及提高能源综合利用效率。
[0003]氢目前虽然主要是作为重要的工业原料，但在能源转型过程中，氢更重要的是作为一种清洁能源和良好的能源载体，具有清洁高效、可储能、可运输、应用场景丰富等特点。
[0004]随着高比例新能源发电的渗透，使得综合能源系统的规模不断扩大，与此同时园区间的调度也变得复杂，在应对于此类复杂的情景下，应用传统的调度模式不能有效快速的进行决策，传统的调度模式无法有效应对此类大规模系统的调度需求。多智能体系统是由一系列相互作用的智能体构成，内部的各个智能体之间通过相互通信、合作、竞争等方式，完成单个智能体不能完成的，大量而又复杂的工作。利用多智能体深度学习的方式进行调度优化，不仅能降低算力的要求与误差，也能让调度更加的灵活，快速。

技术实现思路

[0005]本专利技术针对以上要求以及技术上存在的缺陷，提出一种基于进化MADDPG综合能源系统集群协同优化方法，建立综合能源系统优化调度模型，然后定义进化MADDPG的状态空间、动作空间、奖励函数，将t时刻各系统的运行状态数据输入到状态空间中开始训练，得到最优调度模型，以实现综合能源系统集群的协同优化调度。
[0006]为了实现本专利技术的目的，所采用的技术方案是：基于进化MADDPG综合能源系统集群协同运行方法，包括如下步骤：S1、根据园区综合能源系统，建立综合能源系统优化调度模型的目标函数；S2、基于园区综合能源系统，以系统功率平衡约束、热力负荷平衡约束、天然气网约束、蓄电池约束、储氢系统约束、储热站约束、储气站约束、燃气锅炉约束、电热泵约束和CHP约束为约束条件继续建立综合能源系统优化调度模型；S3、根据所建立的综合能源系统优化调度模型设计状态空间、工作空间和奖励函数；S4、应用进化MADDPG方法求解最优的综合能源系统优化调度模型。
[0007]作为本专利技术的优化方案，在步骤S1中，建立综合能源系统优化调度模型的目标函数为：式中：t代表时刻，i代表系统编号，F(t)为综合能源系统集群于t时刻的运行总成
本；其中：为系统i在t时刻的电能交易成本，式中：为t时刻电能的电价，为系统i在t时刻在集群内的购电功率，为系统i在t时刻在集群内的售电功率，为系统i在t时刻向市场的购电功率；为系统i在t时刻的天然气交易成本，式中：为系统i在集群内交易天然气的价格，系统i在集群内所购天然气体积，为系统i在集群内所售天然气体积，为系统于集群外部购得天然气的单位体积价格，为系统i在t时刻向市场购买天然气体积；F
H
(i,t)为系统i在t时刻储氢系统的充放电折旧成本，式中：为储氢系统的折旧率，为系统i在t时刻储氢系统的电解功率，为系统i在t时刻储氢系统的放电功率；为系统i在t时刻蓄电池充放电折旧成本，式中：为蓄电池折旧率，为系统i在t时刻蓄电池充放电功率；为系统i在t时刻的制氢收益，式中：为系统i在t时刻HCNG中的氢气的占比，为系统i中CHP装置在t时刻HCNG的输入体积，为系统i中CHP装置的燃烧单位体积的天然气所排放的二氧化碳量，为市场碳交易价格；为系统i在t时刻弃光电量的惩罚项，式中，为弃光惩罚因子，为系统i在t时刻的弃光功率。
[0008]作为本专利技术的优化方案，在步骤S2中，所建立的约束如下：1）系统功率平衡约束：
式中：为系统i在t时刻的发电功率，为系统i中的CHP装置t时刻的发电功率，为交易功率，为系统i在t时刻电负荷功率，为电热泵输入功率，为系统i在t时刻购买电量最小值，为系统i在t时刻购买电量最大值，为系统i在t时刻售卖电量最小值，为系统i在t时刻售卖电量最大值，为系统i在t时刻的弃光量；2）热力负荷平衡约束：2）热力负荷平衡约束：式中：为系统i在t时刻CHP装置产生的热功率，为系统i电热泵装置电转热效率；为系统i在t时刻燃气锅炉产生的热功率；为系统i在t时刻储热站充放热的热功率；为系统i在热能传输过程中的损失因子；为系统i在t时刻热负荷功率，为氢气的放热效率，为天然气的放热效率；3）天然气网约束：3）天然气网约束：3）天然气网约束：3）天然气网约束：3）天然气网约束：式中：为储气站充放气体积，为燃气锅炉输入气体，为系统i于t时刻购买天然气的最小值，为系统i于t时刻购买天然气的最大
值，为系统i在t时刻售卖天然气的最小值，为系统i在t时刻售卖天然气的最大值；4）蓄电池约束：4）蓄电池约束：4）蓄电池约束：式中：S(i,t)为蓄电池t时刻容量，S(i,t
‑
1)为蓄电池t
‑
1时刻容量，为蓄电池充放电效率，为蓄电池最小容量，为蓄电池最大容量，为蓄电池t时刻最小充放电功率，为蓄电池t时刻最大充放电功率；5）储氢系统约束：5）储氢系统约束：式中：V
H (i,t)为系统i在t时刻储氢系统的氢气体积，V
H (i,t
‑
1) 为系统i在t
‑
1时刻储氢系统的氢气体积，为储氢系统的充放电效率，为由储氢系统流入CHP装置的氢气体积，和为t时刻电解功率的下限和上限，为t时刻最小放电功率，为t时刻最大放电功率；6）储热站约束：式中：H (i,t)为t时刻储热站能量，H (i,t
‑
1)为t
‑
1时刻储热站能量，为储热站的储能效率，为储热站的放热效率，为储热站最小储热容量，为储热站最大储热容量；7）储气站约束：
式中：V (i,t)为t时刻储气站内的天然气体积，V (i,t
‑
1)为t
‑
1时刻储气站内的天然气体积，为储气站的储能效率，为储气站的放能效率，为储气站最小容量，为储气站最大容量；8）燃气锅炉约束：式中：为燃气锅炉的放热效率，和分别为系统i燃气锅炉天然气输入量的下限和上限；9）电热泵约束：9）电热泵约束：式中：为t时刻电热泵的实际发热量，为系统i电热泵电转热效率，和分别为电热泵输入功率的下限和上限；10）CHP装置约束：10）CHP装置约束：10）CHP装置约束：式中：为系统i在t时刻CHP装置的发电功率，为单位体积氢气转电效率，为单位天然气转电效率，、为CHP装置的最小和最大放电功率，、为输入CHP装置的HCNG体积的上下限，、为CHP装置输出热能的上下限。
[0009]作为本专利技术的优化方案，在步骤S3中，设计状态空间、工作空间和奖励函数具体如下：
综合能源系统环境提供的信息为：光伏设备出力、电力负荷需求、热负荷需求、蓄电池容量、储氢系统氢本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于进化MADDPG综合能源系统集群协同运行方法，其特征在于：包括如下步骤：S1、根据园区综合能源系统，建立综合能源系统优化调度模型的目标函数；S2、基于园区综合能源系统，以系统功率平衡约束、热力负荷平衡约束、天然气网约束、蓄电池约束、储氢系统约束、储热站约束、储气站约束、燃气锅炉约束、电热泵约束和CHP约束为约束条件继续建立综合能源系统优化调度模型；S3、根据所建立的综合能源系统优化调度模型设计状态空间、工作空间和奖励函数；S4、应用进化MADDPG方法求解最优的综合能源系统优化调度模型。2.根据权利要求1所述的基于进化MADDPG综合能源系统集群协同运行方法，其特征在于：在步骤S1中，建立综合能源系统优化调度模型的目标函数为：式中：t代表时刻，i代表系统编号，F(t)为综合能源系统集群于t时刻的运行总成本；其中：为系统i在t时刻的电能交易成本，式中：为t时刻电能的电价，为系统i在t时刻在集群内的购电功率，为系统i在t时刻在集群内的售电功率，为系统i在t时刻向市场的购电功率；为系统i在t时刻的天然气交易成本，式中：为系统i在集群内交易天然气的价格，系统i在集群内所购天然气体积，为系统i在集群内所售天然气体积，为系统于集群外部购得天然气的单位体积价格，为系统i在t时刻向市场购买天然气体积；F
H
(i,t)为系统i在t时刻储氢系统的充放电折旧成本，式中：为储氢系统的折旧率，为系统i在t时刻储氢系统的电解功率，为系统i在t时刻储氢系统的放电功率；为系统i在t时刻蓄电池充放电折旧成本，式中：为蓄电池折旧率，为系统i在t时刻蓄电池充放电功率；为系统i在t时刻的制氢收益，式中：为系统i在t时刻HCNG中的氢气的占比，为系统i中CHP装置在t时刻HCNG的输入体积，为系统i中CHP装置的燃烧单位体积的天然气所排放的二氧化碳
量，为市场碳交易价格；为系统i在t时刻弃光电量的惩罚项，式中，为弃光惩罚因子，为系统i在t时刻的弃光功率。3.根据权利要求2所述的基于进化MADDPG综合能源系统集群协同运行方法，其特征在于：在步骤S2中，所建立的约束如下：1）系统功率平衡约束：1）系统功率平衡约束：1）系统功率平衡约束：1）系统功率平衡约束：1）系统功率平衡约束：式中：为系统i在t时刻的发电功率，为系统i中的CHP装置t时刻的发电功率，为交易功率，为系统i在t时刻电负荷功率，为电热泵输入功率，为系统i在t时刻购买电量最小值，为系统i在t时刻购买电量最大值，为系统i在t时刻售卖电量最小值，为系统i在t时刻售卖电量最大值，为系统i在t时刻的弃光量；2）热力负荷平衡约束：2）热力负荷平衡约束：式中：为系统i在t时刻CHP装置产生的热功率，为系统i电热泵装置电转热效率；为系统i在t时刻燃气锅炉产生的热功率；为系统i在t时刻储热站充放热的热功率；为系统i在热能传输过程中的损失因子；为系统i在t时刻热负荷功率，为氢气的放热效率，为天然气的放热效率；3）天然气网约束：3）天然气网约束：3）天然气网约束：3）天然气网约束：
式中：为储气站充放气体积，为燃气锅炉输入气体，为系统i于t时刻购买天然气的最小值，为系统i于t时刻购买天然气的最大值，为系统i在t时刻售卖天然气的最小值，为系统i在t时刻售卖天然气的最大值；4）蓄电池约束：4）蓄电池约束：4）蓄电池约束：式中：S(i,t)为蓄电池t时刻容量，S(i,t
‑
1)为蓄电池t
‑
1时刻容量，为蓄电池充放电效率，为蓄电池最小容量，为蓄电池最大容量，为蓄电池t时刻最小充放电功率，为蓄电池t时刻最大充放电功率；5）...

【专利技术属性】
技术研发人员：陈春，郭剑虹，曹志刚，祝进，丁志阳，
申请(专利权)人：南京瑞麟能源技术有限公司，
类型：发明
国别省市：