一种用于综合能源系统群能源管理的可解释强化学习方法技术方案

本发明专利技术提供一种用于综合能源系统群能源管理的可解释强化学习方法，包括：构建综合能源系统群体能源管理模型；对所述综合能源系统群体能源管理模型进行多主体马尔可夫博弈建模；采用多智能体双延迟深度确定性策略梯度算法对建模后的模型进行求解；采用多个沙普利值加性解释算法对求解的能源管理结果进行解释

【技术实现步骤摘要】
一种用于综合能源系统群能源管理的可解释强化学习方法


[0001]本专利技术涉及人工智能
，尤其涉及一种用于综合能源系统群能源管理的可解释强化学习方法
。

技术介绍

[0002]可再生能源
、
电动汽车
、
电力需求响应和能源储存系统的应用和利用导致综合能源系统的容量和规模不断扩大，运行中的不确定性和复杂性问题日益突出
。
综合能源系统在分析和控制方面需要高度的安全性和透明度
。
因此，有必要探索新的技术来帮助解决这些挑战
。
[0003]深度强化学习已经证明是处理这种复杂性和不确定性的有效工具，能够提供高效
、
一致和准确的决策支持
。
然而，它的一个主要挑战是它通常被视为一个“黑箱”，这意味着人们很难理解模型是如何做出其决策的
。
在能源领域，这是一个特别重要的问题，因为人类调度员需要根据运行政策和法规做出决策，这要求
AI
模型不仅要能做出正确的决策，还要能解释为什么这样做
。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于综合能源系统群能源管理的深度强化学习解释方法，其特征在于，包括：构建综合能源系统群体能源管理模型；对所述综合能源系统群体能源管理模型进行多主体马尔可夫博弈建模；采用多智能体双延迟深度确定性策略梯度算法对建模后的模型进行求解；采用多个沙普利值加性解释算法对求解的能源管理结果进行解释
。2.
根据权利要求1所述的用于综合能源系统群能源管理的深度强化学习解释方法，其特征在于，所述构建综合能源系统群体能源管理模型，包括：根据电力购买成本
、
天然气购买成本以及电力交易成本确定目标函数；根据购买的电力
、
热电联产机组的电功率
、
电池储能的电功率
、
电锅炉的电功率
、
热电联产机组的热功率
、
燃气锅炉的热功率以及电锅炉的热功率确定电热功率平衡约束；根据热电联产机组的电功率
、
燃气锅炉的热功率
、
电锅炉的热功率以及电池储能的电功率确定能源转换设备输出约束；根据电交互功率以及天然气购买量确定外部能源供应商交互功率约束；根据电池储能的电功率以及电池储能的容量确定电储能设备充放电约束；根据市场园区购买的电力以及市场园区出售的电力确定市场电力交易平衡约束
。3.
根据权利要求2所述的用于综合能源系统群能源管理的深度强化学习解释方法，其特征在于，所述根据电力购买成本
、
天然气购买成本以及电力交易成本确定目标函数，包括：以各综合能源系统中园区自身利益最大化为目标确定成本最小的目标函数：式中，代表了园区
i
从能源供应商处购买电力的成本，代表了园区
i
从能源供应商处购买天然气的成本，代表了园区
i
与市场内部其他园区的电力交易成本；所述根据购买的电力
、
热电联产机组的电功率
、
电池储能的电功率
、
电锅炉的电功率
、
热电联产机组的热功率
、
燃气锅炉的热功率以及电锅炉的热功率确定电热功率平衡约束，包括：确定园区
i
在
t
时刻的电力平衡约束：式中，为电负荷需求；为园区
i
与从电力供应商处买的电力，为园区
i
通过市场从内部其他园区购买的电力，为热电联产机组输出的电功率，为电池储能的充
/
放电功率，为电锅炉消耗的电功率；确定园区
i
在
t
时刻的热力平衡约束：式中，为园区
i
的热负荷需求，为热电联产机组输出的热功率，为燃气锅炉输出的热功率，为电锅炉输出的热功率；
所述根据热电联产机组的电功率
、
燃气锅炉的热功率
、
电锅炉的热功率以及电池储能的电功率确定能源转换设备输出约束；其中，所述能源转换设备输出约束包括热电联产机组电热功率约束
、
燃气锅炉热功率约束
、
电锅炉热功率约束和电池储能充放电功率约束：式中，和分别代表园区
i
最大和最小的热电联产机组电功率，和分别代表园区
i
最大和最小的燃气锅炉热功率，和分别代表园区
i
最大和最小的电锅炉热功率，和分别代表园区
i
最大和最小的电池储能电功率；所述根据电交互功率以及天然气购买量确定外部能源供应商交互功率约束，包括：所述根据电交互功率以及天然气购买量确定外部能源供应商交互功率约束，包括：式中，
P
i,grid
(t)
为
t
时刻园区
i
与能源供应商的电交互功率，为允许交互的电功率最大值，
M
i,NG
(t)
为
t
时刻园区
i
的天然气购买量，为天然气购买量的最大值；所述根据电池储能的电功率以及电池储能的容量确定电储能设备充放电约束，包括：式中，
c
soc,min
和
c
soc,max
分别为
SOC
的最小值和最大值，为：
η
BES
为电池储能的充
/
放电系数，式中，
η
ch
和
η
dis
分别为电池储能的充放电效率，为
t
时刻园区
i
的电池储能充放电功率，为
SOC
初始状态，
Δ
t
为时间尺度，
QBES
为电池储能的容量；所述根据市场园区购买的电力以及市场园区出售的电力确定市场电力交易平衡约束，包括：
式中，
N
sell
和
N
buy
代表市场卖电和买电的园区
。4.
根据权利要求1所述的用于综合能源系统群能源管理的深度强化学习解释方法，其特征在于，所述对所述综合能源系统群体能源管理模型进行多主体马尔可夫博弈建模，包括：定义智能体观测空间
O
i,t
：定...

【专利技术属性】
技术研发人员：赵云，王伟，邹雅珺，王彦博，窦嘉铭，王小君，刘曌，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：