一种基于深度强化学习的多微网频率管理方法技术

本发明专利技术涉及一种基于深度强化学习的多微网频率管理方法，该方法包括步骤：1)以实体储能和虚拟储能构建多微网的共享储能聚合平台，并基于共享储能聚合平台构建一种含共享储能聚合平台的孤岛多微电网及其负荷频率控制模型；2)提出了一种考虑微网综合效益最优的AGC指令分配方法，综合效益兼顾微网运行成本和调频性能两种关键要素；3)提出了一种基于DDPG算法的AGC指令动态分配优化方法，构建了AGC指令动态分配方法的状态、动作和奖励函数。与现有技术相比，本发明专利技术通过聚合物理储能和虚拟储能实现共享储能的集中管理，并为多微网提供频率辅助服务，挖掘了微网需求侧的可调节能力，充分发挥了不同调频设备的优势调频性能，并能够提升微网运行的经济性，满足了多微网频率管理的自适应和实时性需求，同时也增强了应对微网源荷不确定性的能力。源荷不确定性的能力。源荷不确定性的能力。

【技术实现步骤摘要】
一种基于深度强化学习的多微网频率管理方法


[0001]本专利技术涉及一种基于深度强化学习的多微网频率管理方法，属于微网频率控制领域。

技术介绍

[0002]由于可再生能源的随机性以及规模化接入微电网，对微电网的频率稳定运行带来巨大的挑战。多微电网中频率和联络线功率控制是通过自动发电控制(Automatic Generation Control，AGC)实现的，它是维持频率稳定和微电网经济运行的重要措施之一。随着储能(Energy Storage，ES)成本的降低和用户侧电气化率的提升，更多类型的可调资源被用于响应多微电网的AGC指令。在电源侧方面，胡泽春、李艳君等学者提出了包括变桨矩角控制和转子速度控制在内的有功功率控制策略，将风力发电机纳入自动发电控制以提高频率调节性能。此外，Kashem M.Muttaqi等学者还提出了辅助控制策略，以使混合型ES与风力发电机合作共同协助频率管理。在ES方面，ES提供快速频率响应的价值已被越来越多的人接受。在何星瑭所提出的频率协调控制策略中，利用超级电容器和蓄电池组成的混合型ES具有的快速响应性能来提高频率稳定性。在一些能够独立运行的电力系统中，如美国PJM电网和中国南方电网，鼓励ES参与频率调节，并使ES根据实际调频性能和调频里程获得收益。在用户侧方面，柔性负荷，特别是变频空调、热水器、烘干机、冰箱、电动汽车等，是促进电力系统频率稳定运行的一个有前景的解决方案。惠红勋等学者研究了一种变频空调的电气模型，使其能够参与到频率调节服务中。徐岩等学者提出了一种分层控制框架，使变频空调通过负荷聚合参与一次频率调节。穆朝旭等学者对含有电动汽车集成的智能电网，提出了一种使用自适应动态规划算法和滑模控制算法的自适应控制策略，以验证电动汽车在改善频率调节方面的有效性。随着技术的发展和成本的降低，更多的可调资源被用来实现更好的频率管理。然而，合理优化和分配调节资源以提高频率调节性能，同时降低频率运行成本是需要解决的关键问题之一。此外，在AGC指令分配问题中必须满足实时性和自适应性，而深度强化学习(Deep Reinforcement Learning，DRL)由于其较强的自适应学习能力和对非凸非线性问题的最优决策能力而被广泛使用。席磊等学者对于具有多区域互联的大规模电力系统设计了一个DRL框架用于AGC控制，并对Q
‑
Learning算法进行了改进。徐岩等学者提出了一种基于深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法的多代理DRL通过协调多区域电力系统中的负荷频率控制来实现频率和联络线功率性能的改善。基于上述分析，DRL在频率调节方面具有明显的优势。然而，关于多微电网中频率调节的研究大多集中在频率和联络线功率的优化上，还需要进一步研究考虑频率调节里程和调节性能的经济优化方法。本专利技术即从上述分析出发，建立了一种基于深度强化学习的多微网频率管理方法。

技术实现思路

[0003]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度强化
学习的多微网频率管理方法。
[0004]一种基于深度强化学习的多微网频率管理方法，该方法包括以下步骤：
[0005]S1：以实体储能和虚拟储能构建多微网的共享储能聚合平台，并基于共享储能聚合平台构建一种含共享储能聚合平台的孤岛多微网架构及其负荷频率控制模型；
[0006]101)一个多微网由单域微网通过联络线构成，每个微网都包含可再生能源发电系统、化石能源发电系统(如冷热电联产系统(Combined Cooling Heating and Power，CCHP)、燃气轮机、柴油发电机)和负荷。sES聚合商将自建物理储能通过功率变换器连接到多微网母线上，同时sES聚合商还通过信息采集控制终端和无线通信实现对微网用户侧可调负荷构成的虚拟储能(如变频空调(AC)、电热泵、机械臂等)的管理。sES聚合商需要与微网用户签订可调设备使用权的相关合同才能管理用户侧虚拟储能，用户和sES聚合商将通过参与多微网的能量交易和辅助服务交易获取收益。sES聚合商的sES AP作为管理物理储能和虚拟储能的平台，将同微网之间以租售储能功率和容量使用权的方式开展互动和交易。本专利技术仅考虑sES聚合商的频率辅助服务，微网运营商实现区域内的电力平衡和频率管理，sES聚合商实现物理储能和虚拟储能的管理并为微网提供频率支持。一种含有共享储能聚合平台的微网架构如附图1所示。
[0007]102)物理储能以蓄电池为例，蓄电池的频率响应被描述为一阶惯性环节和电池增益，如(1)所示。
[0008][0009]式中，T
b
，K
b
，ΔP
b
分别是蓄电池的时间常数、增益和输出功率，Δf是微网的频率。
[0010]虚拟储能以变频空调为例，通过推导和简化房间的热电模型，得到变频空调的频率响应，如(2)所示。
[0011][0012]式中，K
iac
和ΔP
iac
分别是变频空调频率响应的增益和输出功率，C(s)是变频空调频率响应的温度控制函数，D(s)是变频空调参与频率管理的控制函数，T
c
是变频空调压缩机的时间常数，T
a
(s)和Φ
iac
(s)是房间温度和热度的变化函数。
[0013]共享储能聚合平台接受由微网运营商分配的AGC命令，平台将其分配给物理储能和虚拟储能设备执行。共享储能的实际输出功率可以描述如(3)所示。
[0014][0015]式中，F
i
(s)是共享储能频率管理的传递函数，g＝2，F1(s)＝G
b
(s)，F2(s)＝G
iac
(s)。是共享储能需要参与二次频率调节的AGC指令。k
pi
是一次频率调节的下垂系数。
[0016]共享储能频率管理的功率变化需要满足如下约束，
[0017][0018][0019][0020][0021][0022][0023]式中，ΔP
sES,c
，ΔP
sES,d
，和分别是共享储能充电和放电功率以及最大充电和放电功率。α是0
‑
1变量，当α＝1时表示充电，当α＝0时表示放电。和分别是变频空调和蓄电池参与频率管理的最大功率。和分别是蓄电池参与频率管理的最大容量和t时刻容量。η
b,c
和η
b,d
是蓄电池的充放电效率。T
A
，和分别是房间的实际温度，设定温度的最大最小值。
[0024]多微网的功率平衡方程如(10)所示。
[0025]ΔP
L,m
＝ΔP
d,m
+ΔP
sES,m
+ΔP
PV,m
‑
ΔP
tie
ꢀꢀꢀ
(10)
[0026]式中，ΔP
L,m
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的多微网频率管理方法，其特征在于，该方法包括以下步骤：1)以实体储能和虚拟储能构建多微网的共享储能聚合平台，并基于共享储能聚合平台构建一种含共享储能聚合平台的孤岛多微网架构及其负荷频率控制模型；2)提出了一种考虑微网综合效益最优的AGC指令分配方法，综合效益兼顾微网运行成本和调频性能两种关键要素；3)提出了一种基于DDPG算法的AGC指令动态分配优化方法，构建了AGC指令动态分配方法的状态、动作和奖励函数。2.根据权利要求1所述的一种基于深度强化学习的多微网频率管理方法，其特征在于，步骤1)中，构建了一种含有共享储能聚合平台(Share Energy Storage Aggregation Platform,sES AP)的孤岛多微网架构。一个孤岛多微网由单域微网通过联络线构成，每个微网都包含可再生能源发电系统、化石能源发电系统(如冷热电联产系统(Combined Cooling Heating and Power，CCHP)、燃气轮机、柴油发电机)和负荷，sES聚合商将自建物理储能通过功率变换器连接到孤岛多微网母线上，同时sES聚合商还通过信息采集控制终端和无线通信实现对微网用户侧可调负荷构成的虚拟储能(如变频空调(AC)、电热泵、机械臂等)的管理。3.根据权利要求1所述的一种基于深度强化学习的多微网频率管理方法，其特征在于，步骤1)中，构建了含有共享储能聚合平台的孤岛多微网负荷频率控制模型。该模型由物理储能频率响应函数、虚拟储能频率响应函数、多微网功率平衡函数、联络线功率函数、区域控制误差函数以及约束条件构成。4.根据权利要求1所述的一种基于深度强化学习的多微网频率管理方法，其特征在于，步骤2)中，频率管理过程具体步骤包括：201)微网运营商从终端收集用户的用能信息和光伏发电信息，并由sES AP将储能的状态信息上报到微网运营商；202)微网运营商实时计算区域控制误差，并由基于深度强化学习的AGC动态分配控制器产生AGC指令；203)AGC指令分别由微网的柴油发电机、共享储能聚合商的蓄电池和变频空调执行。5.根据权利要求1所述的一种基于深度强化学习的多微网频率管理方法，其特征在于，步骤2)中，一种考虑微网综合效益最优的AGC指令分配方法，将单区域微网的AGC指令动态分配目标分解为3部分。第1部分使用最小的共享储能里程补偿和最小的柴油发电机成本来保证微网运行的经济性。第2部分使用最小的AGC指令响应误差来确保不同设备的频率调节性能。第3部分使用最小的区域控制误差来减少源
‑
荷不确定性对微网稳定运行的影响。AGC指令的动态分配目标函数如下所示。f(t)＝X1+X2+X
33
式中，c
milI
，M
I
和A
I
分别是频率管理设备I的里程补偿单价，里程和性能指标A
I
＝1，I＝1时表示柴油发电机，I＝2时表示共享储能。G是频率管理设备的种类，G＝2。c
fuel
是柴油发电机单位油耗价格。c
ce
是碳排放单价。k
ce
是碳排放惩罚因子。ΔP
I
‑2是频率管理设备I参与二次频率调节的实际输出功率。N＝75是控制周期。AGC指令的每个控制周期为4秒。μ是权重系数，k
pr
是比例系数。6.根据权利要求5所述的一种基于深度强化学习的多微网频率管理方法，其特征在于，ΔP
ord
‑
all
是AGC总指令，如下所示。ΔP
ord
‑
a...

【专利技术属性】
技术研发人员：刘洪，何星瑭，
申请(专利权)人：天津大学，
类型：发明
国别省市：