一种基于DDPG算法的电-气区域综合能源系统安全校正控制方法技术方案

本发明专利技术公开了一种基于DDPG算法的电

【技术实现步骤摘要】
一种基于DDPG算法的电
‑
气区域综合能源系统安全校正控制方法


[0001]本专利技术涉及综合能源系统工程
，尤其是涉及一种基于DDPG算法的电
‑
气区域综合能源系统安全校正控制方法。

技术介绍

[0002]电
‑
气区域综合能源系统由分布于一个区域内的配电网络、配气网络、可再生能源发电以及电、气之间的耦合环节等组成。借鉴电力系统运行状态的分类，可将电
‑
气区域综合能源系统当前运行状态分为正常状态、紧急状态和待恢复状态，紧急状态下满足等式约束，但不满足不等式约束。随着电
‑
气区域综合能源系统中配电网络与配气网络的联系与耦合日趋紧密，以及可再生能源发电的接入，加剧了系统的复杂性和运行状态的不确定性，给其安全运行带来了风险。由此，有必要进行电
‑
气区域综合能源系统的安全性分析与控制。
[0003]安全校正控制是指运行中受到扰动或故障进入紧急状态下，通过调整控制变量，消除状态变量的越限，使系统恢复到正常状态。含能量枢纽的电
‑
气区域综合能源系统电、气能量通过能量枢纽耦合，且配电网中有功与无功具有较强的耦合性，使得其安全校正控制具有以下特点：1)状态变量和控制变量多，且一种形式能源的控制变量对另一种形式能源的状态变量具有耦合影响，安全校正控制难度大；2)能量枢纽的运行与控制方式灵活，可参与有功调节，为安全校正控制手段提供了新的途径；3)耦合特性带来不确定性因素多，安全运行面临多重形态并存，对安全校正控制的快速性要求高。由此，含能量枢纽电
‑
气区域综合能源系统安全校正控制的准确、实时受到挑战，传统的优化类方法和灵敏度类方法传统难以同时准确性和快速性要求。
[0004]目前，对安全分析与校正控制的研究大多针对电力系统，对区域综合能源系统及电
‑
气区域综合能源系统安全控制的研究处于起步阶段。含能量枢纽电
‑
气区域综合能源系统安全校正控制是先动作控制变量，然后根据动作后的系统能流状态决定下一步的动作，是典型的马尔科夫决策过程，适合用深度强化学习来解决。深度确定性策略梯度(deep deterministicpolicygradient，DDPG)算法是一种深度强化学习算法，结合了Q学习和策略梯度，包含策略深度神经网络、价值深度神经网络、目标策略深度神经网络和目标价值深度神经网络，且提供经验回放机制和目标网络，算法的学习过程更加稳定，收敛更快。

技术实现思路

[0005]本专利技术旨在解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于DDPG算法的电
‑
气区域综合能源系统安全校正控制方法，包括如下步骤：
[0006]1)构建基于DDPG算法的电
‑
气区域综合能源系统安全校正控制模型，设置智能体交互的环境、状态空间、动作空间和奖励函数；
[0007]2)生成能流越限样本数据，将预先产生的专家经验数据集存放于经验回放池，对智能体进行离线训练；
[0008]3)由训练好的智能体实时在线决策，得到系统紧急状态下的安全校正控制策略。
[0009]其中，所述的构建基于DDPG算法的电
‑
气区域综合能源系统安全校正控制模型，设置智能体交互的环境、状态空间、动作空间和奖励函数，包括如下步骤：
[0010]构建基于DDPG算法的电
‑
气区域综合能源系统安全校正控制模型，设置智能体交互的环境为含能量枢纽电
‑
气区域综合能源系统仿真器，仿真器能进行多能流计算和综合灵敏度计算，多能流计算采用结合牛顿拉夫逊算法的统一求解法，其统一多能流模型为：
[0011][0012]式(1)中：x、u为状态变量和控制变量，x＝[x
e
,x
g
]＝[V
i
,δ
i
,π
j
]，u＝[Q
c
,P
eh
,π
o
]，P、Q、G分别表示配电网络有功和无功方程、配气网络能流方程，x
e
、x
g
分别表示配电网络、配气网络的状态变量，V
i
、δ
i
、π
j
、分别为电力节点电压幅值、相角和天然气节点压力，Q
c
、P
eh
、π
o
分别为电力节点就地无功补偿、能量枢纽与配电网的交互能量和气压缩机出口压力的调整量，P
L
、Q
L
分别为有功和无功负荷，P
i
、Q
i
分别为电力节点注入有功和无功功率，A为节点
‑
管道关联矩阵，f为管道流量向量，P
REG
为风光的消纳出力，P
eh
、F
g
分别为能量枢纽与配电网、配气网的交互能量，P
eh
>0表示配电网给能量枢纽提供电能，P
eh
<0表示能量枢纽给配电网提供电能，L
e
、L
h
分别为能量枢纽的电力负荷和热负荷，η
CHP,e
、η
CHP,h
分别为热电联产产生电能和热能的转换效率，η
T
、η
GB
分别为电力变压器和燃气轮机的效率，v为天然气分配系数；
[0013]综合灵敏度为越限状态变量、未越限状态变量对控制变量的灵敏度的加权求和，为：
[0014][0015]式(2)中：S为综合灵敏度向量，S
x
‑
Peh
、S
x
‑
Qc
、S
x
‑
πo
分别表示状态变量对控制变量P
eh
、Q
c
、π
o
的综合灵敏度，和由统一多能流模型的雅克比矩阵的逆矩阵得到，和根据式统一多能流模型得到，k
ei
＝{k
e1
,k
e2
}，k
e1
为越限电力节点的权重，k
e2
为正常电力节点的权重，同理，k
gj
＝{k
g1
,k
g2
}；
[0016]考虑到变量的丰富性与必要性，设置智能体状态空间为：
[0017]s
t
＝[V
i,t
,π
i,t
,P
l,t
,F
ij,t
,Q
ci,t
,P
ehj,t
,π
ok,t
P
′
REGj,t
]ꢀꢀ
(3)
[0018]式(3)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DDPG算法的电
‑
气区域综合能源系统安全校正控制方法其特征在于，所述一种基于DDPG算法的电
‑
气区域综合能源系统安全校正控制方法，包括如下步骤：1)构建基于DDPG算法的电
‑
气区域综合能源系统安全校正控制模型，设置智能体交互的环境、状态空间、动作空间和奖励函数；2)生成能流越限样本数据，将预先产生的专家经验数据集存放于经验回放池，对智能体进行离线训练；3)由训练好的智能体实时在线决策，得到系统紧急状态下的安全校正控制策略。2.根据权利要求1所述的构建基于DDPG算法的电
‑
气区域综合能源系统安全校正控制模型，设置智能体交互的环境、状态空间、动作空间和奖励函数，具体步骤如下：构建基于DDPG算法的电
‑
气区域综合能源系统安全校正控制模型，设置智能体交互的环境为含能量枢纽电
‑
气区域综合能源系统仿真器，仿真器能进行多能流计算和综合灵敏度计算，多能流计算采用结合牛顿拉夫逊算法的统一求解法，其统一多能流模型为：式(1)中：x、u为状态变量和控制变量，x＝[x
e
,x
g
]＝[V
i
,δ
i
,π
j
]，u＝[Q
c
,P
eh
,π
o
]，P、Q、G分别表示配电网络有功和无功方程、配气网络能流方程，x
e
、x
g
分别表示配电网络、配气网络的状态变量，V
i
、δ
i
、π
j
、分别为电力节点电压幅值、相角和天然气节点压力，Q
c
、P
eh
、π
o
分别为电力节点就地无功补偿、能量枢纽与配电网的交互能量和气压缩机出口压力的调整量，P
L
、Q
L
分别为有功和无功负荷，P
i
、Q
i
分别为电力节点注入有功和无功功率，A为节点
‑
管道关联矩阵，f为管道流量向量，P
REG
为风光的消纳出力，P
eh
、F
g
分别为能量枢纽与配电网、配气网的交互能量，P
eh
>0表示配电网给能量枢纽提供电能，P
eh
<0表示能量枢纽给配电网提供电能，L
e
、L
h
分别能量枢纽的电力负荷和热负荷，η
CHP,e
、η
CHP,h
分别为热电联产产生电能和热能的转换效率，η
T
、η
GB
分别为电力变压器和燃气轮机的效率，v为天然气分配系数；综合灵敏度为越限状态变量、未越限状态变量对控制变量的灵敏度的加权求和，为：式(2)中：S为综合灵敏度向量，分别表示状态变量对控制变量P
eh
、Q
c
、π
o
的综合灵敏度，和由统一多能流模型的雅克比矩阵的逆矩阵得到，和根据式统一多能流模型得到，k
ei
＝{k
e1
,k
e2
}，k
e1
为越限电力节点的权重，k
e2
为正常电力节点的权重，同理，k
gj
＝{k
g1
,k
g2
}；考虑到变量的丰富性与必要性，设置智能体状态空间为：
s
t
＝[V
i,t
,π
i,t
,P
l,t
,F
ij,t
,Q
ci,t
,P
ehj,t
,π
ok,t
P
′
REGj,t
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式(3)中：s
t
为状态空间，V
i,t
,、π
i,t
、P
l,t
、F
ij,t
、Q
ci,t
、P
ehj,t
，π
ok,t
、P
’
REGj,t
分别为t时刻的电力节点电压幅值、天然气节点压力、线路功率、管道流量、电力节点就地无功补偿量、能量枢纽与配电网的交互能量和气压缩机出口压力及风光出力...

【专利技术属性】
技术研发人员：彭寒梅，胡磊，李金果，谭貌，苏永新，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：