基于安全强化学习算法的配电网电压无功控制方法及系统技术方案

本发明专利技术属于智能强化学习技术领域和计算机技术领域，本发明专利技术公开了基于安全强化学习算法的配电网电压无功控制方法包括，构建配电网的电压无功控制模型；将电压无功控制模型描述成约束性马尔科夫决策过程，并定义CMDP模型的状态空间、动作空间及奖励函数；构建约束策略优化算法的神经网络架构和CPO智能体的训练规则，求解CMDP模型；采集配电网的历史运行数据对CPO智能体进行训练，将训练好的智能体在线部署，完成配电网的实时VVC过程。本发明专利技术将安全强化学习算法与配电网电压无功控制相结合，为配电网的电力管理领域带来了创新的技术解决方案。提供了一种方法来解决电力系统中的电压无功控制问题。无功控制问题。无功控制问题。

【技术实现步骤摘要】
基于安全强化学习算法的配电网电压无功控制方法及系统


[0001]本专利技术属于智能强化学习
和计算机
，具体涉及基于安全强化学习算法的配电网电压无功控制方法。

技术介绍

[0002]电压无功控制(Volt/VAR control,VVC)是保证配电网电压在允许范围内，最大限度地减少损耗，减少调压装置磨损的关键，然而越来越多分布式资源(distributed resources,DRs)的渗透导致配电网VVC的难度不断加大。例如，间歇性的光伏(PV)和风力发电，可能由于其功率快速变化导致电压波动。分布式电源向配电网上游注入实功率会导致电压升高，并干扰传统的VVC控制装置。为了协调VVC设备和分布式资源，人们提出了广泛的基于模型的方法。以配电网电压控制为例，人们提出了混合整数非线性规划模型和混合整数二次约束模型。为了考虑DRs的不确定性，提出了随机规划模型。然而，基于随机规划的方法通常假设不确定性的已知概率分布，为了解决这一问题人们又提出了鲁棒优化模型。虽然基于鲁棒优化的方法不需要已知的不确定性概率分布，但它们仍然依赖于一个不确定性集来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于安全强化学习算法的配电网电压无功控制方法，其特征在于：包括，构建配电网的电压无功控制模型；将电压无功控制模型描述成约束性马尔科夫决策过程，并定义CMDP模型的状态空间、动作空间及奖励函数；构建约束策略优化算法的神经网络架构和CPO智能体的训练规则，求解CMDP模型；采集配电网的历史运行数据对CPO智能体进行训练，将训练好的智能体在线部署，完成配电网的实时VVC过程。2.如权利要求1所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述电压无功控制模型包括，潮流计算约束模型，PV逆变器和BSSs的控制模型；当配电网的运行范围划分为T个时隙时，t∈Ωt对时间间隔进行索引，i∈Ωn对配电网的节点进行索引，jk∈Ωb对配电网的支路进行索引，其中Ωt表示时间间隔集合,Ωn表示节点集合,Ωb表示支路集合；可调度的资源包括PV逆变器和BSSs的控制模型，可决策的变量包括PV逆变器输出的无功功率Q
PV
及BSSs的有功功率P
BSSs
，Q
PV
决策量的上下限为，Q
PV,min
<Q
PV，t
<Q
PV,max
其中，Q
PV,t
表示i节点PV的无功输出量，Q
PV,min
及Q
PV,max
为t时刻PV的无功裕度；的取值限制为，其中，为节点i的BSSs控制变量，和分别表示最大充电功率和最大放电功率；储能的容量限制，在时间间隔t时，BSSs中存储的能量约束为，其中，为BSSs的能量容量，表示BSSs中允许存储的最小能量；以配电网无功优化控制最小化网络有功功率损耗为目的构建t时刻目标函数，其中，F表示T时段内配电网的总有功损耗成本，C
p
为有功网络损耗的成本系数，P
loss
(t)为时刻t的有功网络损耗，具体表达式为，其中，G
ij
为支路E
ij
导纳矩阵的实部，V
e,i
(t)与V
f,i
(t)分别表示节点i出t时刻电压的实部和虚部，N表示配电网供N个节点，V
e,j
(t)为j节点电压的实部，V
f,j
(t)为j节点电压的虚部；配电网无功优化控制过程中，约束条件分为配电网有功潮流平衡约束及无功潮流平衡约束，有功潮流平衡表示为，
其中，B
ij
表示支路E
ij
导纳矩阵的虚部，P
i
(t)表示节点i处t时刻的有功功率注入量，其计算方式为：P
i
(t)＝P
L,i
(t)+P
iBSSs
(t),i∈Ω
n
,t∈Ω
t
其中，P
L,i
(t)表示节点i处t时刻的基础负荷有功功率，P
BSS
s表示BSSs的有功功率，无功潮流平衡表达式为，其中，Q
i
(t)表示节点i处t时刻的无功功率注入量，计算方式为，Q
i
(t)＝Q
L,i
(t)
‑
Q
PV,i
(t),i∈Ω
n
,t∈Ω
t
其中，Q
L,i
(t)表示节点i处t时刻的基础负荷无功功率，Q
PV,i
(t)表示i节点PV的无功功率输出，节点电压约束如下式，V
min
＜V
i
(t)＜V
max
其中，V
max
表示节点电压上限V
min
表示节点电压下限。3.如权利要求2所述的基于安全强化学习算法的配电网电压无功控制方法，其特征在于：所述定义CMDP的状态空间、动作空间及奖励函数包括，所述状态空间包括，t时刻环境状态定义为，S
t
＝(x1(t),x2(t),x3(t),...,x
n
(t))其中，x
i
(t)表示节点i处的状态信息，各节点x
i
(t)的具体表达式为：x
i
(t)＝(P
i
(t),Q
i
(t),V
i
(t))其中，矩阵特征x
i
(t)由节点i处的有功功率P
i
(t)、无功功率Q
i
(t)以及电压幅值V
i
(t)组成；所述动作空间包括，在t时刻的动作a
t
表示PV的无功输出和BSSs的有功出力：a
t
＝{Q
PV,i
(t),P
iBSSs
(t)},i∈Ω
n
,t∈Ω
t

【专利技术属性】
技术研发人员：朱涛，黄伟，周胜超，海迪，张瑞颖，周艳平，魏靖，
申请(专利权)人：云南电网有限责任公司昆明供电局，
类型：发明
国别省市：