基于多智能体强化学习的配电网两阶段动态重构运行方法技术

本发明专利技术公开了基于多智能体强化学习的配电网两阶段动态重构运行方法，包括：步骤S1，第一阶段，构建基于带变换的值函数分解多智能体深度强化学习模型，为每个开关分配一个子智能体，以实现重构拓扑的自适应输出；步骤S2，在智能体执行探索过程中，考虑配电网辐射性与连通性，输出满足配电网重构拓扑约束的动作；步骤S3，在多智能体模型中子智能体的状态空间中考虑各节点功率、支路电流、所处时刻以及一阶段基于带变换的值函数分解多智能体深度强化学习模型的输出动作，对配电网运行中连续变量进行优化。通过本发明专利技术所提供的技术方案，可以实现自行决定电网重构方案，具有可拓展性与实用性。性。性。

【技术实现步骤摘要】
基于多智能体强化学习的配电网两阶段动态重构运行方法


[0001]本专利技术涉及配电网动态重构优化运行
，具体是基于多智能体强化学习的配电网两阶段动态重构运行方法。

技术介绍

[0002]随着城市区域负荷的高速发展以及新型电力系统背景下新能源的大量接入，城市配电网目前面临着负荷分布不均衡的问题，对城市配电网运行的经济性与可靠性提出了新的挑战。当为了均衡负荷新建架空线路经济成本高或变电站用地紧张时，配电网重构技术就是有效的解决手段之一，配电网重构能够通过改变联络开关与分段开关的通断状态来转移负荷调整网络结构，以达到提高清洁能源消纳能力、均衡负荷和消除线路过载的目的。然而，现有的配电网重构方法如数学求解方法需要建立显示模型，在日趋复杂的配电网运行环境下难以求解，启发式算法又易于陷入局部最优解，同时单智能体强化学习虽然能够通过大量探索求得最优决策方案，但是需要事先为每一个输出神经元确定好重构拓扑。因此，面对新型电力系统背景下新能源大量接入的配电网，如何安全经济的进行重构优化运行已经成为了目前亟待研究的问题。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供基于多智能体强化学习的配电网两阶段动态重构运行方法，其特征在于，包括如下步骤：
[0004]步骤S1，第一阶段，构建基于带变换的值函数分解多智能体深度强化学习模型，为每个开关分配一个子智能体，以实现重构拓扑的自适应输出；其中以配电网各时刻光伏节点光伏电源发电量、负荷节点负荷需求量、与上级电网交互功率、各支路流过电流以及所处时刻为特征构建多智能体模型中子智能体的联合状态空间；以支路开关通断状态为子智能体的动作空间，带变换的值函数分解模型的奖励函数综合考虑配电网运行网损、开关通断损耗、电压偏移指数；带变换的值函数分解模型的状态转移函数考虑光伏电源出力的随机性，构建带变换的值函数分解模型的联合动作空间；
[0005]步骤S2，在智能体执行探索过程中，考虑配电网辐射性与连通性，输出满足配电网重构拓扑约束的动作；
[0006]步骤S3，第二阶段，在子智能体的动作空间考虑光伏出力和弃负荷量；带变换的值函数分解模型的奖励函数考虑配电网运行网损、弃光弃负荷量和电压均衡度，基于深度确定性策略梯度算法，在多智能体模型中子智能体的状态空间中考虑各节点功率、支路电流、所处时刻以及一阶段基于带变换的值函数分解多智能体深度强化学习模型的输出动作，对配电网运行中连续变量进行优化。
[0007]进一步的，所述的多智能体模型中子智能体的联合状态空间为：
[0008]子智能体状态空间：
[0009][0010]式中：o
n,t
表示单智能体n在t时刻对配电网环境的观测值；表示节点i在t时刻与上级电网的交互量；节点i在t时刻的光伏电源发电量；表示节点i在t时刻的负荷需求量；t'表示所处时刻t的标幺值；
[0011]子智能体动作空间：
[0012][0013]式中：表示子智能体n的动作空间；w
ij
表示支路ij的通断状态；
[0014]带变换的值函数分解模型的联合状态空间：
[0015][0016]式中：表示所有单智能体的观测值集合；表示所有单智能体的动作集合。
[0017]进一步的，所述的带变换的值函数分解模型的联合动作空间为：
[0018]带变换的值函数分解模型的联合动作空间:
[0019][0020]式中：表示所有单智能体的动作集合。
[0021]带变换的值函数分解模型的奖励函数:
[0022][0023][0024][0025][0026][0027][0028][0029][0030][0031][0032][0033][0034][0035][0036][0037]式中：表示配电网重构阶段针对带变换的值函数分解模型的配电网经济运行指标；表示的取反；c
loss
表示配电网运行单位有功网损电价；r
ij
表示支路ij的电阻；分别表示改变馈线联络开关、变压器联络开关、变电站联络开关以及支路分段开关通断状态时的单次操作成本，其中馈线联络开关表示联系两条所属同一变电站同一变压器的馈线的开关、变压器联络开关表示联系两条所属同一变电站不同变压器的馈线的开关、变电站联系开关表示联系两条所属不同变电站的馈线的开关、支路分段开关表示馈线支路中默认闭合状态的开关；为了抑制潮流大范围转移，开关、支路分段开关表示馈线支路中默认闭合状态的开关；为了抑制潮流大范围转移，分别表示重构区域中馈线联络开关、变压器联络开关、变电站联络开关以及支路分段开关通断状态的标志，0表示断开，1表示闭合；电压偏移指数；表示V
iN
和V
i,t
分别为节点i的电压额定值和t时段实际值；c
tl
表示负荷均衡度；R
i,t
表示t时段节点i的负载率；表示配电网t时段平均负载率；P
i,t
为节点i在t时段注入的有功功率；P
imax
为节点i最大允许注入有功功率；N表示配电网节点数；表示潮流越限惩罚；表示辐射性与连通性惩罚，若智能体输出拓扑不满足约束，则对智能体施加惩罚；λ
t
表示步数奖励；c
r
表示正向奖励偏置，起到智能体执行满足约束的动作时时奖励值大于0的作用；c表示最大惩罚；
[0038]带变换的值函数分解模型的状态转移函数:
[0039]s
t+1
＝f(s
t
,a
t
,ρ)
[0040][0041]式中：ρ表示随机量；N表示正态分布；μ
N,PV
表示正态分布平均值；σ
N,PV
表示噪声正态分布标准差。
[0042]进一步的，所述的辐射性为：
[0043][0044]式中：N
B
表示配电网节点个数；N
Sub
表示配电网中变电站个数；E
Always
表示支路中没有开关一直处于连通状态的支路；
[0045]连通性为：
[0046]根据配电网拓扑建立一个n
×
n的连通矩阵T，用T(i,j)表示节点i和节点j之间是否存在电气连接，同时还要满足i＜j。如果节点i和节点j之间存在电气连接则T(i,j)＝1；否则T(i,j)＝0，而矩阵中对角元素为该元素所在行列之和；通过追溯每个节点的最终父节
点是否为电源节点来判断该节点是否为孤点或处于孤岛之中。
[0047]进一步的，所述的对配电网运行中连续变量进行优化，包括：
[0048]在t时刻时步骤S3的深度确定性策略梯度算法首先通过步骤S1与S2的基于带变换的值函数分解模型确定配电网重构拓扑，随后将基于带变换的值函数分解模型的输出动作作为步骤S3的深度确定性策略梯度模型的状态空间，当t时刻的两阶段优化完成后再过度到t+1时刻进行优化。
[0049]基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多智能体强化学习的配电网两阶段动态重构运行方法，其特征在于，包括如下步骤：步骤S1，第一阶段，构建基于带变换的值函数分解多智能体深度强化学习模型，为每个开关分配一个子智能体，以实现重构拓扑的自适应输出；其中以配电网各时刻光伏节点光伏电源发电量、负荷节点负荷需求量、与上级电网交互功率、各支路流过电流以及所处时刻为特征构建多智能体模型中子智能体的联合状态空间；以支路开关通断状态为子智能体的动作空间，带变换的值函数分解模型的奖励函数综合考虑配电网运行网损、开关通断损耗、电压偏移指数；带变换的值函数分解模型的状态转移函数考虑光伏电源出力的随机性，构建带变换的值函数分解模型的联合动作空间；步骤S2，在智能体执行探索过程中，考虑配电网辐射性与连通性，输出满足配电网重构拓扑约束的动作；步骤S3，第二阶段，在子智能体的动作空间考虑光伏出力和弃负荷量；带变换的值函数分解模型的奖励函数考虑配电网运行网损、弃光弃负荷量和电压均衡度，基于深度确定性策略梯度算法，在多智能体模型中子智能体的状态空间中考虑各节点功率、支路电流、所处时刻以及一阶段基于带变换的值函数分解多智能体深度强化学习模型的输出动作，对配电网运行中连续变量进行优化。2.根据权利要求1所述的基于多智能体强化学习的配电网两阶段动态重构运行方法，其特征在于，所述的多智能体模型中子智能体的联合状态空间为：子智能体状态空间：式中：o
n,t
表示单智能体n在t时刻对配电网环境的观测值；表示节点i在t时刻与上级电网的交互量；节点i在t时刻的光伏电源发电量；表示节点i在t时刻的负荷需求量；t'表示所处时刻t的标幺值；子智能体动作空间：式中：表示子智能体n的动作空间；w
ij
表示支路ij的通断状态；带变换的值函数分解模型的联合状态空间：式中：表示所有单智能体的观测值集合；表示所有单智能体的动作集合。3.根据权利要求2所述的基于多智能体强化学习的配电网两阶段动态重构运行方法，其特征在于，所述的带变换的值函数分解模型的联合动作空间为：带变换的值函数分解模型的联合动作空间:式中：表示所有单智能体的动作集合。带变换的值函数分解模型的奖励函数:
式中：表示配电网重构阶段针对带变换的值函数分解模型的配电网经济运行指标；r
te,QTRAN
表示的取反；c
loss
表示配电网运行单位有功网损电价；r
ij
表示支路ij的电阻；分别表示改变馈线联络开关、变压器联络开关、变电站联络开关以及支路分段开关通断状态时的单次操作成本，其中馈线联络开关表示联系两条所属同一变电站同一变压器的馈线的开关、变压器联络开关表示联系两条所属同一变电站不同变压器的馈线的开关、变电站联系开关表示联系两条所属不同变电站的馈线的开关、支路分段开关表示馈线支路中默认闭合状态的开关；为了抑制潮流大范围转移，关、支路分段开关表示馈线支路中默认闭合状态的开关；为了抑制潮流大范围转移，分别表示重构区域中馈线联络开关、变压器联络开关、变电站联络开关以及支路分段开关通断状态的标志，0表示断开，1表示闭合；电压偏移指数；表示V
iN
和V
i,t
分别为节点i的电压额定值和t时段实际值；表示负荷均衡
度；R
i,t
表示t时段节点i的负载率；表示配电网t时段平均负载率；P
i,t
为节点i在t时段注入的有功功率；P
imax
为节点i最大允许注入有功功率；N表示配电网节点数；表示潮流越限惩罚；表示辐射性与连通性惩罚，若智能体输出拓扑不满足约束，则对智能体施...

【专利技术属性】
技术研发人员：高红均，王子晗，贺帅佳，王仁浚，刘俊勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：