基于多目标多智能体深度强化学习的配电网重构决策方法技术

本发明专利技术公开了一种基于多目标多智能体深度强化学习的配电网重构决策方法，包括步骤：1）根据将配电网线路全部闭合时，网络中存在的基本回路数量确定智能体的数量；2）构建配电网重构决策模型，将配电网重构决策模型转化为部分可观察马尔可夫决策过程；3）利用多智能体深度确定性策略梯度算法为每个智能体构建Actor网络和Critic网络并将网络随机初始化；4）构建配电网重构MADDPG训练框架；5）对MADDPG智能体进行离线训练，然后再将训练好的智能体部署在实际的配电网中进行在线训练。应用本技术方案可实现配电网重构的快速决策，在配电网有限的通信条件下实现全局的协同控制，保证电网的电能质量，提高配电网运行的经济性。提高配电网运行的经济性。提高配电网运行的经济性。

【技术实现步骤摘要】
基于多目标多智能体深度强化学习的配电网重构决策方法


[0001]本专利技术涉及电力系统
以及机器学习
，特别是一种基于多目标多智能体深度强化学习的配电网重构决策方法。

技术介绍

[0002]配电网重构是一项通过改变配电网中开关的分合状态来改变配电网拓扑结构的技术，通过配电网重构，可以实现改变潮流分布、降低网络损耗、减小电压偏移和转移负荷等目的，从而提高电力系统运行的安全性、经济性、稳定性。
[0003][0004]现有的关于配电网重构的方法可以分为三类:基于混合整数规划的方法，启发式或元启发式算法，以及动态规划方法。
[0005]混合整数规划框架将配电网重构公式化为确定、随机或鲁棒的优化问题。确定性优化公式不考虑随机功率注入。用于解决确定性问题的优化方法包括混合整数线性规划(MILP)、混合整数圆锥规划(MICP)、混合整数非线性规划(MINLP)、以及MIP结合其他问题规模缩减启发式方法。与确定性优化不同，随机和稳健优化方法将负荷和分布式发电的不确定性完全纳入到问题公式中。鲁棒优化方法被用来寻找在最坏情况下的最优重构方案；启发式算法则包括遗传算法、基于模糊自适应推理的粒子群优化算法(PSO)和带时间分割的混合粒子群优化算法等；动态规划算法将一对常闭/常开开关的操作视为一个阶段，从而将配电网络重构问题看作是多阶段决策问题。
[0006]以上方法都是基于物理模型来解决配电网的重构问题，然而，这种方法有两个局限性：首先，当电力公司没有完整和准确的配电网络参数时，基于模型的算法可能不可靠；其次，基于模型的控制算法的计算时间随着可操作开关的数量、网络的规模和复杂程度程指数增加，这使得它难以应用于实时网络重构。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种基于多目标多智能体深度强化学习的配电网重构决策方法，降低配电网有功损耗和电压偏移量，从而提高电力系统运行的经济性和电能质量，相比于依赖物理模型的数学优化算法和启发式算法，具有计算方便、计算速度快、不依赖物理模型和考虑到新能源出力波动性和间歇性等特点，可以应用此方法计算规模更大的配电网。
[0008]为实现上述目的，本专利技术采用如下技术方案：基于多目标多智能体深度强化学习的配电网重构决策方法，包括以下步骤：
[0009]步骤S1：根据将配电网线路全部闭合时，网络中存在的基本回路数量确定智能体的数量，每个智能体只负责其所在基本回路开关的开合；
[0010]步骤S2：构建配电网重构决策模型，将配电网重构决策模型转化为部分可观察马尔可夫决策过程；
[0011]步骤S3：利用多智能体深度确定性策略梯度算法MADDPG为每个智能体构建Actor网络和Critic网络并将网络随机初始化；
[0012]步骤S4：构建配电网重构MADDPG训练框架，采用集中式训练，分布式执行的框架；
[0013]步骤S5：直接利用配电网历史数据和对配电网历史数据进行处理构建考虑不确定性的典型配电网运行场景，对MADDPG智能体进行离线训练，至智能体能够根据配电网已有参数快速给出较优解法，然后再将训练好的智能体部署在实际的配电网中进行在线训练。
[0014]在一较佳的实施例中，所述步骤S1具体包括：
[0015]步骤11：为配电网的支路编号，并将所有的联络开关和分段开关闭合；
[0016]步骤12：当所有联络开关和分段开关都闭合时，配电网络结构是具有M个基本回路的连通图；
[0017]步骤13：为每一个基本回路都部署一个智能体，MADDPG算法的智能体数量为M，每个智能体都能够监测到所在回路的相关电气参数，并且控制遥控开关的开合。
[0018]在一较佳的实施例中，所述的基本回路具体指不包含其他回路的最小回路。
[0019]在一较佳的实施例中，在步骤S2中，所述配电网重构决策模型，包括：
[0020]以优化后的配电网有功损耗和电压偏移最小为目标函数，综合目标函数定义成优化前、后有功损耗和电压偏移的变化量最大。
[0021]在一较佳的实施例中，所述配电网重构决策模型，目标函数数学表达式为：
[0022][0023][0024]其中，P
loss
和P
′
loss
分别表示重构前和重构后的配电网有功网损，dU和dU'分别表示重构前和重构后的电压偏移量，N为配电网的节点总数，U
n
为线路额定电压，U
i
为节点i的电压值。
[0025]在一较佳的实施例中，配电网重构的过程，还要满足以下等式和不等式约束：
[0026][0027]V
min
≤V
i
≤V
max
i∈N(4)
[0028]其中，P
i
和Q
i
分别表示节点i的有功负荷和无功负荷，V
i
和V
j
为节点i和节点j的电压幅值，N为配电网的节点总数，G
ij
和B
ij
分别表示线路ij的导纳的实部和虚部，δ
i
‑
δ
j
表示节点i和节点j的电压相角差，sin和cos是三角函数中的正弦函数和余弦函数，V
min
和V
max
分别表示节点电压的上限和下限。
[0029]在一较佳的实施例中，在步骤S2中，所述部分可观察马尔可夫决策过程，包括：智能体的状态空间、动作空间和奖励函数：
[0030]第m个智能体的状态空间表示为S
m
＝(P
m
,Q
m
,V
m
,B
m
)，其中P
m
、Q
m
、V
m
分别表示第m个智能体所在基本回路上节点的有功负荷、无功负荷、电压幅值组成的行向量，B
m
表示当前基本
回路上支路的开断状态；
[0031]第m个智能体在t时刻动作用一个N
m
维向量a
m,t
＝(x
1,t
,x
2,t
,...,x
i,t
,...x
Nm,t
)表示，其中N
m
第m个基本回路的开关数，x
i,t
表示第i个开关t时刻的关断状态，为1时表示开关闭合，0则表示开关断开；所有智能体在t时刻的联合动作则表示为a
t
＝(a
1,t
,a
2,t
,...,a
i,t
,...a
M,t
)；
[0032]马尔可夫决策过程的奖励函数表示为：
[0033][0034][0035]其中，P
loss,t
和P
′
loss,t
分别表示t时刻重构前和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多目标多智能体深度强化学习的配电网重构决策方法，其特征在于，包括以下步骤：步骤S1：根据将配电网线路全部闭合时，网络中存在的基本回路数量确定智能体的数量，每个智能体只负责其所在基本回路开关的开合；步骤S2：构建配电网重构决策模型，将配电网重构决策模型转化为部分可观察马尔可夫决策过程；步骤S3：利用多智能体深度确定性策略梯度算法MADDPG为每个智能体构建Actor网络和Critic网络并将网络随机初始化；步骤S4：构建配电网重构MADDPG训练框架，采用集中式训练，分布式执行的框架；步骤S5：直接利用配电网历史数据和对配电网历史数据进行处理构建考虑不确定性的典型配电网运行场景，对MADDPG智能体进行离线训练，至智能体能够根据配电网已有参数快速给出较优解法，然后再将训练好的智能体部署在实际的配电网中进行在线训练。2.根据权利要求1所述的基于多目标多智能体深度强化学习的配电网重构决策方法，其特征在于，所述步骤S1具体包括：步骤11：为配电网的支路编号，并将所有的联络开关和分段开关闭合；步骤12：当所有联络开关和分段开关都闭合时，配电网络结构是具有M个基本回路的连通图；步骤13：为每一个基本回路都部署一个智能体，MADDPG算法的智能体数量为M，每个智能体都能够监测到所在回路的相关电气参数，并且控制遥控开关的开合。3.根据权利要求1所述的基于多目标多智能体深度强化学习的配电网重构决策方法，其特征在于，所述的基本回路具体指不包含其他回路的最小回路。4.根据权利要求1所述的基于多目标多智能体深度强化学习的配电网重构决策方法，其特征在于，在步骤S2中，所述配电网重构决策模型，包括：以优化后的配电网有功损耗和电压偏移最小为目标函数，综合目标函数定义成优化前、后有功损耗和电压偏移的变化量最大。5.根据权利要求1或4所述的基于多目标多智能体深度强化学习的配电网重构决策方法，其特征在于：所述配电网重构决策模型，目标函数数学表达式为：目标函数数学表达式为：其中，P
loss
和P
′
loss
分别表示重构前和重构后的配电网有功网损，dU和dU'分别表示重构前和重构后的电压偏移量，N为配电网的节点总数，U
n
为线路额定电压，U
i
为节点i的电压值。6.根据权利要求5所述的基于多目标多智能体深度强化学习的配电网重构决策方法，其特征在于：配电网重构的过程，还要满足以下等式和不等式约束：
V
min
≤V
i
≤V
max
i∈N(4)其中，P
i
和Q
i
分别表示节点i的有功负荷和无功负荷，V
i
和V
j
为节点i和节点j的电压幅值，N为配电网的节点总数，G
ij
和B
ij
分别表示线路ij的导纳的实部和虚部，δ
i
‑
δ
j
表示节点i和节点j的电压相角差，sin和c...

【专利技术属性】
技术研发人员：江昌旭，林铮，卢玥君，刘晨曦，邵振国，
申请(专利权)人：福州大学，
类型：发明
国别省市：