电网黑启动网架重构决策方法和系统技术方案

本发明专利技术提供一种电网黑启动网架重构决策方法和系统，涉及电力系统技术领域。本发明专利技术使用QMIX算法构建城市黑启动网架重构问题的多智能体深度强化学习模型，具体较强的感知电网复杂运行状态的能力，能够有效提升对设备状态的感知力，通过为每一个黑启动电源构建智能体，实现黑启动电源的协同合作，为网架重构提供重要的基础。通过多智能体深度强化学习模型对实时电网数据进行处理，提高恢复问题的求解速度和质量，实现实时的网架重构。实现实时的网架重构。实现实时的网架重构。

【技术实现步骤摘要】
电网黑启动网架重构决策方法和系统


[0001]本专利技术涉及电力系统
，具体涉及电网黑启动网架重构决策方法和系统。

技术介绍

[0002]随着全球气候变化，各类极端自然灾害发生频次逐年增多，严重威胁着电网的安全运行，如何有效的进行灾后的电网恢复得到了社会的广泛关注。电力系统全黑状态下的系统恢复称为黑启动，制定合理的黑启动方案能加快系统的恢复过程，减少事故损失，而网架重构是黑启动过程中重要的组成部分，起到承上启下的作用，对网架重构决策的优化能极大地提高系统恢复的效率。因此，网架重构决策方面的研究正受到广泛关注。
[0003]网架重构决策的任务是制定从黑启动小系统到目标骨干网架的恢复方案，所涉及的问题主要包括机组恢复顺序优化、送电路径的优化以及目标网架确定。但是网架重构阶段恢复时间较长，需要考虑到因素很多，同时还需要协调考虑机组、路径、负荷的恢复，建立网架重构全过程的恢复序列优化模型并且实现实时决策非常困难，如何选择合适的方法实现实时迅速的网架重构决策就显得极为重要。
[0004]然而，现有的网架重构决策方法在进行网架重构全过程建模时采用“分时段建模，总体寻优”的思路，将整个网架重构过程分解为一系列串行恢复时段，该方法虽然考虑了对后续时段的影响，但实时性较差，不能实现实时迅速的网架重构。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于多智能体深度强化学习的黑启动网架重构决策方法和系统，解决了现有技术不能实现实时迅速的网架重构技术问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]第一方面，本专利技术提供一种电网黑启动网架重构决策方法，所述方法包括：
[0010]S1、获取电网数据并进行预处理；
[0011]S2、根据预处理后的电网数据和网架重构问题构建城市黑启动网架重构问题的数学模型；
[0012]S3、基于数学模型和分布式部分可观测马尔可夫决策过程，构建城市黑启动网架重构决策问题的强化学习环境；
[0013]S4、采用QMIX算法构建城市黑启动网架重构问题的初始多智能体深度强化学习模型，并在深度强化学习环境下，利用电网数据训练初始多智能体深度强化学习模型，得到训练好的多智能体深度强化学习模型，所述多智能体深度强化学习模型用于根据实时电网数据获取实时的网架重构策略。
[0014]优选的，所述城市黑启动网架重构问题的数学模型包括目标函数和约束条件；
[0015]设整个系统被分为k个子系统，则分区恢复的目标函数可定义为：在尽可能短的时
间内恢复电网中尽可能多的节点，表示式如下：
[0016][0017]其中，k＝1，2，......，n，k表示电网中的分区数，P
k
为分区k中在k＝1，2，......，n机组启动时限内被成功启动机组的发电容量之和，T
max
表示各分区实现网架恢复所需要的最长时间；
[0018]约束条件包括：
[0019]时间约束：
[0020]0＜T
j
＜T
jmax
[0021]其中，T
j
表示机组j从零时刻到得到启动电源的时间间隔，T
jmax
表示机组j启动所允许的最大时间间隔；
[0022]机组功率约束：
[0023]P
jmin
≤P
j，t
≤P
j max
[0024]Q
j min
≤Q
j，t
≤Q
j max
[0025]其中，P
j，t
表示机组j在t时刻的有功功率，Q
j，t
表示机组j在t时刻的无功功率，P
j min
、P
j max
表示机组j有功功率的极值，Q
j min
、Q
j max
表示机组j无功功率的极值；
[0026]节点电压约束：
[0027]V
i min
≤V
i，t
≤V
i max
[0028]其中，i＝1，2，......，n，i表示电网中的节点数，V
i，t
表示t时刻节点i的电压值，V
i min
表示节点i的电压极小值，V
i max
表示节点i的电压极大值；
[0029]线路功率约束：
[0030]P
r，t
≤P
r max
[0031]其中，r＝1，2，......，n，r表示电网中的支路数，P
r，t
表示t时刻支路r上流过的功率，P
r max
表示支路r上所允许流过的功率的最大值。
[0032]优选的，所述的基于数学模型和分布式部分可观测马尔可夫决策过程，构建城市黑启动网架重构决策问题的强化学习环境，包括：
[0033]使用元组G＝<n，S，U，P，r，Z，O，γ>来构建网架重构问题的强化学习环境；其中，n表示电源的数量，即智能体的数量；S为状态空间，状态空间为t时刻的电网的状态，即t时刻机组的有功功率、机组的无功功率、节点的电压、线路的功率，s∈S表示智能体的可能状态；u
a
∈U表示在每个时间步智能体a选择的一个动作，所有电源选择的动作集合为u
a
∈U
n
，u
a
表示智能体a选择下一步恢复的节点；P表示在状态s下采取联合动作u转移到状态s
′
的状态转移概率函数；r表示奖励函数；z∈Z表示每个智能体自己的观察值，由各自的观测函数O来刻画；γ表示折扣因子；
[0034]状态空间S定义为{P
j，t
，Q
j，t
，V
i，t
，P
r，t
}
[0035]动作空间U定义为{a
1，t
，a
2，t
，a
3，t
，
……
，a
k，t
}
[0036]其中，a
k，t
表示在t时刻分区k选择尚未恢复的节点；
[0037]单个电源在t时刻的奖励r
t
定义为：
[0038][0039]其中，k＝1，2，......，n，k表示电网中的分区数，P
k，t
表示分区k在t时刻选择某一节点能被成功启动的发电容量，T
k，t
表示分区k在t时刻恢复某一节点所需的时间，w为比例系数；
[0040]t时刻开始的一次探索过程的累计奖励R
t
为：
[0041][0042]其中，γ
t
表示t时刻折扣因子；表示t本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网黑启动网架重构决策方法，其特征在于，所述方法包括：S1、获取电网数据并进行预处理；S2、根据预处理后的电网数据和网架重构问题构建城市黑启动网架重构问题的数学模型；S3、基于数学模型和分布式部分可观测马尔可夫决策过程，构建城市黑启动网架重构决策问题的强化学习环境；S4、采用QMIX算法构建城市黑启动网架重构问题的初始多智能体深度强化学习模型，并在深度强化学习环境下，利用电网数据训练初始多智能体深度强化学习模型，得到训练好的多智能体深度强化学习模型，所述多智能体深度强化学习模型用于根据实时电网数据获取实时的网架重构策略。2.如权利要求1所述的电网黑启动网架重构决策方法，其特征在于，所述城市黑启动网架重构问题的数学模型包括目标函数和约束条件；设整个系统被分为k个子系统，则分区恢复的目标函数可定义为：在尽可能短的时间内恢复电网中尽可能多的节点，表示式如下：其中，k＝1，2，......，n，k表示电网中的分区数，P
k
为分区k中在k＝1，2，......，n机组启动时限内被成功启动机组的发电容量之和，T
max
表示各分区实现网架恢复所需要的最长时间；约束条件包括：时间约束：0＜T
j
＜T
j max
其中，T
j
表示机组j从零时刻到得到启动电源的时间间隔，T
j max
表示机组j启动所允许的最大时间间隔；机组功率约束：P
j min
≤P
j，t
≤P
j max
Q
j min
≤Q
j，t
≤Q
j max
其中，P
j，t
表示机组j在t时刻的有功功率，Q
j，t
表示机组j在t时刻的无功功率，P
j min
、P
j max
表示机组j有功功率的极值，Q
j min
、Q
j max
表示机组j无功功率的极值；节点电压约束：V
i min
≤V
i，t
≤V
i max
其中，i＝1，2，......，n，i表示电网中的节点数，V
i，t
表示t时刻节点i的电压值，V
i min
表示节点i的电压极小值，V
i max
表示节点i的电压极大值；线路功率约束：P
r，t
≤P
r max
其中，r＝1，2，......，n，r表示电网中的支路数，P
r，t
表示t时刻支路r上流过的功率，P
r max
表示支路r上所允许流过的功率的最大值。3.如权利要求1所述的电网黑启动网架重构决策方法，其特征在于，所述的基于数学模
型和分布式部分可观测马尔可夫决策过程，构建城市黑启动网架重构决策问题的强化学习环境，包括：使用元组G＝<n，S，U，P，r，Z，O，γ>来构建网架重构问题的强化学习环境；其中，n表示电源的数量，即智能体的数量；S为状态空间，状态空间为t时刻的电网的状态，即t时刻机组的有功功率、机组的无功功率、节点的电压、线路的功率，s∈S表示智能体的可能状态；u
a
∈U表示在每个时间步智能体a选择的一个动作，所有电源选择的动作集合为u
a
∈U
n
，u
a
表示智能体a选择下一步恢复的节点；P表示在状态s下采取联合动作u转移到状态s
′
的状态转移概率函数；r表示奖励函数；z∈Z表示每个智能体自己的观察值，由各自的观测函数O来刻画；γ表示折扣因子；状态空间S定义为{P
j，t
，Q
j，t
，V
i，t
，P
r，t
}动作空间U定义为{a

【专利技术属性】
技术研发人员：周开乐，钱璟，陆信辉，丁涛，邵臻，李兰兰，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：