一种基于深度强化学习和图注意力机制的电力稳控方法技术

本发明专利技术公开了一种基于深度强化学习和图注意力机制的电力稳控方法，该方法通过电力系统仿真软件生成训练数据，然后使用深度强化学习来训练智能体，通过图注意力机制网络来增强电网特征提取能力，最后实现对失稳系统的稳定控制

【技术实现步骤摘要】
一种基于深度强化学习和图注意力机制的电力稳控方法


[0001]本专利技术属于电力系统紧急控制领域，尤其涉及一种基于深度强化学习和图注意力机制的电力稳控方法
。

技术介绍

[0002]随着新型电力系统的建设，系统的动态行为日益复杂，导致系统的暂态稳定面临严峻挑战
。
暂态失稳的传播速度快，影响范围广，一旦发生电力失稳事故可能引起系统崩溃，严重影响居民的社会生活，给我国经济造成重大损失
。
因此，故障发生后，及时
、
有效的采取紧急控制措施对保持系统暂态稳定
、
保障电力系统安全经济运行具有重要意义
。
紧急控制策略的制定和实施可以分为三类
。
其中，“离线预决策，实时匹配”和“在线预决策，实时匹配”可以快速通过决策表选择决策，但缺乏对现代电力系统复杂多变的运行场景的灵活适应性
。
因此，研究脱离决策表
、
完全基于响应的“实时决策
、
实时匹配”的紧急控制方式是亟待解决的问题
。
[0003]目前，广域测量系统和相量测量单元的广泛应用，使现代电力系统可观性得到巨大提升，为基于实时响应信息的紧急控制提供了有力的硬件和软件支撑
。
现有的暂态稳定紧急控制的研究主要分为时域仿真法
、
能量函数法以及基于响应和人工智能的方法3类
。
时域仿真法将紧急控制问题转化为优化控制问题，但由于约束条件过多，不适于大规模电力系统求解
。
能量函数法从系统受扰后的能量平衡角度确定紧急控制策略，无需大量迭代求解微分方程，计算速度快，但在形成控制策略的过程中，往往需要对部分约束条件做线性化处理，或在较小的控制集上求解，且易忽略未来系统的运行状态使结果不够精确
。
[0004]近年来，深度强化学习算法快速发展，其在电力系统的电压控制
、
电网无功优化
、
紧急控制等多个不同领域得到广泛应用
。
针对紧急控制的切机领域，目前通常使用深度强化学习来解决，但目前的方法仅利用了电网运行时的特征，尚未考虑电网运行时的拓扑结构，而在电力系统中，电网的拓扑结构对系统的暂态稳定性具有重要影响
。
因此，在基于深度强化学习的紧急控制切机过程中结合电网的拓扑结构有望形成更有效的控制策略
。

技术实现思路

[0005]为解决传统深度强化学习切机方法没有利用电网运行时的拓扑结构，本专利技术提供了一种基于深度强化学习和图注意力机制的电力稳控方法
。
本专利技术旨在得到一个性能更佳的切机模型
。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种基于深度强化学习和图注意力机制的电力稳控方法，包括以下步骤：
[0007](1)
设计切机方案：针对电网失稳的系统设计以使系统稳定的切机方案，该切机方案通过稳控模型获取；
[0008](2)
设计基于图注意力机制的神经网络：针对电网拓扑结构设计基于图注意力机制的神经网络，该神经网络基于电网拓扑信息通过图注意力机制来提取电网的物理特征；
[0009](3)
设计深度强化学习流程：根据切机方案和神经网络设计对深度强化学习流程中的动作空间
、
状态空间
、
奖励函数，根据切机方案使用稳控模型对失稳系统进行控制
。
[0010]进一步地，所述步骤
(1)
包括以下子步骤：
[0011](1.1)
设计离线阶段的稳控模型训练方案：通过电力仿真软件生成训练样本，使用训练样本对稳控模型进行批量训练，以获取训练好的稳控模型；
[0012](1.2)
设计在线应用阶段方案：使用电网监测工具对电网系统进行实时监测，当监测到系统失稳时，则使用训练好的稳控模型对系统进行切机以使系统回到稳定状态
。
[0013]进一步地，所述离线阶段的训练流程具体包括：
[0014](1.1.1)
获取失稳样本进入
episode
，初始状态
episode
＝0，后续每次
episode
增加1；
[0015](1.1.2)
开始第一个
step
，进行时域仿真获取
t
时刻的电网状态；
[0016](1.1.3)
根据暂态稳定指数判断系统是否失稳，若暂态稳定指数小于0，则系统失稳，智能体根据
t
时刻的电网状态选择一个动作；若暂态稳定指数大于等于0，则系统稳定，当前
episode
结束；
[0017](1.1.4)
判断当前
episode
的
step
是否达到预设的规定上限值，若未达到，当前
step
结束，进入下一个
step
；若达到，则当前
episode
结束；
[0018](1.1.5)
进入下一个
step
后，系统通过时域仿真执行上个
step
智能体选出的动作，得到
t+1
时刻的电网状态，并给出奖励值
R
；
[0019](1.1.6)
当系统失稳时，智能体先通过奖励值调整自身的决策，然后再根据
t+1
时刻的电网状态选出动作，最后进入步骤
(1.1.4)
；
[0020](1.1.7)
判断
episode
数量是否达到预设的
episode
规定值，若
episode
数量达到规定值，则训练结束，得到训练好的稳控模型；否则，返回步骤
(1.1.1)。
[0021]进一步地，所述在线应用阶段的流程具体包括：
[0022](1.2.1)
通过电网监测工具获取电网运行过程中
t
时刻的状态；
[0023](1.2.2)
通过训练好的稳控模型选择一个动作并执行；
[0024](1.2.3)
根据暂态稳定指数判断系统是否失稳，若暂态稳定指数小于0，则系统失稳，返回步骤
(1.2.1)
；若暂态稳定指数大于等于0，则系统稳定，切机结束
。
[0025]进一步地，所述暂态稳定指数的计算公式为：
[0026][0027]其中，
TSI
为暂态稳定指数，
Δδ
max
表示电力系统运行期间任意2台发电机之间的最大功角之差
。
[0028]进一步地，所述步骤
(2)
包括以下子步骤：
[0029](2.1)
构建电网拓扑结构的邻接矩阵：将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度强化学习和图注意力机制的电力稳控方法，其特征在于，包括以下步骤：
(1)
设计切机方案：针对电网失稳的系统设计以使系统稳定的切机方案，该切机方案通过稳控模型获取；
(2)
设计基于图注意力机制的神经网络：针对电网拓扑结构设计基于图注意力机制的神经网络，该神经网络基于电网拓扑信息通过图注意力机制来提取电网的物理特征；
(3)
设计深度强化学习流程：根据切机方案和神经网络设计对深度强化学习流程中的动作空间
、
状态空间
、
奖励函数，根据切机方案使用稳控模型对失稳系统进行控制
。2.
根据权利要求1所述的基于深度强化学习和图注意力机制的电力稳控方法，其特征在于，所述步骤
(1)
包括以下子步骤：
(1.1)
设计离线阶段的稳控模型训练方案：通过电力仿真软件生成训练样本，使用训练样本对稳控模型进行批量训练，以获取训练好的稳控模型；
(1.2)
设计在线应用阶段方案：使用电网监测工具对电网系统进行实时监测，当监测到系统失稳时，则使用训练好的稳控模型对系统进行切机以使系统回到稳定状态
。3.
根据权利要求2所述的基于深度强化学习和图注意力机制的电力稳控方法，其特征在于，所述离线阶段的训练流程具体包括：
(1.1.1)
获取失稳样本进入
episode
，初始状态
episode
＝0，后续每次
episode
增加1；
(1.1.2)
开始第一个
step
，进行时域仿真获取
t
时刻的电网状态；
(1.1.3)
根据暂态稳定指数判断系统是否失稳，若暂态稳定指数小于0，则系统失稳，智能体根据
t
时刻的电网状态选择一个动作；若暂态稳定指数大于等于0，则系统稳定，当前
episode
结束；
(1.1.4)
判断当前
episode
的
step
是否达到预设的规定上限值，若未达到，当前
step
结束，进入下一个
step
；若达到，则当前
episode
结束；
(1.1.5)
进入下一个
step
后，系统通过时域仿真执行上个
step
智能体选出的动作，得到
t+1
时刻的电网状态，并给出奖励值
R
；
(1.1.6)
当系统失稳时，智能体先通过奖励值调整自身的决策，然后再根据
t+1
时刻的电网状态选出动作，最后进入步骤
(1.1.4)
；
(1.1.7)
判断
episode
数量是否达到预设的
episode
规定值，若
episode
数量达到规定值，则训练结束，得到训练好的稳控模型；否则，返回步骤
(1.1.1)。4.
根据权利要求2所述的基于深度强化学习和图注意力机制的电力稳控方法，其特征在于，所述在线应用阶段的流程具体包括：
(1.2.1)
通过电网监测工具获取电网运行过程中
t
时刻的状态；
(1.2.2)
通过训练好的稳控模型选择一个动作并执行；
(1.2.3)
根据暂态稳定指数判断系统是否失稳，若暂态稳定指数小于0，则系统...

【专利技术属性】
技术研发人员：叶瑞涛，张亶，
申请(专利权)人：浙江大学，
类型：发明
国别省市：