一种基于物理信息和深度强化学习的电力系统自动化操作方法及装置制造方法及图纸

本发明专利技术公开了一种基于物理信息和深度强化学习的电力系统自动化操作方法及装置。该方法设定强化学习训练需要的神经网络结构、参数、状态空间、可选择的动作空间，构建一个深度Q学习智能体，通过最小化线路故障的频率和严重程度来预测自动行动。然后，直接应用电力系统物理信息作为训练已知限定，减少训练数据，加快训练时间。其次，设计用于优化的奖励函数，训练选择不同的动作以达到最大的奖励，寻找最优的自动化操作。本发明专利技术结合物理信息特征，基于DQN算法对电力系统各输电线路和变电站拓扑进行了优化控制，兼顾了经济性和有效性。本发明专利技术能在较少数据的情况下，实时地进行电力系统稳定控制。稳定控制。稳定控制。

【技术实现步骤摘要】
一种基于物理信息和深度强化学习的电力系统自动化操作方法及装置


[0001]本专利技术属于电力系统运行优化
，具体涉及一种基于物理信息和深度强化学习的电力系统自动化操作方法及装置。

技术介绍

[0002]随着经济和社会发展对电力需求的增长，风能及间歇性可再生能源大量的接入使电网面临电力供应压力的局面。停电对电力系统具有高度破坏性，对电网安全稳定运行来说是灾难性的，而且纠正性维护成本极高。随着电网复杂性的增加，人工操作员无法有效地监控和管理实时问题。强劲的需求增长、有限的发电能力和复杂的实时操作，为运用智能算法参与电力系统决策提供了有利条件。
[0003]强化学习算法由智能体在环境中根据状态参数最大化某些奖励，然后采取行动，再更新状态信息，由此往复。它没有被明确告知智能体应该做什么，而是执行半随机动作来了解什么会产生最理想的结果。新状态和奖励被给予智能体，以表明该行为是有益的还是有害的。根据奖励，智能体将修改其动作策略。
[0004]目前已经有一些研究将强化学习运用在电力系统中，因为可以快速处理大量状态数据。在对电网采取任何行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物理信息和深度强化学习的电力系统自动化操作方法，其特征在于：包括：以电力系统电网状态数据为输入，电力系统操作动作为输出，电力系统物理信息为条件，构建电力系统自动化操作物理信息神经网络；采用深度强化学习训练所构建的电力系统自动化操作物理信息神经网络，训练过程中，采用优化设计的奖励函数选择最优操作动作决策；基于实时电力系统电网状态数据和训练好的电力系统自动化操作物理信息神经网络，得到实时电力系统自动化操作动作决策。2.根据权利要求1所述的一种基于物理信息和深度强化学习的电力系统自动化操作方法，其特征在于：所述电力系统电网状态数据包括：每个节点的发电机状态、负荷状态、线路起点节点状态、线路终点节点状态和线路特性状态数据，以及观测时间序列数据。3.根据权利要求2所述的一种基于物理信息和深度强化学习的电力系统自动化操作方法，其特征在于：基于pypownet平台模拟电力系统实时稳态运行以及进行潮流计算，获取电力系统电网状态数据，并通过pypownet的Observation类对电网状态数据进行过滤。4.根据权利要求1所述的一种基于物理信息和深度强化学习的电力系统自动化操作方法，其特征在于：所述电力系统操作动作包括：打开或关断输电线路，以及重新配置变电站连接拓扑。5.根据权利要求1所述的一种基于物理信息和深度强化学习的电力系统自动化操作方法，其特征在于：所述电力系统操作动作包括：打开输电线路，以及重新配置变电站连接拓扑。6.根据权利要求1所述的一种基于物理信息和深度强化学习的电力系统自动化操作方法，其特征在于：所述电力系统物理信息包括：电力系统输电线路拥有热阈值，超过热阈值将增加训练的惩罚值；电力系统拓扑网络随着电力系统操作动作实时在线更新电力系统电网状态信息，再进行下一轮操作动作决策。7.根据权利要求1所述的一种基于物理信息和深度强化学习的电力系统自动化操作方法，其特征在于：所述奖励函数如下：reward＝αN
load
+βN
gen
+γL
use
+δC
action
其中，reward为奖励值，α、β、γ、δ为子奖励系数，N
load
为关断负荷数量，N
gen
为关断发电机组数量，L
use
为线路容量使用，C
action
为动作成本；N

【专利技术属性】
技术研发人员：袁晓冬，袁宇波，孙天奎，史明明，司鑫尧，苏伟，郭佳豪，姜云龙，肖小龙，
申请(专利权)人：江苏省电力试验研究院有限公司，
类型：发明
国别省市：