基于多阶段学习的电力系统调控智能体训练方法、设备及存储介质技术方案

本发明专利技术公开了一种基于多阶段学习的电力系统调控智能体训练方法、设备及存储介质，该方法首先进行电力系统调控问题建模，建立供强化学习训练的电力系统调控问题模型，然后进行调控智能体的模仿学习，最后通过强化学习提升调控智能体的神经网络的精度。本发明专利技术提供了基于模仿学习和强化学习的电力系统调控智能体训练方法，训练得到的调控智能体可以用于电力系统自动化的在线运行，相比传统的依赖人工经验的调控方式，对电力系统调控所面临的实时性和随机性具有更好的适应性。和随机性具有更好的适应性。和随机性具有更好的适应性。

【技术实现步骤摘要】
基于多阶段学习的电力系统调控智能体训练方法、设备及存储介质


[0001]本专利技术涉及电力系统调控
，特别是涉及一种基于多阶段学习的电力系统调控智能体训练方法、设备及存储介质。

技术介绍

[0002]电力系统调控通过控制电力系统中的发电机、分布式电源、开关等元素，保障电力系统安全稳定运行。然而，目前的电力系统调控主要依赖人工经验，即调控员根据当前的电力系统运行状态，从常用的调控预案中选择调控策略。同时，目前电力系统调控的频率比较低，一般为15分钟一次。
[0003]然而，由于电力系统不断发展，调管对象显著增加，传统通过人工经验的调控方式难以满足计算实时性需求；同时，高比例分布式电源和新型负荷的大规模接入为电力系统带来了随机性和波动性，传统的调控方式频率低，难以应付分布式电源和负荷的骤然波动；此外，传统的人工经验调控依赖调控预案库，随着台风等极端天气增多，固有的调控预案库难以涵盖电力系统新出现的运行方式。综上所述，依赖人工经验的电力系统调控在实际的电力系统运行中已经面临严峻的挑战，亟需自动化的电力系统调控方式。<br/>
技术实现思路
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段学习的电力系统调控智能体训练方法，其特征在于，包括以下步骤：S1)电力系统调控问题建模，包含以下子步骤：S101)系统建模：建立待调控电力系统的系统模型，模型包含控制变量、随机变量和因变量；S102)关键状态建模：在步骤S101)中建立的系统模型中选择部分变量作为表征待调控电力系统状态的关键状态变量；S103)动作建模：根据步骤S101)中建立的系统模型中的控制变量，确定可用于待调控电力系统的调控动作集合；S104)奖励建模：确定奖励计算函数，所述奖励计算函数是系统模型中关键状态变量的函数；S2)调控智能体的模仿学习，包含以下子步骤：S201)初始化：设置需要生成的系统断面数，初始化模仿学习训练库为空；S202)系统断面生成：对于步骤S101)中的控制变量和随机变量进行随机取值，生成电力系统的一个运行断面，计算潮流得到关键状态变量的取值；S203)最优动作计算：根据当前系统断面，以步骤S104)中的奖励计算函数为目标函数求解最优潮流，得到最优动作；将当前关键状态变量的取值作为特征，将当前选择的最优动作作为标签，两者对应存入模仿学习训练库；若当前已生成的系统断面达到步骤S201)中设置的需要生成的系统断面数，则进入步骤S204)；否则返回步骤S202)；S204)模仿学习训练：设置神经网络结构和参数，根据当前模仿学习训练库，训练得到调控智能体的神经网络，该神经网络的输入为关键状态变量的取值，输出为一个调控动作；S3)调控智能体的强化学习：该步骤在步骤S2)得到的调控智能体的基础上，通过强化学习提升神经网络的精度，主要包含以下子步骤：S301)初始化：设置需要生成的系统断面数、强化学习的批量训练规模，初始化强化学习训练库为空；S302)系统断面生成：对于步骤S101)中的控制变量和随机变量进行随机取值，生成电力系统的一个运行断面，计算潮流得到关键状态变量的取值；S303)最优动作计算：根据关键状态变量的取值，对当前的神经网络进行前向计算，得到最优动作；在步骤302)中得到的系统断面上模拟该最优动作后，根据步骤S104)得到奖励计算函数值；将动作实施前系统断面的关键状态变量取值、最优动作、奖励计算函数值、动作实施后系统断面的关键状态变量取值作为一个记录，存入强化学习训练库；S304)强化学习训练：当强化学习训练库当前的记录数等于步骤301)中设置的强化学习的批量训练规模时，利用强化学习方法更新当前调控智能体的神经网络；若当前已生成的系统断面达到步骤S301)中设置的需要生成的系统断面数，则得到最终的调控智能体的神经网络，结束步骤S3)；否则返回步骤S302)。2.根据权利要求1所述的方法，其特征在于，所述控制变量的...

【专利技术属性】
技术研发人员：何仲潇，董树锋，姚若浩，
申请(专利权)人：四川云起老和科技有限公司，
类型：发明
国别省市：