一种基于DQN算法的区域自动发电动态控制方法技术

本发明专利技术公开了一种基于DQN算法的区域自动发电动态控制方法，通过DQN算法和深度神经网络相结合来进行区域自动发电动态控制。本发明专利技术实施例的技术方案通过DQN算法和深度神经网络相结合来进行区域自动发电动态控制，以深度神经网络(DNN)来代替传统Q学习中的“状态‑动作”对，直接构成电网连续状态量与奖励期望之间的映射关系；通过与深度神经网络的有机结合，不仅使Q学习算法拥有了处理复杂的连续状态量的能力，从根本上解决了维数灾问题，同时可以使用深度学习算法对深度神经网络参数进行预学习以有效提高算法的收敛速度。

A dynamic control method of regional automatic generation based on dqn algorithm

【技术实现步骤摘要】
一种基于DQN算法的区域自动发电动态控制方法
本专利技术涉及一种基于DQN算法的区域自动发电动态控制方法，属于电力系统自动发电控制

技术介绍
自动发电控制(automaticgenerationcontrol，AGC)作为能量管理系统(energymanagementsystem，EMS)的重要环节之一，主要分为2个过程：1)总功率指令的跟踪2)总功率指令的分配。通常以CPS考核合格率作为评价AGC控制性能的重要标准。传统的负荷频率控制，即狭义的自动发电控制(AGC)因为采用了负反馈控制，比例积分环节始终都可以消除误差达到稳定状态。但由于火电系统存在非线性环节，基于线性规划控制的动态性能无法让人满意。同时二次控制回路的比例积分增益系数不仅与系统结构参数有关，还与负荷变化相关，需随着系统负荷的变化实时调节，才能满足负荷变化时频率的变化要求。CPS标准下的AGC系统可看作“不确定的随机系统”,数学模型以高斯-马尔可夫随机过程建模，功率动态分配问题可理解为一个离散时间马尔可夫决策过程。传统解析方法对电网结构、参数以及运行量测数据的精本文档来自技高网...

【技术保护点】
1.一种基于DQN算法的区域自动发电动态控制方法，其特征是，通过DQN算法和深度神经网络相结合来进行区域自动发电动态控制。/n

【技术特征摘要】
1.一种基于DQN算法的区域自动发电动态控制方法，其特征是，通过DQN算法和深度神经网络相结合来进行区域自动发电动态控制。


2.根据权利要求1所述的一种基于DQN算法的区域自动发电动态控制方法，其特征是，所述DQN算法和深度神经网络相结合的过程包括以下步骤：
(1)设计DQN算法的状态集S、动作集A和奖励函数R；
(2)初始化以下参数：算法记忆库、具有相同结构的Q神经网络和Qt神经网络、初始状态s0、以及学习速度α和折扣因子γ；
(3)求解当前状态s下的值函数Q(s,a)，依据贪婪原则选择控制动作a，并考虑机组容量和爬坡速度硬性约束对控制动作a进行额外处理；
(4)将处理过的控制动作a作用于电力系统仿真环境，得到反馈的系统新状态s'，依据奖励函数公式计算出控制动作对应的立即奖励r，并将(s,a,r,s')作为一条样本经验存入算法记忆库；
(5)从算法记忆库中随机抽取部分样本经验，采用批量更新的方式，使用随机梯度下降法更新Q神经网络，与Q神经网络具有相同结构的Qt神经网络每隔N次迭代复制一次Q神经网络参数；
(6)将DQN算法当前状态s更新至新状态s'，并将迭代次数加一，当目前迭代次数大于最大迭代次数或者值函数收敛时停止迭代。


3.根据权利要求2所述的一种基于DQN算法的区域自动发电动态控制方法，其特征是，在步骤(1)中，DQN算法的状态量取联络线功率偏差ΔP和频率偏差Δf，动作量为各AGC机组出力设定值；奖励函数发CPS1指标指数kCPS1计算如下：



其中，ACEAVE-min为区域控制误差ACE在1分钟内的平均值；ΔFAVE-min为频率偏差ΔF在1分钟内的平均值；Bi为控制区域i的频率偏差系数；ε1为互联电网对全年1分钟频率平均偏差均方根的控制目标值；nT为该考核时段的分钟数；
当kCPS1≥200％或者200％>kCPS1≥100％且|ACEAVE-10-min|≤L10时，CPS指标达到标准，奖励函数如下：



其中，ACEAVE-10-min是...

【专利技术属性】
技术研发人员：张志轩，李晓宇，王亮，麻常辉，张鹏飞，李文博，杨冬，蒋哲，周宁，邢鲁华，李山，刘文学，张冰，房俏，赵康，马欢，陈博，
申请(专利权)人：国网山东省电力公司电力科学研究院，国家电网有限公司，
类型：发明
国别省市：山东;37