一种基于深度强化学习的AGC机组动态优化方法技术

本发明专利技术提供了一种基于深度强化学习的AGC机组动态优化方法，本发明专利技术引入了强化学习中的深度Q网络(deep Q network,DQN)算法，通过智能体与环境的不断交互，根据环境反馈的奖励值，不断改进智能体的策略，实现对系统中不确定性变量的学习，避免了对系统中的不确定性变量的建模。本方法能够根据负荷和风电的预测信息，自适应学习预测带来的不确定性，使得所给出的结果，即各台AGC机组的调节量能够更加吻合电力系统实际有功缺额，有助于系统的频率稳定，解决大规模新能源并网带来的随机扰动问题。

【技术实现步骤摘要】
一种基于深度强化学习的AGC机组动态优化方法
本专利技术属于电力系统领域，涉及一种基于深度强化学习的AGC机组动态优化方法。
技术介绍
自动发电控制(automaticgenerationcontrol，AGC)应用于现代大电网频率控制和互联电网之间联络线交换功率控制，是保证电网安全稳定经济运行、提高电网运行水平的重要措施之一，具有重要的研究价值。然而，随着互联电网运行新标准——CPS(controlperformancestandard，CPS)的推广应用，使得AGC控制面临新的挑战。此外，风电、光伏等新能源的大规模接入，给电力系统带来了较大的功率波动，使得电力系统的频率控制和联络线功率控制面临严峻的挑战。因此，在现有的AGC相关理论技术之上进行探索，使其能够更好地应对新能源大规模接入对电网频率造成的影响具有重要意义。目前，国内外在AGC控制策略的研究和实践中已经取得了丰硕的理论研究成果和工程实践成果。但长期以来，AGC控制可以看作是一个负反馈系统，根据SCADA系统实时采集上来的系统实时频率偏差、联络线功率偏差及其它变量作为输入，通本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的AGC机组动态优化方法，其特征在于：/nAGC机组动态优化方法目标函数为使优化周期内总成本最小，即：/n

【技术特征摘要】
1.一种基于深度强化学习的AGC机组动态优化方法，其特征在于：
AGC机组动态优化方法目标函数为使优化周期内总成本最小，即：



式中，T为控制周期时长，即15min；FR,t、FS,t分别为AGC机组调节辅助服务费用和随机性成本；
根据上述模型，将将15分钟的控制周期分为15个阶段的马尔可夫过程，决策过程的主要变量包括：
状态空间S：状态空间包括t时刻常规机组和AGC机组的真实出力系统中真实的频率偏差Δftr、联络线功率偏差区域控制误差t+1时刻系统负荷预测值风电预测值频率偏差联络线功率偏差以及区域控制误差的预测值即：



动作空间A：为各个优化时段AGC机组有功出力，AGC机组出力用增量的形式表示，即



考虑到AGC机组同时参与系统一次和二次调频，则各AGC机组t+1时刻的出力值为：



式中，即第i台AGC机组相对t时刻的调节功率，也即二次调频功率；表示第i台AGC机组相对t时刻的一次调频功率，KGi为第i台AGC机组的单位调节功率，Δftr分别为t+1时刻和t时刻系统中真实的频率偏差；
对于不参与二次调频的非AGC机组，第t+1时刻的出力值为：



考虑到机组出力上下限约束，将各台AGC机组t+1时刻的实际出力限制在出力上下限之间，即



即时奖励R：由系统的总成本和惩罚组成，包括AGC机组调节辅助服务费用和随机性成本，惩罚项rpenel主要包括机组越限惩罚r1、CPS1指标惩罚r2、频率偏差惩罚r3以及联络线功率偏差惩罚r4：



式中，k1为机组越限惩罚系数；



式中，k2、k3分别为ACE和CPS1指标的惩罚系数，ACE*和CPS1*分别为ACE和CPS1的理想取值，本方法取0和200％；



式中，k4为频率偏差惩罚系数；



式中，k5为联络线功率偏差惩罚系数；
因此，系统中总惩罚项rpenel即，
rpenel＝r1+r2+r3+r4(24)
即时奖励rt即，
rt＝-(F+rpenel)(25)
式中，F为式(1)所示优化周期内的总成本；
状态转移概率P：由于本方法中下一时刻的状态值、即时奖励值必须通过与环境的交互才能得到，它们共同组成包含环境随机性的状态转移概率P；
折扣因子γ∈[0,1]表示未来时刻的奖励对当前奖励的重要性；
将上述马尔可夫过程的模型采用深度强化学习算法求解，得到最优的决策。


2.如权利要求1所述的一种基于深度强化学习的AGC机组动态优化方法，其特征在于，将马尔可夫过程的模型采用深度Q学习算法的策略求解。


3.如权利要求1所述的一种基于深度强化学习的AGC机组动态优化方法，其特征在于，将马尔可夫过程的模型采用DuelingDQN、DoubleDQN、深度确定性策略梯度算法、或近端策略优化算法求解。


4.如权利要求2所述的一种基于深度强化学习的AGC机组动态优化方法，其特征在于，采用深度Q学习算法的策略求解的具体过程为：
步骤1：初始化两个神经网络参数θ和θ-；初始化环境；设置经验池容量、批训练样本数、折扣因子γ、贪心概率ε、学习率α等参数；设置训练回合M和决策周期N；
步骤2：每个回合开始时，即n＝0，初始化系统状态s0，包括：当前时刻常规机组和AGC机组的真实出力、系统中真实的频率偏差、联络线功率偏差和区域控制误差；下一时刻系统负荷、风电预测值、频率偏差、联络线功率偏差、以及区域控制误差的预测值；
步骤3：将状态观测值st输入至当前神经网络中，根据ε贪婪策略选择对应的动作at；
步骤4：将动作at经公式(19)转化为t+1时刻的调度方案，即各台AGC机组出力的变化量。将...

【专利技术属性】
技术研发人员：张沛，李家腾，吕晓茜，宋秉睿，孟祥飞，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11