基于强化学习的光伏自动发电控制方法技术

本发明专利技术公开一种基于强化学习的光伏自动发电控制方法，方法包括以下步骤：构建三区互联电力系统；所述三区互联电力系统包括：火电厂频率控制系统、水电厂频率控制系统和光伏发电频率控制系统，其中三个控制系统中任意两个系统的频率偏差输出信号，作为另外一个控制系统中控制器的输入信号，实现互联三区域电力系统的频率控制；将强化学习控制器作用于光伏发电频率控制系统中，采用基于强化学习的方法对光伏发电系统的频率进行控制。本发明专利技术有益效果是：有效保证互联电力系统频率稳定性，为工农业生产和居民提供安全、可靠及高质量的电能；另一方面充分缓解常规机组的调频压力，提高机组利用率，增加发电企业的经济和社会效益。增加发电企业的经济和社会效益。增加发电企业的经济和社会效益。

【技术实现步骤摘要】
基于强化学习的光伏自动发电控制方法


[0001]本专利技术涉及集中式光伏发电系统与分布式光伏发电系统控制
，尤其涉及一种基于强化学习的光伏自动发电控制方法。

技术介绍

[0002]电力系统频率稳定是电力系统安全运行最重要的因素之一，我国规定，电力系统正常运行时的频率应保持在50
±
0.2Hz。光伏发电具有明显的随机扰动性和波动性，大规模光伏并网发电给常规电力系统平衡带来了功率波动，光伏发电渗透率越高，所需二次调频备用机组越多。传统的依靠人手动调节和单一调频电厂调频的方法已经无法满足用户对电能质量日益严格的需求。
[0003]自动发电控制(Automatic Generation Control简称“AGC”)是根据电力系统机组出力和负荷波动引起的频率偏差Δf和联络线功率偏差ΔPtie，利用自动发电控制系统实时调整发电机组输出有功功率，以适应不断变化的负荷需求，在一定范围内实现电能的发供平衡，从而保证系统频率恢复至基准值、联络线交换功率恢复至计划值。
[0004]通常光伏发电厂将太阳能转变为电能，再由电力电子设备连接到交流电网，但是光伏电厂的有功功率的输出与电网频率是解耦的，一方面光伏电厂无法像同步发电机一样在系统功率供需不平衡时，为电网及时提供频率支持。另一方面光伏发电系统是“零惯性”，即没有旋转的机械装置，随着光伏发电渗透率的提高，导致了电力系统惯性和频率响应的降低，使得传统电力系统更容易受到随机性、间歇性以及幅值变化大的扰动，这些扰动对电力系统的稳定运行和自动发电控制提出了新的挑战。

技术实现思路

[0005]为了解决大规模光伏并网发电导致电力系统惯性和频率响应的降低，光伏电厂无法像同步发电机一样在系统功率供需不平衡时，为电网及时提供频率支持，增加了常规机组的调频压力的问题，本申请提供的一种基于强化学习的光伏自动发电控制方法，该方法采用基于强化学习的AGC技术，具体包括以下步骤：
[0006]S101：构建三区互联电力系统；所述三区互联电力系统包括：火电厂频率控制系统、水电厂频率控制系统和光伏发电频率控制系统，其中三个控制系统中任意两个系统的频率偏差输出信号，作为另外一个控制系统中控制器的输入信号，实现三区互联；
[0007]S102：将强化学习控制器作用于光伏发电频率控制系统中，采用基于强化学习的方法对光伏发电频率控制系统进行控制。
[0008]进一步地，步骤S101中所述火电厂频率控制系统、水电厂频率控制系统采用包括PID控制和PI控制的常规控制器。
[0009]进一步地，步骤S102中，所述强化学习控制器包括：状态转换器、Actor 网络和Critic网络；其单独控制的原理为：
[0010]根据实际情况预先给定信号w(t)与被控光伏发电系统输出量y(t)相减，产生误差
信号e(t)；误差信号e(t)经过状态转换器转变为强化学习网络的输入状态信号x(t)；状态信号x(t)输入至Actor网络，得到输出信号u
n
(t)；状态信号x(t)与误差的强化学习信号r(t)一起输入至Critic网络，得到输出信号n(t)；输出信号u
n
(t)与n(t)相结合，得到被控光伏发电系统的控制输入信号u(t)；u(t)作用于被控光伏发电系统，得到输出信号y(t)形成闭环控制；Actor网络和Critic网络还通过时序差分信号δ
TD
(t)在线更新Actor网络和Critic网络的权值系数。
[0011]进一步地，采用RBF神经网络同时完成Actor网络的策略函数和Critic网络的值函数功能；所述RBF神经网络的输入为状态信号x(t)＝[x1(t),x2(t)L,x
n
(t)]T
；
[0012]其隐含层采用的高斯核函数为：
[0013][0014]其中，μ
j
＝[μ
j1
,μ
j2
,μ
j3
]是第j个节点的中心向量,σ
j
是第j个节点的宽度函数，m是隐含层节点的数量。
[0015]进一步地，所述Actor网络和Critic网络的输出分别为：
[0016][0017][0018]其中ω
nj
和ω
j
分别为Actor网络和Critic网络的权值系数。
[0019]进一步地，所述控制输入信号u(t)的表达式如下：
[0020]u(t)＝u
n
(t)+η
m
(0,ρ(t))(3)
[0021]其中，η
m
()为高斯分布函数；ρ(t)＝[1+exp(2n(t))]‑1。
[0022]进一步地，所述时序差分信号δ
TD
(t)的表达式如下：
[0023]δ
TD
(t)＝r(t)+λn(t+1)
‑
n(t)(4)
[0024]其中λ为折扣系数，0<λ<1，性能指标函数为：
[0025]进一步地，所述Actor网络和Critic网络的权值系数更新公式为：
[0026][0027]ω
j
(t+1)＝ω
j
(t)+η
c
δ
TD
h(t)(6)
[0028]其中,η
a
和η
c
是Actor网络和Critic网络学习速率。
[0029]进一步地，隐含层节点中心函数c(t)和宽度函数σ(t)更新公式分别为：
[0030][0031][0032]其中，β1与β2是学习速率。
[0033]进一步地，步骤S102具体为：
[0034]S201：初始化RBF网络的学习速率η
a
和η
c
、折扣系数λ和网络的权值系数ω
nj
和ω
j
、迭代总次数N
c
、迭代时间T和误差阈值δ0；
[0035]S202：进入网络循环迭代过程，令当前迭代次数i＝1；
[0036]S203：判断i<N
c
是否成立，若是，则进入步骤S204；否则进入步骤S206；
[0037]S204：根据t时刻的x(t)，根据公式(1)和(2)求解t时刻Actor和 Critic网络的输出u
n
(t)和n(t)；
[0038]S205：根据公式(4)计算时序差分信号δ
TD
的值，判断若，δ0>δ
TD
则按照式(5)、(6)更新Actor网络和Critic网络的权值；按照式(7)、(8)计算中心函数和宽度函数；
[0039]S206：获取t+1时刻的向量x(t+1)；
[0040]S207：根据公式(3)计算控制输入信号并作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的光伏自动发电控制方法，其特征在于：S101：构建三区互联电力系统；所述三区互联电力系统包括：火电厂频率控制系统、水电厂频率控制系统和光伏发电频率控制系统，其中三个控制系统中任意两个系统的频率偏差输出信号，作为另外一个控制系统中控制器的输入信号，实现三区互联；S102：将强化学习控制器作用于光伏发电频率控制系统中，采用基于强化学习的方法对光伏发电频率控制系统进行控制。2.如权利要求1所述的一种基于强化学习的光伏自动发电控制方法，其特征在于：步骤S101中所述火电厂频率控制系统、水电厂频率控制系统采用包括PID控制和PI控制的常规控制器。3.如权利要求1所述的基于强化学习的光伏发电系统附加阻尼控制器设计方法，其特征在于：步骤S102中，所述强化学习控制器包括：状态转换器、Actor网络和Critic网络；其单独控制的原理为：根据实际情况预先给定信号w(t)与被控光伏发电系统输出量y(t)相减，产生误差信号e(t)；误差信号e(t)经过状态转换器转变为强化学习网络的输入状态信号x(t)；状态信号x(t)输入至Actor网络，得到输出信号u
n
(t)；状态信号x(t)与误差的强化学习信号r(t)一起输入至Critic网络，得到输出信号n(t)；输出信号u
n
(t)与n(t)相结合，得到被控光伏发电系统的控制输入信号u(t)；u(t)作用于被控光伏发电系统，得到输出信号y(t)形成闭环控制；Actor网络和Critic网络还通过时序差分信号δ
TD
(t)在线更新Actor网络和Critic网络的权值系数。4.如权利要求3所述的一种基于强化学习的光伏发电系统附加阻尼器设计方法，其特征在于：采用RBF神经网络同时完成Actor网络的策略函数和Critic网络的值函数功能；所述RBF神经网络的输入为状态信号x(t)＝[x1(t),x2(t)
…
,x
n
(t)]
T
；其隐含层采用的高斯核函数为：其中，μ
j
＝[μ
j1
,μ
j2
,μ
j3
]是第j个节点的中心向量,σ
j
是第j个节点的宽度函数，m是隐含层节点的数量。5.如权利要求4所述的一种基于强化学习的光伏发电系统附加阻尼器设计方法，其特征在于：所述Actor网络和Critic网络的输出分别为：所述Actor网络和Critic网络的输出分别为：其中ω
nj
和ω
j
分别为Actor网络和Critic网络的权值系数。6.如权利要求5所述的一种基于强化学习的光伏发电系统附加阻尼器设计方法，其特征在于：所述控制输入信号u(t)...

【专利技术属性】
技术研发人员：于来宝，卫璐，宋晶，杨中原，袁博，姬庆玲，张涛，
申请(专利权)人：武汉城市职业学院，
类型：发明
国别省市：