一种差分进化变参数矢量情感深度强化学习发电控制方法技术

本发明专利技术提出一种差分进化变参数矢量情感深度强化学习发电控制方法，该方法由两个差分进化变参数情感深度强化学习分量构成，每个分量结合差分进化、人工情感和深度强化学习，用于综合能源系统的发电控制。首先，所提方法中差分进化用于跳出局部最优解。其次，所提方法中人工情感利用差分进化选择的变量计算情感输出值。然后，所提方法中深度强化学习利用情感输出值更新学习率和动作值。最后，两个深度强化学习分别对状态变量和储能装置输出有功功率进行学习，二者的输出经矢量运算后作为所提方法的结果。所提方法能解决深度强化学习易陷入局部最优解的问题，考虑储能可提高自动发电控制的调节精度，降低发电成本和碳排放量，加快碳中和目标的实现。加快碳中和目标的实现。

【技术实现步骤摘要】
一种差分进化变参数矢量情感深度强化学习发电控制方法


[0001]本专利技术属于综合能源系统发电控制领域，涉及基于人工智能的方法，适用于综合能源系统的发电控制。

技术介绍

[0002]随着2030年前实现碳达峰、2060年前实现碳中和的“双碳”目标提出，传统火电机组面临停机、升级改造的局面，火电占比会逐年降低，而风电、光伏发电等新能源发电占比将呈上升态势。此外，抽水蓄能电站、电池储能系统等储能技术的发展，为“双碳”目标的实现再添一份助力。但是，风电、光伏发电的随机性与波动性，抽水蓄能电站、电池储能等储能装置的运行，以及因短路、断线等事故导致的电网结构改变，对自动发电控制的实时性提出了更高的要求。
[0003]深度神经网络可以逼近非线性函数。但是，深度神经网络隐含层和神经元的数量事先难以确定，深度神经网络的训练也需要大量数据，一个性能优异的深度神经网络需要训练较长的时间。此外，强化学习需要通过与环境之间交互来寻求最优的动作，存在试错时间长的问题；当智能体划分的状态过多时，还会产生“维数”灾难；强化学习还可能陷入局部最优解。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种差分进化变参数矢量情感深度强化学习发电控制方法，其特征在于，该方法结合差分进化、人工情感和深度强化学习，用于综合能源系统的发电控制；所提差分进化变参数矢量情感深度强化学习发电控制方法在使用过程中的步骤为：步骤(1)：获取综合能源系统当前频率偏差Δf，区域控制误差e
ACE
，抽水蓄能电站输出功率P
PSPP
、电池储能输出功率P
BESS
、电动汽车输出功率P
EV
、飞轮储能输出功率P
FESS
、电容储能输出功率P
CES
；步骤(2)：计算控制性能标准C
CPS
，控制性能标准1C
CPS1
和控制性能标准2C
CPS2
；控制性能标准1C
CPS1
为：式中，为区域控制误差每分钟的平均值；Δf
ave
为频率偏差每分钟的平均值；B
i
为i控制区域的频率偏差系数；n为统计时间内的分钟数；ε1为一年中频率平均偏差的均方根的控制目标值；控制性能标准2C
CPS2
为：式中，T
u
、T
s
和T
n
分别为考核期间不合格时段、总时段和“非考核”时段；控制性能标准C
CPS
为：步骤(3)：综合能源系统中功率的等式约束和不等式约束为：综合能源系统中功率的等式约束为：P
G
+P
W
+P
P
+P
PSPP
+P
BESS
+P
EV
+P
FESS
+P
CES
‑
ΔP
tie
‑
P
Load
＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)式中，P
G
为火电机组功率；P
W
为风电功率；P
P
为光伏发电功率；ΔP
tie
为线路损耗功率；P
Load
为负载功率；综合能源系统中功率的不等式约束为火电机组、风电、光伏发电、抽水蓄能电站、电池储能、电动汽车、飞轮储能和电容储能的约束；火电机组的不等式约束为：式中，为火电机组正常运行允许的最低功率；为火电机组正常运行允许的最大功率；风电的不等式约束为：式中，为风电机组正常运行允许的最大功率；光伏发电的不等式约束为：
式中，为光伏发电正常运行允许的最大功率；抽水蓄能电站的不等式功率约束为：式中，为抽水蓄能电站正常运行允许的最低功率；为抽水蓄能电站正常运行允许的最大功率；电池储能的不等式功率约束为：式中，为电池储能正常运行允许的最低功率；为电池储能正常运行允许的最大功率；电动汽车的不等式功率约束为：式中，为电动汽车正常运行允许的最低功率；为电动汽车正常运行允许的最大功率；飞轮储能的不等式功率约束：式中，为飞轮储能正常运行允许的最低功率；为飞轮储能正常运行允许的最大功率；电容储能的不等式功率约束：式中，为电容储能正常运行允许的最低功率；为电容储能正常运行允许的最大功率；步骤(4)：差分进化变参数矢量情感深度强化学习发电控制方法由两个独立的差分进化变参数情感深度强化学习方法组成；一个分量为差分进化变参数情感深度强化学习方法对综合能源系统的频率偏差Δf、区域控制误差e
ACE
、控制性能标准C
CPS
、控制性能标准1C
CPS1
和控制性能标准2C
CPS2
共5个状态变量进行学习；一个分量为差分进化变参数情感深度强化学习方法对综合能源系统中抽水蓄能电站输出功率P
PSPP
、电池储能输出功率P
BESS
、电动汽车输出功率P
EV
、飞轮储能输出功率P
FESS
、电容储能输出功率P
CES
进行学习，且随着综合能源系统中储能装置数量的增多，差分进化变参数情感深度强化学习方法的输入变量的数目也随之增多；步骤(5)：定义差分进化变参数矢量情感深度强化学习发电控制方法的输入集合X，差分进化变参数矢量情感深度强化学习发电控制方法由两个独立的差分进化变参数情感深度强化学习方法构成；X包含两个子集X1和X2：X＝(X1，X2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)当子集为基于综合能源系统状态变量的差分进化变参数情感深度强化学习时，输入子集X1为：
式中，对应于输入的Δf；对应于输入的e
ACE
；对应于输入的C
CPS
；对应于输入的C
CPS1
；对应于输入的C
CPS2
；当子集为基于综合能源系统内全部储能装置输出功率的差分进化变参数情感深度强化学习时，输入子集X2为：式中，对应于输入的P
PSPP
；对应于输入的P
BESS
；对应于输入的P
EV
；对应于输入的P
FESS
；对应于输入的P
CES
；当综合能源系统中储能装置数目增多时，子集X2中个体数也会增多；步骤(6)：利用差分进化方法在每一时刻t都对输入变量进行变异、交叉和选择，保留优良输入变量，淘汰劣势输入变量，引导输入变量向全局最优解逼近；差分进化变参数矢量情感深度强化学习由两个差分进化变参数情感深度强化学习构成，二者的差分进化方法仅输入变量和参数具体数值不同，而差分进化方法的结构是相同的；所述差分进化方法的步骤为：(6.1)种群初始化：在集合X中，随机选取M个个体，每个个体包含n个向量；X为X1或X2；当X为X1时，n等于5；当X为X2时，n等于5，若综合能源系统储能数目增多，n值也将随之增大：X
i
(0)＝(x
i,1
(0),x
i,2
(0),...,x
i,n
(0)),i＝1,2,...,M
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)式中，X
i
(0)为第0代第i个个体；x
i,1
(0)为第0代第i个个体的第1个输入变量；x
i,2
(0)为第0代第i个个体的第2个输入变量；x
i,n
(0)为第0代第i个个体的第n个输入变量；第i个个体的第j个输入变量取值为：式中，x
i,j
(0)为第0代第i个个体的第j个输入变量；x
i,j_min
(0)和x
i,j_max
(0)分别为第0代第i个个体的第j个输入变量的取值下限和取值上限；μ为(0,1)之间的随机数；(6.2)变异：第k代时，从种群中随机选取3个个体进行变异操作，获得变异中间体Y(k+1)：式中，为第k代选取的3个个体中第一个；为第k代选取的3个个体中第二个；为第k代选取的3个个体中第三个；F为缩放因子，取值为[0,2]，通常取0.5；(6.3)交叉：对第k代种群个体以及变异中间体进行交叉操作，交叉后第k+1代第i个个体的第j个输入变量Z
i，j
(k+1)为：
式中，Y
j
(k+1)为变异中间体的第j个输入变量；X
i，j
(k)为第k代第i个个体的第j个输入变量；ξ为范围是(0，1)之间的随机数；τ为交叉概率；j
rand
为[1，2，...，n]的随机整数；(6.4)选择操作后：式中，X
i
(k)为第k代第i个个体；X
i
(k+1)为第k+1代第i个个体；Z
i
(k+1)交叉后的第i个个体；f(Z
i
(k+1))为交叉后第i个个体的评价值；f(X
i
(k))为第k代第i个个体的评价值；步骤(7)：在第t时刻，经步骤(6)所述差分进化方法，个体X
i
(k+1)被选择出来；设X
i
(k+1)中第j个输入变量所对应的权重为λ
j
；人工情感的量化值为：式中，y
t
为人工情感的量化值；x
i，j
(k+1)为个体X
i
(k+1)的第j个输入变量；人工情感的输出值η
t
为：式中，a
η
、b
η
和c
η
为人工情感量化器的系数；步骤(8)：为加快深度...

【专利技术属性】
技术研发人员：殷林飞，李钰，韦潇莹，高放，
申请(专利权)人：广西大学，
类型：发明
国别省市：