一种基于预测分数阶强化学习智能电网电压控制方法技术

本发明专利技术提出一种基于预测分数阶强化学习智能电网电压控制方法，该方法运用双向门控循环单元对时间序列进行双向预测以及考虑多维的信息，能够更加准确的预测未来电网电压，从而实现对电网电压更准确的控制；该方法运用卷积神经网络对预测后的信号形成的图片进行特征提取，提取得到的两个特征结果作为分数阶比例积分微分控制器的比例系数和积分系数，能够使控制器的控制精度更高，控制更灵活；该方法将分数阶比例积分微分控制器与状态

【技术实现步骤摘要】
一种基于预测分数阶强化学习智能电网电压控制方法


[0001]本专利技术属于电力系统、智能电网和综合能源系统的自动电压控制领域，涉及一种基于人工智能的自动电压控制方法，适用于电力系统、智能电网和综合能源系统的自动电压和智能电压的控制。

技术介绍

[0002]大规模分布式能源接入电力系统，电网的特征发生变化，为电力系统的电压控制造成影响。在智能电网电压的控制方法中，控制器的输入为大量复杂的数据信号，且不具有规律性，控制器根据接收到的电压偏差信号发出控制指令进行调压，但是控制效果并不理想。另外，现有的电压控制方法仅对当前某一时刻电压进行控制，不能预测未来某一时刻的电压偏差值从而提前进行控制。为能够达到提前控制的效果，有研究将历史的电压偏差信号作为预测模型的输入，经过预测模型的训练得到电压偏差的预测值，控制器根据电压偏差预测值发出控制指令进行调压，但是该预测模型欠缺诸多因素的考虑，导致预测的结果不理想，进而影响调压效果。
[0003]另外，现有的电压控制方法中，常用的控制器为比例积分微分控制器，但是由于电网电压的波动性较大，输入的数据信号复杂，控制参数越来越多，常规的比例积分微分控制往往难以得到满意的调压效果。
[0004]因此，提出一种基于预测分数阶强化学习智能电网电压控制方法。运用双层自适应噪声完备集成经验模态分解方法将历史电压偏差序列信号分解为若干个平稳的电压偏差序列分解信号和一个残余分量，降低序列信号的复杂性，提高控制器的控制效果。通过运用双向门控循环单元对时间序列进行双向训练并考虑多维的数据，能够更加准确的预测未来电网电压。运用VGG19提取图片特征，提取得到的比例系数和积分系数作为分数阶比例积分微分控制器的输入的一部分，将电网当前时刻电压偏差值v(t)、VGG19输出的比例系数k
i
和积分系数λ
i
输入到分数阶比例积分微分控制器中，分数阶比例积分微分控制器就能够输出调压指令。通过将分数阶比例积分微分控制器与状态
‑
动作
‑
奖励
‑
状态
‑
动作强化学习方法进行结合，通过合理的参数调试以增强两者的配合程度，能够优化控制器的控制指令，提高对电网电压的控制精度，降低电压的偏差，稳定电压水平，提高电力系统的稳定性。

技术实现思路

[0005]本专利技术提出一种基于预测分数阶强化学习智能电网电压控制方法，将双层自适应噪声完备集成经验模态分解、卷积神经网络VGG19、分数阶比例积分微分控制器和状态
‑
动作
‑
奖励
‑
状态
‑
动作强化学习进行结合，用于电网电压的控制，具有预测未来电网电压的偏差值，优化控制器的控制指令以维持电网电压稳定，提高对电网电压的控制精度，降低电压的偏差，稳定电压水平，提高电力系统的稳定性，在使用过程中的步骤为：
[0006]步骤(1)：获取含1021个电网历史电压偏差值的历史电压偏差序列信号v(T)、节假日信息w(t)和电价e(t)，其中T＝{t
‑
1020,t
‑
1019,
…
,t}，t表示当前时刻；
[0007]步骤(2)：通过双层自适应噪声完备集成经验模态分解对历史电压偏差序列信号v(T)进行分解；双层自适应噪声完备集成经验模态分解是在自适应噪声完备集成经验模态分解对历史电压偏差序列信号v(T)进行分解的基础上再一次使用自适应噪声完备集成经验模态分解对得到的内涵模态分量之和进行分解，其具体过程如下：
[0008]首先，设定迭代次数为K,将N组成对的正负高斯白噪声加入到历史电压偏差序列信号v(T)中，通过经验模态分解方法将每个历史电压偏差序列信号v(T)进行分解，得到第一个内涵模态分量一个内涵模态分量为：
[0009][0010]式中，ε0为噪声的标准差；n
i
(T)为第i次实验中添加标准正态分布的高斯白噪声序列；E1(.)为第1次经验模态分解得到的内涵模态分量；N为成对的正负高斯白噪声的组数；v(T)为历史电压偏差序列信号；
[0011]计算第一个残余分量R1(T),R1(T)为：
[0012][0013]式中，R1(T)为第一个残余分量；为第一个内涵模态分量；v(T)为历史电压偏差序列信号；
[0014]再在残余分量R1(T)中添加高斯白噪声，使用经验模态分解方法对添加高斯白噪声的残余分量R1(T)进行分解，得到内涵模态分量，即为自适应噪声完备集成经验模态分解得到的第二个内涵模态分量得到的第二个内涵模态分量为：
[0015][0016]式中，为第二个内涵模态分量；ε1为自适应系数；n
i
(T)为第i次实验中添加标准正态分布的高斯白噪声序列；E1(
·
)为第1次经验模态分解得到的内涵模态分量；N为成对的正负高斯白噪声的组数；R1(T)为第一个残余分量；
[0017]计算第二个残余分量R2(T),R2(T)为：
[0018][0019]式中，T1(T)为第一个残余分量；为第二个内涵模态分量；
[0020]继续在残余分量T2(T)中添加高斯白噪声，再使用经验模态分解方法进行分解直到残余分量不能再分解，则得到最后的余量T(T),R(T)为：
[0021][0022]式中，R(T)为最后的残余分量；为经过经验模态分解后的得到的第i个内涵模态分量；v(T)为历史电压偏差序列信号；K为迭代次数；
[0023]其次，将分解后得到的K个内涵模态分量进行合并，内涵模态分量之和J(T)为：
[0024][0025]式中，J(T)为内涵模态分量之和；为各内涵模态分量；K为迭代次数；
[0026]最后，将得到的内涵模态分量之和J(T)再次运用自适应噪声完备集成经验模态进行分解，得到的N
EMD
个电压偏差序列分解信号和1个残余分量R(T)；
[0027]步骤(3)：将分解后得到的电压偏差序列分解信号IMF1(T)、分别输入到双向门控循环单元中进行预测,在t时刻分别输出一个电压偏差预测值将分解后得到的残余分量R(T)、电网当前时刻电压偏差值v(t)输入到双向门控循环单元中进行预测，在t时刻输出一个残余分量电压偏差预测值将作为状态
‑
动作
‑
奖励
‑
状态
‑
动作强化学习的输入，双向门控循环单元利用对时间序列进行双向训练的特点，将两个隐含层链接到同一个输出层得出完整的电压偏差预测的结果；门控循环单元能通过重置门和更新门对时序信息进行处理，以单向门控循环单元为例进而引出双向门控循环单元，单向门控循环单元的计算过程如下：
[0028]单向门控循环单元的更新门决定要被遗忘的信息和需要被添加的信息，以t时刻为例，将电压偏差序列分解信号IMF
i
(T)在t时刻的电压偏差分解值IMF
i
(t)和(t
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预测分数阶强化学习智能电网电压控制方法，其特征在于，将双层自适应噪声完备集成经验模态分解、卷积神经网络VGG19、分数阶比例积分微分控制器和状态
‑
动作
‑
奖励
‑
状态
‑
动作强化学习进行结合，用于电网电压的控制，具有预测未来电网电压的偏差值，优化控制器的控制指令以维持电网电压稳定，提高对电网电压的控制精度，降低电压的偏差，稳定电压水平，提高电力系统的稳定性，在使用过程中的步骤为：步骤(1)：获取含1021个电网历史电压偏差值的历史电压偏差序列信号v(T)、节假日信息w(t)和电价e(t)，其中T＝{t
‑
1020，t
‑
1019，...，t}，t表示当前时刻；步骤(2)：通过双层自适应噪声完备集成经验模态分解对历史电压偏差序列信号v(T)进行分解；双层自适应噪声完备集成经验模态分解是在自适应噪声完备集成经验模态分解对历史电压偏差序列信号v(T)进行分解的基础上再一次使用自适应噪声完备集成经验模态分解对得到的内涵模态分量之和进行分解，其具体过程如下：首先，设定迭代次数为K，将N组成对的正负高斯白噪声加入到历史电压偏差序列信号v(T)中，通过经验模态分解方法将每个历史电压偏差序列信号v(T)进行分解，得到第一个内涵模态分量涵模态分量为：式中，ε0为噪声的标准差；n
i
(T)为第i次实验中添加标准正态分布的高斯白噪声序列；E1(.)为第1次经验模态分解得到的内涵模态分量；N为成对的正负高斯白噪声的组数；v(T)为历史电压偏差序列信号；计算第一个残余分量R1(T)，R1(T)为：式中，R1(T)为第一个残余分量；为第一个内涵模态分量；v(T)为历史电压偏差序列信号；再在残余分量R1(T)中添加高斯白噪声，使用经验模态分解方法对添加高斯白噪声的残余分量R1(T)进行分解，得到内涵模态分量，即为自适应噪声完备集成经验模态分解得到的第二个内涵模态分量第二个内涵模态分量为：式中，为第二个内涵模态分量；ε1为自适应系数；n
i
(T)为第i次实验中添加标准正态分布的高斯白噪声序列；E1(
·
)为第1次经验模态分解得到的内涵模态分量；N为成对的正负高斯白噪声的组数；R1(T)为第一个残余分量；计算第二个残余分量R2(T)，R2(T)为：式中，R1(T)为第一个残余分量；为第二个内涵模态分量；继续在残余分量R2(T)中添加高斯白噪声，再使用经验模态分解方法进行分解直到残余分量不能再分解，则得到最后的余量R(T)，R(T)为：式中，R(T)为最后的残余分量；为经过经验模态分解后的得到的第i个内涵模
态分量；v(T)为历史电压偏差序列信号；K为迭代次数；其次，将分解后得到的K个内涵模态分量进行合并，内涵模态分量之和J(T)为：式中，J(T)为内涵模态分量之和；为各内涵模态分量；K为迭代次数；最后，将得到的内涵模态分量之和J(T)再次运用自适应噪声完备集成经验模态进行分解，得到的N
EMD
个电压偏差序列分解信号和1个残余分量R(T)；步骤(3)：将分解后得到的电压偏差序列分解信号分别输入到双向门控循环单元中进行预测，在t时刻分别输出一个电压偏差预测值将分解后得到的残余分量R(T)、电网当前时刻电压偏差值v(t)输入到双向门控循环单元中进行预测，在t时刻输出一个残余分量电压偏差预测值将作为状态
‑
动作
‑
奖励
‑
状态
‑
动作强化学习的输入，双向门控循环单元利用对时间序列进行双向训练的特点，将两个隐含层链接到同一个输出层得出完整的电压偏差预测的结果；门控循环单元能通过重置门和更新门对时序信息进行处理，以单向门控循环单元为例进而引出双向门控循环单元，单向门控循环单元的计算过程如下：单向门控循环单元的更新门决定要被遗忘的信息和需要被添加的信息，以t时刻为例，将电压偏差序列分解信号IMF
i
(T)在t时刻的电压偏差分解值IMF
i
(t)和(t
‑
1)时刻神经元得到的单向电压偏差预测值输入到更新门的输出z
t
，更新门的输出z
t
为：式中，w
hz
为(t
‑
1)时刻神经元隐藏状态与更新门之间的权值；w
xz
为t时刻神经元输入与更新门之间的权值；b
z
为更新门的偏置项；为(t
‑
1)时刻神经元得到的单向电压偏差预测值；σ(
·
)是sigmoid激活函数；IMF
i
(t)为t时刻的电压偏差分解值；更新门的值越大，表示网络遗忘更多(t
‑
1)时刻神经元的隐藏状态中的信息，从而保留更多t时刻神经元内的信息；单向门控循环单元的重置门代表传递的隐藏状态信息被遗忘的程度，以t时刻为例，将电压偏差序列分解信号IMF
i
(T)在t时刻的电压偏差分解值IMF
i
(t)和(t
‑
1)时刻神经元得到的单向电压偏差预测值的单向电压偏差预测值输入到重置门的输出r
t
，重置门的输出r
t
为：式中，w
hr
为(t
‑
1)时刻神经元得到的单向电压偏差预测值与重置门之间的权值；w
xr
为t时刻神经元输入的电压偏差分解值IMF
i
(t)与重置门之间的权值；b
r
是重置门的偏置项；为(t
‑
1)时刻神经元得到的单向电压偏差预测值；σ(
·
)是sigmoid激活函数；通过t时刻的电压偏差分解值IMF
i
(t)和经过重置门的(t
‑
1)时刻神经元隐藏状态能得到候选隐藏状态候选隐藏状态为：
其中，w
xh
为t时刻神经元输入的电压偏差分解值IMF
i
(t)与当前候选隐藏状态之间的权值；w是权值矩阵；“tanh(
·
)”表示双曲正切函数；r
t
为重置门的输出；“*”表示元素逐点相乘；为(t
‑
1)时刻神经元得到的单向电压偏差预测值；通过单向门控循环单元的更新门z
t
，(t
‑
1)时刻神经元的单向电压偏差预测值和候选隐藏状态能计算得到t时刻神经元的电压偏差预测值为：式中，z
t
为更新门的输出；为候选隐藏状态；为(t
‑
1)时刻神经元得到的单向电压偏差预测值；双向门控循环单元由前向传播门控循环单元层和后向传播门控循环单元层组成，能同时处理从前向后和从后向前处理的信息；假设输入序列有k个时间步长，在训练过程中，隐藏状态和能分别提取前向和后向的时序特征，和分别为：分别为：式中，为前向传播门控循环单元层；为后向传播门控循环单元层；IMF
i
(t)为t时刻神经元输入的电压偏差分解值；将两个方向隐藏状态合并得到t时刻的双向门控循环单元电压偏差预测值为：式中，α
t
为时刻t信息前向传播门控循环单元隐藏层输出权重；β
t
...

【专利技术属性】
技术研发人员：殷林飞，莫难，胡立坤，农海斌，韦玲玲，熊奕锦，莫昕瑜，
申请(专利权)人：广西大学，
类型：发明
国别省市：