基于竞争深度Q学习的微电网紧急减载方法技术

基于竞争深度Q学习的微电网紧急减载方法，首先考虑负荷的重要程度和系统的频率恢复时间，提出计及负荷频率调节效应和负荷减载优先级的减载贡献指标，该减载贡献指标作为减载判据被引入到竞争深度Q学习的奖励值函数中；其次考虑紧急减载的突发性及不确定性，通过竞争深度Q学习算法来获得累计回报最大的减载决策。该方法能够得到孤岛微电网紧急减载时的最优减载策略，以保证紧急孤岛期间重要负荷稳定供电。供电。供电。

【技术实现步骤摘要】
基于竞争深度Q学习的微电网紧急减载方法


[0001]本专利技术属于微电网低频减载
，具体涉及一种基于竞争深度Q学习的微电网紧急减载方法。

技术介绍

[0002]微电网是一个小型能量管理系统，在并网运行时，微电网可以有效的对分布式能源的波动进行平抑和控制，减小对配电网的冲击。在配电网发生故障时，微电网被动进入孤岛运行。由于微电网的低惯性以及分布式能源的随机性，微电网被动孤岛时会出现发电功率不能满足负荷需求的情景，这会导致系统频率急剧下降甚至微电网停电。为了防止微电网发生严重后果，有效的频率控制策略是保持系统安全的必要措施。当前，减载作为恢复系统频率的主要措施被广泛使用。然而现有减载方法对于不同扰动情形的适应性较差，难以保证不同运行环境下微电网的安全稳定运行。因此，有必要对微电网紧急减载方法进行深入研究。
[0003]现有技术文献中：
[0004]文献[1]：A Learning
‑
Based Power Management Method for Networked Microgrids Under Incomplete Information(Q.Zhang,K.Dehghanpour,Z.Wang,and Q.Huang.A Learning
‑
Based Power Management Method for Networked Microgrids Under Incomplete Information[J].IEEE Trans.Smart Grid,vol.11,no.2,pp.1193
‑
1204,Mar.2020.)提出了一种基于自适应强化学习的电力管理方法。
[0005]文献[2]：Double Deep Q
‑
Learning
‑
Based Distributed Operation of Battery Energy Storage System Considering Uncertainties(V.Bui,A.Hussain,and H.Kim.Double Deep Q
‑
Learning
‑
Based Distributed Operation of Battery Energy Storage System Considering Uncertainties[J].IEEE Trans.Smart Grid,vol.11,no.1,pp.457
‑
469,Jan.2020.)提出了一种采用双深度Q学习的分布式操作方法去管理微电网中的储能系统。上述研究都将微电网运行控制制定为马尔可夫决策过程，并使用深度Q学习算法来做出适应特定约束条件的复杂决策。
[0006]文献[3]：Dueling Deep
‑
Q
‑
Network Based Delay
‑
Aware Cache Update Policy for Mobile Users in Fog Radio Access Networks(B.Guo,X.Zhang,J.Lu,X.Zhang,Q.Sheng,and H.Yang.Dueling Deep
‑
Q
‑
Network Based Delay
‑
Aware Cache Update Policy for Mobile Users in Fog Radio Access Networks[J].IEEE Access,vol.8,no.1,pp.7131
‑
7141,Jan.2020.)设计了一种竞争深度Q网络结构，其是对深度Q学习中深度Q网络的改进，能有效解决深度Q网络值函数过度估计的问题。
[0007]但是将竞争深度Q学习应用于微电网紧急减载时仍面临着如下问题：(i)微电网运行状态复杂，如何处理复杂的孤岛微电网环境信息；(ii)孤岛微电网紧急减载过程中如何保证网内高优先级负荷稳定供电。

技术实现思路

[0008]针对现有减载方法对于不同扰动情形的适应性较差，难以保证不同运行环境下微电网的安全稳定运行问题。本专利技术提供一种基于竞争深度Q学习的微电网紧急减载方法，该方法能够得到孤岛微电网紧急减载时的最优减载策略，以保证紧急孤岛期间重要负荷稳定供电。
[0009]本专利技术采取的技术方案为：
[0010]基于竞争深度Q学习的微电网紧急减载方法，首先考虑负荷的重要程度和系统的频率恢复时间，提出计及负荷频率调节效应和负荷减载优先级的减载贡献指标，该减载贡献指标作为减载判据被引入到竞争深度Q学习的奖励值函数中；其次考虑紧急减载的突发性及不确定性，通过竞争深度Q学习算法来获得累计回报最大的减载决策。
[0011]基于竞争深度Q学习的微电网紧急减载方法，包括以下步骤：
[0012]步骤1：针对孤岛微电网紧急减载，选取可观测变量与可调整变量；
[0013]步骤2：建立负荷减载贡献指标；
[0014]步骤3：根据孤岛微电网减载要求确定奖励值；
[0015]步骤4：定义竞争深度Q网络的Q函数；
[0016]步骤5：根据微电网的运行状态观测值，采用Q学习方法对状态动作估值函数更新；
[0017]步骤6：使用贪婪策略进行动作选择；
[0018]步骤7：随机抽取观测样本训练神经网络；
[0019]步骤8：利用训练完成的神经网络，选择每个当前状态下估值最大的动作，进行基于竞争深度Q学习的孤岛微电网减载控制，收敛出最优的减载方法。
[0020]所述步骤1具体如下：
[0021]1)可观测变量：
[0022]选取频率变化率和频率f作为可观测变量，并将频率变化率和频率f划分为不同的区间，使其对应不同的坐标值，同时将其组成二维向量作为孤岛微电网环境状态。
[0023]对于频率f，设频率f在49.8
‑
50Hz时为正常频率区间。其中，(
‑
∞,48)Hz对应坐标
‑
5，[48,48.5)Hz对应坐标
‑
4，[48.5,49)Hz对应坐标
‑
3，[49,49.5)Hz对应坐标
‑
2，[49.5,49.8)Hz对应坐标
‑
1，[49.8,50.2]Hz对应坐标0，坐标为0的状态代表系统频率恢复到安全区间。由频率f得到的状态集合为{
‑
5,
‑
4,
‑
3,
‑
2,
‑
1,0}。
[0024]对于频率变化率，将频率变化率分为5个区间。(
‑
∞,
‑
4)Hz/s对应坐标
‑
4，[
‑
4,
‑
3)Hz/s对应坐标
...

【技术保护点】

【技术特征摘要】
1.基于竞争深度Q学习的微电网紧急减载方法，其特征在于：首先考虑负荷的重要程度和系统的频率恢复时间，提出计及负荷频率调节效应和负荷减载优先级的减载贡献指标，该减载贡献指标作为减载判据被引入到竞争深度Q学习的奖励值函数中；其次考虑紧急减载的突发性及不确定性，通过竞争深度Q学习算法来获得累计回报最大的减载决策。2.基于竞争深度Q学习的微电网紧急减载方法，其特征在于包括以下步骤：步骤1：针对孤岛微电网紧急减载，选取可观测变量与可调整变量；步骤2：建立负荷减载贡献指标；步骤3：根据孤岛微电网减载要求确定奖励值；步骤4：定义竞争深度Q网络的Q函数；步骤5：根据微电网的运行状态观测值，采用Q学习方法对状态动作估值函数更新；步骤6：使用贪婪策略进行动作选择；步骤7：随机抽取观测样本训练神经网络；步骤8：利用训练完成的神经网络，选择每个当前状态下估值最大的动作，进行基于竞争深度Q学习的孤岛微电网减载控制，收敛出最优的减载方法。3.根据权利要求2所述基于竞争深度Q学习的微电网紧急减载方法，其特征在于：所述步骤1具体如下：1)可观测变量：选取频率变化率和频率f作为可观测变量，并将频率变化率和频率f划分为不同的区间，使其对应不同的坐标值，同时将其组成二维向量作为孤岛微电网环境状态；对于频率f，设频率f在49.8
‑
50Hz时为正常频率区间；其中，(
‑
∞,48)Hz对应坐标
‑
5，[48,48.5)Hz对应坐标
‑
4，[48.5,49)Hz对应坐标
‑
3，[49,49.5)Hz对应坐标
‑
2，[49.5,49.8)Hz对应坐标
‑
1，[49.8,50.2]Hz对应坐标0，坐标为0的状态代表系统频率恢复到安全区间；由频率f得到的状态集合为{
‑
5,
‑
4,
‑
3,
‑
2,
‑
1,0}；对于频率变化率，将频率变化率分为5个区间；(
‑
∞,
‑
4)Hz/s对应坐标
‑
4，[
‑
4,
‑
3)Hz/s对应坐标
‑
3，[
‑
3,
‑
2)Hz/s对应坐标
‑
2，[
‑
2,
‑
1)Hz/s对应坐标
‑
1，[
‑
1,0]Hz/s对应坐标0，该状态代表系统频率恢复至稳定状态；由频率变化率得到的集合为{
‑
4,
‑
3,
‑
2,
‑
1,0}；结合频率对应的6个区间，共有30个环境状态；两个变量组成二维向量作为环境状态S，表示为：S＝{S
ij
∈S|i∈{
‑
5,
‑
4,
‑
3,
‑
2,
‑
1,0},j∈{
‑
4,
‑
3,
‑
2,
‑
1,0}}2)可调整变量：动作即可调整变量，并且动作集合为系统内被切除的负荷；将孤岛微电网待切除的负荷定义为减载动作a
t
；减载动作集A可以表示为：A:{a1,a2,
…

【专利技术属性】
技术研发人员：王灿，李欣然，董庆国，余宏亮，褚四虎，凌凯，徐恒山，
申请(专利权)人：三峡大学，
类型：发明
国别省市：