基于双Q学习考虑经济调节的孤岛微电网多模式切换策略制造技术

本发明专利技术公开了基于双Q学习考虑经济调节的孤岛微电网多模式切换策略，该策略包含两种设计方案：1、设计了一种基于双Q学习的混合控制策略，解决了微电网针对不同的外部环境，选择电气设备最优切换指令问题；2、提出了一种基于共识算法的经济控制方法，该方法采用协商一致性算法，解决了微电网发电边际成本和污染排放的优化问题；本发明专利技术对保证微电网稳定运行，提升微电网经济性能，降低微电网污染排放等方面问题具有一定的指导意义。问题具有一定的指导意义。问题具有一定的指导意义。

【技术实现步骤摘要】
基于双Q学习考虑经济调节的孤岛微电网多模式切换策略


[0001]本专利技术涉及一种基于双Q学习考虑经济调节的孤岛微电网多模式切换策略的设计方法，属于智能电网控制领域。

技术介绍

[0002]交流微电网系统的主要任务之一是在外部环境发生变化的情况下，充分利用可再生能源来满足负荷需求。为了实现这一目标，需要设计有效的控制机制。然而，由于外部环境的不断变化，连续控制信号(例如，每个分布式能源正常运行所需的控制信号)和离散控制信号(例如，每个分布式能源模式切换所需的信号)将在系统中同时存在，因此交流微电网系统通常被认为是一个混合动力系统。系统运行特点如下：
[0003](1)面对不同的外部条件，交流微电网系统需要频繁地启动和停止各种电气设备，这使得被控系统应具有多模态切换的特点。
[0004](2)由于风力发电机和光伏的不确定性，储能单元和柴油发电机需要在不同情况下调整充放电方式。在这种情况下，储能单元和柴油发电机应具有多模态切换特性。
[0005](3)各种设备连续运行时，切换指令离散生成。由于离散信号和连续信号在交流微电网系统中同时出现，系统的运行过程具有混合特性。
[0006]目前已有多种模式切换策略的研究，而现有的这些混合控制策略只考虑了运行稳定性，而没有考虑运行经济性。同时，这些控制策略中大部分的切换指令需要人工计算，这将消耗大量的人力资源。在考虑运营稳定性的同时，也要考虑运营的经济性。在交流微电网系统中，由可再生能源(如风力发电机组和光伏发电机组)产生的电能通常可以帮助用户降低发电成本，但由于可再生能源所产生的随机性，系统不能完全消除供给的不确定性。因此设计储能单元和柴油发电机等相应的配套技术是非常重要的。然而，使用柴油发电机发电会增加发电成本和污染物排放。
[0007]正是由于上述原因，目前应设计一种既可行又经济的控制策略，使得交流微电网在考虑系统经济性的同时，能及时应对系统外部环境的不断变化，做出最合理的模式切换指令，从而达到交流微电网系统稳定运行的作用。

技术实现思路

[0008]本专利技术需要解决的技术问题是提供一种基于双Q学习考虑经济调节的孤岛微电网多模式切换策略，该控制策略既可行又经济，使得交流微电网在考虑系统经济性的同时，能及时应对系统外部环境的不断变化，做出最合理的模式切换指令，从而达到交流微电网系统稳定运行的作用。
[0009]为解决上述技术问题，本专利技术所采用的技术方案是：
[0010]基于双Q学习考虑经济调节的孤岛微电网多模式切换策略，其特征在于：设计混合控制结构，该结构为信息物理系统，包括信息层和物理层；
[0011]信息层包括D
‑
S融合部分、双Q学习部分和一致性控制部分；其中，D
‑
S融合部分用
于产生指示当前运行状况的信号，提供合适的切换策略；双Q学习部分用于针对不同的运行工况独立搜索合适的控制策略；一致性控制部分用于降低柴油发电机的发电成本和污染物排放；
[0012]物理层包括为用户负荷提供电能的各能源发电储能单元、传感器和逆变器控制部分；其中，各能源发电储能单元包括风力发电机、光伏发电、储能单元和柴油发电机，用于提供电能维持负荷正常运行；传感器用于传输物理层中各能源发电储能单元的电压数据，构成电压判据；逆变器控制部分用于维持各能源发电储能单元的正常运行；
[0013]定义混合控制结构中风力发电机、柴油发电机、光伏发电、储能单元以及用户负荷的运行方式，传感器将物理层母线节点的电压数据传输到信息层，信息层根据传输的电压数据并基于D
‑
S融合部分生成电压准则L，评价系统的整体稳定性，同时为双Q学习提供初始状态值，基于双Q学习算法得到多模态切换策略，将生成的模态切换信号发送到分布式的各能源发电储能单元，完成分布式能源模式切换，同时对柴油发电机进行经济调控，设计经济控制策略，降低发电成本，减少污染物排放。
[0014]本专利技术技术方案的进一步改进在于：定义的风力发电机、柴油发电机、光伏发电、储能单元以及用户负荷的运行方式如下：
[0015]风力发电机的运行方式：当风速大于最小允许风速且小于额定风速时，风力发电机在最大功率点MPPT模式下工作；当风速大于额定风速且小于最大允许风速时，风力发电机在恒功率模式下工作；
[0016]光伏发电的运行方式：光伏发电是一种利用太阳能发电的方式，将多个光伏电池组合成一个光伏阵列来提供能量，当光强大于阈值时，光伏阵列将以最大功率点MPPT模式工作，否则将关机；
[0017]储能单元的运行方式：所述储能单元不仅可以充电，还可以放电；储能单元的充放电过程是电能与化学能相互转换的过程；在充电过程中，电能转化为化学能并储存起来，在放电过程中，转换相反；
[0018]柴油发电机的运行方式：在微电网中，柴油发电机作为辅助能量，当风力发电机、光伏发电和储能单元不能满足用户负荷需求时，柴油发电机提供额外的能量，柴油发电机有两种运行模式：工作模式和待机模式；
[0019]用户负荷的运行方式：考虑了两种负荷：固定负荷和非临界负荷，微电网必须保证临界负荷的安全供电，当供电远小于负荷需求时，非临界负荷通过减载来起到维持功率平衡的作用。
[0020]本专利技术技术方案的进一步改进在于：基于D
‑
S融合部分生成电压准则L的步骤：首先，所有测量到的母线节点电压偏差将形成一个识别框架U，它代表一个不确定元素的总体集；然后利用D
‑
S融合理论划分的证据集对电压识别框架进行判断，得到每个个体的信度函数，信度函数是根据研究的思路所设置的认为函数，通过D
‑
S组合原则，对信息进行融合，将电压偏差不符合规定的个体淘汰；最后，利用信息融合规则将多个判断结果整合为一个新的电压判断指标，可作为评价微电网整体电压稳定性的综合指标。
[0021]本专利技术技术方案的进一步改进在于：基于双Q学习算法得到多模态切换策略的方法如下：
[0022]步骤一：双Q学习算法采用经验回放机制将采集到的数据以存储单元的形式实时
存储，得到样本存储，Q将根据式(1)的方式进行更新：
[0023][0024]式(1)中，是双Q学习经验回放机制下的Q值；Q
target
为目标Q值；R
t+1
为回报函数；γ为学习因子，通常取0.01；S
t+1
为状态值，a为动作值；
[0025]另外，Q和Q
‑
有两组不同的参数：θ和θ
‑
，用于选择Q的最大值所对应的动作；用于评价最优动作所对应的Q值，θ、θ
‑
分别使用两组参数完成动作选择和策略评估，降低了Q值被高估的风险；在每次迭代中，实际网络Q会用学习系数γ来学习目标网络Q
‑
的；Q
‑
和实际Q之间的误差在很小的范围内，降低了寻找最优解的难度；
[0026]步骤二：将随机选取的样本作为当前网络的输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双Q学习考虑经济调节的孤岛微电网多模式切换策略，其特征在于：设计混合控制结构，该结构为信息物理系统，包括信息层和物理层；信息层包括D
‑
S融合部分、双Q学习部分和一致性控制部分；其中，D
‑
S融合部分用于产生指示当前运行状况的信号，提供合适的切换策略；双Q学习部分用于针对不同的运行工况独立搜索合适的控制策略；一致性控制部分用于降低柴油发电机的发电成本和污染物排放；物理层包括为用户负荷提供电能的各能源发电储能单元、传感器和逆变器控制部分；其中，各能源发电储能单元包括风力发电机、光伏发电、储能单元和柴油发电机，用于提供电能维持负荷正常运行；传感器用于传输物理层中各能源发电储能单元的电压数据，构成电压判据；逆变器控制部分用于维持各能源发电储能单元的正常运行；定义混合控制结构中风力发电机、柴油发电机、光伏发电、储能单元以及用户负荷的运行方式，传感器将物理层母线节点的电压数据传输到信息层，信息层根据传输的电压数据并基于D
‑
S融合部分生成电压准则L，评价系统的整体稳定性，同时为双Q学习提供初始状态值，基于双Q学习算法得到多模态切换策略，将生成的模态切换信号发送到分布式的各能源发电储能单元，完成分布式能源模式切换，同时对柴油发电机进行经济调控，设计经济控制策略，降低发电成本，减少污染物排放。2.根据权利要求1所述的基于双Q学习考虑经济调节的孤岛微电网多模式切换策略，其特征在于，定义的风力发电机、柴油发电机、光伏发电、储能单元以及用户负荷的运行方式如下：风力发电机的运行方式：当风速大于最小允许风速且小于额定风速时，风力发电机在最大功率点MPPT模式下工作；当风速大于额定风速且小于最大允许风速时，风力发电机在恒功率模式下工作；光伏发电的运行方式：光伏发电是一种利用太阳能发电的方式，将多个光伏电池组合成一个光伏阵列来提供能量，当光强大于阈值时，光伏阵列将以最大功率点MPPT模式工作，否则将关机；储能单元的运行方式：所述储能单元不仅可以充电，还可以放电；储能单元的充放电过程是电能与化学能相互转换的过程；在充电过程中，电能转化为化学能并储存起来，在放电过程中，转换相反；柴油发电机的运行方式：在微电网中，柴油发电机作为辅助能量，当风力发电机、光伏发电和储能单元不能满足用户负荷需求时，柴油发电机提供额外的能量，柴油发电机有两种运行模式：工作模式和待机模式；用户负荷的运行方式：考虑了两种负荷：固定负荷和非临界负荷，微电网必须保证临界负荷的安全供电，当供电远小于负荷需求时，非临界负荷通过减载来起到维持功率平衡的作用。3.根据权利要求1所述的基于双Q学习考虑经济调节的孤岛微电网多模式切换策略，其特征在于：基于D
‑
S融合部分生成电压准则L的步骤：首先，所有测量到的母线节点电压偏差将形成一个识别框架U，它代表一个不确定元素的总体集；然后利用D
‑
S融合理论划分的证据集对电压识别框架进行判断，得到每个个体的信度函数，信度函数是根据研究的思路所设置的认为函数，通过D
‑
S组合原则，对信息进行融合，将电压偏差不符合规定的个体淘
汰；最后，利用信息融合规则将多个判断结果整合为一个新的电压判断指标，可作为评价微电网整体电压稳定性的综合指标。4.根据权利要求1所述的基于双Q学习考虑经济调节的孤岛微电网多模式切换策略，其特征在于：基于双Q学习算法得到多模态切换策略的方法如下：步骤一：双Q学习算法采用经验回放机制将采集到的数据以存储单元的形式实时存储，得到样本存储，Q将根据式(1)的方式进行更新：式(1)中，是双Q学习经验回放机制下的Q值；Q
target
为目标Q值；R
t+1
为回报函数；γ为学习因子，通常取0.01；S
t+1
为状态值，a为动作值；另外，Q和Q
‑
有两组不同的参数：θ和θ
‑
，用于选择Q的最大值所对应的动作；用于评价最优动作所对应的Q值，θ、θ
‑
分别使用两组参数完成动作选择和策略评估，降低了Q值被高估的风...

【专利技术属性】
技术研发人员：窦春霞，李桐舟，
申请(专利权)人：燕山大学，
类型：发明
国别省市：