基于深度Q学习的孤岛微电网负荷频率控制方法及系统技术方案

本发明专利技术公开了一种基于深度Q学习的孤岛微电网负荷频率控制方法及系统，针对电动汽车充电站所具有的用户充电行为随机性，建立考虑SOC约束的电动汽车频率控制模型，从而搭建出包含光伏、风电、微型燃气轮机、电动汽车及其随机功率增量约束的微电网负荷频率控制模型，设计基于DQN的频率控制器结构，依次完成状态空间、动作空间以及奖励函数的定义，并通过调节得到最优超参数，在DQN控制器应用前接受一段随机试错的学习过程，得到最优值函数Q网络，由此保证足够好的收敛特性，能够完成实际情况下的频率控制。本发明专利技术具备在线学习和经验回放能力，能更有效地应对强随机性的微网LFC问题，同时也能更好地适应系统网络拓扑参数改变的复杂运行工况。杂运行工况。杂运行工况。

【技术实现步骤摘要】
基于深度Q学习的孤岛微电网负荷频率控制方法及系统


[0001]本专利技术属于电力行业电能存储系统
，更具体地，涉及一种孤岛微电网负荷频率控制终端及方法。

技术介绍

[0002]微电网能够解决形式多样的分布式电源灵活、高效并网的问题，实现对负荷多种能源形式的高可靠供给，是实现主动式配电网的有效途径。
[0003]微电网既可以运行在并网模式，也可以运行在孤岛模式；在孤岛模式下，其频率稳定是保障微电网安全运行的关键。而储能模块是微网负荷频率控制模型中的重要组成部分，而电动汽车凭借其节能环保与灵活性，成为了一种新式的分布式储能单元。通过车辆到电网技术，即V2G系统(Vehicle
‑
to
‑
grid)，当电动汽车不使用时，车载电池的电能销售给电网的系统。电动汽车能够为孤岛微网的频率提供功率支撑，并改善其运行灵活性。而现有的研究鲜有考虑用户出行需求的随机性，也没有从电动汽车单体与集群的角度对随机输出功率增量进行细化建模。而实际情况中，充电站的功率增量约束受到用户充电行为随机性以及电动汽车集群特性的影响。
[0004]此外，随着具有高比例分布式新能源的接入，传统控制器在面对孤岛微电网中的大量随机性扰动、系统参数和结构变化等复杂工况时，其控制性能有待进一步提升。
[0005]还在于，目前已存在的微电网频率智能控制方法忽略了电动汽车的接入，且没有将电动汽车输出功率增量作为状态空间，即控制方法的设计思路、收敛特性与动态性能也存在着进一步改进空间。
[0006]经查中国专利文献库未找到解决含有电动车的孤岛微电网频率控制问题的相关专利，也未找到相关解决方案。
[0007]现有技术中存在的问题是，针对含电动车的孤岛微电网的频率控制中未考量随机性影响，未考量电动汽车输出功率量等的影响，从而影响到了微电网的品质。

技术实现思路

[0008]针对现有技术不足，本专利技术目的是减少孤岛微电网因电动汽车随机性接入产生的影响，解决微电网负荷控制质量的问题。
[0009]为了实现上述目的，本专利技术提供以下技术方案：
[0010]一种基于深度Q学习的孤岛微电网负荷频率控制方法，包括以下步骤：
[0011]S1：基于电动汽车充电站中用户随机性充电行为，建立电动汽车频率控制模型，所述电动汽车频率控制模型包括SOC约束。
[0012]Q学习是计算机科学技术术语，指一种与模型无关的强化学习算法，直接优化一个可迭代计算的Q函数。SOC是State of Charge，电池荷电状态，指电池使用一段时间或长期搁置不用后的剩余可放电电量与其完全充电状态的电量的比值。
[0013]S2：建立微电网负荷频率控制模型，所述微电网负荷频率控制模型包括光伏发电
扰动功率参数约束、风力发电扰动功率参数约束、负荷随机功率增量参数约束、燃气轮机输出功率增量限幅约束和电动汽车输出功率增量限幅约束。
[0014]负荷频率控制，也称LFC，全称是Load Frequency Control，指调整系统的频率达到额定值或/和维持区域联络线交换功率为计划值。为保证电能质量，该负荷频率控制系统将系统频率维持在标称值并且尽可能使控制区域之间的未计划的联络线交换功率最小。风力发电与光伏发电共同作为不可控随机电源，与负载一同向系统输入扰动功率，而微型燃气轮机与电动汽车充电站(放电站)一起作为微电网的调频机组。
[0015]将风力发电与光伏发电共同作为不可控(随机)电源，与负载一同向系统输入扰动功率，而微型燃气轮机与电动汽车充放电站一起作为微网的调频机组，并定义ΔP
L
是负荷扰动功率，ΔP
w
是风电扰动功率，ΔP
pv
是光伏扰动功率，ΔP
w
与ΔP
pv
组成了随机电源扰动功率ΔP
S
。而ΔP
S
与ΔP
L
共同组成了总扰动功率ΔP
D
，ΔP
MT
是微型燃气轮机的输出功率增量，ΔP
E
是EV充电站的输出功率增量，2H
t
是微网的惯性常量。
[0016]S3：基于DQN频率控制器，定义状态集为微电网实时的频率偏差与充电功率的上下限约束，定义动作集为所述控制器的输出指令集，考虑调节死区，设计奖励函数，进行随机试错学习训练，得到超参数取值。
[0017]DQN，指神经网络强化学习。所述动作集用于控制各调频机组的出力变化。根据微电网频率的考核标准并考虑调节死区，设计出奖励函数。
[0018]S4：根据电动汽车充电站输出功率变化数据，确定随时间发生概率随机变化的约束函数，得到最优值函数Q网络，将所述最优值函数Q网络导入所述DQN频率控制器中。
[0019]通过随机试错学习训练，并设置约束函数，得出最优值函数Q，以保证足够好的收敛特性，从而能够完成实际情况下的频率控制。
[0020]S5：所述DQN频率控制器联络微电网的信息采集终端，获取微电网状态信息，找出微电网利益最大化的动作，通过能源管理系统，进行传输功率，实现微电网频率控制。
[0021]所述DQN频率控制器与微电网中的信息采集终端通信连接，从而使DQN频率控制器从微电网中获取状态信息，并寻找出系统利益最大化的动作，进而通过功率传输实现微电网频率控制。
[0022]进一步地，S1步骤中的所述SOC约束包括EV单体充放电功率约束和EV集群充放电功率约束。EV，指电动汽车充电状态。
[0023]对充电站的等效储能容量造成影响的三种因素：电动汽车充电行为的随机性、车辆电池所处的充电状态以及充电站的车辆数量。而车辆的电池性能将影响到充电时长，进而影响到系统的可控功率，但是考虑到固定地理位置充电站内的车辆品牌以及数量在一定时间内相对固定，可以利用平均值来简化计算过程的复杂度，因此，可先得到电池平均容量C以及平均初始充电状态SOC
i
，再通过充电站的平均额定充电功率，从而得到充电站内的单体EV平均充电时长T
av
。
[0024]对于车辆电池所处的充电状态，建立出EV充放电约束模型，车站里的电动汽车SOC的范围为[SOC
min
,SOC
max
]，并且有足够的SOC
m
来确保未来电动汽车离开充电站后的行驶里程，并由此得到EV充放电约束边界。
[0025]充电边界代表电动汽车处于正常的充电状态，放电边界代表电动汽车正在向微电网输送电量，强制充电边界则代表电动汽车在离进行强制充电，以确保其有足够的SOC
m
来
完成拔掉电源后的行驶里程。
[0026]进而，可设置单体EV在接入充电站时段内，额定充电功率为额定放电功率为
[0027]由此，可得到单体EV充电功率与充放电状态关系如下：当SOC
i
>SOC
max本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于，所述方法包括：S1：基于电动汽车充电站中用户随机性充电行为，建立电动汽车频率控制模型，所述电动汽车频率控制模型包括SOC约束；S2：建立微电网负荷频率控制模型，所述微电网负荷频率控制模型包括光伏发电扰动功率参数约束、风力发电扰动功率参数约束、负荷随机功率增量参数约束、燃气轮机输出功率增量限幅约束和电动汽车输出功率增量限幅约束；S3：基于DQN频率控制器，定义状态集为微电网实时的频率偏差与充电功率的上下限约束，定义动作集为所述控制器的输出指令集，考虑调节死区，设计奖励函数，进行随机试错学习过程，得到超参数取值；S4：根据电动汽车充电站输出功率变化数据，确定随时间发生概率随机变化的约束函数，得到最优值函数Q网络，将所述最优值函数Q网络导入所述DQN频率控制器中；S5：所述DQN频率控制器联络微电网的信息采集终端，获取微电网状态信息，找出微电网利益最大化的动作，通过能源管理系统，进行传输功率，实现微电网频率控制。2.根据权利要求1所述的一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于：S1步骤中的所述SOC约束包括EV单体充放电功率约束和EV集群充放电功率约束，充电站里的电动汽车SOC的范围为[SOC
min
,SOC
max
]，所述EV单体充放电功率约束的上限约束和下限约束分别为：限约束分别为：其中，为单体EV接入充电站时段，为额定充电功率，为额定放电功率；所述EV集群充放电功率约束的充电功率、上限约束和下限约束分别为：其中，n
EV
为充电站最大车辆容量。3.根据权利要求1所述的一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于：S3步骤中的所述状态集为微电网实时的频率偏差ΔF(t)与充电功率的上限约束与下限约束状态集定义状态空间为：
所述动作集为DQN频率控制器的的...

【专利技术属性】
技术研发人员：王笑棠，徐非非，施进平，徐文军，叶尚兴，邱逸，文洪君，潘夏，吴梦凯，王彩飞，王裕民，
申请(专利权)人：国网浙江省电力有限公司丽水供电公司，
类型：发明
国别省市：