一种基于深度强化学习的自适应虚拟同步机控制方法技术

一种基于深度强化学习的自适应虚拟同步机控制方法，属电网运行控制领域。其建立含有光伏系统、电池储能与变动负荷的光储并网模型；对电池储能系统采用虚拟同步发电机控制实现对光伏输出功率的互补；针对微网负荷功率变化引起微网频率偏移的问题，采用深度强化学习算法对虚拟同步发电机的虚拟惯量与阻尼系数进行控制调节；采用深度强化学习中双重深度Q学习算法对虚拟惯量与阻尼系数加以控制；构架双层评价网络，结合奖励函数，经过多次训练实现对虚拟惯量与阻尼系数的自适应调节。其采用深度强化学习技术对虚拟惯量和阻尼系数进行自适应控制，抑制频率的偏移，加快了系统工作频率的恢复，提高了系统的稳定性。提高了系统的稳定性。提高了系统的稳定性。

【技术实现步骤摘要】
一种基于深度强化学习的自适应虚拟同步机控制方法


[0001]本专利技术属于电网运行控制领域，尤其涉及一种基于深度强化学习的自适应虚拟同步机控制方法。

技术介绍

[0002]随着分布式电源的飞速发展以及所占能源应用比例越来越高，微电网作为分布式电源的一种并网方式而被提出，如何在分布式电源出力波动以及负荷变化的情况下维持微网频率的稳定成为电力领域的研究重点。
[0003]同时，人工智能技术也在飞速发展，将人工智能技术应用于微网控制中是个很好的选择。
[0004]光储微电网并网时，储能系统采用虚拟同步发电机控制技术实现对光伏输出功率的互补，而传统虚拟同步发电机技术中虚拟惯量与阻尼系数是不变的。
[0005]申请公布日为2021年3月9日，申请公布号为CN 112467784 A的专利技术专利申请，公开了“一种混合微网换流器自适应虚拟同步机控制方法”，其法采用自适应虚拟转动惯量J、自适应虚拟阻尼D在VSG控制系统中，对混合微网AC/DC换流器功率波动进行抑制。进一步的为了得到额定虚拟参数取值范围，对自适应VSG控制系统建立小信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的自适应虚拟同步机控制方法，其特征是包括以下步骤：步骤1：为了减小光伏出力波动与负荷突变对光储并网系统带来的影响，建立含有光伏系统、电池储能与变动负荷的光储并网模型；步骤2：为确保光储并网时对外界电网提供稳定的功率输出，对电池储能系统采用虚拟同步发电机控制实现对光伏输出功率的互补；针对微网负荷功率变化引起微网频率偏移的问题，采用深度强化学习算法对虚拟同步发电机的虚拟惯量与阻尼系数进行控制调节；步骤3：针对功率变化时自适应改变虚拟惯量与阻尼系数的问题，采用深度强化学习中双重深度Q学习算法对虚拟惯量与阻尼系数加以控制；构架双层评价网络，结合奖励函数，经过多次训练实现对虚拟惯量与阻尼系数的自适应调节；所述的自适应虚拟同步机控制方法，将人工智能技术应用于微网控制中，当光储微电网并网时，储能系统采用虚拟同步发电机控制技术，实现对光伏输出功率的互补；采用深度强化学习技术对虚拟惯量和阻尼系数进行控制，当微网中功率发生变化时，虚拟惯量与阻尼系数可以自适应的改变，抑制频率的偏移，加快了系统工作频率的恢复，提高了系统的稳定性。2.按照权利要求1所述的基于深度强化学习的自适应虚拟同步机控制方法，其特征是在步骤1中，先建立含有光伏系统、电池储能系统与变动负荷与外界电网的光储并网模型，光伏发电与储能发电分别采用不同的逆变器并入电网中；所述的光伏系统采用最大功率追踪控制，以等效电流源的形式并入电网；所述电池储能系统的并网逆变器采用虚拟同步发电机控制，与光伏系统输出功率形成互补；所述的并网模型称为微网，该微网通过连接开关与外界电网相连；当开关闭合时，微网处于并网运行状态，此时的微网以固定的出力向电网输出功率，向电网提供能量。3.按照权利要求1所述的基于深度强化学习的自适应虚拟同步机控制方法，其特征是在步骤2中，针对微网负荷功率变化引起微网频率偏移的问题，采用深度强化学习算法对虚拟同步发电机的虚拟惯量与阻尼系数进行控制调节，根据步骤1搭建的模型，控制目标为频率稳定。4.按照权利要求1或3所述的基于深度强化学习的自适应虚拟同步机控制方法，其特征是在步骤2中，根据步骤1搭建的模型，控制目标为频率稳定；选择DDQN算法作为控制算法；选择的外界环境提供的状态变量为实测频率f、实测频率与参考频率误差e、频率误差的积分值∫e与外界有功功率P
out
；s＝(f,e,∫e,P
out
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)控制对象选择为虚拟惯量J和阻尼系数D，其中：J∈[J
min
,J
max
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)D∈[D
min
,D
max
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中：J
min
和J
max
是虚拟惯量的最小值与最大值，D
min
和D
max
是阻尼系数的最小值和最大值；DDQN输出动作为离散量，设虚拟惯量步长为ΔJ，则虚拟惯量离散动作选择有p个；设阻尼系数步长为ΔD，则阻尼系数动作选择有q个，则动作空间一共有g＝pq种组合。5.按照权利要求4所述的基于深度强化学习的自适应虚拟同步机控制方法，其特征是
步骤2中DDQN算法有两个评价网络，分别是Q网络与目标Q网络；其中，Q网络参数为θ，目标Q网络参数为θ
target
；评价网络作用为计算目标价值y
t
，计算公式为：式中：r
t+1
为t+1时刻的回报值，γ为折扣系数，s
t+1<...

【专利技术属性】
技术研发人员：叶影，肖金星，徐冰雁，孙俭，陈云峰，李勇汇，张宇威，郭磊，沈杰士，陈龙，曹春，徐建国，杨军，谢黎龙，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：