一种电网调频型飞轮储能系统的矢量强化学习控制方法技术方案

本发明专利技术提供一种电网调频型飞轮储能系统的矢量强化学习控制方法，该方法能解决目前电力系统因新能源发电和分布式发电的随机性、波动性和不确定性对电网的冲击而造成的传统调频资源无法满足调频要求的现状。本发明专利技术将飞轮储能系统调频与矢量强化学习相结合，通过对电压进行矢量强化学习选择飞轮储能系统的最优动作，控制系统电机工作于发电机/电动机状态达到系统工作于放电/充电模式，从而达到调整电力系统频率的目的。本发明专利技术提出的电网调频型飞轮储能系统的矢量强化学习控制方法，其响应速度远优于传统调频资源，可实现快速调节电网频率，保持电网频率在允许偏差范围之内，维持系统频率稳定性，从而保证电网运行的可靠性和安全性。

【技术实现步骤摘要】
一种电网调频型飞轮储能系统的矢量强化学习控制方法
本专利技术属于飞轮储能系统控制领域，涉及一种用矢量强化学习方法控制飞轮储能系统工作，适用于飞轮储能系统的控制。
技术介绍
现如今，随着发电机组容量不断增大、长距离输电以及全国电网互联的发展，电力系统的调频任务非常繁重。同时，风能、太阳能等新能源发电以及分布式电源的接入，其随机性、波动性和不确定性冲击了电力系统频率稳定，传统调频资源已经无法满足调频需求，对调频资源及其可用容量、响应速度和响应准确性提出了更高的要求。现如今，如何进一步提高电力系统频率稳定性已成为一个重要课题。传统调频资源有火电机组和水电机组，这两种传统调频资源因机组惯性大、地理位置偏远等制约因素，经常出现延迟、偏差、响应速度慢等现象。飞轮储能系统则一定程度上弥补了这些不足，成为辅助传统调频机组调频的重要调频资源。飞轮储能系统具有响应速度快、爬坡速率快、功率响应准确、双向调节等优点，从而开始在世界范围内应用于控制电力系统频率。本专利技术采用了矢量强化学习方法控制飞轮储能系统工作来调节电力系统频率。飞轮储能系统是一种实现机电能量转换的储能装置，利用该系统充电与放电相互转换的特性及其具有的削峰填谷作用，能够有效补偿电力系统供求两端的功率不平衡度，达到电力系统频率稳定的目的。为了使飞轮储能系统合理运行在理想状态，本专利技术采用了矢量强化学习控制方法，通过不断与电力系统交互学习，并根据贪心策略选择使飞轮储能系统获得动作奖赏值最大的行为，驱动飞轮储能系统工作于充电或放电状态，达到频率调整的目的。>
技术实现思路
本专利技术提出一种电网调频型飞轮储能系统的矢量强化学习控制方法。该方法与传统调频资源不同，它通过矢量强化学习方法学习获得经坐标变换后电压的学习值，经过空间矢量脉宽调制获得逆变器的驱动信号，逆变器产生三相电压驱动电机作为电动机/发电机运行，来控制飞轮储能系统充电/放电工作，通过不断对电压进行迭代学习的方式来达到工程上的最优解，，从而维持电力系统频率在规定范围。矢量强化学习中采用Q(λ)算法，对d轴电压进行学习的公式为：对q轴电压进行学习的公式为：其中e(s)定义为状态s的选举度，可以通过以下方法计算：式中，a为状态st到状态st+1所采取的动作；rt+1为状态st到状态st+1获得的瞬时奖赏值；γ为折扣因子；α为学习率。通过Q学习算法对dq轴电压进行强化学习，分别得到满足约束条件的最优矢量电压和充电过程中的约束条件为：放电过程中的约束条件为：其中，WS为电网侧提供电能，WL为负载消耗电能，WG为飞轮储能系统吸收或发出功率，UG和IG分别为永磁同步电机电压和电流。本专利技术提出的一种电网调频型飞轮储能系统的矢量强化学习控制方法，将强化学习应用到矢量控制中，通过矢量强化学习控制飞轮储能系统动作。该方法通过不断学习电力系统频率变化情况，逐步达到工程最优解。该矢量强化学习方法配合飞轮储能系统，不仅提高了动作速度，克服了传统调频资源调频响应速度慢的缺点，而且不需要额外的调度指令，能够保证电力系统频率始终处于规定要求范围之内，提高了系统的电能质量。附图说明图1是本专利技术的电网调频型飞轮储能系统的工作示意图。图2是本专利技术的飞轮储能系统充电控制结构示意图。图3是本专利技术的飞轮储能系统放电控制结构示意图。具体实施方式本专利技术提出的一种电网调频型飞轮储能系统的矢量强化学习控制方法，结合附图详细说明如下：图1是本专利技术的电网调频型飞轮储能系统的工作示意图。当电力系统受到外部扰动造成系统频率产生偏移偏离额定范围时，飞轮储能系统开始动作。通过比较波动后频率与参考频率大小，驱动飞轮储能系统工作于充电或放电状态。飞轮储能系统动作时，对经过派克变换后的电压进行Q强化学习，得到dq轴电压的矢量强化学习值，经过空间矢量脉宽调制后驱动三相逆变器产生电压，该电压控制永磁同步电机带动飞轮转子旋转，通过转速升高/降低来调节系统频率。飞轮储能系统每动作一次，将调节后的频率与参考频率相比较，若调节后频率和调节前频率都高于(低于)参考频率，则飞轮储能系统重复上一步动作；若调节前后频率与参考频率相比取得相反结果，则飞轮储能系统工作于另一种工作状态；若调节后系统频率处于额定要求范围以内，则飞轮储能系统工作于保持状态，调频过程结束。图2是本专利技术的飞轮储能系统充电控制结构示意图。当飞轮储能系统接收到系统充电控制指令时，对经过派克变换后的电压ud、uq进行矢量Q强化学习，通过贪心策略获得该次学习得到的最优电压对该矢量进行空间矢量脉宽调制得到三相逆变器的驱动电压，驱动逆变器产生ABC电压控制永磁同步电机工作，永磁同步电机此时作为电动机运行，将来自电网的电能转化为飞轮转子的旋转动能储存起来，从而使电力系统频率降低，完成一次学习。图3是本专利技术的飞轮储能系统放电控制结构示意图。当飞轮储能系统接收到系统放电控制指令时，永磁同步电机作为发电机工作。对经过派克变换后的电压ud和uq进行矢量Q强化学习，通过贪心策略获得该次学习得到的最优电压对该矢量进行空间矢量脉宽调制得到三相逆变器的驱动电压，驱动逆变器产生ABC电压控制永磁同步电机运行，此时永磁同步电机将飞轮转子的动能转化为电能输出，经过整流和逆变后得到稳定的交流电送入电网，调节电网频率升高，完成一次调频工作。本文档来自技高网...

【技术保护点】
1.一种电网调频型飞轮储能系统的矢量强化学习控制方法，其特征在于，该方法包括步骤为：/n(1)设定参考值，设电力系统波动后频率为实际初值，比较实际初值与参考值大小，决定飞轮储能系统工作于充电/放电工作模式，并将abc三相坐标系表示的电压通过派克变换转换为dq两相坐标系表示的电压；/n(2)若飞轮储能系统工作于充电模式，通过能量守恒定律得到飞轮储能系统能够达到的最大转速值即参考转速ω

【技术特征摘要】
1.一种电网调频型飞轮储能系统的矢量强化学习控制方法，其特征在于，该方法包括步骤为：
(1)设定参考值，设电力系统波动后频率为实际初值，比较实际初值与参考值大小，决定飞轮储能系统工作于充电/放电工作模式，并将abc三相坐标系表示的电压通过派克变换转换为dq两相坐标系表示的电压；
(2)若飞轮储能系统工作于充电模式，通过能量守恒定律得到飞轮储能系统能够达到的最大转速值即参考转速ωmref，在满足等式约束和不等式约束的前提下，对dq轴电压ud和uq进行强化学习，经贪心策略分别得到一次学习后的最优矢量电压和通过空间矢量脉宽调制技术驱动三相逆变器产生三相电压，驱动永磁同步电机作为电动机带动飞轮转子转速ω升高，降低电力系统频率，一次迭代循环完成；
(3)若飞轮储能系统工作于放电模式，通过能量守恒定律得到转速降低后的参考转速ωmref，在满足等式约束和不等式约束的前提下，对dq轴电压ud和uq进行强化学习分别得到一次学习后的最优矢量电压和通过空间矢量脉宽调制技术产生逆变器的驱动信号，该信号驱动永磁同步电机作为发电机发出功率，经整流和逆变后将电能送入电力系统，使电力系统频率上升，一次迭代循环完成；
(4)将调整后频率与参考频率范围相比较，若符合要求则飞轮储能系统工作于保持状态；若不符合要求则系统重复步骤(2)或(3)。


2.根据权利要求1所述的电网调频型飞轮储能系统的矢量强化学习控制方法，其特征在于，所述的矢量强化学习方法具体为：
利用坐标变换理论，将abc三相静止坐标系表示的电压通过派克变换转换为dq两相旋转坐标系表示的电压，便于解耦加快调节时间，提高系统动态性能和调节精度；
对坐标变换后的电压...

【专利技术属性】
技术研发人员：殷林飞，李钰，马晨骁，高放，
申请(专利权)人：广西大学，
类型：发明
国别省市：广西;45