一种基于深度强化学习的逆变器控制器制造技术

本发明专利技术公开了一种基于深度强化学习的逆变器控制器，所述逆变器控制器包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、深度强化学习控制模块、dq反变换和PWM调制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过深度强化学习控制模块调整虚拟转动惯量，以获得较好的电力系统低频振荡抑制效果。

【技术实现步骤摘要】
一种基于深度强化学习的逆变器控制器
本专利技术涉及电力电子逆变器
，具体涉及一种基于深度强化学习的逆变器控制器。
技术介绍
鉴于能源、环保的压力，越来越多的可再生能源通过电力电子发电设备接入电网。作为一种能够将直流电转换为交流电的电能转换设备，逆变器在风电，储能，光伏等领域得到了广泛应用。最早的逆变器控制策略采用了双层的控制结构，即内层为电流环，外层为功率环或者电压环。但这种控制策略的响应速度快，不利于电力系统的频率稳定，也不能根据系统的电压和频率情况自适应调整逆变器的输出功率。随后出现了逆变器的下垂控制策略。这种控制策略虽然能够根据系统的频率和电压自动调整自身的输出有功和无功功率，有利于系统的频率和电压控制，但依然存在响应速度快的缺点。考虑到同步发电机转子的转动惯量在电力系统频率稳定中所起的有益作用，有人提出了虚拟同步发电机(VirtualSynchronousGenerator,VSG)控制技术，其核心思想是在逆变器的控制策略中模拟同步发电机的转子运动方程。但这种技术在降低响应速度、增加电力系统惯性的同时，也继承了同步发电机转子易发生低频振荡的特性。针对此问题，有人从转动惯量J和阻尼系数D的上入手，提出了一系列的控制策略。有人建立了包含VSG的单逆变器并网的小信号模型，利用根轨迹的手段，选取适当的转动惯量J和阻尼系数D，在保证稳定的同时也具有较好地动态特性。但这种线性化手段下设计出的控制器难以适应逆变器所处的复杂的运行工况，一旦运行工况有别于初始的设计条件，就有可能发生失稳或者动态特性变差的风险。也有人从自适应控制的角度提出了一系列的控制措施，如根据VSG虚拟角频率的变化率dω/dt来调整J的VSG控制算法，或者根据输出功率P及其变化率dP/dt的情况来调整J和D的参数。但这种自适应地控制策略，也同样存在控制器参数选择的问题。在实践中，这些控制器参数往往是通过仿真试凑的方法进行选取，难以覆盖逆变器所有可能的运行状态，同样不能保证所设计的控制器能够在复杂的运行环境下保持稳定。近年来，人工智能相关技术在电力系统中的应用日渐广泛。在电力设备控制领域，强化学习技术(ReinforcementLearning,RL)受到关注。RL即可看作是人工智能领域中一种重要的机器学习方法，也可以被认为是属于马尔可夫决策过程(MarkovDecisionProcess，MDP)和动态优化方法的一个独立分支。在强化学习方法中，强化学习控制模块往往被视作一个智能体，它无需任何有关所处环境的先验知识，通过探索自身控制器的动作及其所获得的奖励，不断更新迭代，逐渐获得优化的从状态到行为的映射策略。即强化学习主要通过智能体与环境不断交互的动作、状态和奖励进行行为决策。目前，基于RL算法设计的电力设备控制器包括直流附加阻尼控制器、动态正交增压器、静止无功补偿器(StaticVarCompensator，SVC)、电力系统稳定器(PowerSystemStabilizer，PSS)等。研究表明，RL算法设计的控制器能够有效兼顾稳定性与动态性能混合目标的优化控制，表现出了良好的环境适应性，更适合于电力系统这种存在多重不确定性因素及大扰动的系统。尤其是，结合深度学习的感知与强化学习的决策能力的深度强化学习(DeepReinforcementLearning，DRL)，对于强化学习算法的运算速度与收敛有很大地提升。如果把逆变器的控制器中也引入深度强化学习模块，对系统扰动激发的不同J的逆变器振荡状态进行评价，进行学习与训练，就可以自适应地调整自身控制器的参数，获得更好的振荡抑制效果的同时，实现自身的逆变功能。因此，随着可再生能源渗透率的进一步提高，电力系统中存在大比例的、多种控制策略并存的、运行工况复杂的电力电子设备时，如何借鉴RL算法实现逆变器的控制，成为一个亟待解决的技术问题。
技术实现思路
本专利技术的目的在于提供一种基于深度强化学习的逆变器控制器，本专利技术所述逆变器控制器的深度强化学习算法，将深度学习的感知与强化学习的决策能力相结合，得到一个使长期回报最大化的最优策略，实现了逆变器虚拟转动惯量的自适应调整，以适应高比例可再生能源并网电力电子化系统易振荡环境下的逆变器的运行控制。本专利技术通过下述技术方案实现：一种基于深度强化学习的逆变器控制器，包括虚拟同步发电机控制模块和深度强化学习控制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过深度强化学习控制模块调整虚拟转动惯量，以获得较好的电力系统低频振荡抑制效果。本专利技术在基于虚拟同步发电机控制策略的逆变器虚拟转动惯量J的调整方案中，本专利技术采用了基于深度强化学习算法优化策略的调整思路，而不是现有方法中通过逆变器输出功率P的微分和虚拟角频率ω及微分来自适应地调整J。深度强化学习算法在一定程度上模拟了人的智能，因此这种控制策略有利于逆变器适应更复杂的电力系统运行工况和振荡环境本专利技术特别适合在易振荡环境下运行的逆变器控制器。该控制器在虚拟同步发电机控制技术的基础上，增加了深度强化学习优化调整控制器参数的功能。所述的虚拟同步发电机控制模块包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、dq反变换和PWM(PulseWidthModulation)调制模块。所述的dq变换模块用于将逆变器LC滤波器上电容的三相电压ea、eb、ec和电感上流过的三相电流ia、ib、ic，分解到逆变器的同步旋转坐标系下得到其dq轴分量ud、uq和id、iq；所述的输出有功无功和端电压有效值计算模块的计算公式如式(1)所示：式中，P为有功功率，Q为无功功率，U为输出电压幅值。所述的调制波信号幅值计算模块用于计算调制波幅值Eq，所用公式为：Eq＝∫Ke[(Uref-U)-n(Q-Qref)]dt(2)式中，Uref为逆变器端电压的设定值；Qref为逆变器无功功率的设定值；Ke为放大增益；n为无功电压环节的下垂系数；Eq为逆变器调制波信号中的q轴分量，调制波信号的0轴和d轴分量均为0。所述的模拟转子运动方程模块用于计算逆变器虚拟的角频率ω和调制波的相位角δ，计算公式如式(3)(4)所示：δ＝ωn∫ωdt(4)式中，J为逆变器虚拟转动惯量，是强化学习模块输出的可调整的量；m为有功下垂系数；Pref为逆变器输出有功功率的设定值；D为逆变器虚拟阻尼系数；δ为逆变器调制波相位；ωn为角频率基准值。所述的dq反变换和PWM调制模块用于将调制波信号幅值计算模块、模拟转子运动方程模块的计算结果经dq反变换后得到调制波信号ua、ub、uc，再根据PWM算法生成PWM控制信号驱动三相逆变桥，实现逆变功能。所述的深度强化学习控制模块用于调整虚拟转动惯量，包括以下步骤：步骤1：确定控制动作集A、状态集合S、奖励函数R、和动作价值函数Qπ(s,a)；步骤2：建立逆变器的数学模型，利用DDPG算法离线预学习，获得初步优化后的控制器参数；步骤3：将逆变器投入运行，且在本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的逆变器控制器，其特征在于，包括虚拟同步发电机控制模块、深度强化学习控制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过深度强化学习控制模块调整虚拟转动惯量，以获得较好的电力系统低频振荡抑制效果。/n

【技术特征摘要】
1.一种基于深度强化学习的逆变器控制器，其特征在于，包括虚拟同步发电机控制模块、深度强化学习控制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过深度强化学习控制模块调整虚拟转动惯量，以获得较好的电力系统低频振荡抑制效果。


2.根据权利要求1所述的一种基于深度强化学习的逆变器控制器，其特征在于，所述的虚拟同步发电机控制模块，包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、dq反变换和PWM调制模块：
——dq变换模块用于将逆变器LC滤波器上电容的三相电压ea、eb、ec和电感上流过的三相电流ia、ib、ic，分解到逆变器的同步旋转坐标系下得到其dq轴分量ud、uq和id、iq；
——输出有功无功和端电压有效值计算模块的计算公式如式(1)所示：



式中，P为有功功率，Q为无功功率，U为输出电压幅值；
——调制波信号幅值计算模块用于计算调制波幅值Eq，所用公式为：
Eq＝∫Ke[(Uref-U)-n(Q-Qref)]dt(2)
式中，Uref为逆变器端电压的设定值；Qref为逆变器无功功率的设定值；Ke为放大增益；n为无功电压环节的下垂系数；Eq为逆变器调制波信号中的q轴分量，调制波信号的0轴和d轴分量均为0；
——模拟转子运动方程模块用于计算逆变器虚拟的角频率ω和调制波的相位角δ，计算公式如式(3)(4)所示：



δ＝ωn∫ωdt(4)
式中，J为逆变器虚拟转动惯量；m为有功下垂系数；Pref为逆变器输出有功功率的设定值；D为逆变器虚拟阻尼系数；δ为逆变器调制波相位；ωn为角频率基准值；
——dq反变换和PWM调制模块用于将调制波信号幅值计算模块、模拟转子运动方程模块的计算结果经dq反变换后得到调制波信号ua、ub、uc，再根据PWM算法生成PWM控制信号驱动三相逆变桥，实现逆变功能。


3.根据权利要求1所述的一种基于深度强化学习的逆变器控制器，其特征在于，所述深度强化学习控制模块用于调整虚拟转动惯量J，包括以下步骤：
步骤1：确定控制动作集A、状态集合S、奖励函数R、和动作价值函数Qπ(s,a)；
步骤2：建立逆变器的数学模型，利用DDPG(deepdeterministicpolicygradient)算法离线预学习，获得初步优化后的控制器参数；
步骤3：将逆变器投入运行，且在运行过程中利用DDPG算法在线应用，进行动作更新策略，以适应电网的复杂运行环境。


4.根据权利要求3所述的一种基于深度强化学习的逆变器控制器，其特征在于，步骤1中所述控制动作集A的表达式如下：



式中，Jmin和Jmax为一组预先设定的虚拟转动惯量上下限的值；
步骤1中所述状态集合S的表达式如下：
S∈{(ΔP，Δω)}(6)
式中，ΔP为逆变器在某时刻的输出有功功率与设定值之差；Δω为该时刻虚拟同步发电机转速偏差，(ΔP,Δω)表示逆变器在该时刻输出功率P和虚拟角频率ω的偏差组合。


5.根据权利要求3所述的一种基于深度强化学习的逆变器控制器，其特征在于，步骤1中所述奖励函数R的表达式如下：






式中，r(st,at)为在t时刻的系统状态st采取动作at后得到的单步奖励值；ap、aω分别为有功功率差、转速偏差所占评价指标的权重系数；step为每...

【专利技术属性】
技术研发人员：张昌华，张坤，徐子豪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51