基于Q-Learning算法同容量三相逆变器并联环流抑制方法技术

本发明专利技术公开了一种基于Q‑Learning算法同容量三相逆变器并联环流抑制方法，该方法包括下述步骤：建立输出线路阻抗参数未知的同容量三相逆变器并联系统动态模型，完成线路阻抗和负载阻抗对逆变器并联运行环流的解耦；基于输出线路阻抗参数未知的三相逆变器并联系统动态模型，采用下垂控制策略引入虚拟阻抗控制环，实现增益参数可调节的虚拟阻抗下垂控制方法；采用强化学习Q‑Learning算法对多台逆变器输出无功功率之间的偏差进行学习，通过调节虚拟阻抗增益系数的方法降低各条线路阻抗之间的差异，抑制环流。本发明专利技术实现了三相逆变器并联运行在线路阻抗参数未知的情形下降低逆变器输出线路阻抗的差异，达到抑制环流的效果。

【技术实现步骤摘要】
基于Q-Learning算法同容量三相逆变器并联环流抑制方法
本专利技术涉及逆变器并联控制
，具体涉及一种基于Q-Learning算法同容量三相逆变器并联环流抑制方法。
技术介绍
随着新能源技术的快速发展，以太阳能和风能为主导的可再生能源发电技术正在得到越来越广泛的应用。由于太阳能风能等新能源在地理位置上的分布不均，并且单个太阳能阵列或者风轮机输出的功率有限，而逆变器作为新能源发电技术中的核心器件，构建逆变器并联系统变得非常重要。但是由于各个逆变器和公共交流母线之间的线路阻抗不同，使得逆变器并联之后会出现线路之间的大环流破坏整个逆变器并联系统稳定性的问题。在逆变器并联控制领域，现有的下垂控制策略是最常使用的方法，但是该方法不能应对多台逆变器输出线路阻抗差异而导致环流的问题。
技术实现思路
为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于Q-Learning算法同容量三相逆变器并联环流抑制方法，将强化学习Q-Learning算法和下垂控制策略以及增加虚拟阻抗方法结合起来，实现在各个逆变器线路阻抗参数未知的情况下动态调节线路虚拟阻抗，减少逆变器输出线路阻抗的差异，从而达到抑制并联逆变器之间环流的效果。本专利技术的第二目的在提供一种基于Q-Learning算法同容量三相逆变器并联环流抑制系统。本专利技术的第三目的在于提供一种存储介质。本专利技术的第四目的在于提供一种计算设备。为了达到上述目的，本专利技术采用以下技术方案：本专利技术提供一种基于Q-Learning算法同容量三相逆变器并联环流抑制方法，包括下述步骤：建立输出线路阻抗参数未知的同容量三相逆变器并联系统动态模型，完成线路阻抗和负载阻抗对逆变器并联运行环流的解耦；基于输出线路阻抗参数未知的三相逆变器并联系统动态模型，采用下垂控制策略引入虚拟阻抗控制环，实现增益参数可调节的虚拟阻抗下垂控制方法；采用强化学习Q-Learning算法对多台逆变器输出无功功率之间的偏差进行学习，通过调节虚拟阻抗增益系数的方法降低各条线路阻抗之间的差异，抑制环流。作为优选的技术方案，所述建立输出线路阻抗参数未知的同容量三相逆变器并联系统动态模型，具体步骤包括：建立逆变器并联系统的数学模型，表示为：其中，Vo,k(s)、Io,k(s)分别表示各台逆变器输出电压和电流，Zline,k表示各台逆变器与交流母线之间的连线阻抗，Ubus(s)为交流母线电压，Iload(s)为负载端总的负载电流，并且母线电压和负载端电压相等，Zload为公共负载，Iload,k(s)为流入各负载的电流，k表示并联系统中任意一台逆变器；每台逆变器输出环流的表达式为：设计每台逆变器的输出线路阻抗满足：mkZline,k＝mjZline,jk,j＝1,2,...,n优化后的每台逆变器输出环流的表达式为：每台逆变器输出的环流与逆变器输出电压、各逆变器加权平均值电压以及输出线路阻抗有关，完成了逆变器并联运行时环流和负载的解耦。作为优选的技术方案，所述采用下垂控制策略引入虚拟阻抗控制环，具体步骤包括：在下垂控制电路的基础之上搭建反馈回路，所述反馈回路中包括基础的阻抗常数和可调节的增益系数，所述反馈回路的输入为逆变器输出电流值，回路中的虚拟阻抗值为控制器中电感电流、初始阻抗常数以及虚拟阻抗增益系数的乘积，在下垂控制环中减掉虚拟阻抗值，最后将二者比较后的电压差值输入电压比例积分控制单元和电流比例单元，再经过坐标变换以及SPWM调制生成开关管的控制信号对三相逆变桥进行控制。作为优选的技术方案，所述采用下垂控制策略引入虚拟阻抗控制环，加入虚拟阻抗的数学模型表示为：U'dqref(s)＝Udqref(s)-Z(s)I(s)W其中，U′dqref(s)为加入虚拟阻抗之后给到电压电流内环的参考电压，Udqref(s)为传统下垂控制下给到电压电流内环的参考电压，Z(s)为需加入的基础阻抗常数，I(s)为逆变器输出电流，W为虚拟阻抗增益系数。作为优选的技术方案，所述采用强化学习Q-Learning算法对多台逆变器输出无功功率之间的偏差进行学习，具体步骤包括：将各逆变器输出的无功功率和平均无功功率的偏差作为环境状态，对并联系统中每台逆变器都引入强化学习控制器，并由此建立环境状态集合S，表示为：S＝{ΔQ1ΔQ2...ΔQi...ΔQT}ΔQ＝Q-Qload/N其中，ΔQi表示单台逆变器输出无功功率和平均无功功率的偏差等级，Q表示单台逆变器输出的无功功率，Qload表示总负载无功功率，N表示并联系统中逆变器总数，ΔQ表示任意一台逆变器输出无功功率和平均无功功率的偏差；对每台逆变器定义动作集合A：A＝{ΔW1ΔW2...ΔWi...ΔWK}其中，ΔWi表示虚拟阻抗增益系数的不同增益值，并且将所加增益系数值分为K个等级；在环境状态集合S和动作集合A的前提下，定义奖励函数R，表示为：其中，(Si,Ai)表示逆变器并联系统中任意第j台逆变器所处状态Si时执行动作Ai后可以获得的奖励，ΔQ表示任意一台逆变器输出无功功率和平均无功功率的偏差，ΔQ1、ΔQ2、ΔQ3、ΔQ4表示对五无功功率偏差设置的偏差范围边界值，α1、α2、α3、α3表示针对不同无功功率偏差区间设计的控制参数；根据环境状态集合S和动作集合A建立状态动作价值表，所述动作价值表每一行代表状态集合S中的一个状态，每一列代表动作集合A中的一个动作，所述动作价值表中的任意一项表示在该状态下执行该动作得到的奖励，记录学习的结果，获得最佳决策，建立强化学习Q-learning算法模型；根据强化学习Q-learning算法模型对逆变器的控制器进行迭代训练；控制器根据状态动作价值表自动找寻最佳虚拟阻抗增益系数，增益系数乘上虚拟阻抗常数以及输出电流构建逆变器输出线路阻抗的补偿，对线路阻抗进行补偿调整。作为优选的技术方案，所述强化学习Q-learning算法模型表示为：Qk+1(Si,Ai)＝Qk(Si,Ai)+α[R(Si,Ai)+γ·maxQk(Si+1,A)-Qk+1(Si,Ai)]其中，Qk+1(Si,Ai)表示算法迭代至第k+1回合时状态动作价值表中Si行和Ai列对应的价值，Qk(Si,Ai)表示算法迭代至第k回合时状态动作价值表中Si行和Ai列对应的价值；α表示学习率，且0＜α＜1；γ表示折扣因子，当γ＝0时只考虑立即奖励，当γ＝1时，长期奖励和立即奖励地位一样；R(Si,Ai)表示在状态Si时执行动作Ai所能得到的奖励；maxQk(Si+1,A)表示状态动作价值表中第Si+1行的最大价值。作为优选的技术方案，所述根据强化学习Q-learning算法模型对逆变器的控制器进行迭代训练，具体步骤包括：初始化状态动作价值表，表中的价值赋初始值都为0；强化学习控制器不断地给出虚拟阻抗的可本文档来自技高网...

【技术保护点】
1.一种基于Q-Learning算法同容量三相逆变器并联环流抑制方法，其特征在于，包括下述步骤：/n建立输出线路阻抗参数未知的同容量三相逆变器并联系统动态模型，完成线路阻抗和负载阻抗对逆变器并联运行环流的解耦；/n基于输出线路阻抗参数未知的三相逆变器并联系统动态模型，采用下垂控制策略引入虚拟阻抗控制环，实现增益参数可调节的虚拟阻抗下垂控制方法；/n采用强化学习Q-Learning算法对多台逆变器输出无功功率之间的偏差进行学习，通过调节虚拟阻抗增益系数的方法降低各条线路阻抗之间的差异，抑制环流。/n

【技术特征摘要】
1.一种基于Q-Learning算法同容量三相逆变器并联环流抑制方法，其特征在于，包括下述步骤：
建立输出线路阻抗参数未知的同容量三相逆变器并联系统动态模型，完成线路阻抗和负载阻抗对逆变器并联运行环流的解耦；
基于输出线路阻抗参数未知的三相逆变器并联系统动态模型，采用下垂控制策略引入虚拟阻抗控制环，实现增益参数可调节的虚拟阻抗下垂控制方法；
采用强化学习Q-Learning算法对多台逆变器输出无功功率之间的偏差进行学习，通过调节虚拟阻抗增益系数的方法降低各条线路阻抗之间的差异，抑制环流。


2.根据权利要求1所述的基于Q-Learning算法同容量三相逆变器并联环流抑制方法，其特征在于，所述建立输出线路阻抗参数未知的同容量三相逆变器并联系统动态模型，具体步骤包括：
建立逆变器并联系统的数学模型，表示为：



其中，Vo,k(s)、Io,k(s)分别表示各台逆变器输出电压和电流，Zline,k表示各台逆变器与交流母线之间的连线阻抗，Ubus(s)为交流母线电压，Iload(s)为负载端总的负载电流，并且母线电压和负载端电压相等，Zload为公共负载，Iload,k(s)为流入各负载的电流，k表示并联系统中任意一台逆变器；
每台逆变器输出环流的表达式为：



设计每台逆变器的输出线路阻抗满足：
mkZline,k＝mjZline,jk,j＝1,2,...,n
优化后的每台逆变器输出环流的表达式为：



每台逆变器输出的环流与逆变器输出电压、各逆变器加权平均值电压以及输出线路阻抗有关，完成了逆变器并联运行时环流和负载的解耦。


3.根据权利要求1所述的基于Q-Learning算法同容量三相逆变器并联环流抑制方法，其特征在于，所述采用下垂控制策略引入虚拟阻抗控制环，具体步骤包括：
在下垂控制电路的基础之上搭建反馈回路，所述反馈回路中包括基础的阻抗常数和可调节的增益系数，所述反馈回路的输入为逆变器输出电流值，回路中的虚拟阻抗值为控制器中电感电流、初始阻抗常数以及虚拟阻抗增益系数的乘积，在下垂控制环中减掉虚拟阻抗值，最后将二者比较后的电压差值输入电压比例积分控制单元和电流比例单元，再经过坐标变换以及SPWM调制生成开关管的控制信号对三相逆变桥进行控制。


4.根据权利要求1或3所述的基于Q-Learning算法同容量三相逆变器并联环流抑制方法，其特征在于，所述采用下垂控制策略引入虚拟阻抗控制环，加入虚拟阻抗的数学模型表示为：
U'dqref(s)＝Udqref(s)-Z(s)I(s)W
其中，U′dqref(s)为加入虚拟阻抗之后给到电压电流内环的参考电压，Udqref(s)为传统下垂控制下给到电压电流内环的参考电压，Z(s)为需加入的基础阻抗常数，I(s)为逆变器输出电流，W为虚拟阻抗增益系数。


5.根据权利要求1所述的基于Q-Learning算法同容量三相逆变器并联环流抑制方法，其特征在于，所述采用强化学习Q-Learning算法对多台逆变器输出无功功率之间的偏差进行学习，具体步骤包括：
将各逆变器输出的无功功率和平均无功功率的偏差作为环境状态，对并联系统中每台逆变器都引入强化学习控制器，并由此建立环境状态集合S，表示为：
S＝{ΔQ1ΔQ2...ΔQi...ΔQT}
ΔQ＝Q-Qload/N
其中，ΔQi表示单台逆变器输出无功功率和平均无功功率的偏差等级，Q表示单台逆变器输出的无功功率，Qload表示总负载无功功率，N表示并联系统中逆变器总数，ΔQ表示任意一台逆变器输出无功功率和平均无功功率的偏差；
对每台逆变器定义动作集合A：
A＝{ΔW1ΔW2...ΔWi...ΔWK}
...

【专利技术属性】
技术研发人员：彭云建，王腾飞，孙伟杰，康睿，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44