一种双有源全桥变换器的智能PI控制方法技术

本发明专利技术公开了一种双有源全桥变换器的智能PI控制方法，在PI控制中加入基于深度强化学习的参数调节器，来智能的调节PI控制的参数，以自适应复杂的运行环境并且改善双有源全桥变换器的动态性能。采用TD3算法，其通过动作网络产生动作值A（dk

An intelligent PI control method for double active full bridge converter

【技术实现步骤摘要】
一种双有源全桥变换器的智能PI控制方法


[0001]本专利技术涉及双有源全桥变换器
，具体是一种采用深度强化学习的双有源全桥变换器的智能PI控制方法。

技术介绍

[0002]随着化石能源的日益枯竭和其带来的环境问题越来越严重，可再生新能源受到了广泛的关注，由于其多为直流形式以及电压需要变换，其需要大量的电力电子变换器。随着MOSFET、IGBT等开关器件技术的飞速发展，双有源全桥变换器以其结构简单、能够进行能量双向传输、供电质量高、控制方式灵活等优点受到越来越多的关注。
[0003]同时为了适应分布式可再生能源和各种负荷接入电网，双有源全桥变换器作为电网中关键的变换器设备，对于维持电网母线电压稳定，保证电网的正常运行起着非常重要的作用。
[0004]对于双有源全桥变换器的控制，大多采用经典PI控制。现阶段有文献通过分析双有源全桥变换器的数学模型，推导得到变换器的传递函数，提出了基于PI控制电压单环控制策略，使得输出电压保持稳定。有文献在电压单环PI控制策略的基础上增加电流内环PI控制，增加了电流的跟踪精度，但此控制方法增加了采样量。有学者采用虚拟阻抗的方法来解决双有源全桥变换器运行过程中遇到的问题。该方法依旧需要PI控制器来调节。有文献提出了虚拟功率控制方法。有学者提出了直接功率控制方法，然而上述功率控制方法都需要PI控制器来进行控制。在上述方法中PI控制均采用固定参数控制，没有自适应学习能力，动态性能需要改善，其广泛适应性有待提高。因此，现阶段的双有源全桥变换器的PI控制方法有诸多缺点。/>
技术实现思路

[0005]本专利技术为了解决传统双有源全桥变换器PI控制参数无法自适应调节的问题，针对现有PI控制策略的缺陷，提出了一种基于深度强化学习的双有源全桥变换器的智能PI控制方法。
[0006]由于深度强化学习算法可以根据环境的变化智能的调整其动作，在考虑到传统PI控制系数（k
p
，k
i
）为人工提前调整好的定值，无法根据环境的改变进行智能调整，使得双有源全桥变换器性能无法达到最优，故采用深度强化学习的方法来智能的改变PI控制系数，智能的根据环境来调节PI控制系数，使得双有源全桥变换器在不同环境下性能最优。本专利技术采用深度强化学习控制器来智能的调节PI控制参数，通过神经网络的训练来输出控制参数调节信号来智能地调节PI控制器的控制参数，以适应复杂的运行环境并且减小输出电压的误差，提高变换器的动态性能。由于深度强化学习的学习能力，双有源全桥变换器的自适应性得到了提高。
[0007]本专利技术是采用如下技术方案实现的：双有源全桥变换器，包括逆变全桥和整流全桥，两桥臂通过辅助电感L和变压器组
成的磁性网络相连接，变压器变比为k:1；直流侧通过并联滤波电容C
i
连接逆变全桥，整流全桥的输出侧与电容器C
o
并联。变换器的开关频率为f。
[0008]一种用于上述双有源全桥变换器的控制方法，在PI控制方法的基础上加入深度强化学习控制器来智能地调节PI控制参数，适应复杂地运行环境并且改善系统的动态性能。具体如下：PI控制中，双有源全桥变换器的输出电压参考值U
oref
与其输出侧的电压实际值U
o
作差后，经过输出电压环PI控制器输出控制信号D，如式（1）所示
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）之后，将控制信号D输入至PWM模块来调整双有源全桥变换器的PWM波形，进而调节双有源全桥变换器输出电压U
o
。
[0009]智能PI控制方法，在PI控制的基础上，采用深度强化学习中的TD3算法产生双有源全桥变换器的PI控制参数调节信号。深度强化学习中TD3控制器中，首先输入状态量S{U
o
,e,(de/dt)}，其包括输出电压的实际值U
o
，输出电压参考值U
oref
与其输出侧的电压实际值U
o
的差值e，和差值的微分(de/dt)。通过TD3的动作网络产生动作值A（dk
p
(t)，dk
i
(t)），之后将动作值A和状态变量S同时输入到两个判断网络判断动作的好坏，之后两个判断网络分别输出奖励，将两个奖励取均值得到奖励r，根据r大小，进而调整动作网络的动作值，最终使得输出电压误差最小化得到期望的奖励分数。其奖励函数设置为
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）由奖励函数可得，双有源全桥变换器的输出电压误差越小奖励越大，该算法根据奖励函数的大小来调节输出的PI控制参数信号dk
p
(t)和dk
i
(t)，得到最终的控制参数为k
p
(t+1)=k
p
(t)+dk
p
(t)和k
i
(t+1)=k
i
(t)+dk
i
(t)，最终使得奖励函数最大。此时输出电压误差最小，同时使得PI控制参数可以根据双有源全桥变换器工作状态自适应调节以适应于复杂的运行环境，有效的改善了传统PI控制参数固定导致动态调节能力弱的问题。
[0010]本专利技术所述的基于双有源全桥变换器的智能PI控制方法，与现有技术相比，所具有的优点与积极效果在于：1、使得PI控制参数可以根据变换器的工作状态自适应调节，有效改善了双有源全桥变换器的动态性能，提高了双有源全桥变换器的效率和对不同运行环境的自适应能力。
[0011]2、由于使用的深度强化学习算法具有学习能力，提高了双有源全桥变换器的鲁棒性和可靠性。
[0012]本专利技术设计合理，适用于双有源全桥变换器，该方法采用TD3算法，根据其判断网络给出的分值来调节动作网络的输出PI控制参数调节信号，进而调节PI控制参数，改善了传统PI控制无法适应复杂的运行环境，动态调节能力弱的问题，具有良好的技术经济性，具有很好的实际应用价值。
附图说明
[0013]图1表示本专利技术所涉及TD3算法的结构图。
[0014]图2表示本专利技术所涉及双有源全桥变换器的智能PI控制框图。
[0015]图3表示本专利技术所涉及TD3算法的神经网络结构图。
[0016]图4表示本专利技术所涉及双有源全桥变换器结构图。
具体实施方式
[0017]下面结合附图对本专利技术的具体实施例进行详细说明。
[0018]本专利技术所述的双有源全桥变换器的智能PI控制方法，在如图2所示的PI控制中加入基于深度强化学习的参数调节器，来智能的调节PI控制的参数，以自适应复杂的运行环境并且改善双有源全桥变换器的动态性能。通过动作网络产生动作值A（dk
p
(t),dk
i
(t)），之后通过两个判断网络的奖励均值判断动作的奖励r大小，避免了单个网络判断值高估行为和不稳定的问题。进而调整动作网络的动作值，最终智能的调节PI控制参数，以适应于复杂的运行环境并且使得输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双有源全桥变换器的智能PI控制方法，其中，双有源全桥变换器包括逆变全桥和整流全桥，两桥臂通过辅助电感L和变压器组成的磁性网络相连接，变压器变比为k:1；直流侧通过并联滤波电容C
i
连接逆变全桥，整流全桥的输出侧与电容器C
o
并联；双有源全桥变换器的开关频率为f；PI控制方法如下：双有源全桥变换器的输出电压参考值U
oref
与其输出侧的电压实际值U
o
作差后，经过输出电压环PI控制器输出控制信号D，如式（1）所示
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）之后将控制信号D输入至PWM模块来调整双有源全桥变换器的PWM波形，进而调节双有源全桥变换器输出电压U
o
；其特征在于：采用深度强化学习中的TD3算法产生双有源全桥变换器的PI控制参数调节信号；首先输入状态量S{U
o
,e,(de/dt)}，其包括输出电压的实际值U
o

【专利技术属性】
技术研发人员：贾燕冰，孟祥齐，武涵，赵佩，任春光，王磊，韩肖清，孟润泉，王泽淇，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：