一种基于Q-learning的柴油机空气系统多变量自抗扰控制方法技术方案

本发明专利技术公开了一种基于Q

【技术实现步骤摘要】
一种基于Q
‑
learning的柴油机空气系统多变量自抗扰控制方法


[0001]本专利技术涉及发动机空气系统控制
，特别是涉及一种基于Q
‑
learning的柴油机空气系统多变量自抗扰控制方法。

技术介绍

[0002]柴油机作为一种高效清洁的内燃机，应用广泛，处在所属产业链的相对核心的位置。其中柴油机的空气系统，是一种典型的多输入、多输出，且存在较强的输出信号噪声的动态系统。其动态过程的精确控制对发动机的动力性、经济性有重要影响。但是为了追求更快的响应速度，且输出信号中存在噪声、其控制过程容易发生执行机构的抖动。
[0003]因此，设计更快更稳定，控制效果更好的算法一直是近年来国内外学者关注的问题，并为此投入了许多精力，取得了诸多成果。文献(Rate
‑
based model predictive controller for diesel engine air path:Design and experimental evaluation)对柴油机空气系统进行基于速率的模型预测控制，协调控制EGR阀、EGR节气门及VGT阀从而使进气歧管压力和EGR率达到目标值。文献(Robust rate
‑
based Model Predictive Control of diesel engine air path)将模型适当降阶后，设计了模型预测控制以控制EGR阀和VGT阀门开度，使得进气歧管压力和EGR率能够快速达到目标值。
[0004]中国专利CN114704397A公开一种基于反步结构的VGT
‑
EGT柴油机空气系统多变量自抗扰控制方法，通过设计两输入两输出的内环控制器实现内环中对涡前压力和EGR率的控制；设计单输入单输出的外环控制器实现外环中对增压压力的控制，实现空气系统的解耦控制，但内外环的结构涉及较为复杂。
[0005]中国专利CN 111894752 A公开了一种基于模型预测控制算法的柴油机VGT
‑
EGR控制方法。通过对柴油机空气系统非线性模型进行准线性处理,使其能够在发动机整个工作范围内保持原有的非线性特性,使所设计的空气系统控制器能够在稳态工况与瞬态工况均达到较高精度。但该方法计算过程复杂，计算成本高，且依赖于模型精度，因此在实际应用中存在着局限性。
[0006]根据上述调研结果，现有针对柴油机空气系统的控制策略研究一般都集中在对EGR
‑
VGT协调控制，少有考虑在控制系统中加入节气门。由于EGR、VGT的耦合作用本就较为复杂，在加入节气门之后，对整个空气系统的控制难度又一步加大，需要更深一步的对节气门、EGR、VGT进行协调控制器设计。同时大部分控制器设计均未考虑实际发动机中存在输出信号噪声对动态系统的影响。综上，本专利提出基于Q
‑
learning的柴油机空气系统多变量自抗扰控制器的观测带宽自趋优算法，在实现解耦控制的同时提高动态系统的抗干扰能力。

技术实现思路

[0007]本专利技术的目的是针对现有技术中存在的技术缺陷，而提供一种基于Q
‑
learning的
柴油机空气系统多变量自抗扰控制方法，以解决空气系统各控制回路间复杂的交叉耦合关系以及相互之间的耦合影响，在自抗扰控制快速抑制高频的干扰的同时，最小化控制系统的实际输出与期望输出之间误差，持续搜寻不同跟踪误差下的最佳观测器带宽，实现控制效果的不断改善。
[0008]为实现本专利技术的目的所采用的技术方案是：
[0009]一种基于Q
‑
learning的柴油机空气系统多变量自抗扰控制方法，包括以下步骤：
[0010]步骤1，根据空气系统进排气部分核心动态方程，建立TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型，所述TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型包括增压压力动态方程、涡前压力动态方程和EGR率动态方程，所述TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型实时算出增压压力p
22
、涡前压力p3以及EGR率X
EGR
；
[0011]步骤2，简化步骤1中的TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型表达式写成状态空间方程形式，基于多变量自抗扰控制算法(TITOADRC)设计三输入三输出的空气系统控制器及相应扩张状态观测器(ESO)和控制律，实现对p
22
、p3和X
EGR
的控制；
[0012]步骤3，根据所述空气系统控制器实际情况设计状态空间S和行动集A，对所有的状态s∈S和行动a∈A，初始化相应的状态
‑
行动值函数Q(s，a)＝0；
[0013]步骤4，设定Q
‑
learning算法中的折扣因子γ∈(0，1)与满足如下条件的学习率序列
[0014][0015]并选择状态转移概率，下角标j表示第j次进行Q学习；
[0016]步骤5，设计回报函数：在系统运行过程中，每q次采样进行一次学习，从t＝jqh时刻到t＝(j+1)qh时刻之间的带宽是一个常数，记为
[0017]ω
j
＝ω(t)，t∈[jqh，(j+1)qh]，j＝1，2，...
[0018]h为时间步长；
[0019]通过Q学习调节扩张状态观测器的参数，当系统运行到t＝jqh，j＝1，2，...时刻时，当前状态s
j
，并选取行动a
j
，然后对扩张状态观测器带宽进行调节。
[0020]在上述技术方案中，增压压力动态方程如下：
[0021][0022]式中，
[0023]涡前压力动态方程为：
[0024][0025]式中，式中，
[0026]EGR率动态方程为：
[0027][0028]式中，
[0029]其中，A
TVA
为TVA阀有效流通截面积；A
VGT
为VGT阀有效流通截面积；A
EGR
为EGR阀有效流通截面积；p
21
为TVA阀门前压力；p
22
为节流阀后压力；为节流阀后压力的动态变化，p3为涡前压力，表示涡前压力的动态变化；R为理想气体常数；T
22
为进气温度；V
22
为进气歧管容积；T3为涡前温度；V3为排气歧管容积；为燃油质量流量；T
21
为TVA阀门前温度；σ1为待标定系数；T3为涡前温度；σ2为待标定系数；η
vol
为充气效率；V
d
为气缸容积；N
Eng
为发动机转速；β为待标定系数，p4为涡后压力，X
EGR本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Q
‑
learning的柴油机空气系统多变量自抗扰控制方法，其特征在于，包括以下步骤：步骤1，根据空气系统进排气部分核心动态方程，建立TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型，所述TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型包括增压压力动态方程、涡前压力动态方程和EGR率动态方程，所述TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型实时算出增压压力p
22
、涡前压力p3以及EGR率X
EGR
；步骤2，简化步骤1中的TVA
‑
VGT
‑
EGR柴油机空气系统面向控制模型表达式写成状态空间方程形式，基于多变量自抗扰控制算法设计三输入三输出的空气系统控制器及相应扩张状态观测器和控制律，实现对p
22
、p3和X
EGR
的控制；步骤3，根据所述空气系统控制器实际情况设计状态空间S和行动集A，对所有的状态s∈S和行动a∈A，初始化相应的状态
‑
行动值函数Q(s,a)＝0；步骤4，设定Q
‑
learning算法中的折扣因子γ∈(0,1)与满足如下条件的学习率序列learning算法中的折扣因子γ∈(0,1)与满足如下条件的学习率序列并选择状态转移概率，下角标j表示第j次进行Q学习；步骤5，设计回报函数：在系统运行过程中，每q次采样进行一次学习，从t＝jqh时刻到t＝(j+1)qh时刻之间的带宽是一个常数，记为ω
j
＝ω(t)，t∈[jqh，(j+1)qh]，j＝1，2，...h为时间步长；通过Q学习调节扩张状态观测器的参数，当系统运行到t＝jqh，j＝1,2,
…
时刻时，当前状态s
j
,并选取行动a
j
，然后对扩张状态观测器带宽进行调节。2.如权利要求1所述的基于Q
‑
learning的柴油机空气系统多变量自抗扰控制方法，其特征在于，增压压力动态方程如下：式中，涡前压力动态方程为：式中，式中，EGR率动态方程为：式中，
其中，A
TVA
为TVA阀有效流通截面积；A
VGT
为VGT阀有效流通截面积；A
EGR
为EGR阀有效流通截面积；p
21
为TVA阀门前压力；p
22
为节流阀后压力；为节流阀后压力的动态变化，p3为涡前压力，表示涡前压力的动态变化；R为理想气体常数；T
22
为进气温度；V
22
为进气歧管容积；T3为涡前温度；V3为排气歧管容积；为燃油质量流量；T
21
为TVA阀门前温度；1为待标定系数；T3为涡前温度；2为待标定系数；η
vol
为充气效率；V
d
为气缸容积；N
Eng
为发动机转速；β为待标定系数，p4为涡后压力，X
EGR
为EGR率，为EGR率的动态变化，ρ2为气缸进气气体密度。3.如权利要求1所述的基于Q
‑
learning的柴油机空气系统多变量自抗扰控制方法，其特征在于，步骤2中，状态空间方程如下：式中，式中，A
TVA
、A
VGT
、A
EGR
分别表示TVA阀门、VGT阀门、EGR阀门的有效流通面积，f1、f2、f3分别为p
22
、p3和X
EGR
通...

【专利技术属性】
技术研发人员：宋康，任玉茹，谢辉，薛文超，汤国杰，
申请(专利权)人：天津大学，
类型：发明
国别省市：