一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法技术

本发明专利技术公开了一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法，其具体步骤如下：建立平流层飞艇六自由度运动学和动力学模型，并将其表示为状态空间方程形式。给定期望轨迹计算期望位置和当前位置之间的误差，获得无约束的位置跟踪误差动力学模型。利用critic网络估计最优性能函数与最优控制量，以最小化估计误差为目标，获得基于最优控制输入量。获得对模型中的不确定项的估计补偿量，结合最优控制输入量与估计补偿量，获得鲁棒最优控制律。结合动力系统布局对合力和合力矩进行控制解算，得到螺旋桨转速，实现平流层飞艇自主跟踪期望轨迹。通过基于级联滤波的估计器有效抑制了未知的建模误差和外界干扰对系统的影响，控制器具有较高鲁棒性。具有较高鲁棒性。具有较高鲁棒性。

【技术实现步骤摘要】
一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法


[0001]本专利技术提供一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法，它提供一种考虑外界干扰、位置受限、控制能量消耗的平流层飞艇轨迹跟踪新控制方法，属于自动控制


技术介绍

[0002]平流层飞艇是一种飞行在海拔高度为20
‑
30km的平流层空间的无人浮空飞行器，对于深空探测、对地观测和通信服务领域具有独特的应用价值。在深空探测方面，平流层飞艇可以在广泛的波长范围内提供类似卫星平台的观测条件。在对地观测方面，相比于飞机和卫星平台，平流层飞艇可提供更高的分辨率和更持久的观测。在通信服务方面，平流层飞艇可以作为小型通讯基站提供高速通信服务。
[0003]近年来，随着平流层飞艇科技制造技术不断发展，平流层飞艇已由研制试飞阶段逐渐走向落地应用阶段。长时稳定的驻空飞行能力是平流层飞艇实现大规模应用的前提。在驻空飞行过程中，需要充分考虑并处理飞行期间受到的多种约束问题，以增强其“驻空生存”、“广域覆盖”能力。平流层飞艇飞行控制约束主要来自于两个方面：与其他分系统耦合特性导致的控制能力约束、飞行环境与任务需求所带来位置约束。一方面，为了提高飞艇有效载荷，其自身结构与能源分系统需进行轻量化设计，在储能电池容量与动力系统能力约束下，平流层飞艇飞行时应尽可能减少能源消耗与执行机构损耗；另一方面，作为高空任务平台，在驻空飞行任务过程中，其位置需要保持在一定范围内。因此需要提出一个能够降低动力系统损耗、保证位置满足约束的平流层飞艇轨迹跟踪控制方法。r/>[0004]本专利技术“一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法”把以上问题作为切入点，而提出的有针对性的，解决位置受限、动力系统能源消耗限制、外界干扰下的平流层飞艇轨迹跟踪的控制理论。首先，建立具有位置约束的平流层飞艇动力学模型，设计罚函数进行状态转换，将具有约束的动力学模型转换为无约束动力学模型；然后，基于强化学习求解最优控制律，使跟踪全过程轨迹跟踪累计误差和控制能量消耗均最小；同时，设计了一种级联滤波干扰估计器，用于估计未知动力学与外界干扰。最后，通过李雅普诺夫稳定性分析以及模拟仿真验证，证明所设计的控制方法能够在满足位置约束的条件下，以低控制能耗实现对期望轨迹的高精度跟踪。

技术实现思路

[0005](1)目的：本专利技术的目的在于提供一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法，控制工程师可以在结合实际参数整定，按照该方法实现平流层飞艇位置受限轨迹跟踪最优控制，同时对建模不确定性和外界干扰具有一定的鲁棒性。
[0006](2)技术方案：本专利技术“一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法”，其主要内容及步骤是：首先，建立平流层飞艇在考虑位置约束和外界干扰时的六自由度全驱动运动模型，利用罚函数状态转换，将具有约束的动力学模型转换为无约束模型；然后针
对无约束模型进行鲁棒最优控制律设计，通过强化学习估计获得最优控制律，通过强化学习避免最优控制中复杂的Hamilton
‑
Jacobi
‑
Bellman,HJB方程求解过程，使累计控制输入和跟踪误差最小；通过级联滤波干扰观测器估计未知的建模误差和外界干扰，使控制器具有鲁棒性。在实际应用中，将导航载荷所测量的平流层飞艇的当前位置、姿态、速度等状态量输入控制器中，获得到平流层飞艇轨迹跟踪任务中所需的合力和合力矩，再通过控制解算得到动力系统的螺旋桨转速，从而使平流层飞艇具有自主轨迹跟踪能力。
[0007]本专利技术“一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法”，其具体步骤如下：
[0008]步骤一 运动学和动力学模型构建：根据平流层飞艇总体布局与气动外形，采用Newton
‑
Euler法，对平流层飞艇飞行过程进行受力分析，建立平流层飞艇六自由度运动学和动力学模型，并将其表示为状态空间方程形式。
[0009]步骤二 位置约束状态转换：考虑实际飞行中的位置约束要求，建立位置约束数学模型。给定期望轨迹，计算期望位置和当前位置之间的误差，结合位置约束设计罚函数对位置跟踪误差进行状态转换，获得无约束的位置跟踪误差动力学模型。
[0010]步骤三 位置跟踪最优控制设计：根据步骤二获得的跟踪误差动力学模型，不考虑外界干扰设计最优控制律。利用critic网络估计最优性能函数与最优控制量，以最小化估计误差为目标，设计critic网络的权重自适应更新率，获得基于最优控制输入量。
[0011]步骤四 位置跟踪鲁棒最优控制设计：根据步骤二获得的跟踪误差动力学模型，基于级联滤波设计干扰观测器，获得对模型中的不确定项的估计补偿量，结合步骤三设计的最优控制输入量与估计补偿量，获得鲁棒最优控制律，从而得到平流层飞艇动力系统所需提供的合力。
[0012]步骤五 姿态跟踪鲁棒最优控制设计：将步骤四设计的鲁棒最优控制方法应用于姿态跟踪环，获得平流层飞艇动力系统所需提供的合力矩。在实际应用中，可结合动力系统布局对合力和合力矩进行控制解算，得到螺旋桨转速，实现平流层飞艇自主跟踪期望轨迹。
[0013]其中，在步骤一中所述的运动学和动力学模型构建过程如下：
[0014]平流层飞艇由椭球形氦气囊体、尾翼、推进系统和吊舱组成，如图1所示。该构型下的平流层飞艇为全驱动动力系统，即平流层飞艇的六自由度状态量可由六个独立控制量分别控制。具体而言，囊体前部的四组主推螺旋桨可在垂直方向转动，用于提供飞艇飞行所需主推力及姿态调节所需力矩，囊体头部的调姿装置可在水平方向摆动，提供飞艇航向调节所需力矩。
[0015]为建立平流层飞艇运动模型，首先定义如下坐标系：F
e
＝{O
e
,x
e
,y
e
,z
e
}为惯性坐标系，原点O
e
为地面观测点，O
e
x
e
沿正北方向，O
e
x
e
沿正东方向，O
e
z
e
垂直地面向下；F
c
＝{O
c
,x
c
,y
c
,z
c
}为艇体坐标系，原点O
c
为飞艇囊体的浮心，O
c
x
c
沿飞艇的对称面向前，O
c
y
c
垂直于飞艇对称面向右，O
c
z
c
垂直于O
c
x
c
y
c
平面向下。
[0016]平流层飞艇的运动学模型为
[0017][0018]其中，p＝(x,y,z)
T
为表示在惯性坐标系F
e
下的飞艇位置矢量，Θ＝(φ,θ,ψ)
T
为飞艇姿态角矢量，V＝(u,v,w)
T
为表示在艇体坐标系F
...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法，其特征在于，该方法的具体步骤如下：步骤一，运动学和动力学模型构建：根据平流层飞艇总体布局与气动外形，采用Newton
‑
Euler法，对平流层飞艇飞行过程进行受力分析，建立平流层飞艇六自由度运动学和动力学模型，并将其表示为状态空间方程形式；步骤二，位置约束状态转换：考虑实际飞行中的位置约束要求，建立位置约束数学模型；给定期望轨迹，计算期望位置和当前位置之间的误差，结合位置约束设计罚函数对位置跟踪误差进行状态转换，获得无约束的位置跟踪误差动力学模型；步骤三，位置跟踪最优控制设计：根据步骤二获得的跟踪误差动力学模型，不考虑外界干扰设计最优控制律；利用critic网络估计最优性能函数与最优控制量，以最小化估计误差为目标，设计critic网络的权重自适应更新率，获得基于最优控制输入量；步骤四，位置跟踪鲁棒最优控制设计：根据步骤二获得的跟踪误差动力学模型，基于级联滤波设计干扰观测器，获得对模型中的不确定项的估计补偿量，结合步骤三设计的最优控制输入量与估计补偿量，获得鲁棒最优控制律，从而得到平流层飞艇动力系统所需提供的合力；步骤五，姿态跟踪鲁棒最优控制设计：将步骤四设计的鲁棒最优控制方法应用于姿态跟踪环，获得平流层飞艇动力系统所需提供的合力矩；在实际应用中，可结合动力系统布局对合力和合力矩进行控制解算，得到螺旋桨转速，实现平流层飞艇自主跟踪期望轨迹。2.根据权利要求1所述的一种基于强化学习最优控制的平流层飞艇轨迹跟踪方法，其特征在于：在步骤一中所述的运动学和动力学模型构建，其步骤如下：建立平流层飞艇运动模型，首先定义如下坐标系：F
e
＝{O
e
,x
e
,y
e
,z
e
}为惯性坐标系，原点O
e
为地面观测点，O
e
x
e
为沿正北方向的坐标轴，O
e
y
e
为沿正东方向的坐标轴，O
e
z
e
为垂直地面向下的坐标轴；F
c
＝{O
c
,x
c
,y
c
,z
c
}为艇体坐标系，原点O
c
为飞艇囊体的浮心，O
c
x
c
为沿飞艇的对称面向前的坐标轴，O
c
y
c
为垂直于飞艇对称面向右的坐标轴，O
c
z
c
为垂直于O
c
x
c
y
c
平面向下的坐标轴；平流层飞艇的运动学模型为其中，p＝(x,y,z)
T
为表示在惯性坐标系F
e
下的飞艇位置矢量，x,y,z分别为飞艇位置投影在O
e
x
e
，O
e
y
e
，O
e
z
e
的轴向分量，Θ＝(φ,θ,ψ)
T
为飞艇姿态角矢量，φ,θ,ψ分别为飞艇滚转角、俯仰角和偏航角，V＝(u,v,w)
T
为表示在艇体坐标系F
c
下的飞艇地速矢量，u,v,w分别为飞艇地速投影在O
e
x
e
，O
e
y
e
，O
e
z
e
的轴向分量，Ω＝(p,q,r)
T
为表示在艇体坐标系F
c
下的飞艇姿态角速度矢量，p,q,r分别为飞艇滚转角速度、俯仰角速度和偏航角速度，R为艇体坐标系到惯性坐标系的旋转矩阵，表示为：K为姿态转换矩阵，表示为：
T为矩阵的转置符号；平流层飞艇的动力学模型为其中，m为飞艇重量，r
c
＝[x
c
,y
c
,z
c
]
T
为飞艇质心到体心的矢径，x
c
,y
c
,z
c
分别为飞艇质心到体心的距离投影在O
c
x
c
，O
c
y
c
，O
c
z
c
轴向的分量,I
c
＝diag{I
x
,I
y
,I
z
}为飞艇惯性张量矩阵，diag表示对角矩阵，I
x
,I
y
,I
z
为飞艇惯性张量分量；G＝R
T
[0,0,mg]
T
为体坐标系下的重力，g为重力加速度；M
G
为因飞艇质心和浮心分离产生的重力矩，表示为为因飞艇质心和浮心分离产生的重力矩，表示为为体坐标系下的浮力,ρ为飞艇所在高度的大气密度，为飞艇总体积；由于飞艇所受浮力作用于浮心，则飞艇所受浮力矩为M
B
＝0；＝0；和分别为飞艇所受的附加惯性力和其对于浮心产生的力矩，m
a
＝diag{α1,α2,α3}和I
a
＝diag{α4,α5,α6}分别为附加质量矩阵和附加惯量矩阵，α
i
,i＝1,2,
…
,6为附加惯性系数，通过分析椭球在势流场中的力学特性得到；F
A
和M
A
分别为飞艇所受气动力和气动力矩，表示为表示为V
a
为飞艇空速合速，为参考面积，L为囊体直径，α为迎角，β为侧滑角，C
x
(α,β,q,r)为飞艇阻力系数，C
y
(β,p,r)为飞艇侧力系数，C
Z
(α,p,q)为飞艇升力系数，为飞艇滚转力矩系数，为飞艇俯仰力矩系数，为飞艇偏航力矩系数；F
T
＝[F
Tx
,F
Ty
,F
Tz
]
T
和M
T
＝[M
Tx
,M
Ty
,M
Tz
]
T
分别为飞艇所受主动控制力和主动控制力矩，F
Tx
,F
Ty
,F
Tz
为主动控制力三维分量，M
Tx
,M
Ty
,M
Tz
为主动控制力矩三维分量；F
D
和M
D
分别为由外界风扰、系统参数不确定项与囊体形变造成的动力学效应组成的未知等效力和力矩；整合平流层飞艇的运动学模型和动力学模型，将平流层飞艇运动模型分为位置环运动模...

【专利技术属性】
技术研发人员：黄琰婷，张雅滨，韩红桂，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：