小型无人直升机的强化学习自适应控制方法技术

本发明专利技术涉及小型无人直升机的非线性控制，为提出一种基于强化学习的自适应控制方法，实现在小型直升机具有系统参数不确定性和外界扰动的情况下，仍能保持飞行姿态稳定。为此，本发明专利技术采用的技术方案是，小型无人直升机的强化学习自适应控制方法，以强化学习自适应控制算法为基础，结合评价网执行网体系结构，用于小型无直升人机的姿态系统控制中，包括以下步骤：步骤1)确定小型无人直升机的坐标系定义；步骤2)确定小型无人直升机姿态动力学模型；步骤3)定义姿态角跟踪误差并整理动力学误差模型；步骤4)控制律设计。本发明专利技术主要应用于小型无人直升机的非线性控制场合。

Intensive Learning Adaptive Control Method for Small Unmanned Helicopter

【技术实现步骤摘要】
小型无人直升机的强化学习自适应控制方法
本专利技术涉及一种小型无人直升机的非线性控制方法，特别是涉及一种基于强化学习的小型无人直升机自适应控制方法。具体讲,涉及小型无人直升机的强化学习自适应控制方法。
技术介绍
无人机(UnmannedAerialVehicle，简称UAV)，是装配了必要的数据处理单元、传感器、自动控制器以及通信设备的飞行器系统，能够在远距离遥控下或者自主控制下执行预先设定的飞行任务。无人直升机能够做到：1)可垂直起降、可定点悬停、可在空中原地转弯；2)能够近地机动飞行；3)起飞和降落无需专用的跑道；4)若直升机在空中发生故障，可以利用自身旋翼特性自转下滑，最终安全降落。其在民用领域和军事上均发挥着重要的价值，受到各国的普遍重视(图书：国防工业出版社；著者：贺天鹏，张俊，曾国奇，等；出版年月：2016；文章题目：无人直升机系统设计；页码：1-21)。然而，由于无人直升机是欠驱动且具有显著动态耦合的高度非线性系统，在控制器设计和实施过程中需要对这些动态耦合加以考虑和解决，因此其控制器的设计非常具有挑战性。目前，针对小型无人直升机系统的控制方法主要包括线性控制、非线性控制和智能控制等多种设计方法。线性控制方法是目前常用的无人机控制方法，刘昊等人基于简化的无人直升机线性模型设计了LQR(linearquadraticregulator，线性二次调节器)控制器。该方法通过数值仿真验证了控制器的有效性，但这种线性控制方法是基于在无人直升机工作点附近的近似线性化进行分析设计的，只能在平衡点附近使系统实现稳定，因而不可避免地限制了控制器的应用范围(期刊：IEEETransactionsonIndustrialElectronics；著者：LiuH,LuG,ZhongY；出版年月：2013；文章题目：RobustLQRAttitudeControlofa3-DOFLaboratoryHelicopterforAggressiveManeuvers；页码：4627-4636)。为克服线性控制方法的上述不足，许多学者采用非线性控制方法实现无人直升机的大范围控制。RaptisIA等人将无人机动态模型划分为两个子系统，内环为姿态控制系统，外环为位置控制系统，采用反步法设计了跟踪控制器，通过数值仿真验证了无人机的镇定、跟踪和高难度飞行实验(期刊：IEEETransactionsonControlSystemsTechnology；著者：RaptisIA,ValavanisKP,MorenoWA；出版年月：2011；文章题目：ANovelNonlinearBacksteppingControllerDesignforHelicoptersUsingtheRotationMatrix；页码：465-473)。针对系统存在参数不确定性，蒙志君等人设计了一种基于扩张状态观测器的自抗扰反步控制器，通过引入扩张状态观测器来实时观测由模型不确定性和外界扰动组成的全部未知扰动，同时与反步法相结合，使无人直升机在存在外界扰动下均能对控制指令实现快速和准确的反应(期刊：控制理论与应用；著者：陈旭智，蒙志君，赵文龙，等；出版年月：2015；文章标题：适应扰动的无人直升机姿态跟踪控制；页码：1534-1539)。近年来智能控制方法也在无人直升机控制上得到了较多的应用，NodlandD等人利用自适应神经网络对无人机模型不确定部分进行估计，只需要较少的模型信息，就能够实现无人机的轨迹跟踪控制(期刊：IEEETransactionsonNeuralNetworksandLearingSystems；著者：NodlandD,ZargarzadehH；出版年月：2013；文章题目：NeuralNetwork-basedOptimalAdaptiveOutputFeedbackControlofaHelicopterUAV；页码：1061-1073)。AbbeelP等人使用强化学习方法对无人机进行控制，利用强化学习算法对直升机飞行的实验数据进行学习训练，最终实现无人直升机的自主飞行和特技飞行(期刊：TheInternationalJournalofRoboticsResearch；著者：AbbeelP,CoatesA,NgAY；出版年月：2010；文章题目：AutonomousHelicopterAerobaticsthroughApprenticeshipLearning；页码：1608-1639)。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种基于强化学习的自适应控制方法，实现在小型直升机具有系统参数不确定性和外界扰动的情况下，仍能保持飞行姿态稳定。为此，本专利技术采用的技术方案是，小型无人直升机的强化学习自适应控制方法，以强化学习自适应控制算法为基础，结合评价网执行网体系结构，用于小型无直升人机的姿态系统控制中，包括以下步骤：步骤1)确定小型无人直升机的坐标系定义；小型无人直升机坐标系定义主要涉及两个坐标系，惯性坐标系{I}＝{OI,xI,yI,zI}和机体坐标系{B}＝{OB,xB,yB,zB}，其中Oi(i＝I,B)表示坐标系原点，xi,yi,zi(i＝I,B)分别对应坐标系三个主轴方向的单位矢量，各坐标系的定义均遵循右手定则，同时定义直升机姿态角在坐标系{I}下表示为η＝[φ,θ,ψ]T,φ,θ,ψ分别对应滚转角、俯仰角和偏航角，目标轨迹姿态角在坐标系{I}下表示为ηd＝[φd,θd,ψd]T,φd,θd,ψd分别对应目标旋转角、目标俯仰角和目标偏航角；步骤2)确定小型无人直升机姿态动力学模型；通过分析小型无人直升机作用原理，用拉格朗日方程来描述其姿态动力学模型为：其中M(η)代表惯性矩阵，C(η,η)代表科氏力矩阵，G(η)为重力力矩向量，d代表未知扰动向量，S代表角速度变换矩阵，A,B代表旋翼动力学相关矩阵，D代表旋翼挥舞角动力学相关矩阵，δ(t)＝[δlat(t)δlon(t)δped(t)]T代表控制输入，δlat(t)代表横向周期变距，δlon(t)代表纵向周期变距，δped(t)代表尾桨总距，角速度变换矩阵S表示为：步骤3)定义姿态角跟踪误差并整理动力学误差模型；定义系统姿态跟踪误差e1及其滤波误差e2为：其中λ＝[λ1,λ2,λ3]T为正常数阵，引入辅助矩阵Ω＝S-TAD，输入转矩量τI＝Ωδ(t)，定义性能指标函数为：其中，Q,R为正定矩阵，需要保证系统的性能指标函数最优，定义哈密尔顿函数为如下形式：引入评价网来近似性能指标函数J(e1)：其中，为权重向量，为径向基函数，设计权重更新律为：其中，a1为评价网络的自适应增益，为辅助变量。对e2求一阶时间导数，并将式(1)代入整理，得到滤波误差的开环动态方程为：其中，辅助函数定义为：步骤4)控制律设计；引入执行网络来逼近系统不确定函数N(x)，表示为：其中，为权重向量，为径向基函数，设计权重更新律为：其中，a2为执行网络的自适应增益；根据以上分析，设计设计控制输入δ(t)为：其中kr,Γ,kv,β均为正常数阵，sgn(·)为标准符号函数；以上述控制律进行小型无人直升机的姿态控制。本专利技术的特点及有益效果是：1.本专利技术采用基于强化学习的系统不确定性补偿方法，减少了本文档来自技高网...

【技术保护点】
1.一种小型无人直升机的强化学习自适应控制方法，其特征是，以强化学习自适应控制算法为基础，结合评价网执行网体系结构，用于小型无直升人机的姿态系统控制中，包括以下步骤：步骤1)确定小型无人直升机的坐标系定义；小型无人直升机坐标系定义主要涉及两个坐标系，惯性坐标系{I}＝{OI,xI,yI,zI}和机体坐标系{B}＝{OB,xB,yB,zB}，其中Oi(i＝I,B)表示坐标系原点，xi,yi,zi(i＝I,B)分别对应坐标系三个主轴方向的单位矢量，各坐标系的定义均遵循右手定则，同时定义直升机姿态角在坐标系{I}下表示为η＝[φ,θ,ψ]

【技术特征摘要】
1.一种小型无人直升机的强化学习自适应控制方法，其特征是，以强化学习自适应控制算法为基础，结合评价网执行网体系结构，用于小型无直升人机的姿态系统控制中，包括以下步骤：步骤1)确定小型无人直升机的坐标系定义；小型无人直升机坐标系定义主要涉及两个坐标系，惯性坐标系{I}＝{OI,xI,yI,zI}和机体坐标系{B}＝{OB,xB,yB,zB}，其中Oi(i＝I,B)表示坐标系原点，xi,yi,zi(i＝I,B)分别对应坐标系三个主轴方向的单位矢量，各坐标系的定义均遵循右手定则，同时定义直升机姿态角在坐标系{I}下表示为η＝[φ,θ,ψ]T,φ,θ,ψ分别对应滚转角、俯仰角和偏航角，目标轨迹姿态角在坐标系{I}下表示为ηd＝[φd,θd,ψd]T,φd,θd,ψd分别对应目标旋转角、目标俯仰角和目标偏航角；步骤2)确定小型无人直升机姿态动力学模型；通过分析小型无人直升机作用原理，用拉格朗日方程来描述其姿态动力学模型为：其中M(η)代表惯性矩阵，代表科氏力矩阵，G(η)为重力力矩向量，d代表未知扰动向量，S代表角速度变换矩阵，A,B代表旋翼动力学相关矩阵，D代表旋翼挥舞角动力学相关矩阵，δ(t)＝[δla...

【专利技术属性】
技术研发人员：鲜斌，张浩楠，张旭，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12