一种基于强化学习的四旋翼飞行器轨迹跟踪控制方法技术

本发明专利技术提供了一种基于强化学习的四旋翼飞行器轨迹跟踪控制方法，属于四旋翼飞行器轨迹跟踪控制技术领域，包括：建立四旋翼飞行器的物理模型，并设定其所需要跟踪的目标轨迹跟踪效果的约束条件；根据约束条件设定性能指标函数L；搭建四旋翼飞行器的仿真模型和PID控制模块，设定初始PID参数；根据性能指标函数L设置强化学习中的reward函数，将PID参数选为强化学习的中的action，约束条件作为强化学习的isdone条件，搭建强化学习框架进行学习，得到最优PID控制参数；利用最优PID控制参数下的PID控制器控制四旋翼飞行器的期望姿态角和期望拉力，来控制四旋翼飞行器跟踪目标轨迹飞行。该发明专利技术可利用强化学习整定PID控制参数。该发明专利技术可利用强化学习整定PID控制参数。该发明专利技术可利用强化学习整定PID控制参数。

【技术实现步骤摘要】
一种基于强化学习的四旋翼飞行器轨迹跟踪控制方法


[0001]本专利技术属于四旋翼飞行器轨迹跟踪控制
，具体涉及一种基于强化学习的四旋翼飞行器轨迹跟踪控制方法。

技术介绍

[0002]目前控制四旋翼飞行器跟踪目标轨迹飞行一般采用PID控制方法。PID控制是工业过程控制中最常用的方法，优点是算法简单、鲁棒性好和可靠性高，目前仍有90％左右的控制回路采用PID控制结构。PID控制设计中最重要的步骤是参数整定，合适的PID参数是保证系统控制性能的前提。
[0003]现有技术中对四旋翼飞行器控制过程中PID参数进行整定的主要方法有Ziegler
‑
Nichols法、稳定边界法、衰减曲线法等。但是现有的PID控制主要用试凑的方式整定，有很强的经验主义色彩，而且一旦实验发现控制性能不佳，只能重新整定，盲目而低效。
[0004]总之，现有技术存在利用试凑的方式调整PID参数来控制四旋翼飞行器的轨迹跟踪行为，参数整定过程盲目而低效的问题。

技术实现思路

[0005]为了克服上述现有技术存在的不足，本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的四旋翼飞行器轨迹跟踪控制方法，其特征在于，包括：建立四旋翼飞行器的物理模型，并设定其所需要跟踪的目标轨迹跟踪效果的约束条件；根据所需要的跟踪效果设定性能指标函数L；搭建四旋翼飞行器的仿真模型和PID控制模块，设定初始PID参数；根据性能指标函数L设置强化学习中的reward函数，将PID参数选为强化学习的中的action，所述约束条件作为强化学习的isdone条件，搭建强化学习框架进行学习，得到最优PID控制参数；利用最优PID控制参数下的PID控制器控制四旋翼飞行器的期望姿态角和期望拉力，来控制四旋翼飞行器跟踪目标轨迹飞行。2.根据权利要求1所述的一种基于强化学习的四旋翼飞行器轨迹跟踪控制方法，其特征在于，所述四旋翼飞行器的物理模型为：征在于，所述四旋翼飞行器的物理模型为：征在于，所述四旋翼飞行器的物理模型为：征在于，所述四旋翼飞行器的物理模型为：征在于，所述四旋翼飞行器的物理模型为：征在于，所述四旋翼飞行器的物理模型为：其中，p
h
为四旋翼飞行器的水平面位置，p
z
为四旋翼飞行器的垂直位置，v
h
为水平速度，v
z
为垂直速度,Θ为欧拉角，包括俯仰角θ，滚转角φ和偏航角ψ，g为重力加速度，A
ψ
为由偏航角定义的旋转矩阵J为转动惯量，ω为机体旋转角速度，f为四个旋翼的总拉力，m为四旋翼飞行器总质量，τ为旋翼在机体轴上产生的力矩。3.根据权利要求1所述的一种基于强化学习的四旋翼飞行器轨迹跟踪控制方法，其特征在于，所述根据性能指标函数L为：其中，e2为跟踪4s时间之后跟踪误差...

【专利技术属性】
技术研发人员：刘洋，徐一超，卢剑权，楼俊钢，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：