一种无人机无人艇协同平台端对端自主降落控制方法技术

本发明专利技术涉及一种无人机无人艇协同平台端对端自主降落控制方法，该方法包括以下步骤：步骤1：根据无人机和无人艇各自的动力学模型构建无人机无人艇平台自主降落仿真环境；步骤2：将无人机向无人艇的渐进移动阶段建立为MDP模型，并设定奖励函数；步骤3：将无人机向无人艇的跟踪降落阶段建立为POMDP模型，并设定奖励函数；步骤4：基于Actor

【技术实现步骤摘要】
一种无人机无人艇协同平台端对端自主降落控制方法


[0001]本专利技术涉及无人机无人艇协同控制领域，尤其是涉及一种无人机无人艇协同平台端对端自主降落控制方法。

技术介绍

[0002]近年来，由于对海洋资源的开发利用，无人船领域受到了越来越多的重视。但是无人船的感知能力有限，难以应用于环境复杂的作业任务，而船载无人机得益于飞行优势，能够提升无人船的感知能力，从而扩展无人船的应用领域。
[0003]船载无人机执行任务结束后的回收降落过程是机艇协同领域的一个热点和难点问题，由于在降落过程中无人船存在不可避免的晃动，因此需要高精度的引导算法指引无人机向无人艇上降落，之前的研究者大多使用图像处理的方法从机载摄像头拍摄的图像中解算出无人机和无人艇的相对位置以及姿态角度等信息，然后基于相应的控制算法控制无人机的降落过程，在这种方法中，对图像数据进行实时计算处理需要消耗大量的计算资源，无法稳定地应用于船体晃动较大的场景，并且可能出现图片缺失和图片畸变等问题，图片缺失和图片畸变等问题从可能导致控制器无法从图片数据中解算出正确的相对位置和姿态角度等信息，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机无人艇协同平台端对端自主降落控制方法，其特征在于，该方法包括以下步骤：步骤1：根据无人机和无人艇各自的动力学模型构建无人机无人艇平台自主降落仿真环境；步骤2：将无人机向无人艇的渐进移动阶段建立为马尔可夫决策过程模型，并设定渐进移动阶段的总奖励函数；步骤3：将无人机向无人艇的跟踪降落阶段建立为部分可观测马尔可夫决策过程模型，并设定跟踪降落阶段的奖励函数；步骤4：基于Actor
‑
Critic框架对无人机分别搭建渐进移动阶段和跟踪降落阶段的行动网络和评价网络；步骤5：基于PPO算法分别对渐进移动阶段的行动网络和评价网络和跟踪降落阶段的行动网络和评价网络的参数进行优化训练，得到两阶段各自的行动网络和评价网络的最佳参数；步骤6：将得到的两阶段各自的行动网络的最佳参数进行实施部署并应用于实际场景中的无人机降落任务。2.根据权利要求1所述的一种无人机无人艇协同平台端对端自主降落控制方法，其特征在于，所述的步骤2中，无人机向无人艇的渐进移动阶段的状态向量s
t
为无人机向无人艇渐进移动阶段中所需要的各项信息构成的向量，所述的各项信息包括无人机在时刻为t时的位置坐标、无人机在时刻为t时的速度大小、无人机在时刻为t时的飞行姿态角和无人船在时刻为t时的位置坐标。3.根据权利要求2所述的一种无人机无人艇协同平台端对端自主降落控制方法，其特征在于，所述的步骤2中，马尔可夫决策过程模型表示在每个马尔可夫时间步，系统处在状态执行动作以P(s
t+1
|s
t
,a
t
)概率转换到状态并且得到一个奖励值无人机向无人艇的渐进移动过程的马尔可夫决策过程模型为：其中，为状态空间，为动作空间，η表示初始概率分布，η(s0)∈[0,1]表示系统初始状态的概率分布，为时刻为t时的状态向量，为时刻为t时无人机的动作向量，P(s
t+1
|s
t
,a
t
)∈[0,1]表示在系统状态s
t
采取动作a
t
后，系统状态转移到s
t+1
的概率，为奖励函数，由当前时刻的状态向量和无人机的动作向量决定，表示时刻为t系统状态为s
t
且无人机采取动作a
t
时，无人机所能够获得的奖励值，γ为衰减率，表征智能体对当前奖励和未奖励重视情况；根据无人机向无人船上的渐进移动过程对当前的状态向量s
t
进行建模，渐进移动阶段的状态向量s
t
包括时刻为t时无人船的状态和时刻为t时无人机的状态和时刻为t时无人机的状态和时刻为t时无人机的状态和时刻为t时无人机的状态
其中，为时刻为t时无人船的状态向量，为时刻为t时无人机的状态向量，为时刻为t时无人船在地球坐标系中的三维坐标位置，为时刻为t时无人机在地球坐标系中的三维坐标位置，为时刻为t时无人机在地球坐标系中的三维速度，为时刻为t时无人机的飞行姿态角，表示时刻为t时无人机的横滚角，表示时刻为t时无人机的俯仰角，表示时刻为t时无人机的偏航角；根据无人机的动力学模型对渐进移动阶段的动作向量a
t
进行建模：其中，表示时刻为t时无人机1号电机的转速，表示时刻为t时无人机2号电机的转速，表示时刻为t时无人机3号电机的转速，表示时刻为t时无人机4号电机的转速。4.根据权利要求1所述的一种无人机无人艇协同平台端对端自主降落控制方法，其特征在于，所述的步骤2中，无人机向无人艇的渐进移动阶段的总奖励函数由目标点奖励、飞行姿态奖励和高度控制奖励三部分通过线性加权得到，渐进移动阶段无人机的总奖励函数的计算公式为：其中，r
t
为渐进移动阶段无人机的总奖励函数；目标点奖励的计算公式为：其中，r
ttarget
为目标点奖励，α1为设定的超参数，用以调整目标点奖励在总奖励函数中的权重，当无人船和无人机的距离较远时，赋予无人机大的惩罚值以驱动无人机向无人船方向渐进移动，为无人机与无人船的实时距离，为时刻为t时无人船在地球坐标系中的二维坐标位置，为时刻为t时无人机在地球坐标系中的二维坐标位置；飞行姿态奖励的计算公式为：其中，为飞行姿态奖励，飞行姿态奖励用以驱动无人机克服随机风阻干扰进行平稳的飞行过程，α2为设定的超参数，用以调整飞行姿态奖励在总奖励函数中的权重，为时刻为t时无人机的飞行姿态角；高度控制奖励的计算公式为：其中，r
theight
为高度控制奖励，α3为设定的超参数，用以调整高度控制奖励在总奖励函数中的权重，z
desired
为设定的无人机期望高度，当无人机的真实高度在期望高度附近时，赋
予无人机大的高度奖励，当无人机的真实高度显著高于或者显著低于期望高度时，赋予无人机大的惩罚值以驱动无人机将高度控制在期望高度附近，为时刻为t时无人机在地球坐标系中的高度坐标。5.根据权利要求1所述的一种无人机无人艇协同平台端对端自主降落控制方法，其特征在于，所述的步骤3中，无人机向无人艇的跟踪降落阶段的状态向量s
t
为无人机向无人艇降落过程中所需要的各项信息构成的向量，所述的各项信息包括无人机在时刻为t时的位置坐标、无人机在时刻为t时的速度大小、无人机在时刻为t时的飞行姿态角、无人船在时刻为t时的位置坐标、无人船在时刻为t时的速度大小、无人船在时刻为t时的航行姿态角以及用以表示是否已成功降落的布尔值C。6.根据权利要求5所述的一种无人机无人艇协同平台端对端自主降落控制方法，其特征在于，所述的步骤3中，部分可观测马尔可夫决策过程模型表示在每个马尔可夫时间步，系统处在状态执行动作以P(s
t+1
|s
t
,a
t
)概率转换到状态同时，系统以O(o
t+1
|s
t+1
,a
t
)概率得到一个观测向量o
t+1
∈Ω，并且得到一个奖励值无人机向无人艇的跟踪降落阶段的部分可观测马尔可夫决策过程模型为：其中，为状态空间，为动作空间，η表示初始概率分布，η(s0)∈[0,1]表示系统初始状态的概率分布，为时刻为t时无人机的状态向量，为时刻为t时无人机的动作向量，P(s
t+1
|s
t
,a
t
)∈[0,1]表示在系统状态s
t
采取动作a
t
后，系统状态转移到s
t+1
的概率，为奖励函数，由当前时刻的状态向量和无人机的动作向量决定，表示时刻为t系统状态为s
t
且无人机采取动作a
t
时，无人机所能够获得的奖励值，Ω为无人机的观测结果集，O(o
t
|s
t
,a
t
‑1)∈[0,1]为条件观测概率，γ为衰减率，表示智能体对当前奖励和未奖励重视情况；根据无人机向无人船上的降落过程对当前的状态向量s
t
进行建模，跟踪降落阶段的当前状态s
t
包括时刻为t时无人船的状态时刻为t时无人机的状态和用来表征是否降落成功的状态量C
t
：：：其中，表示时刻为t时无人船的状态向量，表示时刻为t时无人船在地球坐标系中的三维坐标位置，表示时刻为t时无人船在地球坐标系中的三维速度，表示时刻为t时无人船的航行姿态角，其中表示时刻为t时无人船的纵摇角，表示时刻为t时无人船的横摇角，表示时刻为t时无人船的艏摇角，表示时刻为t时无人机的状态向量，表示时刻为t时无人机在地球坐标系中的三维坐标位置，表示时刻为t时无人机在地球坐标
系中的三维速度，表示时刻为t时无人机的飞行姿态角，其中表示时刻为t时无人机的横滚角，表示时刻为t时无人机的俯仰角，表示时刻为t时无人机的偏航角，C
t
表示无人机是否成功降落到无人船平台上，C
t
＝1表示时刻为t时无人机已经成功降落在无人船上，C
t
＝0表示时刻为t时无人机尚未降落在无人船上，C
t
由无人船降落平台上的压力传感器测量得到；在无人机跟踪降落阶段采用基于图像数据的端对端无人机跟踪降落控制方法，根据无人机向无人船上的降落过程对观测向量o
t
进行建模：将由无人机携带的俯视摄像头拍摄获得的图像数据作为时刻t时的观测向量o
t
，时刻为t时的观测向量o
t
为128
×
128
×
1的灰度图像，跟踪降落阶段的状态向量s
t
无法确切得到...

【专利技术属性】
技术研发人员：张卫东，董博韬，谢威，韩鹏，董超，曾青，张永辉，
申请(专利权)人：海南大学，
类型：发明
国别省市：