基于视觉的无人机自主着陆方法及系统技术方案

本发明专利技术公开了一种基于视觉的无人机自主着陆方法及系统，实现了未知环境下的无人机动态停机坪自主着陆；采用无人机视觉序列的特征提取与状态估计方法，根据处理后的视觉信息提取动态停机坪的中心位置、运动方向、运动速度等特征，估计自身与动态停机坪的相对位姿，预测动态停机坪时空状态与运动行为；根据无人机的感知结果，直接生成无人机的运动方向、升降高度、飞行速度等控制指令，实现在GPS拒止的未知环境下无人机的动态停机坪着陆任务；该方法将基于深度强化学习的多控制网络协同控制与目标时空状态预测方法相结合，使无人机在不受人工干预的情况下，自主完成未知环境下无人机的动态停机坪着陆任务，极大的提升了无人机的自主性和智能性。自主性和智能性。自主性和智能性。

【技术实现步骤摘要】
基于视觉的无人机自主着陆方法及系统


[0001]本专利技术涉及无人机导航
，具体为一种基于视觉的无人机自主着陆方法及系统。

技术介绍

[0002]无人驾驶飞行器被称为“无人机”(“UAV”)，它是由无线遥控装置和自带的程序控制器来操纵。随着科技的不断发展，无人机的应用越来越广泛。与有人驾驶飞机相比，无人机更适合在危险和严酷的环境中执行任务。由于其体积小、成本低、性价比高、距离远、无人驾驶等优点，现已广泛应用于军用领域和民用领域。在军事方面，它用于战术侦查、电子干扰、目标鉴别等作战支援。在民用方面，无人机将成为农林植保、电力巡检、物流配送、森林防火、交通执法、高空安全、危险环境搜救等领域的主流。
[0003]目前，国内外无人机自主着陆导航技术主要包括惯性导航系统(INS)、GPS导航、INS/GPS组合导航系统和视觉导航系统。惯性导航系统虽然具有不依赖任何外部信息、实现简单、稳定性好的优点，其最大的问题是对初始值很敏感，导航误差随时间而增加，导致位姿估计参数存在较大的误差，无法满足着陆时所需的精度要求。GPS导航系统应用广泛，需要依靠无线电信号的传播，其具有快速、高效率、定位精度高、应用广泛、全天候定位等优势，但容易干扰或丢失卫星信号，导致定位不准确。INS/GPS组合导航系统虽然弥补了各自单独导航系统的缺点，但其仍然受到GPS的影响，如出现卫星失效等情况。这些系统目前还不够准确，不能满足无人机着陆的需求。与传统的惯性导航方法相比，视觉导航误差积累不大，相对于GPS导航系统，它受到周围环境、时间和气象条件的干扰等影响较小。视觉传感器利用可见光，外部光通过物体的反射进入相机变成图像，因此不会受到电磁干扰的影响。视觉传感器具有节省时间和成本、轻便、结构简单等优势。与其他传感器相比，它最大的特点是可以智能识别目标，而其他传感器只能提供一些传感数据。此外，视觉导航系统具有隐藏性、完全自主性以及机载相机的抗干扰性，因而提高系统的性能，所以近年来基于视觉的导航系统一直是研究的重点，着陆过程是无人机坠毁最频繁发生的过程，可靠、准确的着陆技术是无人机技术的一个重要趋势，核心是如何实现精准、稳定和实时导航。
[0004]随着计算机视觉的发展，对于在复杂环境以及动态平台着陆仍然是技术难题，利用机器视觉研究增多，基于深度学习框架下的算法应用于视觉着落方面，对于着陆地标检测以及复杂条件跟踪需要加强研究。因此，现阶段对无人机的自主着陆在移动目标的研究较少，需要无人机掌握目标识别、针对运动目标追踪和行为状态预测的能力。

技术实现思路

[0005]针对现有技术中存在的问题，本专利技术的目的是提供一种基于的视觉的无人机自主着陆方法，提出了一种新的基于深度强化学习的算法框架与训练方式，利用多个网络分担拟合任务的压力，即由多个控制网络联合控制无人机的导航，旨在解决无人机的动态平台着陆问题，具有鲁棒性高、可移植性强的特点。
[0006]本专利技术是通过以下技术方案来实现：
[0007]一种基于视觉的无人机自主着陆方法，包括以下步骤：
[0008]步骤1、无人机获取动态停机坪的图像并进行预处理；
[0009]步骤2、基于训练后的深度学习网络提取预处理图像中动态停机坪的运动特征、距离特征及轮廓尺度变化特征，并输出无人机的方向控制动作、高度控制动作和速度控制动作；
[0010]步骤3、根据无人机的方向控制动作、高度控制动作和速度控制动作，确定无人机的方向控制指令和高度控制指令；
[0011]步骤4、根据方向控制指令和高度控制指令控制无人机着陆至动态停机坪。
[0012]优选的，步骤1中将获取的图像复制为三份，对每份图像分别进行预处理，预处理的方法为对图像进行降维、压缩和堆叠处理。
[0013]优选的，步骤2中所述深度学习网络包括方向控制网络、高度控制网络和区域预测网络；
[0014]所述方向控制网络，用于提取预处理后图像序列中停机坪的运动特征，并根据停机坪的运动特征输出方向控制动作；
[0015]所述高度控制网络，用于提取预处理后深度图像序列中的停机坪的距离特征，并根据停机坪的距离特征输出无人机高度控制动作；
[0016]所述区域预测网络，用于提取预处理后图像序列中停机坪的轮廓尺度变化特征，并根据停机坪的轮廓尺度变化特征输出无人机速度控制动作。
[0017]优选的，步骤3中确认方向控制指令和高度控制指令的方法如下：
[0018]采用动作选择策略分别选择方向控制动作、高度控制动作和速度控制动作的最优动作，根据最优动作和无人机的初始速度确定方向控制指令和高度控制指令。
[0019]优选的，根据方向控制动作和速度控制动作的最优动作，并结合无人机的初始速度确定方向控制指令。
[0020]优选的，根据高度控制动作和速度控制动作的最优动作确定高度动作控制指令。
[0021]优选的，所述方向动作控制指令的表达式如下：
[0022]a
uav1
＝a
i
*a0*b
i
[0023][0024]其中，a0为无人机速度初值，v为速度，w为角速度，a
i
为方向控制动作的最优动作，b
i
为速度控制动作的最优动作。
[0025]优选的，所述高度动作控制指令的表达式如下：
[0026]a
uav2
＝a
i
*b
i
[0027]其中，A
i
为高度控制动作的最优动作，b
i
为速度控制动作的最优动作。
[0028]一种基于视觉的无人机自主着陆方法的系统，包括，
[0029]图像预处理模块，用于对无人机获取动态停机坪的图像并进行预处理；
[0030]特征提取模块，用于采用训练后的深度学习网络提取预处理图像中动态停机坪的运动特征、距离特征及轮廓尺度变化特征，并输出无人机的方向控制动作、高度控制动作和
速度控制动作；
[0031]控制指令输出模块，用于根据无人机的方向控制动作、高度控制动作和速度控制动作，确定无人机的方向控制指令和高度控制指令；
[0032]控制模块，用于根据方向控制指令和高度控制指令控制无人机着陆至动态停机坪。
[0033]与现有技术相比，本专利技术具有以下有益的技术效果：
[0034]本专利技术公开了一种基于视觉的无人机自主着陆方法，实现了未知环境下的无人机动态停机坪自主着陆；采用无人机视觉序列的特征提取与状态估计方法，根据处理后的视觉信息提取动态停机坪的中心位置、运动方向、运动速度等特征，估计自身与动态停机坪的相对位姿，预测动态停机坪时空状态与运动行为；根据无人机的感知结果，直接生成无人机的运动方向、升降高度、飞行速度等控制指令，实现在GPS拒止的未知环境下无人机的动态停机坪着陆任务；该方法将基于深度强化学习的多控制网络协同控制与目标时空状态预测方法相结合，使无人机在不受人工干预的情况下，自主完成未知环境下无人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的无人机自主着陆方法，其特征在于，包括以下步骤：步骤1、无人机获取动态停机坪的图像并进行预处理；步骤2、基于训练后的深度学习网络提取预处理图像中动态停机坪的运动特征、距离特征及轮廓尺度变化特征，并输出无人机的方向控制动作、高度控制动作和速度控制动作；步骤3、根据无人机的方向控制动作、高度控制动作和速度控制动作，确定无人机的方向控制指令和高度控制指令；步骤4、根据方向控制指令和高度控制指令控制无人机着陆至动态停机坪。2.根据权利要求1所述的一种基于视觉的无人机自主着陆方法，其特征在于，步骤1中将获取的图像复制为三份，对每份图像分别进行预处理，预处理的方法为对图像进行降维、压缩和堆叠处理。3.根据权利要求1所述的一种基于视觉的无人机自主着陆方法，其特征在于，步骤2中所述深度学习网络包括方向控制网络、高度控制网络和区域预测网络；所述方向控制网络，用于提取预处理后图像序列中停机坪的运动特征，并根据停机坪的运动特征输出方向控制动作；所述高度控制网络，用于提取预处理后深度图像序列中的停机坪的距离特征，并根据停机坪的距离特征输出无人机高度控制动作；所述区域预测网络，用于提取预处理后图像序列中停机坪的轮廓尺度变化特征，并根据停机坪的轮廓尺度变化特征输出无人机速度控制动作。4.根据权利要求1所述的一种基于视觉的无人机自主着陆方法，其特征在于，步骤3中确认方向控制指令和高度控制指令的方法如下：采用动作选择策略分别选择方向控制动作、高度控制动作和速度控制动作的最优动作，根据最优动作和无人机的初始速度确定方向控制指令和高度控制指令。5.根据权利要求4所述的一种基于视觉的无人机自主着陆方法，其特征在于，根据方向控制动作和速度控制动作的最优动...

【专利技术属性】
技术研发人员：岳鹏宇，辛菁，毛智杰，张友民，黑新宏，穆凌霞，张媛，赵永红，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：