一种基于视觉信息融合的无人机分阶段自主着艇方法技术

本发明专利技术涉及一种基于视觉信息融合的无人机分阶段自主着艇方法，包括以下步骤：1)地标制作：将无人艇上相应目标着陆点作为地标，在地标上贴置AprilTags标签，并调整无人机摄像头的角度；2)图像处理：根据摄像头的参数信息和摄像头捕捉到的图像信息，在发现地标时获取摄像机和地标间的相对位姿Xct；3)信息融合：将摄像机和地标间的相对位姿Xct与IMU的测量数据进行信息融合后，获取无人艇在无人机参考系下的实时相对位姿Xvs；4)运动控制：根据实时相对位姿Xvs采用嵌套控制方式保证飞行稳定以及路径跟踪，同时采用分阶段的着艇方法进行着艇。与现有技术相比，本发明专利技术具有实时有效、避免滞后、稳定安全等优点。

【技术实现步骤摘要】
一种基于视觉信息融合的无人机分阶段自主着艇方法
本专利技术涉及智能海上机器人
，尤其是涉及一种基于视觉信息融合的无人机分阶段自主着艇方法。
技术介绍
随着科技的进步，无人系统在农业、电力、海洋等专业领域的应用越来越广泛。无人机(UnmannedAerialVehicle，UAV)作为无人系统中的“宠儿”，近年来，其发展速度和应用领域得到不断推进。在海洋领域，续航能力有限但搜索范围广阔的无人机通常被装备在续航能力较强但搜索范围较小的无人艇上，形成优势互补的机艇协同编队，用来完成海上救援、环境监测、战场侦察等任务，其核心技术是舰载无人机自主航行技术。起飞、悬停和着艇是舰载无人机自主航行技术的三个基本问题。其中，无人机自主着艇是最有挑战性的问题。在着艇过程中，无人机要面对移动和摆动的着陆平台，进行有效的地标识别和精确的位姿控制。目前国际上在无人机自主着艇技术方面研究还很少，主要的挑战体现在两个方面：其一，无人机自主着艇的导航精度。小型无人机的GPS往往只有米级精度，无法满足着艇任务精度要求；INS/GPS组合导航系统只能定位无人机自身位姿，缺少无人机与着艇平台的相对位姿。虽然目前很多文献都提出了利用计算机视觉进行辅助导航，但它们的图像处理过程运算量较大，一般的机载计算机运算能力有限，由视觉导航给出的位姿往往落后于实时位姿。因此，如何在提高导航精度的同时确保位姿信息的实时性和有效性，成为无人机自主着艇过程中亟需解决的一个问题。其二，无人机着艇末段的安全性。在着艇过程中，有些文献直接使用地标的中心点作为参考位置信号进行控制。然而这样容易使摄像头失去对地标的视野，尤其在无人艇上，地标位置并不是固定的。此外，由于翼地效应(运动物体贴近地面运行时，地面对物体产生的空气动力干扰)，无人机在贴近无人艇着陆平台时难以保持稳定，使得上述方法在应用时成功率并不高，无人机着艇末段的安全性有待提升。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉信息融合的无人机分阶段自主着艇方法。本专利技术的目的可以通过以下技术方案来实现：一种基于视觉信息融合的无人机分阶段自主着艇方法，包括以下步骤：1)地标制作：将无人艇上相应目标着陆点作为地标，在地标上贴置AprilTags标签，并调整无人机摄像头的角度，保证无人机在接近地标时能探测到地标；2)图像处理：根据摄像头的参数信息和摄像头捕捉到的图像信息计算在无人机机载计算机中配置的AprilTags视觉基准系统的参数，在发现地标时获取摄像机和地标间的相对位姿Xct；3)信息融合：将摄像机和地标间的相对位姿Xct与IMU的测量数据进行信息融合后，获取无人艇在无人机参考系下的实时相对位姿Xvs；4)运动控制：根据实时相对位姿Xvs采用嵌套控制方式保证飞行稳定以及路径跟踪，同时采用分阶段的着艇方法进行着艇。所述的步骤2)中AprilTags视觉基准系统的参数包括宽方向上以像素为单位的焦距Fw、高方向上以像素为单位的焦距Fh，图像的中心位置(Cw,Ch)，其计算公式为：其中，F和C分别为不同方向上的焦距和位置，Lfocus和Lreceptor分别为焦距和感光元件尺寸，Npixel为像素数量，利用此公式分别对宽度方向和高度方向的参数进行计算即可。所述的步骤3)具体包括以下步骤：31)系统状态估计，包括两个阶段，第一阶段为未检测到地标阶段，第二阶段为检测到地标后；当未检测到地标时，系统状态为IMU提供的位姿信息Xv，即X＝[Xv]，对该系统状态进行估计，则有：其中，为第k步的系统状态估计值，为第k-1步的系统状态估计值，Fk-1为未检测到地标阶段的卡尔曼滤波参数，这里采用匀速模型去预测系统未来状态，即满足Δt为采样间隔，wk-1为高斯白噪声；自首次检测到地标开始，在系统状态中加入无人艇状态Xs，即X＝[XvXs]，并更新卡尔曼滤波参数Fk-1，则有：其中，为与无人机相关的卡尔曼滤波参数，为与无人艇相关的卡尔曼滤波参数，这里仅考虑无人艇在水平面上的运动，同样采用匀速模型，有32)获取IMU和摄像头的观测结果，其中，IMU的观测结果hIMU为：其中，zlv为高度，φlv,θlv,ψlv分别为绕x,y,z三个运动方向的旋转角度，ulv和vlv分别为前向速度和侧向速度，其对应Jacobian矩阵HIMU为：所述的摄像头的观测结果htag(XKF)为：其中，Xvc为无人机参考系下摄像头的位姿，Xst为无人艇参考系下标记的位姿，Xlv为估计出的无人机的位姿，Xls为估计出的无人艇的位姿，和为坐标转换操作；其对应Jacobian矩阵Htag为：33)对观测结果进行扩展卡尔曼滤波，得到实时的系统状态。所述的步骤3)还包括以下步骤：34)通过无人机和无人艇的历史位姿，在延迟情况下修改系统状态，获取人艇在无人机参考系下的实时相对位姿Xvs。所述的步骤4)中，嵌套控制方式具体为：采用6个独立的闭环PID控制器进行控制，其中，内环姿态控制用于保证飞行稳定，外环位置控制用于路径跟踪。所述的步骤4)中，分阶段的着艇方法具体包括以下步骤：41)发现地标：首次发现地标时，初始化系统状态，并使无人机跟踪该地标；42)慢速下降阶段：引导无人机至地标的中心处，使其保持在以地标为中心，半径为rloop，高度为hloop的圆柱体空间中，并以Δz为步长垂直向下寻找下一个航迹点下降，当丢失地标视野时，则提升Δz高度，直到重新发现该地标。43)进入快速下降阶段：设置第一高度阈值hland，当无人机的高度小于hland时，则认为无需下降，直接准备着陆，若在连续N帧内，该地标都在摄像头的视野中，并满足快速下降条件时，则认为可进入快速下降阶段，直接以0作为z轴的参考信号；44)着陆阶段：设置第二高度阈值hmin，当无人机高度低于第二高度阈值hmin时，则关闭螺旋桨，使无人机自由落体并完成着陆。所述的步骤43)中的快速下降条件为：z-hland≤hloop||(x,y)||2≤rloop其中，z为无人机相对于无人艇的高度，||(x,y)||2为无人机与无人艇的水平距离。所述的步骤44)中，若无人机在高于第二高度阈值hmin时，摄像头失去了对地标的视野，无论处于慢速下降阶段或快速下降阶段，则拉升无人机，直到重新发现地标。与现有技术相比，本专利技术具有以下优点：一、实时有效：在地标识别和图像处理过程中，采用了成熟开源的AprilTags，可降低技术门槛；使用单目摄像头，在保证精度的前提下，简化了运算复杂度，降低了设备成本。二、避免滞后：将摄像机得到的相对位姿与IMU得到的位姿进行信息融合以提高精度；通过增加历史状态避免了图像处理时的滞后问题。三、稳定安全：将无人机着艇嵌套控制方案和分阶段安全着艇方法进行结合，可避免在着艇过程中无人机摄像头失去对地标的视野，同时可保证无人机在贴近无人艇着陆平台时的稳定性和安全性。附图说明图1为本专利技术中无人机着艇嵌套控制方案框图。图2为本专利技术中无人机分阶段安全着艇方法流程图。图3为本专利技术中无人机自主着艇方法原理图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。实施例以下结合附图3对本专利技术的技术方案作具体实施描述。为了说明方便，先做如下符号约定：Xij是指j参考系在i参考系下的位姿，这里的位姿本文档来自技高网...

【技术保护点】
1.一种基于视觉信息融合的无人机分阶段自主着艇方法，其特征在于，包括以下步骤：1)地标制作：将无人艇上相应目标着陆点作为地标，在地标上贴置AprilTags标签，并调整无人机摄像头的角度，保证无人机在接近地标时能探测到地标；2)图像处理：根据摄像头的参数信息和摄像头捕捉到的图像信息计算在无人机机载计算机中配置的AprilTags视觉基准系统的参数，在发现地标时获取摄像机和地标间的相对位姿Xct；3)信息融合：将摄像机和地标间的相对位姿Xct与IMU的测量数据进行信息融合后，获取无人艇在无人机参考系下的实时相对位姿Xvs；4)运动控制：根据实时相对位姿Xvs采用嵌套控制方式保证飞行稳定以及路径跟踪，同时采用分阶段的着艇方法进行着艇。

【技术特征摘要】
1.一种基于视觉信息融合的无人机分阶段自主着艇方法，其特征在于，包括以下步骤：1)地标制作：将无人艇上相应目标着陆点作为地标，在地标上贴置AprilTags标签，并调整无人机摄像头的角度，保证无人机在接近地标时能探测到地标；2)图像处理：根据摄像头的参数信息和摄像头捕捉到的图像信息计算在无人机机载计算机中配置的AprilTags视觉基准系统的参数，在发现地标时获取摄像机和地标间的相对位姿Xct；3)信息融合：将摄像机和地标间的相对位姿Xct与IMU的测量数据进行信息融合后，获取无人艇在无人机参考系下的实时相对位姿Xvs；4)运动控制：根据实时相对位姿Xvs采用嵌套控制方式保证飞行稳定以及路径跟踪，同时采用分阶段的着艇方法进行着艇。2.根据权利要求1所述的一种基于视觉信息融合的无人机分阶段自主着艇方法，其特征在于，所述的步骤2)中AprilTags视觉基准系统的参数包括宽方向上以像素为单位的焦距Fw、高方向上以像素为单位的焦距Fh，图像的中心位置(Cw,Ch)，其计算公式为：其中，F和C分别为不同方向上的焦距和位置，focus和receptor分别为焦距和感光元件尺寸，Npixel为像素数量。3.根据权利要求1所述的一种基于视觉信息融合的无人机分阶段自主着艇方法，其特征在于，所述的步骤3)具体包括以下步骤：31)系统状态估计，分为两个阶段，第一阶段为未检测到地标阶段，第二阶段为检测到地标后；当未检测到地标时，系统状态为IMU提供的位姿信息Xv，即X＝[Xv]，对该系统状态进行估计，则有：其中，其中，为第k步的系统状态估计值，为第k-1步的系统状态估计值，Fk-1为未检测到地标阶段的卡尔曼滤波参数，wk-1为高斯白噪声，Δt为采样间隔；自首次检测到地标开始，在系统状态中加入无人艇状态Xs，即X＝[XvXs]，并更新卡尔曼滤波参数Fk-1，则有：其中，为与无人机相关的卡尔曼滤波参数，为与无人艇相关的卡尔曼滤波参数；32)获取IMU和摄像头的观测结果，其中，IMU的观测结果h1MU为：其中，zlv为高度，φlv,θlv,ψlv分别为绕x,y,z三个运动方向的旋转角度，ulv和vlv分别为前向速度和侧向速度，其对应Jacobian矩阵HIMU为：所述的摄像头的观测结果htag(XKF)为：其中，Xvc为无人机参考系下摄...

【专利技术属性】
技术研发人员：袁野，陆宇，张卫东，姚瑞文，胡智焕，李茂峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31