一种融合全景SLAM与目标识别的无人机自主飞行技术方法技术

本发明专利技术公开了一种融合全景SLAM与目标识别的无人机自主飞行技术方法，以搭载了全景相机的四旋翼无人机为载体，将全景SLAM算法与目标识别与避障算法融合，实现无人机在位置环境的自主飞行。本套无人机自主飞行技术首先依靠全景SLAM在未知环境中完成环境地图构建的同时进行自我定位，并利用YOLOv5算法对视野内的物体目标识别，判断出障碍物位置信息后结合定位信息，以D*Lite算法实时进行自主避障与路径规划。本套系统具有以下优点：体积小，成本低，适用场景广泛，定位准确，识别与避障过程可自动化、智能化完成，减少人工干预，提高作业效率。率。率。

【技术实现步骤摘要】
一种融合全景SLAM与目标识别的无人机自主飞行技术方法


[0001]本专利技术属于遥感测绘领域，尤其涉及一项融合全景SLAM与目标识别的无人机自主飞行技术。

技术介绍

[0002]随着无人机平台和传感器技术的发展，无人机系统向识别
‑
自主
‑
感知
‑
行为方向不断发展，从而逐步迈向自主飞行无人机发展。在自主飞行无人机领域，无人机接到起飞命令后，在不对其进行进一步操控的情况下，机载传感器可以帮助无人机感知周围环境，定位自身运动和状态，以达到无人机自主控制和飞行的目的。在传统的工业巡检中，需要完全依靠人工目视巡检，劳动强度大，且恶劣环境会对巡检带来更大的挑战，自主飞行无人机技术可在高空、森林等环境下实现风电塔筒、输电线路等设备的精细化、自动化巡检；在应急救援领域，自主飞行无人机技术可迅速构建环境地图，搜索指定目标，辅助救援。
[0003]无人机的机载传感器是完成自主控制和飞行的关键。机载传感器包括视觉相机、激光雷达、IMU、GNSS等。通常为了完成准确可靠的自主飞行，需要将多源传感器进行集成，这对于无人机的载荷能力和续航能力提出了更高要求。同时多源传感器的硬件成本、集成难度和安全性考量也制约了无人机自主飞行的应用。
[0004]不同传感器的特点，对无人机飞行巡检的自主性程度起到决定作用。GNSS和IMU属于载体状态传感器，无法对周围环境进行感知。视觉相机和激光雷达在SLAM技术的发展推动下，不仅能进行载体状态的估计，还能进行周围环境感知与建图。相比较视觉相机和激光雷达，激光雷达虽然能以绝对尺度完成定位和建图，但目标识别的可靠性和准确性尚存在不足，而且在较高帧率的激光SLAM极易受到高速运动和大旋转角运动的影响。视觉技术不仅也能完成SLAM定位与建图，还具有目标实时识别的优势，非常适合于目标避障和目标巡检。此外相机体积小、重量轻、电力负载小，成本低，非常适用于小轴距四旋翼无人机。视觉SLAM包括单目、双目、和RGB
‑
D等分支。当前无人机搭载的主流传感器为单目、双目和深度相机，相应的视觉SLAM算法都存在着一定的局限。单目SLAM视场角较小，限制了获取到的环境信息量，无法对周围环境实现360
°
的感知，且单目相机尺度估计精度会随累积误差增大而骤降；双目SLAM在解决尺度漂移的基础上视场角仍然没有增大，在运动剧烈的情况下会导致特征点跟走丢失。通过多相机组合的方式可以增大视场角，但同时会带来无人机载重的增加，不利于续航工作，且相机间的标定会进一步引入误差。因此视觉SLAM并未广泛应用在大场景移动测绘中。针对以上问题，全景视觉具有360
°
环境感知、信息获取快速完整的优势，且全向视角可以提高图像帧间匹配的可靠性和定向精度，不受运动状态的影响。但当前基于全景视觉SLAM的算法应用较少，大多用作数据采集，缺乏一套完整的SLAM解决方案并应用到工业应用。
[0005]综上，在自主无人机中，全景视觉传感器可以以最少的硬件和集成成本，为无人机提供最大程度的飞行巡检自主性，同时实现环境感知、目标识别与避障功能，如何提出一项融合全景SLAM与目标识别的无人机自主飞行技术，是本领域需要解决的关键问题。

技术实现思路

[0006]本专利技术提出了一项融合全景SLAM与目标识别的无人机自主飞行技术，以全景视觉相机作为唯一的无人机平台传感器，通过融合全景SLAM技术和目标识别技术，在解决视觉SLAM尺度不确定和尺度漂移问题的基础上，进行实时路径规划与避障，实现无人机在位置环境中的自主飞行。
[0007]本专利技术搭建的自主飞行无人机系统适用于在未知环境的地图构建与自身定位，同时对环境中的实物进行目标识别，进行实时自主避障与路径规划。要实现以上功能，本专利技术所要解决的技术问题：轻小型全景SLAM无人机平台搭建；全景SLAM技术；全景视觉目标识别与避障。
[0008]本专利技术提出了一种融合全景SLAM与目标识别的无人机自主飞行技术方法，包括以下步骤：
[0009]步骤1，搭建轻小型无人机平台；选择小轴距四旋翼无人机作为飞行平台，在无人机平台前端搭载全景相机，有效获取360
°
视角信息；将视频信息实时传输至机载电脑，进行实时计算，从而获取无人机飞行姿态以及场景感兴趣目标信息；再将飞行姿态数据传入飞控系统，自主控制无人机飞行；
[0010]步骤2，利用全景相机采集环境影像，运行实时的全景SLAM，完成无人机的定位与自主飞行；
[0011]步骤3：基于目标识别技术，对实时图像中的物体进行检测，结合SLAM输出的定位信息，以目标物为终点规划最优路径，完成自主避障飞行。
[0012]进一步的，步骤2的具体实现包括如下子步骤；
[0013]步骤2.1，构建全景图像的成像模型，包括单镜头成像模型与多镜头成像模型，实现全景图像高效拼接，完成图像数据的球面映射；
[0014]步骤2.2，利用SPHORB算法对步骤2.1映射的球面图像进行特征提取与匹配拼接；
[0015]步骤2.3，根据步骤2.2提取的特征点对，通过对极约束求解相邻帧间的位姿变换关系，并采用非线性优化对特征点的三维坐标和相机位姿进行优化，使重投影误差最小，输出最优的相机位姿完成定位，并以此位姿对特征点进行变换拼接，完成建图。
[0016]进一步的，步骤2.1的具体实现方式如下；
[0017]首先建立全景相机坐标系，将无人机平台上搭载的全景相机抽象为球型摄像机模型，考虑单镜头情况，令球心与摄像机光心重合，设O
‑
xyz为摄像机坐标系，对于物方点P，其映射在图像平面上的点p处，对应的图像坐标系中坐标为(u,v)；同时，光线OP与以O为球心的球面相交于点P
s
；
[0018]定义球面映射为函数映射关系将图像上的任意点p(u,v)，映射到半径一定的球面，并用球坐标进行表示为为用右手定则，大拇指往y
‑
轴指，x
‑
轴与z
‑
轴朝其他手指的指向旋转θ角值；为用右手定则，大拇指往z
‑
轴指，x
‑
轴与y
‑
轴朝其他手指的指向旋转角值；
[0019]设α为向量在平面O
‑
yz上投影与轴的夹角大小，β为向量与平面O
‑
yz的夹角大小；对于实际图像，其u轴和v轴方向的坐标都为有限值，因此α和β的取值范围均为(
‑
π/2,π/2)，根据空间几何关系，有公式(2.1)如下：
[0020][0021]其中，f为摄像机焦距，(u0,v0)为主点偏置；实际上，上式提供了一个从图像坐标系到球中局部角的映射关系即为图像平面上点和部分球面点的一一对应关系；
[0022]在多镜头全景相机中，每个子相机都有一个独立的相机坐标系，而多镜头的全景相机坐标系则以单镜头球面坐标系为基础，但是由于工艺和镜头本身体积的原因，各个镜头本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于，包括以下步骤：步骤1，搭建轻小型无人机平台；选择小轴距四旋翼无人机作为飞行平台，在无人机平台前端搭载全景相机，有效获取360
°
视角信息；将视频信息实时传输至机载电脑，进行实时计算，从而获取无人机飞行姿态以及场景感兴趣目标信息；再将飞行姿态数据传入飞控系统，自主控制无人机飞行；步骤2，利用全景相机采集环境影像，运行实时的全景SLAM，完成无人机的定位与自主飞行；步骤3：基于目标识别技术，对实时图像中的物体进行检测，结合SLAM输出的定位信息，以目标物为终点规划最优路径，完成自主避障飞行。2.根据权利要求1所述的一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于：步骤2的具体实现包括如下子步骤；步骤2.1，构建全景图像的成像模型，包括单镜头成像模型与多镜头成像模型，实现全景图像高效拼接，完成图像数据的球面映射；步骤2.2，利用SPHORB算法对步骤2.1映射的球面图像进行特征提取与匹配拼接；步骤2.3，根据步骤2.2提取的特征点对，通过对极约束求解相邻帧间的位姿变换关系，并采用非线性优化对特征点的三维坐标和相机位姿进行优化，使重投影误差最小，输出最优的相机位姿完成定位，并以此位姿对特征点进行变换拼接，完成建图。3.根据权利要求2所述的一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于：步骤2.1的具体实现方式如下；首先建立全景相机坐标系，将无人机平台上搭载的全景相机抽象为球型摄像机模型，考虑单镜头情况，令球心与摄像机光心重合，设O
‑
xyz为摄像机坐标系，对于物方点P，其映射在图像平面上的点p处，对应的图像坐标系中坐标为(u,v)；同时，光线OP与以O为球心的球面相交于点P
s
；定义球面映射为函数映射关系f
s
:将图像上的任意点p(u,v)，映射到半径一定的球面，并用球坐标进行表示为为用右手定则，大拇指往y
‑
轴指，x
‑
轴与z
‑
轴朝其他手指的指向旋转θ角值；为用右手定则，大拇指往z
‑
轴指，x
‑
轴与y
‑
轴朝其他手指的指向旋转角值；设α为向量在平面O
‑
yz上投影与轴的夹角大小，β为向量与平面O
‑
yz的夹角大小；对于实际图像，其u轴和v轴方向的坐标都为有限值，因此α和β的取值范围均为(
‑
π/2,π/2)，根据空间几何关系，有公式(2.1)如下：其中，f为摄像机焦距，(u0,v0)为主点偏置；实际上，上式提供了一个从图像坐标系到球中局部角的映射关系{[u v]
′
}
→
{[α β]
′
}，即为图像平面上点和部分球面点的一一对应关系；
在多镜头全景相机中，...

【专利技术属性】
技术研发人员：张毅，杨见兵，黄飞，孙启浩，
申请(专利权)人：武汉大学，
类型：发明
国别省市：