基于深度相机的室内飞艇定位与避障系统技术方案

提供了基于深度相机的室内飞艇定位与避障系统。所提供的基于深度相机的室内飞艇定位与避障方法，包括：通过在所述室内飞行的飞艇所携带的深度相机捕获视频；从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；通过相邻关键帧的匹配的特征点确定所述深度相机的位姿；对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及根据避障策略驱动所述飞艇在所述室内飞行。

【技术实现步骤摘要】
基于深度相机的室内飞艇定位与避障系统
本专利技术涉及飞行器
，具体是涉及一种基于深度相机的室内飞艇同时定位与避障方案。
技术介绍
无人机在环境的监测、农业勘察和航空摄影等方面用途十分广泛，并且成本较低，从而在市场上得到普及，越来越受到人们的认可。但是无人机高速运转的旋翼裸露在外，一旦发生故障会对周围人群带来伤害，同时其续航性差，因此在人群密集和需要长时间工作的场合使用受到限制。而飞艇本身续航能力强，并且运动速度较慢，艇身由巨大的气囊组成，即使出现故障坠落速度也不会过高，安全性能有保障，因此可以弥补无人机的在室内人群密集场所使用受限的缺点。室外环境可以用GPS进行定位，成本较低且精度高，但是在室内无GPS信号的条件下则需要通过其他方式来实现定位。对于机器人和无人机来说，在探索未知环境的时候，需要同时解决自身定位和外界感知两个问题。像这样一边估计主体自身位置，一边建立周围环境的模型的方式叫做同时定位与建图(SimultaneousLocalizationandMapping)，简称SLAM技术。在SLAM技术中常用的传感器有激光雷达和相机，并依此分为激光SLAM和视觉SLAM。基于激光的方式成熟，可靠性高，建图方式直接。但是激光雷达作为传感器安装要求较高，并且仅能探测到2D平面的障碍物信息，探测不到垂直平面的信息，建立的地图为二维地图，所提供的环境信息有限等问题。相机作为传感器，成本较低并且容易安装，同时可以适用于大部分环境，获取环境的语义信息。语义在此处泛指机器人对周围环境内容的理解，例如了解环境中的物体类别以及它们的关系等。能正确地理解环境的高级语义信息再结合传统的SLAM算法便可以构建出可用的语义地图。如何利用相机实现飞行器的定位，同时获取周围环境的语义信息并为飞行器提供避障策略成为一个关键问题。本申请针对无人机使用受限的室内长时间工作场合，提出一种基于深度相机的室内飞艇定位与避障方案，弥补这一应用空白。
技术实现思路
本专利技术的一个目的在于克服现有技术的缺点与不足，在无人机使用受限的室内环境采用飞艇，并基于此提供一种基于深度相机的定位与避障方案。相较于无人机，飞艇具有续航性好和安全的特点，同时相较于传统地图信息缺少的激光SLAM方案，基于深度相机的同时定位与避障方案可以充分利用图像中的语义信息，实现定位并同时根据语义信息提供避障策略。本专利技术提供了一种室内飞艇实时的定位和避障方案。定位需要周围环境的信息，同时建图又依赖于自身的位置，是一个同时进行的过程，所以称为同时定位与建图技术。首先通过RGB-D相机获取视频，利用相邻图像间的信息解算相机的位姿，将相机的位姿表现出来即得到相机的运动轨迹。但是仅通过相邻帧计算位姿会产生误差，而地图的建立又依赖于相机的位置，因此要得到全局一致的相机轨迹和地图还需要将得到的位姿进行优化，同时采用回环检测对视频中图像进行相似度比较，检测飞艇是否到达同一位置，如果确认到达同一位置则也将信息输入到优化部分进行优化而消除仅通过相邻关键帧计算位姿产生的误差。另外，由于RGB-D相机可以同时获得彩色图和深度图，在对视频中的关键帧图像利用预先训练好的神经网络模型确定彩色图中的语义信息之后，可以同时根据深度图的深度信息，通过预先设置好的避障方式中选取避障策略。根据本申请的第一方面，提供了一种基于深度相机的室内飞艇定位与避障方法，包括：通过在所述室内飞行的飞艇所携带的深度相机捕获视频；从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；通过相邻关键帧的的匹配的特征点确定所述深度相机的位姿；对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及根据避障策略驱动所述飞艇在所述室内飞行。根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中所述飞艇包括所述气囊(1)，位于所述气囊两侧的推进装置(2)，位于所述气囊底部的吊舱(3)与其位于所述吊舱(3)内部设置的通信模块(5)和固定于所述吊舱下方固定的深度相机(4)。根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中从所述视频中提取多个关键帧包括：从所述视频提取多个所包括的特征点的数量大于阈值的帧；若所提取的当前帧相对于时间上相邻的前一个关键帧的对应深度相机的位姿变化大于阈值，和/或所述当前帧相对于时间上相邻的前一个关键帧的语义信息差距大于阈值，确定所述当前帧为关键帧。根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中特征点包括关键点和同关键点关联的描述子；通过如下步骤确定帧中的特征点的关键点：通过对从所提取的多个帧的第二帧得到的彩色图计算梯度求得表示纹理特征的Harris角点的响应值R，以及将彩色图的每个点的响应值所表达的图称为响应值图；通过对深度图做进行u、v方向两方向差分得到像素的Z坐标在两个像素轴的梯度Gdzu与Gdzv，并计算表示每个像素点的几何特征变化G＝Gdzu+Gdzv；其中，像素点在三维空间中的坐标为(X,Y,Z)，u、v是像素坐标系的坐标轴；综合纹理特征和几何特征为每个像素计算S＝R+w·G，根据为各像素计算的S选取具有局部最大值的像素作为关键点。根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中通过如下步骤确定同关键点关联的描述子：在关键点周围取大小为30×30的邻域窗口，在每个窗口内随机选取128个随机点对，用所选取128个随机点对构建128维的描述子，其中描述子各维度值的构建方式如下：其中，p(x),p(y)为对应的随机点对(x,y)的像素值。根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中通过相邻关键帧的的匹配的特征点确定所述深度相机的位姿包括：根据相邻关键帧的第一关键帧的特征点记为{x1,…,xn}与第一关键帧相邻的特征点记为{x1′,…,xn′}，其中n为正整数，获取第一关键帧的特征点{x1,…,xn}与第二关键帧的特征点{x1′,…,xn′}中的匹配点对(pi,pi')，i为正整数，i＜＝n，其中所获取的匹配点对中P＝{p1,...,pk}是来自第一关键帧的特征点集合，而P＝{p1',...,pk'}是来自第二关键帧的特征点集合；通过集合P与P'用迭代最近点(IterativeClosestPoint,ICP)的方式得到第二帧时所述深度相机的位姿相对于所述第一帧时的位姿变化；累积所述深度相机的位姿变化得到深度相机的位姿。根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中使用滑动窗口法来对窗口内包括的多个连续关键帧采用非线性优化的方式进行优化，得到全局一致的运动轨迹和地图。根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中对于提取的关键帧，根据其每个特征点的描述子获本文档来自技高网...

【技术保护点】
1.一种基于深度相机的室内飞艇定位与避障方法，包括：/n通过在所述室内飞行的飞艇所携带的深度相机捕获视频；/n从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；/n通过相邻关键帧的的匹配的特征点确定所述深度相机的位姿；/n对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；/n根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；/n根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及/n根据避障策略驱动所述飞艇在所述室内飞行。/n

【技术特征摘要】
1.一种基于深度相机的室内飞艇定位与避障方法，包括：
通过在所述室内飞行的飞艇所携带的深度相机捕获视频；
从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；
通过相邻关键帧的的匹配的特征点确定所述深度相机的位姿；
对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；
根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；
根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及
根据避障策略驱动所述飞艇在所述室内飞行。


2.根据权利要求1所述的方法，其中
所述飞艇包括所述气囊(1)，位于所述气囊两侧的推进装置(2)，位于所述气囊底部的吊舱(3)与其位于所述吊舱(3)内部设置的通信模块(5)和固定于所述吊舱下方固定的深度相机(4)。


3.根据权利要求1或2所述的方法，其中
从所述视频中提取多个关键帧包括：
从所述视频提取多个所包括的特征点的数量大于阈值的帧；若所提取的当前帧相对于时间上相邻的前一个关键帧的对应深度相机的位姿变化大于阈值，和/或所述当前帧相对于时间上相邻的前一个关键帧的语义信息差距大于阈值，确定所述当前帧为关键帧。


4.根据权利要求3所述的方法，其中特征点包括关键点和同关键点关联的描述子；
通过如下步骤确定帧中的特征点的关键点：
通过对从所提取的多个帧的第二帧得到的彩色图计算梯度求得表示纹理特征的Harris角点的响应值R，以及将彩色图的每个点的响应值所表达的图称为响应值图；
通过对深度图做进行u、v方向两方向差分得到像素的Z坐标在两个像素轴的梯度Gdzu与Gdzv，并计算表示每个像素点的几何特征变化G＝Gdzu+Gdzv；其中，像素点在三维空间中的坐标为(X,Y,Z)，u、v是像素坐标系的坐标轴；
综合纹理特征和几何特征为每个像素计算S＝R+w·G，根据为各像素计算的S选取具有局部最大值的像素作为关键点。


5.根据权利要求4所述的方法，其中
通过如下步骤确定同关键点关联的描述子：
在关键点周围取大小为30×30的邻域窗口，在每个窗口内随机选取128个随机点对...

【专利技术属性】
技术研发人员：王宏伟，王磊，刘洋，王薇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11