一种基于RGB-D SLAM的无人机三维重建方法、无人机技术

本发明专利技术属于图像数据处理技术领域，公开了一种基于RGB‑D SLAM的无人机三维重建方法；Kinect相机数据提取与预处理；RGB‑D SLAM算法的实现，最终得到的最优相机位姿进行相机定位与三维地图环境重建；地图转化与路径规划。本发明专利技术对比于只有前端时得到有效的改善，环境已经可以被直观的认出，基本达到预先的要求；同时通过使用预处理数据原则，有效的解决了数据维度过大的问题，使得构建出的地图趋于真实场景。本发明专利技术减少数据集的维度，有效的提升算法的处理性能，并且不会对全局地图的构建与无人机的定位产生明显的影响；提升整个SLAM的构图精度，同时也会降低数据集的维度，提高运行效率。

An Unmanned Aerial Vehicle 3D Reconstruction Method Based on RGB-D SLAM

【技术实现步骤摘要】
一种基于RGB-DSLAM的无人机三维重建方法、无人机
本专利技术属于图像数据处理
，尤其涉及一种基于RGB-DSLAM的无人机三维重建方法、无人机。
技术介绍
目前，业内常用的现有技术是这样的：多旋翼无人机是一种具备垂直起降，悬停并具有优良低速飞行性能的无人驾驶飞行器，在航拍，农业植保，电力巡线以及快递运输等诸多领域，得到了广泛的应用和发展。但是，无人机是一种科技含量很高的产品，未经过培训的普通大众很难正确理解和掌握，容易造成一定的损失和危害，不利于无人机的普及和发展。当前，大多数无人机都是室外飞行，不便于课堂讲授和演示。一款室内飞行性能优良，便于课堂教学的无人机，成为无人机教育领域的刚需。无人机室内飞行一直是无人机领域的研究热点，室内应用也暂时是无人机应用的空白区域，这是因为室内环境相对复杂，人员走动，色调单一，光线多变，没有GPS信号等诸多因素，无人机难于定位和完成路径规划。以上问题促使大部分无人机在室内的飞行性能并不稳定，所以研究人员就需要应用其他方法为无人机的位置进行精确定位，与此同时还能够构建出环境地图。由于室内无人机无法较好的接收卫星信号，所以无法通过卫星定位，其需要依靠自身所携带的传感器来进行定位，比如激光雷达，彩色相机等等。通过上述传感器接收到的信息如何转变为无人机的位置信息，需要复杂的处理过程。在室内环境未知的条件下，人们根据已有传感器信息来进行无人机定位更是难上加难。SLAM(SimultaneousLocalizationandMapping)问题就是在这样的需求背景下提出的，是当前无人机定位技术研究的一个重要课题。SLAM技术的重要意义是它很好的解决了无人机定位与环境地图构建之间的耦合问题，使二者能够同时被求解出来。SLAM问题基本包括视觉里程计、后端、回环检测、构建地图这四部分，其中视觉里程计被称作为前端部分，在这部分中，SLAM技术很好的融合了计算机视觉与信号处理、刚体运动学等领域相关的内容；SLAM算法的后端又与几何学，图优化以及概率论等学科相融合。此外，现有技术中，点云地图的误差是比较大的，甚至后面还有多出的部分，这是与实际严重不符的；现有技术中无人机转弯过快或者飞行过快而导致的数据丢失问题，是无人机飞行过慢导致数据重复而使得算法运行速率降低的问题；现有技术中，构图精度较低，降低运行效率。在转弯的过程中，无人机需要考虑飞行安全性能，降低了无人机的飞行速度，而相机采集的帧率是没有改变的，导致在该处采集的数据重复，解决该问题的方法是将采集的帧率与无人机的飞行速度结合起来，能够以不同的帧率满足高速和低速状态下不同的数据采集需求，提高了数据集的精度。综上所述，现有技术存在的问题是：现有技术中无人机转弯过快或者飞行过快而导致的数据丢失，构图精度较低，运行效率低。解决上述技术问题的难度和意义：难度在于如何将相机的采集帧率与无人机的飞行速度结合起来，同时在结合的过程中其中的参数如何设计，即多高的速度对应多少帧率，保证数据不丢失，不重复。解决该问题的意义重大，能够解决当前大多采用固定帧率采集数据不够精确的问题。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于RGB-DSLAM的无人机三维重建方法。本专利技术是这样实现的，一种基于RGB-DSLAM的无人机三维重建方法，具体包括以下步骤：步骤一：Kinect相机数据提取与预处理：采用开源OPENNI程序框架进行Kinect相机数据的提取，采用通讯方式，对提取到的彩色RGB图片信息与深度Depth图片信息进行储存；步骤二：RGB-DSLAM算法的实现：利用前端算法对RGB-D图像进行特征检测与描述符提取，对提取到的描述进行特征匹配，根据匹配结果估算运动变换并进行优化；后端算法根据前端算法的结果构建位姿图，然后进行闭环检测与位姿图优化，最终得到的最优相机位姿进行相机定位与三维地图环境重建；步骤三：地图转化与路径规划：在生成的三维点云的基础上，将其转化成为八叉树地图，进而生成环境空间的二维地图，对无人机的路径进行规划。进一步，步骤一中，数据预处理包括有相机针孔模型和深度信息获取模型。进一步，步骤一中，相机针孔模型具体为：物体所在的环境为世界坐标系O-X-Y-Z，所成倒立像的平面称之为成像坐标系o′-x′-y′-z′，相机本身又有着自己的坐标系，称之为相机坐标系o-x-y-z；本专利技术取相机坐标系o-x-y-z与成像坐标系o′-x′-y′-z′的z轴重合，x轴向右，y轴由右手定则确定，o称为相机光心；为了简化模型，将现实中的物体抽象为一个质点A。该质点在相机坐标系o-x-y-z的坐标为[x，y，z]T，其反射的光通过相机光心o成像在成像坐标系o′-x′-y′-z′，坐标为[x′，y′，z′]T，同时成像的平面距离相机光心距离为相机的焦距f0；根据三角形相似规则，可得到下式所示：通常，在成像之后，相机内部会自动将倒立的像转变成为正的图像，所以公式中并未出现负号，默认相机已经自动调节完成，这也是为了后文处理方便。下面将成像坐标系下的坐标单独放到等号的一侧，可得到如式(2)所示：上式就是质点坐标从相机坐标系o-x-y-z到成像坐标系o′-x′-y′-z′的变换公式；既然是彩色相机成像，就需要储存彩色信息；通畅彩色图片的信息是以像素的形式进行储存的；在计算机中，每个像素点存储着对应的二进制数值，二进制数值也就表示着每个点的颜色；下面定义像素坐标系c-u-v，其中c为像素坐标系的原心，相对于成像坐标系o′-x′-y′-z′的原心o′平移了[cx，cy]T；u相当于成像坐标系o′-x′-y′-z′的x′轴，但与之不同的是，图像在u轴上缩放了α倍。同理，v相当于成像坐标系o′-x′-y′-z′的y′轴，图像在v轴上缩放了β倍；这样，由图像坐标转换为像素坐标可由式(3)表示：结合式(2)与式(3)，可得到质点坐标从相机坐标系o-x-y-z到像素坐标系c-u-v的变换公式，如式(4)所示：下面，令fx＝αf0、fy＝βf0，f0为相机的焦距，单位为米，α、β单位均为像素/米，所以fx、fy的单位均为像素，整理式(4)可得：上式即为针孔模型的数学表述，描述了物体坐标从相机坐标系转换到像素坐标系，如果考虑到畸变影响，则需对式(5)进行一定的矫正。畸变主要分为两种，即径向畸变与切向畸变，二者均是由于光线穿过透镜所引起的，透镜自身对光线的影响以及在安装时透镜不能完全平行于像素平面，这两点因素均会造成畸变；引入畸变纠正系数对其进行修正，不加证明的给出畸变修正方程：其中，是归一化后的坐标值，即为式(5)中的[x/z，y/z]T，[xcorrect，ycorrect]T是经过修正后的坐标；称修正系数k1、k2、k3为径向修正系数，称修正系数p1、p2为切向修正系数；在得到了修正后的坐标后，只需将式(5)中的坐标[x/z，y/z]T替换成为[xcorrect，ycorrect]T即可；通过上述变换，得到彩色相机成像的基本模型；实际上，每个像素坐标[u，v]T会储存一个数值矩阵I(u，v)∈RL×h，数值矩阵I中存储着二进制数值，这些二进制数通过确定的关系与计算机中红绿蓝三个通道对应，通过这三种颜色的搭配来组合出实际物体的颜色。进一步，步骤一中，深度信息获取模型本文档来自技高网...

【技术保护点】
1.一种基于RGB‑D SLAM的无人机三维重建方法，其特征在于，所述的基于RGB‑D SLAM的无人机三维重建方法包括以下步骤：步骤一，采用开源OPENNI程序框架对Kinect相机数据的提取；采用通讯方式对提取到的彩色RGB图片信息与深度Depth图片信息进行储存；步骤二，利用前端算法对RGB‑D图像进行特征检测与描述符提取，对提取到的描述进行特征匹配，根据匹配结果估算运动变换并进行优化；后端算法根据前端算法的结果构建位姿图，进行闭环检测与位姿图优化；最终得到的最优相机位姿进行相机定位与三维地图环境重建；步骤三，生成的三维点云转化成为八叉树地图，生成环境空间的二维地图，对无人机的路径进行规划。

【技术特征摘要】
1.一种基于RGB-DSLAM的无人机三维重建方法，其特征在于，所述的基于RGB-DSLAM的无人机三维重建方法包括以下步骤：步骤一，采用开源OPENNI程序框架对Kinect相机数据的提取；采用通讯方式对提取到的彩色RGB图片信息与深度Depth图片信息进行储存；步骤二，利用前端算法对RGB-D图像进行特征检测与描述符提取，对提取到的描述进行特征匹配，根据匹配结果估算运动变换并进行优化；后端算法根据前端算法的结果构建位姿图，进行闭环检测与位姿图优化；最终得到的最优相机位姿进行相机定位与三维地图环境重建；步骤三，生成的三维点云转化成为八叉树地图，生成环境空间的二维地图，对无人机的路径进行规划。2.如权利要求1所述的基于RGB-DSLAM的无人机三维重建方法，其特征在于，所述步骤一中，数据预处理包括有相机针孔模型和深度信息获取模型。3.如权利要求1所述的基于RGB-DSLAM的无人机三维重建方法，其特征在于，所述步骤一中，相机针孔模型具体为：物体所在的环境为世界坐标系O-X-Y-Z，所成倒立像的平面称之为成像坐标系o′-x′-y′-z′，相机坐标系o-x-y-z；取相机坐标系o-x-y-z与成像坐标系o′-x′-y′-z′的z轴重合，x轴向右，y轴由右手定则确定，o称为相机光心；将现实中的物体抽象为一个质点A，质点在相机坐标系o-x-y-z的坐标为[x，y，z]T，其反射的光通过相机光心o成像在成像坐标系o′-x′-y′-z′，坐标为[x′，y′，z′]T，同时成像的平面距离相机光心距离为相机的焦距f0；根据三角形相似规则，得到：将成像坐标系下的坐标单独放到等号的一侧，得到：质点坐标从相机坐标系o-x-y-z到成像坐标系o′-x′-y′-z′的变换公式；既然是彩色相机成像，每个像素点存储着对应的二进制数值，二进制数值也就表示着每个点的颜色；像素坐标系c-u-v，其中c为像素坐标系的原心，相对于成像坐标系o′-x′-y′-z′的原心o′平移了[cx，cy]T；u相当于成像坐标系o′-x′-y′-z′的x′轴，但与之不同的是，图像在u轴上缩放了α倍；同理，v相当于成像坐标系o′-x′-y′-z′的y′轴，图像在v轴上缩放了β倍；由图像坐标转换为像素坐标：得到质点坐标从相机坐标系o-x-y-z到像素坐标系c-u-v的变换公式：令fx＝αf0、fy＝βf0，f0为相机的焦距，单位为米，α、β单位均为像素/米，所以fx、fy的单位均为像素得：畸变修正方程：其中，是归一化后的坐标值，[x/z，y/z]T，[xcorrect，ycorrect]T...

【专利技术属性】
技术研发人员：徐勇，张国旭，刘宗南，
申请(专利权)人：智灵飞北京科技有限公司，
类型：发明
国别省市：北京,11