基于视觉SLAM的无人机自主定位方法技术

本发明专利技术涉及计算机视觉、图像处理技术，为提出一种针对无人机的自主定位方法，本发明专利技术，基于视觉SLAM的无人机自主定位方法，由特征提取及匹配求解运动部分、图像和惯性测量单元imu融合部分以及估计3D点深度部分组成；在运动求解部分，采取将特征点法和直接法相结合的策略，选取出关键帧之后提取点特征和线特征，然后最小化误差来完成相对位姿的计算；在图像和惯性测量单元imu融合部分，误差最小化来对其进行融合；最后一步为估计3D点深度部分，在选取的特征点进行匹配的基础上，进行三角化的方法来求解该点的3D位置，即得到该点的深度值。本发明专利技术主要应用于计算机视觉、图像处理场合。

Autonomous Location of UAV Based on Visual SLAM

The invention relates to computer vision and image processing technology, and proposes an autonomous positioning method for UAV. The autonomous positioning method for UAV based on visual SLAM consists of feature extraction and Matching Solving motion part, IMU fusion part of image and inertial measurement unit and estimating 3D point depth part. In the motion solving part, the feature point method and direct positioning method are adopted. The method combines the strategy of extracting point features and line features after selecting the key frame, and then minimizing the error to complete the calculation of relative pose; in the image and inertial measurement unit IMU fusion part, the error is minimized to fuse it; the last step is to estimate the depth of 3D points, and triangulate the point based on matching the selected feature points. The 3D position is the depth of the point. The invention is mainly applied to computer vision and image processing occasions.

【技术实现步骤摘要】
基于视觉SLAM的无人机自主定位方法
本专利技术涉及计算机视觉、图像处理等领域，解决了在未知环境中无GPS信号时的无人机定位问题。
技术介绍
随着社会需求的提高，无人机有越来越多的功能需求及应用场景，要求需要拥有更强的感知、决策以及执行能力，对单体无人机的结构设计、功能设计等工作提出了很高的要求，实现难度也大大增加。无人机具有极高的灵活性和自主性，能够在没有人类干预或者较少干预的情况下执行任务，帮助人类完成具有危险性或者重复性的劳动。由于无人机所处环境的多样性和复杂性，必须具备确定自身位置的能力才能够感知周围环境，这是无人机实现复杂功能与执行多种任务的前提和关键。因此明确无人机在环境中的相对位置显得至关重要。无人机的自主定位是保证其安全运行、轨迹规划以及目标跟踪等任务的前提和关键所在。无人机的定位目前主要分为两种方式，一种是基于外部定位系统进行运动体定位，例如：GPS、北斗等全球卫星导航系统或者室内定位系统，然而GPS的精度较低，室内定位系统也需要预先布置好外部采集器，具有一定的局限性；另一种是基于无人机自身携带的传感器设备对周围环境进行感知，通过对采集到的传感器数据进行处理和环境建模，进而解决无人机自身的定位问题，这种方式目前被称为自主定位，该方法可以在GPS信号缺失、或者未知环境中解决无人机的定位问题。无人机的自主定位通常会采用激光雷达、视觉传感器、惯性测量单元等设备去获取周围环境信息和自身状态，再利用同步定位与建图方法(SimultaneousLocalizationAndMapping，SLAM)实现环境建模与定位。无人机的自主定位是目前学术界研究的一个重点方向，由于无人机的应用场景复杂多样，对其自身位置的估计是制约其发展的重要因素之一，只有攻克了这一难题，无人机才会有更好更长远的发展，而SLAM是目前解决这一问题优选方案，也是目前的前沿热点问题，通过研究这一技术可以较好的解决无人机在多障碍等复杂环境中自主定位问题，具有极大地研究意义。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种针对无人机的自主定位方法。为此，本专利技术采用的技术方案是，基于视觉SLAM的无人机自主定位方法，由特征提取及匹配求解运动部分、图像和惯性测量单元imu融合部分以及估计3D点深度部分组成；在运动求解部分，采取将特征点法和直接法相结合的策略，选取出关键帧之后提取点特征和线特征，然后最小化误差来完成相对位姿的计算；在图像和惯性测量单元imu融合部分，通过对特征匹配后的光度误差最小化和imu预积分后得到的先验平移量和旋转量与现状态下的平移量和旋转量的误差最小化来对其进行融合；最后一步为估计3D点深度部分，在选取的特征点进行匹配的基础上，进行三角化的方法来求解该点的3D位置，即得到该点的深度值。关键帧的选取策略为当新的图像帧上的特征块数量小于一定阈值时，则该帧作为新的关键帧。运动求解部分、图像和惯性测量单元imu融合部分进一步具体地，提取关键帧，然后在关键帧上提取点特征和线特征，利用直接法中的最小化光度误差的方法来计算位姿：首先计算相同空间点在相邻图像帧投影的点特征和线特征的光度差值，然后计算点特征和线特征块在光度值上面的差异，此时将该差异和imu进行融合，对imu数据进行预积分处理，计算出此时的误差，基于最小化光度误差和最小化imu误差进行位姿的求解，具体计算如下：相机的相对位置姿态Tk,k-1，则：其中，IP为提取的两个相邻的点特征之间的光度差，Il为提取的两个相邻线特征之间的光度误差，P为像素点,P′kk-1为相对转换先验值，R′Tkk-1为相对旋转先验值，位姿Tk,k-1通过高斯牛顿法求解式(1)，得到初始位姿；在公式(1)中，第一项为提取到的点特征的光度误差，第二项为提取的线特征的光度误差，后面两项为读取到的imu信息进行预积分处理后得到的值与现状态下的值进行对比的差值，通过最小化以上误差值使得求得的位姿为当前状态下的最优位姿。再更进一步优化当前帧的位姿：通过反投影，利用求出的相对位姿变换初步估计新的图像中所有3D空间点的特征位置的初始值，也就是说可以找到3D空间点与在当前帧投影点之间的一个相互匹配关系；对于提取出的特征中的点特征，相机的投影模型表示为π，则将空间点q＝(x,y,z)T投影至图像坐标表示为：p＝π(kq)(3)再次通过最小化光度误差，将新的图像中的2D特征位置与关键帧r中的参考特征进行配准，找到光度误差最小的像素位置pi'，即：其中，Ai是对关键帧中的图像块进行了仿射变换，这次优化配准则是通过Lucas-Kanade方法求解；对于提取出的特征中的线特征，最小化光度误差来对线段的位置进行优化，即：Wj′＝argmin||Ik(w′j)-Ir(Aj*wj)||2(5)此时，3D空间点qi＝(xi,yi,zi)T与特征像素点pi的对应关系和空间中线段的位置与像素平面上的投影线段的对应关系已经确定完毕，因此在特征关联的基础上再次优化相机在世界坐标系下的位姿Tk,w，也就是基于最小化重投影误差进行优化，即：Tk,w＝argmin{∑||rp(Tk,w,Xi，k)||2+∑||rl(Tk,w,Pj,k,Qj,k,lj)||2}(6)公式(6)可转换为求解最小二乘问题，然后利用Gauss-Newton法求解出相机姿态。本专利技术的特点及有益效果是：由于视觉设备能够采集到丰富的环境信息，随着工业的发展和科学研究的进步，基于视觉传感器的自主定位技术已经成为了计算机视觉以及机器人领域的研究热点。近年来随着无人机浪潮的兴起，无人机的相关研究得到了高度的关注，针对无人机的自主定位成为重要的应用研究方向。此项专利技术提出一种基于视觉SLAM的自主定位方法，对于无人机自主定位的研究具有十分重要的意义。该项专利技术稳定可靠，可扩展性好，稳定性强，由于自主定位方法在机载处理器完成。提高了整个系统的稳定性和可靠性。总而言之随着社会需求的提高，无人机有越来越多的功能需求及应用场景，要求无人机需要拥有更强的感知、决策以及执行能力，无人机自主定位的研究成为解决该问题的关键。本专利技术主要具有如下特点和优点：(1)无人机自主定位：本专利技术提出了一种基于视觉SLAM的无人机自主定位方法，实现无人机的自主定位，为后续无人机进行估计规划、任务分配、避障等任务奠定了基础。(2)定位方法效率高：本专利技术中提出的自主定位方法综合了特征点和直接法的优点，由于特征提取和描述子的计算量大，比较耗时，因此本专利技术采用半直接法，主要通过选取关键帧的机制，只对关键帧提取特征，极大地提高了效率。且不进行描述子的计算，仅仅使用特征图像块通过直接法进行图像之间的特征匹配，采用此步骤也大大减小了复杂度，使得方法大大缩短了计算时间。(3)定位精度高：本专利技术中提出的自主定位方法利用环境中采取的图像，对其提取点特征和线特征，能够全面的利用环境信息进行特征匹配。并且加入imu的信息进行融合，能够减小方法的误差，并且能够在光线变化强烈或者暂时性图像丢失的情况下进行自主定位。最终经过一系列的优化得到无人机的位置信息，使得位置信息精准。附图说明：附图1基于视觉SLAM的无人机自主定位系统图。附图2基于视觉SLAM的无人机自主定位方法流程图。附图3位姿估计流程图。附图4点特征和线特征提取效果图。附本文档来自技高网...

【技术保护点】
1.一种基于视觉SLAM的无人机自主定位方法，其特征是，由特征提取及匹配求解运动部分、图像和惯性测量单元imu融合部分以及估计3D点深度部分组成；在运动求解部分，采取将特征点法和直接法相结合的策略，选取出关键帧之后提取点特征和线特征，然后最小化误差来完成相对位姿的计算；在图像和惯性测量单元imu融合部分，通过对特征匹配后的光度误差最小化和imu预积分后得到的先验平移量和旋转量与现状态下的平移量和旋转量的误差最小化来对其进行融合；最后一步为估计3D点深度部分，在选取的特征点进行匹配的基础上，进行三角化的方法来求解该点的3D位置，即得到该点的深度值。

【技术特征摘要】
1.一种基于视觉SLAM的无人机自主定位方法，其特征是，由特征提取及匹配求解运动部分、图像和惯性测量单元imu融合部分以及估计3D点深度部分组成；在运动求解部分，采取将特征点法和直接法相结合的策略，选取出关键帧之后提取点特征和线特征，然后最小化误差来完成相对位姿的计算；在图像和惯性测量单元imu融合部分，通过对特征匹配后的光度误差最小化和imu预积分后得到的先验平移量和旋转量与现状态下的平移量和旋转量的误差最小化来对其进行融合；最后一步为估计3D点深度部分，在选取的特征点进行匹配的基础上，进行三角化的方法来求解该点的3D位置，即得到该点的深度值。2.如权利要求1所述的基于视觉SLAM的无人机自主定位方法，其特征是，关键帧的选取策略为当新的图像帧上的特征块数量小于一定阈值时，则该帧作为新的关键帧。3.如权利要求1所述的基于视觉SLAM的无人机自主定位方法，其特征是，运动求解部分、图像和惯性测量单元imu融合部分进一步具体地，提取关键帧，然后在关键帧上提取点特征和线特征，利用直接法中的最小化光度误差的方法来计算位姿：首先计算相同空间点在相邻图像帧投影的点特征和线特征的光度差值，然后计算点特征和线特征块在光度值上面的差异，此时将该差异和imu进行融合，对imu数据进行预积分处理，计算出此时的误差，基于最小化光度误差和最小化imu误差进行位姿的求解，具体计算如下：相机的相对位置姿态Tk，k-1，则：其中，IP为提取的两个相邻的点特征之间的光度差，Il为提取的两个相邻线特征之间的光度误差，P为像素点，P′kk-1为相对转换先验值，R′Tkk-1...

【专利技术属性】
技术研发人员：宗群，刘彤，窦立谦，韩天瑞，霍新友，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12