用于双目视觉SLAM的点线特征选取方法及系统技术方案

本发明专利技术提供了一种用于双目视觉SLAM的点线特征选取方法及系统，包括基于RANSAC的异常点线特征去除，点线特征的误差传递模型构建，基于误差传递模型的点线特征选取和基于特征空间均匀分布的点线特征选取四个主要步骤，首先基于RANSAC对异常点线特征进行去除；其次，通过假定图像的测量误差分布，求得该特征引入位姿求解误差的协方差矩阵；接着，基于协方差矩阵，采用贪心算法筛去那些有较大不确定性的点线特征；最后，在人工特征空间对点线特征进行聚类，并使得点线特征均匀分布在特征空间的各个类中。本方法不仅筛去了异常点，并且使用更少的有效点使得视觉SLAM系统精度提升。

Method and system of feature selection of point and line for binocular vision slam

【技术实现步骤摘要】
用于双目视觉SLAM的点线特征选取方法及系统
本专利技术涉及计算机视觉
，具体地，涉及一种用于双目视觉SLAM的点线特征选取方法及系统。
技术介绍
视觉SLAM系统通常首先提取图像特征，并建立前后帧之间的特征匹配关系，然后根据几何关系确定优化目标方程，最后采取高斯牛顿迭代法对非线性优化问题进行求解。然而，该系统的精度十分依赖于系统输入数据的好坏，如匹配关系是否正确，特征测量误差大小等等。目前已有许多用于改善系统输入的研究，主要分为两大类。一是基于RANSAC的外点剔除：RANSAC方法通过反复选择图像特征的一组随机子集用于位姿的优化，并用求得的位姿优化结果确定图像特征总集合的内点数，然后确定一组最优随机子集，使得该子集对应确定的内点数最多，最后用该子集对应的内点集合重新对位姿进行优化，以达到去除外点影响的目的。然而，该方法仅仅去除了外点，并不能对内点进行进一步地筛选。二是基于图像特征外观形状的特征挑选：该方法挑选在邻域或者整体图像中的较显著的图像特征，或是避免挑选重复纹理区域的图像特征，以使得图像特征具有更高的区分本文档来自技高网...

【技术保护点】
1.一种用于双目视觉SLAM的点线特征选取方法，其特征在于，包括：/n步骤1：基于RANSAC的异常点线特征去除步骤：先随机抽取预设比例的点线特征匹配对，对前后帧相对位姿进行求解，再求得位姿下的内点集合，然后重复上述过程固定次数，确定最大内点集合，最后用最大内点集合对最终位姿进行求解；/n步骤2：点线特征的误差传递模型构建步骤：首先根据实际情况假定图像的测量误差协方差矩阵，再基于高斯分布随机变量非线性变换关系，最终求得特征引入位姿求解的误差协方差矩阵；/n步骤3：基于误差传递模型的点线特征选取步骤：采用贪心算法对问题进行求解，通过移除特征对位姿求解的贡献，留下指定数目的特征；/n步骤4：基于特...

【技术特征摘要】
1.一种用于双目视觉SLAM的点线特征选取方法，其特征在于，包括：
步骤1：基于RANSAC的异常点线特征去除步骤：先随机抽取预设比例的点线特征匹配对，对前后帧相对位姿进行求解，再求得位姿下的内点集合，然后重复上述过程固定次数，确定最大内点集合，最后用最大内点集合对最终位姿进行求解；
步骤2：点线特征的误差传递模型构建步骤：首先根据实际情况假定图像的测量误差协方差矩阵，再基于高斯分布随机变量非线性变换关系，最终求得特征引入位姿求解的误差协方差矩阵；
步骤3：基于误差传递模型的点线特征选取步骤：采用贪心算法对问题进行求解，通过移除特征对位姿求解的贡献，留下指定数目的特征；
步骤4：基于特征空间均匀分布的点线特征选取步骤：分别构造特征点线的人工特征包括本身的特征及领域的特征，然后在人工特征空间分别对点特征和线特征进行聚类，并使得点线特征均匀分布在各个类中。


2.根据权利要求1所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤1包括：
步骤1.1：随机抽取一个或多个点特征和线特征；
步骤1.2：使用随机抽取的点线特征对帧间位姿进行估计，得到优化后的位姿ξ*；
步骤1.3：根据优化后的位姿ξ*求得所有点线特征的重投影误差，设定重投影误差阈值，并统计内点个数；
步骤1.4：重复执行步骤1.1～步骤1.3固定次数，找出内点数最大的模型及内点子集S；
步骤1.5：使用内点子集S对位姿重新进行求解。


3.根据权利要求2所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤1.2包括：
步骤1.2.1：分别计算每个点特征的重投影误差ep：
ep＝z-h(ξ,p)
其中，ξ代表前一帧相机坐标系和后一帧相机坐标系的相对位姿的李代数，p是前一帧相机坐标系下的3D特征点，z是后一帧图像坐标下点特征的坐标，h表示将p进行位姿变换后，再进行3D-2D投影的函数；
步骤1.2.2：分别计算每个线特征的重投影误差el：



其中，xs和xe分别为前一帧相机坐标系下线特征的首末端点经过位姿ξ变换后在后一帧图像上的投影点，其形式为齐次坐标，形如[u,v,1]T，l′表示形式为[l1,l2,l3]T，其中l1，l2，l3分别代表后一帧图像对应线特征的2D直线的三个参数；
步骤1.2.3：基于高斯牛顿迭代法，最小化特征点和特征线的重投影误差求得帧间相对位姿，表达为：



其中，ξ*为优化后的位姿，epi为按照步骤1.2.1所求的第i个点特征的重投影误差，elj为按照步骤1.2.2所求的第j个线特征的重投影误差。


4.根据权利要求1所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤2包括：
步骤2.1：构建点特征误差传递模型；
所述步骤2.1包括：
步骤2.1.1：假定前一帧图像测量误差为∈z，由像素坐标u，v，和双目视差d三个分量组成，协方差矩阵Σm表示为：



其中，σu＝1pixel，σv＝1pixel，σd＝0.45dpixel，d表示视差，代表视差越大，不确定性就越高；
步骤2.1.2：定义Σw代表点特征在上一帧相机坐标系的协方差矩阵：



其中，为反投影函数的雅克比矩阵；
步骤2.1.3：定义Σw代表点特征在后一帧相机坐标系的协方差矩阵：
Σc＝RcwΣw(Rcw)T
其中，Rcw为帧间位姿的旋转分量；
步骤2.1.4：定义Σp代表点特征在后一帧图像坐标系的协方差矩阵：



其中，为投影函数的雅克比矩阵；
步骤2.2：将线特征用两个端点进行表示，计算两个端点在后一帧图像坐标系下的协方差矩阵Σls与Σle。


5.根据权利要求1所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤3包括：
步骤3.1：基于点特征误差传递模型的特征选取；
步骤3.2：基于线特征误差传递模型的特征选取；
步骤3.3：挑选n个点特征，扩大位姿的费雪信息矩阵；
步骤3.4：挑选m个线特征，扩大位姿的费雪信息矩阵；
所述步骤3.1包括：
步骤3.1.1：基于点特征误差传递模型，求得点特征重投影误差的协方差矩阵Σep：



其中，为重投影误差对后一帧图像坐标系像素坐标的雅克比矩阵；
步骤3.1...

【专利技术属性】
技术研发人员：王贺升，乔志健，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31