一种基于点线综合特征的视觉同时建图与定位方法技术

本发明专利技术公开了一种基于点线综合特征的视觉同时建图与定位方法，该方法综合运用从双目相机图像中提取得到的线特征和点特征，可以用于在室内室外环境的机器人定位与姿态估计，由于综合使用点线特征使得系统更加鲁棒，更加精确。对于直线特征的参数化，我们用普吕克坐标用于直线的计算，包括几何变换，三维重建等，在后端的优化中我们用直线的正交表示来最小化直线的参数个数。离线建立综合点线特征的视觉字典，用于闭环检测，并通过增加标志位的方法使得点线特征在视觉字典里和建立图像数据库、计算图片相似性时区别对待。本方法可用于室内室外的场景地图的构建，构建出的地图综合了特征点和特征直线，能够提供更加丰富的信息。

A method of visual simultaneous mapping and localization based on point and line synthetic features

The invention discloses a line feature based visual simultaneous localization and mapping method, the method using feature extraction line features and the points obtained from binocular camera images, and can be used to estimate the robot localization in indoor and outdoor environment and attitude, because the point and line features makes the system more robust, more accurate. For the parametric linear feature, we use the Pruk coordinates for linear calculation, including geometric transformation, 3D reconstruction, at the back end of the optimization we use linear orthogonal representation to minimize the number of parameters of line. Feature points and lines developed visual dictionary for closed-loop detection, and by increasing the flag makes the point and line features in the visual dictionary and the establishment of image database, calculating the similarity of image distinction. This method can be used in the construction of indoor and outdoor scene maps. The constructed maps combine feature points and feature lines, and can provide more abundant information.

【技术实现步骤摘要】
一种基于点线综合特征的视觉同时建图与定位方法
本专利技术涉及视觉同时建图与定位
，特别是一种基于特征的双目视觉SLAM(同时定位与建图)

技术介绍
针对视觉同时建模与定位技术，基于关键帧的优化和图优化成为视觉SLAM问题的主流框架。图优化技术已经被证实在计算所消耗的资源和结果的一致性方面比传统的滤波框架具有更好的性能。点特征是在视觉同时建图与定位技术中最被广泛使用的特征，在室内和室外环境中都特别丰富，在连续的图像序列中容易被跟踪，而且在几何变换中方便计算。然而，点特征对于环境依赖较大，高质量的点特征需要鲁棒性高但耗时的特征检测与描述。在图像中线特征比点特征的表示层次高，在结构化环境中提供了更鲁棒的信息，利用较少的线特征结合点特征建立环境地图与定位可以更加高效以及精确。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于点线综合特征的视觉SLAM方法，可以用于在室内室外环境的机器人定位与姿态估计，由于综合使用点线特征使得系统更加鲁棒，更加精确。本方法可用于室内室外的场景地图的构建，构建出的地图综合了特征点和特征直线，能够提供更加丰富的场景信息。为此，本专利技术提供以下技术方案：一种基于点线综合特征的视觉同时建图与定位方法，其特征在于，包括离线建立视觉词典和在线建立稀疏视觉特征地图两个部分：首先，利用聚类方法离线建立树状的视觉词典，即描述子空间的KD树，并确定树状视觉词典中每个节点的逆文本频率，所述每个节点即为描述子的聚类中心：将每帧图像包含的特征转化为视觉词汇，即特征描述子；对所述视觉词汇进行分层聚类，建立描述子空间的KD树，该KD树称为视觉词典；使用特征描述子离线建立树状的视觉词典，将特征描述子的训练图像集中提取出来；所述描述子是ORB(OrientedFASTandRotatedBRIEF(BRIEF为BinaryRobustIndependentElementaryFeatures二进制鲁棒独立基本特征描述子)，定向快速角点检测和二进制鲁棒独立基本特征描述子点特征描述子和LBD直线特征描述子；所述ORB点特征描述子和LBD(LineBandDescriptor线带描述子)直线特征描述子均为二进制描述子，把两种二进制描述子分别进行拓展：为ORB点特征添加标志位0，为LBD线特征添加标志位1，所述标志位0和标志位1可区分直线特征与点特征；获取LBD直线特征描述子之前首先要用LSD(LineSegmentDetector线段检测子)检测直线，再用LBD描述子对该直线进行描述；视觉词典中每个节点的权重由该节点包含的所有特征描述子的逆文本频率(即IDF，主要思想是：如果包含视觉词汇t的图片越少，则逆文本频率越大，则说明词汇t具有很好的类别区分能力)确定；然后，在线建立稀疏的视觉特征地图，步骤如下：步骤一，从双目相机中获取校正后的图像，并对校正后的图像的特征提取及描述：提取校正后的图像中的点线特征及其描述子，在线提取ORB点特征描述子和LBD线特征描述子；步骤二，双目相机中校正后的图像进行特征匹配及三维重建：匹配校正后的图像中的特征点和特征直线，建立匹配对，利用双目视觉成像模型把特征点和特征直线进行三维重建，在重建中用普吕克坐标来表示特征直线，并维护直线的端点，用特征点和特征直线建立综合点线特征的稀疏特征地图，采用普吕克坐标用于直线的表示和计算步骤三，前后帧图像匹配、局部地图匹配及相机的运动估计：在重建出三维空间中的特征点和特征直线后，对这些点和线进行跟踪匹配，匹配包括两部分：前后图像匹配以及局部地图匹配，所述前后帧图像匹配用于估计当前时刻相机的位姿，求解位姿的过程如下，假设当前时刻左相机坐标系Oc在世界坐标系Ow中旋转和平移分别为Rwc和twc，重构的特征点j在世界坐标系Ow的坐标为Pjw，则该特征点在当前时刻左相机坐标系Oc下的坐标Pjc为：Pjc＝RcwPjw+tcw重构的特征直线i在世界坐标系Ow的坐标为Liw，Liw＝[nT,vT]T，则该特征直线在当前时刻左相机坐标系Oc下的坐标为：其中Rcw＝RwcT，tcw＝-Rwctwc，分别为世界坐标系在左相机坐标系中的旋转和平移，[tcw]是由向量tcw构成的3×3的反对称矩阵；将特征点Pjc通过针孔相机模型投影到当前左相机中，得到其投影的图像坐标将特征直线Lic投影到当前左相机中，得到其投影直线方程为li；分别定义点和线特征的误差，点的误差为重投影误差，即特征点投影坐标与观测坐标pj之间的距离epj；线的误差为观测线段的两个端点ep1i、ep2i到投影直线方程的几何距离eli；运动估计的目标是求解以下非线性最小二乘问题：即求解当前相机的姿态使得特征点和特征直线的重投影误差最小；其中a,b为点特征重投影误差和线特征重投影误差的权重值，a,b是两个常数为了剔除错误图像特征匹配的影响，在优化过程中可采用Ransac(RandomSampleConsensus，随机采样一致性)方法得到运动估计的解；步骤四，利用步骤一中得到的视觉词典做回环检测：对视觉关键帧提取得到的点、线特征描述子，建立图像数据库，所述图像数据库包含每一关键帧中的点、线特征描述子，根据建立的视觉词典，把图像的特征转换成词包向量，其中词包向量包含图像中每个视觉词汇的TF-IDF(TF表示词条在一帧图片中出现的频率，IDF为上文所述的逆文本频率，TF-IDF表示TF与IDF的乘积)分数，如果一个视觉词汇在同一帧图像中出现的频率越高TF-IDF分数就越高，但是在整个图像数据库中出现频率越高TF-IDF分数会越低；评价两幅图像的相似性时，根据提取到的特征把图像转换成词包向量，然后根据词包向量计算相似度得分，对当前相机采集的图像与图像数据库中的图像进行比较，得分较高为同一个位置采集得到的图像，即为一个闭环，表示之前已经访问过这个位置，再利用几何一致性，即两帧图像中有足够多的匹配对支持欧氏变换，时间一致性，即两帧图像前后的若干图像序列也应该很相似，进一步判断是否为闭环；步骤五，把步骤二到步骤四得到的点线特征、相机运动估计、闭环检测等放入基于关键帧的图优化框架中，在后端的优化中采用直线的正交表示来最小化直线的参数个数。在图优化框架中优化相机的位姿和特征点和线的位姿，实现相机的定位与在线稀疏视觉特征地图的构建。在上述技术方案的基础上，本专利技术还可以采用一下进一步的技术方案：提取图像中的点线特征时，特征点的检测选用FAST角点检测，用ORB描述子进行描述，直线特征的检测采用LSD算法提取直线特征并用LBD描述子表示直线。对于直线特征的表示，采用普吕克坐标用于直线的计算，包括几何变换，三维重建，在后端的优化中采用直线的正交表示来最小化直线的参数个数。用聚类方法kmeans++(K均值++聚类方法)建立综合点线特征的离线视觉词典，用于在线过程中识别和查询相似的图像进行回环检测，在建立词典的过程中通过增加标志位的方法使得点线特征在视觉词典里和建立图像数据库时区别对待，评价两幅图像的相似性时，根据提取到的特征把图像转换成词包向量，其中包含图像中每个视觉词汇的TF-IDF分数，如果一个词汇在同一帧图像中出现的频率越高这个分数就越高，但是在整个数据集中出现频率越高这个分数会越低；词包向量中有点特征部分vi本文档来自技高网...

【技术保护点】
一种基于点线综合特征的视觉同时建图与定位方法，其特征在于，包括离线建立视觉词典和在线建立稀疏视觉特征地图两个部分：首先，利用聚类方法离线建立树状的视觉词典，即描述子空间的KD树，并确定树状视觉词典中每个节点的逆文本频率，所述每个节点即为描述子的聚类中心：将每帧图像包含的特征转化为视觉词汇，即特征描述子；对所述视觉词汇进行分层聚类，建立描述子空间的KD树，该KD树称为视觉词典；使用特征描述子离线建立树状的视觉词典，将特征描述子的训练图像集中提取出来；所述描述子是ORB，定向快速角点检测和二进制鲁棒独立基本特征描述子点特征描述子和LBD直线特征描述子；所述ORB点特征描述子和LBD直线特征描述子均为二进制描述子，把两种二进制描述子分别进行拓展：为ORB点特征添加标志位0，为LBD线特征添加标志位1，所述标志位0和标志位1可区分直线特征与点特征；获取LBD直线特征描述子之前首先要用LSD检测直线，再用LBD描述子对该直线进行描述；视觉词典中每个节点的权重由该节点包含的所有特征描述子的逆文本频率确定；然后，在线建立稀疏的视觉特征地图，步骤如下：步骤一，从双目相机中获取校正后的图像，并对校正后的图像的...

【技术特征摘要】
1.一种基于点线综合特征的视觉同时建图与定位方法，其特征在于，包括离线建立视觉词典和在线建立稀疏视觉特征地图两个部分：首先，利用聚类方法离线建立树状的视觉词典，即描述子空间的KD树，并确定树状视觉词典中每个节点的逆文本频率，所述每个节点即为描述子的聚类中心：将每帧图像包含的特征转化为视觉词汇，即特征描述子；对所述视觉词汇进行分层聚类，建立描述子空间的KD树，该KD树称为视觉词典；使用特征描述子离线建立树状的视觉词典，将特征描述子的训练图像集中提取出来；所述描述子是ORB，定向快速角点检测和二进制鲁棒独立基本特征描述子点特征描述子和LBD直线特征描述子；所述ORB点特征描述子和LBD直线特征描述子均为二进制描述子，把两种二进制描述子分别进行拓展：为ORB点特征添加标志位0，为LBD线特征添加标志位1，所述标志位0和标志位1可区分直线特征与点特征；获取LBD直线特征描述子之前首先要用LSD检测直线，再用LBD描述子对该直线进行描述；视觉词典中每个节点的权重由该节点包含的所有特征描述子的逆文本频率确定；然后，在线建立稀疏的视觉特征地图，步骤如下：步骤一，从双目相机中获取校正后的图像，并对校正后的图像的特征提取及描述：提取校正后的图像中的点线特征及其描述子，在线提取ORB点特征描述子和LBD线特征描述子；步骤二，双目相机中校正后的图像进行特征匹配及三维重建：匹配校正后的图像中的特征点和特征直线，建立匹配对，利用双目视觉成像模型把特征点和特征直线进行三维重建，在重建中用普吕克坐标来表示特征直线，并维护直线的端点，用特征点和特征直线建立综合点线特征的稀疏特征地图，采用普吕克坐标用于直线的表示和计算步骤三，前后帧图像匹配、局部地图匹配及相机的运动估计：在重建出三维空间中的特征点和特征直线后，对这些点和线进行跟踪匹配，匹配包括两部分：前后图像匹配以及局部地图匹配，所述前后帧图像匹配用于估计当前时刻相机的位姿，求解位姿的过程如下，假设当前时刻左相机坐标系Oc在世界坐标系Ow中旋转和平移分别为Rwc和twc，重构的特征点j在世界坐标系Ow的坐标为Pjw，则该特征点在当前时刻左相机坐标系Oc下的坐标Pjc为：Pjc＝RcwPjw+tcw重构的特征直线i在世界坐标系Ow的坐标为Liw，Liw＝[nT,vT]T，则该特征直线在当前时刻左相机坐标系Oc下的坐标为：其中Rcw＝RwcT，tcw＝-Rwctwc，分别为世界坐标系在左相机坐标系中的旋转和平移，[tcw]′是由向量tcw构成的3×3的反对称矩阵；将特征点Pjc通过针孔相机模型投影到当前左相机中，得到其投影的图像坐标将特征直线Lic投影到当前左相机中，得到其投影直线方程为li；分别定义点和线特征的误差，点的误差为重投影误差，即特征点投影坐标与观测坐标pj之间的距离epj；线的误差为观测线段的两个端点ep1i、ep2i到投影直线方程的几何距离eli；运动估计的目标是求解以下非线性最小二乘问题：

【专利技术属性】
技术研发人员：刘勇，左星星，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33