【技术实现步骤摘要】
一种融合双目相机与IMU的定位与三维线框结构重建方法与系统
本专利技术属于是计算机视觉领域，特别是涉及一种融合双目相机与IMU的定位与三维线框结构重建的方法与系统。
技术介绍
基于视觉的同时定位与建图是计算机视觉领域的重要研究课题。它是指运载体搭载特定的视觉传感器，在没有先验环境信息情况下，对周围环境进行感知与描述，同时估计自己的运动。完整的视觉定位建图系统可以分为五个部分：传感器数据的获取、前端视觉里程计、后端非线性优化、回环检测以及建图。与其它的测量方法相比较，视觉测量的方法具有精度高、效率高、成本低廉、系统结构简单等优势，被广泛地应用于机器人导航、无人驾驶、三维测量、增强现实以及虚拟现实等方面。根据采用的视觉传感器的类型，可以将基于视觉的定位与建图系统分为三种类型：基于单目相机的系统、基于双目相机的系统以及结合单目相机与红外传感器的系统。基于单目的视觉测量系统无法直接得到可靠的深度信息，初始化和重建的难度大，具有尺度的不确定性。基于深度相机的视觉测量系统成本较高，体积大，有效测量范围有限，限制了应用场景。而基于双目的视觉测量系统，在一次拍摄过程中，通过视差得...
【技术保护点】
1.一种融合双目相机与IMU的定位与三维线框结构重建系统，其特征在于，包括如下模块：数据采集模块，分别对双目相机拍摄的低频的图像流以及惯性测量单元中加速计与陀螺仪采集的高频的数据进行读取与预处理；特征提取与匹配模块，通过左右目图像特征点的提取与匹配，计算视差，恢复点在相机坐标系下的三维位置；提取图像流中关键帧以及关键帧中的直线段特征，而后基于局部特征描述子和外观、几何特征进行匹配，分别计算直线段两个端点的视差，从而恢复线在相机坐标系下的三维位置；跟踪模块，联合视觉特征点和惯性信息估计相邻图像之间的相对运动，从而确定图像帧位姿，并将特征提取与匹配模块得到的三维点与线统一到世界...
【技术特征摘要】
1.一种融合双目相机与IMU的定位与三维线框结构重建系统，其特征在于，包括如下模块：数据采集模块，分别对双目相机拍摄的低频的图像流以及惯性测量单元中加速计与陀螺仪采集的高频的数据进行读取与预处理；特征提取与匹配模块，通过左右目图像特征点的提取与匹配，计算视差，恢复点在相机坐标系下的三维位置；提取图像流中关键帧以及关键帧中的直线段特征，而后基于局部特征描述子和外观、几何特征进行匹配，分别计算直线段两个端点的视差，从而恢复线在相机坐标系下的三维位置；跟踪模块，联合视觉特征点和惯性信息估计相邻图像之间的相对运动，从而确定图像帧位姿，并将特征提取与匹配模块得到的三维点与线统一到世界坐标系下，描述局部地图；优化模块，对跟踪模块得到的位姿与三维空间位置以及惯性测量值进行优化，计算全局一致的精确的运动轨迹与地图；同时在运载体运动的同时，对当前运动场景进行识别，判断是否与之前到访的地点形成回环，形成空间上几何强约束；线框重建与优化模块，基于优化后的结果，将二维图像中匹配的线特征，反投影到三维空间中，并依据距离与方向阈值对空间中线段进行分组拟合，通过迭代求解，最后形成全局一致的结构描述。2.一种融合双目相机与IMU的定位与三维线框结构重建方法，其特征在于，包括如下步骤：步骤1，读取惯性测量信息流和双目视频流数据，并根据相机的参数，对图像进行几何校正，消除左右视图的畸变，使得行对准；同时在时间维度上对齐读入的惯性测量数据与双目图像数据；步骤2，在纯双目视觉模式下运行，提取特征点和关键帧中的LSD特征线段，进行左右目图像特征匹配，并基于关键帧进行跟踪定位与建图；步骤3，利用步骤2中估计的关键帧的位置与姿态，初始化惯性测量单元；步骤4，完成步骤3的IMU初始化以后，重新进行特征提取与图像匹配，而后联合双目视觉与惯性测量单元进行跟踪定位与建图；步骤5，根据步骤4中的关键帧的位姿，更新步骤2中特征线段端点的坐标，得到初始的三维线框的位置；然后，遍历三维线框中的所有线段，计算线段间距离和夹角，与角度阈值和距离阈值相比较，判断线段是否表示同一条边，将同一边的线段聚为一个组，得到不同的线段的组；步骤6，遍历步骤5得到的线段的组的集合，分别使用各组内包含的所有线段拟合出各组所对应的边；步骤7，所有组的线段拟合完成后，统计拟合结果数量N2，设定拟合阈值Ndelta，若|N-N2|<Ndelta(N为线段总数)，则说明所有线段拟合完毕，不存在表示同一条边的线段组合；若|N-N2|≥Ndelta，N＝N2，返回步骤5中重新计算线段间的距离；步骤8，输出三维线框结构。3.如权利要求2所述的一种融合双目相机与IMU的定位与三维线框结构重建方法，其特征在于：步骤2的具体实现方式如下，步骤2.1，提取并匹配所有左右目图像帧的ORB特征点以及关键帧的左右目图像的LSD特征线段，通过特征点计算视差，并恢复特征点与LSD特征线段在相机坐标系下的三维空间位置；步骤2.2，进行视觉跟踪定位，通过ORB-SLAM2跟踪线程，计算双目相机相邻帧之间的位姿变化以及特征点和特征线段在世界坐标系下的三维坐标；步骤2.3，在跟踪线程后，将关键帧插入队列，更新关键帧之间的共视关系，剔除质量不好的地图点，对步骤2.1中反投影到空间中的地图点进行融合，构造g2o优化器，进一步优化共视关键帧的位姿，剔除冗余的关键帧并判断是否加入新的关键帧；步骤2.4，利用DBoW2库进行回环检测、回环验证以及回环校正；步骤2.5，固定优化的回环帧、当前关键帧及两者邻域内的帧，优化剩余帧的位姿；步骤2.6，根据优化后的关键帧的位姿和针孔相机投影模型，计算特征点与特征线段在世界坐标系下的三维坐标。4.如权利要求3所述的一种融合双目相机与IMU的定位与三维线框结构重建方法，其特征在于：步骤2.1的具体实现方式如下，步骤2.1.1，创建点特征提取匹配线程与线特征提取匹配线程；步骤2.1.2，在点特征提取线程中，将读入的双目图像转换为灰度图像，分别提取左右目图像的ORB特征点；步骤2.1.3，以左图为基准，在右图相对应基线上下δ//行的宽度范围内寻找最佳匹配点，并变换到尺度对应层，根据SAD(Sumofabsolutedifferences)算法，评估左图模板T(M×N)与右搜索图S(m×n)的相似度D(i,j)：其中，1≤i≤m-M+1，1≤j≤n-N+1；计算搜索范围内的最高相似度D对应的像素块位置及其匹配相似度，并结合此像素块左右邻域距离为1的像素块及其匹配相似度，利用抛物线拟合得到亚像素级的最佳匹配块位置；步骤2.1.4，计算左图像特征点和步骤2.1.3得到的对应的右图像的最佳匹配块位置的差异d＝UL-UR，其中UL表示特征点在左图像的位置，UR表示最佳匹配块在右图像的位置；根据针孔相机投影模型，先计算特征点深度其中f为焦距，b为左右目相机的基线长度，然后计算特征点X,Y坐标，得到当前相机坐标系下位置(X,Y,Z)；步骤2.1.5，利用开源代码框架ORB-SLAM模块，提取视频中关键帧，此时进入线特征提取与匹配线程，在关键帧处，利用LSD算法提取图像的线段特征；步骤2.1.6，构建线段的LBD局部特征描述子，并计算线段的一元几何属性与局部外观(LBD)相似度，通过阈值筛选，得到候选匹配组；步骤2.1.7，对于候选匹配组，首先进行线段二维投影长度值L2d和三维空间长度值L3d的筛选，在此基础上，基于LBD局部特征描述子进行强约束：为了减少误匹配线对，只考虑左右图像中某两条线段都互为对方最佳匹配的情况；为了进一步加强匹配的有效性，对最佳匹配的距离设置阈值，每两对最相近的匹配组合间的距离应该小于其中最佳匹配的距离的2倍；步骤2.1.8，在对LBD描述子之间距离计算与匹配之后，通过直线段相对角度、投影比率、交点比率端点最小最大视差比率进行局部外观统计量的二次筛选；步骤2.1.9，二次筛选后，将线段的两个端点反投影到三维空间中，并除去平行于基线的向量以及视场之外、深度超过最大深度阈值的离群向量。5.如权利要求3所述的一种融合双目相机与IMU的定位与三维线框结构重建方法，其特征在于：步骤2.2的具体实现方式如下，步骤2.2.1，首先按照恒速运动假设，估计当前帧的相机位姿，搜索当前帧中观测到的前一帧的地图点，根据上一帧特征点对应的投影点的位置，缩小特征匹配的范围，得到匹配点对组，根据匹配结果，构造g2o优化器，最小化重投影误差e，优化位姿：e＝(u,v)-Proj(Tcw×Pw)其中，(u,v)表示特征点在待匹配二维图像上的位置，Tcw表示当前帧的位姿，Pw表示特征点的三维空间中的世界坐标；步骤2.2.2，如果恒速运动模型失败，则使用跟踪参考帧的模型，将上一帧的位姿作为当前帧的初始位姿，通过词袋BoW在参考帧中搜索当前帧特征点的匹配点，构造g2o优化器，优化位姿；步骤2.2.3，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。