一种同时定位与建图的方法及装置制造方法及图纸

一种同时定位与建图的方法，通过双目大视场相机获取左视场图像和右视场图像；基于第一多虚拟针孔相机模型，得到左视场图像对应的左去畸变图像；基于第二多虚拟针孔相机模型，得到右视场图像对应的右去畸变图像；基于左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图；其中，所述第一多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的左侧相机的相机中心重合；所述第二多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的右侧相机的相机中心重合。

A method and device for simultaneous positioning and mapping

【技术实现步骤摘要】
一种同时定位与建图的方法及装置
本专利技术涉及同时定位与建图领域，尤其涉及一种基于双目鱼眼相机的同时定位与建图方法以及装置。
技术介绍
同时定位与建图(SimultaneousLocalizationAndMapping，简称SLAM)是一种通过实时跟踪机器人运动并在此过程中同时建立周围环境地图以达到定位导航等目标的技术。传统的单目SLAM使用的相机为透视相机(perspectivecamera)或者称为针孔相机(pinholecamera)。由于相机的视角(Field-of-View)有限，所获取的图像间存在的共有特征不足，可能导致SLAM算法跟踪丢失。相对于传统SLAM使用的针孔相机，大视场相机具有更大的视角，因而得到了广泛的研究和关注。现有的基于大视场图像的SLAM技术方案主要有两种。一种是先对大视场相机获得的大视场图像使用传统的去畸变方法进行去畸变处理，再把去畸变后的图像作为普通图像使用传统单目SLAM技术实现同时定位与建图。这种技术方案简单易行，但是传统的去畸变方法将导致损失很多的视角，不能充分利用大视场相机的广视角。另一种是基于大视场相机成像模型直接针对未做畸变校正的大视场图像进行SLAM处理。即直接在未做畸变校正的大视场图像上提取特征进行处理。这种技术方案提取的特征可能会受到图像畸变的影响，同时复杂的大视场相机成像模型将导致优化变得异常复杂，从而影响系统的性能。因此，迫切需要一种新的SLAM技术，能够保留大视场相机的所有视野同时避免图像畸变的影响，同时又能兼顾对景深的探测、定位、建图。
技术实现思路
本申请的目的在于提供一种同时定位与建图的方法。该方法可以，基于多虚拟针孔相机模型，将双目鱼眼相机获取的左鱼眼图像和右鱼眼图像去畸变；根据去畸变后的图像进行同时定位和建图。本申请一方面提供一种同时定位与建图的方法。所述方法包括：在一些实施例中介绍了一种同时定位与建图的方法。通过双目大视场相机获取左视场图像和右视场图像；基于第一多虚拟针孔相机模型，得到所述左视场图像对应的左去畸变图像；基于第二多虚拟针孔相机模型，得到所述右视场图像对应的右去畸变图像；基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图；其中，所述第一多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的左侧相机的相机中心重合；所述第二多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的右侧相机的相机中心重合。在一些实施例中，所述方法进一步包括：使所述双目大视场相机的左侧相机和右侧相机的光轴平行。在一些实施例中，所述的同时定位与建图的方法，还包括基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图，包括：确定所述左去畸变图像和所述右去畸变图像互相匹配的特征点；基于所述互相匹配的特征点构建地图。在一些实施例中，所述的同时定位与建图的方法，其特征在于，所述确定所述左去畸变图像和所述右去畸变图像互相匹配的特征点，包括：确定所述左去畸变图像中的特征点在所述右去畸变图像中对应的极线；在所述极线上搜索与所述左去畸变图像中的特征点匹配的特征点；其中，所述极线为多线段折线。在一些实施例中，所述的同时定位与建图的方法，其特征在于，所述基于所述互相匹配的特征点构建地图，包括：基于所述左去畸变图像中的特征点和所述双目大视场相机的左侧相机的相机中心，确定第一特征点对应的方向向量；基于所述右去畸变图像中匹配的特征点和所述双目大视场相机的右侧相机的相机中心，确定第二特征点对应的方向向量；基于所述双目大视场相机的基线，对所述第一特征点对应的方向向量和所述第二特征点对应的方向向量进行三角测量，确定所述特征点对应的地图点；基于所述地图点构建地图。在一些实施例中，所述的同时定位与建图的方法，其特征在于，基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图，包括：基于所述第一多虚拟针孔相机模型，将所述左去畸变图像关联的地图点投影到所述至少两个不同朝向的虚拟针孔相机的成像平面上，得到所述地图点在所述第一多虚拟针孔相机模型中的重投影点；根据所述地图点在所述第一多虚拟针孔相机模型中的重投影点与所述地图点对应的特征点，确定所述地图点的重投影误差；根据所有所述左去畸变图像关联的地图点的重投影误差确定左重投影误差；或基于所述第二多虚拟针孔相机模型，将所述右去畸变图像关联的地图点投影到所述至少两个不同朝向的虚拟针孔相机的成像平面上，得到所述地图点在所述第二多虚拟针孔相机模型中的重投影点；根据所述地图点在所述第二多虚拟针孔相机模型中的重投影点与所述地图点对应的特征点，确定所述地图点的重投影误差；根据所有所述右去畸变图像关联的地图点的重投影误差确定右重投影误差；基于所述左重投影误差或所述右重投影误差，确定所述双目大视场相机的当前位姿。在一些实施例中，所述的同时定位与建图的方法，其特征在于，基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图，包括：基于所述左重投影误差和所述右重投影误差，确定所述双目大视场相机的当前位姿。在一些实施例中，所述的同时定位与建图的方法，其特征在于，所述参考帧为其前一双目图像帧，或与当前双目图像帧或其前一双目图像帧共视程度最高的关键双目图像帧。在一些实施例中，所述的同时定位与建图的方法，其特征在于，所述至少两个不同朝向包括：立方体的前朝向、上朝向、下朝向、左朝向或右朝向。在一些实施例中介绍了一种同时定位与建图的装置，所述装置执行如前所述的同时定位与建图的方法。本申请中另外的特征将部分地在下面的描述中阐述。通过该阐述，使以下附图和实施例叙述的内容对本领域普通技术人员来说变得显而易见。本申请中的专利技术点可以通过实践或使用下面讨论的详细示例中阐述的方法、手段及其组合来得到充分阐释。附图说明以下附图详细描述了本申请中披露的示例性实施例。其中相同的附图标记在附图的若干视图中表示类似的结构。本领域的一般技术人员将理解这些实施例是非限制性的、示例性的实施例，附图仅用于说明和描述的目的，并不旨在限制本公开的范围，其他方式的实施例也可能同样的完成本申请中的专利技术意图。应当理解，附图未按比例绘制。其中：图1示出了根据本申请的一些实施例所示的同时定位与建图的系统；图2示出了根据本申请的一些实施例所示的同时定位与建图的方法的流程图；图3示出了根据本申请的一些实施例所示的基于多虚拟针孔相机模型去畸变的示意图；图4示出了根据本申请的一些实施例所示的去畸变后的鱼眼图；图5示出了根据本申请的一些实施例所示的构建地图点的示意图；图6示出了根据本申请的一些实施例所示的原始鱼眼帧和去畸变后的鱼眼帧。具体实施方式以下描述提供了本申请的特定应用场景和要求，目的是使本领域技本文档来自技高网...

【技术保护点】
1.一种同时定位与建图的方法，其特征在于，所述方法包括：/n通过双目大视场相机获取左视场图像和右视场图像；/n基于第一多虚拟针孔相机模型，得到所述左视场图像对应的左去畸变图像；/n基于第二多虚拟针孔相机模型，得到所述右视场图像对应的右去畸变图像；/n基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图；/n其中，所述第一多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的左侧相机的相机中心重合；/n所述第二多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的右侧相机的相机中心重合。/n

【技术特征摘要】
1.一种同时定位与建图的方法，其特征在于，所述方法包括：
通过双目大视场相机获取左视场图像和右视场图像；
基于第一多虚拟针孔相机模型，得到所述左视场图像对应的左去畸变图像；
基于第二多虚拟针孔相机模型，得到所述右视场图像对应的右去畸变图像；
基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图；
其中，所述第一多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的左侧相机的相机中心重合；
所述第二多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的右侧相机的相机中心重合。


2.如权利要求1所述的同时定位与建图的方法，其特征在于，所述方法进一步包括：使所述双目大视场相机的左侧相机和右侧相机的光轴平行。


3.如权利要求1所述的同时定位与建图的方法，其特征在于，基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图，包括：
确定所述左去畸变图像和所述右去畸变图像互相匹配的特征点；
基于所述互相匹配的特征点构建地图。


4.如权利要求3所述的同时定位与建图的方法，其特征在于，所述确定所述左去畸变图像和所述右去畸变图像互相匹配的特征点，包括：
确定所述左去畸变图像中的特征点在所述右去畸变图像中对应的极线；
在所述极线上搜索与所述左去畸变图像中的特征点匹配的特征点；
其中，所述极线为多线段折线。


5.如权利要求3所述的同时定位与建图的方法，其特征在于，所述基于所述互相匹配的特征点构建地图，包括：
基于所述左去畸变图像中的特征点和所述双目大视场相机的左侧相机的相机中心，确定第一特征点对应的方向向量；
基于所述右去畸变图像中匹配的特征点和所述双目大视场相机的右侧相机的相机中心，确定第二特征点对应的方向向量；
基于所述双目大视场相机的基线，对...

【专利技术属性】
技术研发人员：王亚慧，蔡少骏，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京;11