一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法技术

本发明专利技术公开了一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，包括以下步骤：（1）标定摄像机内部和外部参数；（2）输入若干个鱼眼图像，如果系统尚未进行初始化，通过双针孔投影模型将输入图像校正为合适的双针孔透视图像，并且在每个视图的校正图像上提取特征；（3）结合摄像机外部参数将地图点转换到每个视图进行特征跟踪和匹配；（4）固定局部地图的地图点进行多视图姿态优化，更新估计的主体姿态；（5）联合局部地图的所有位姿和地图点进行多视图捆绑调整(bundle adjustment,BA)优化；（6）采用双向对称的查询方式，保证正、反向经过同一场景时都能正确检测到回环，回环检测成功后进行回环校正。

【技术实现步骤摘要】
一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法
本专利技术属于计算机视觉
，涉及一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法。
技术介绍
随着无人驾驶的发展，针对特定场景的自主代客泊车系统(autonomousvaletparkingsystems,AVPS)被认为最有希望早日实现商业落地，因此，被国内外各大车企和无人驾驶科技公司当成重点发展对象。其中，同时定位与地图构建(simultaneouslocalizationandmapping,SLAM)技术作为实现自主定位的关键技术被应用于AVPS，特别是视觉SLAM(visualSLAM,vSLAM)越来越受欢迎，因为相比差分GPS、激光雷达等其他替代品，相机具有成本低、无源传感、丰富的环境信息等优点。视觉SLAM已经被研究了几十年，目前主要有单目SLAM、双目SLAM和RGBDSLAM。单目SLAM硬件配置简单，但视野有限，真实尺度无法估计，如ORB-SLAM[Mur-ArtalR,MontielJMM,TardosJD.ORB-SLAM:aVersatileandA本文档来自技高网...

【技术保护点】
1.一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，其特征在于，包括以下步骤：/n(1)标定摄像机内部和外部参数，其中摄像机内部参数是指标定所使用的鱼眼相机模型中涉及的所有参数，外部参数是指从摄像机坐标系到多相机系统模型中主体坐标系的刚性变换所涉及到的参数；/n(2)输入若干个鱼眼图像，如果系统尚未进行初始化，首先利用双针孔投影模型和双目测距原理完成多目SLAM初始化；/n(3)如果已经完成初始化，通过双针孔投影模型将输入图像校正为合适的双针孔透视图像，并且在每个视图的校正图像上提取特征；/n(4)利用运动模型或重定位估计初始的主体位姿，结合摄像机外部参数将地图点转换到每个视图进行特征跟踪...

【技术特征摘要】
1.一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，其特征在于，包括以下步骤：
(1)标定摄像机内部和外部参数，其中摄像机内部参数是指标定所使用的鱼眼相机模型中涉及的所有参数，外部参数是指从摄像机坐标系到多相机系统模型中主体坐标系的刚性变换所涉及到的参数；
(2)输入若干个鱼眼图像，如果系统尚未进行初始化，首先利用双针孔投影模型和双目测距原理完成多目SLAM初始化；
(3)如果已经完成初始化，通过双针孔投影模型将输入图像校正为合适的双针孔透视图像，并且在每个视图的校正图像上提取特征；
(4)利用运动模型或重定位估计初始的主体位姿，结合摄像机外部参数将地图点转换到每个视图进行特征跟踪和匹配；
(5)固定局部地图的地图点进行多视图姿态优化，更新估计的主体姿态；
(6)完成多关键帧插入、新地图点生成和局部地图更新后，联合局部地图的所有位姿和地图点进行多视图捆绑调整(bundleadjustment,BA)优化；
(7)针对多视图的特点，采用双向对称的查询方式，保证正、反向经过同一场景时都能正确检测到回环，回环检测成功后进行回环校正。


2.根据权利要求1所述的一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，其特征在于，所述步骤(1)中，在多相机系统模型引入主体坐标系，主体坐标系是表示多相机系统绝对位姿的中间坐标系，既将每个摄像机的观测值单独分开，同时将所有观测值组合为一个观测方程式；多相机系统模型包含三种坐标系：世界坐标系(world)、主体坐标系(body)和相机坐标系(camera)，并且将坐标系标记在符号的右下角，其数学表达式如下：



其中，刚性变换T在三维空间R3中被参数化为轴角旋转矢量r和平移矢量t，它将3D点X转换为T*X＝R(r)X+t，R(r)为r的3×3旋转矩阵，*表示变换的组成，表示在时刻t从主体坐标系b到第i个相机坐标系ci的刚性变换，表示在时刻t从世界坐标系w到主体坐标系b的刚性变换，分别表示在时刻t相机坐标系c和世界坐标系w下的一个点。


3.根据权利要求1所述的一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，其特征在于，步骤(2)中，所述若干个鱼眼图像是经过时间同步的同一时刻的若干个图像，并且来自相邻摄像机的图像之间存在重叠区域。


4.根据权利要求1所述的一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，其特征在于，步骤(2)中，所述双针孔投影模型包含两部分，每个部分都是独立的针孔模型，各自的成像平面相交形成一定的夹角，交线是投影平面的分界线，从而确保视图之间的重叠区域是透视的，并且在工程上易于实现，双针孔投影模型的数学表达式如下：
x＝KRpcXc,
其中，Xc为相机坐标系下的3D点，x为投影平面上的像素坐标，K为针孔相机的内参矩阵，Rpc为从相机坐标系到投影平面坐标系p的3×3旋转矩阵。


5.根据权利要求1所述的一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，其特征在于，所述步骤(2)的初始化是利用摄相机外部参数结合双针孔投影模型，对视图间的重叠区域进行立体校正，通过立体匹配策略来执行视图间的特征匹配，然后对所有的匹配特征点对进行三角测量，生成初始地图。


6.根据权利要求1所述的一种基于多鱼眼摄像机和双针孔投影模型的SLAM方法，其特征在于，所述步骤(4)中，所述特征跟踪和匹...

【专利技术属性】
技术研发人员：李涛，哀薇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44