一种全景视觉SLAM建图方法技术

本发明专利技术公开了一种全景视觉SLAM建图方法，目的是提高视觉SLAM建图的精度和效率，涉及全景视觉图像技术领域，包括以下步骤：全景摄像机标定，将全景图和空间转化为理想球面成像模型；通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；通过运动姿态估计，对全景图像序列进行姿态矫正；对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配；通过对相机位移进行估计和对空间特征点进行定位实现局部建图；进行回环检测，实现全局建图优化，实现了高精度高效率的全景视觉SLAM方法。的全景视觉SLAM方法。的全景视觉SLAM方法。

【技术实现步骤摘要】
一种全景视觉SLAM建图方法


[0001]本专利技术涉及全景视觉图像
，具体涉及一种全景视觉SLAM建图方法。

技术介绍

[0002]全景视频是一种新兴的数据形态，特别是全景720
°
随着监控安防以及VR 行业的发展，各个行业的全景数据量也急剧增长。同时定位与地图构建SLAM 是目前视觉空间感知领域一个重要的技术实现方式，通过对视觉的原始数据采集，可以通过图像数据特征处理提取获得画面内容深度信息并通过定位和地图构建实现机器人自主导航环境感知的目的。
[0003]视觉SLAM研究主要分为三大类：单目、双目或多目、RGBD。另外通过结合惯性测量器件IMU的视觉SLAM也是现在研究应用的重要方向。这些主流SLAM 架构采用传统框幅式的相机或摄像机作为视觉信息获取装备。传统的单目SLAM 视场狭窄，视觉尺度估计精度需要特定的扫描路径来满足；传统双目SLAM视差同样比较狭窄，容易造成局部成像区域信息较少时相关信息跟踪匹配丢失，故而有低精度低效率的缺点，故而传统的纯视觉的SLAM方法在实际应用过程中受到很大限制。

技术实现思路

[0004]本专利技术公开了一种全景视觉SLAM建图方法，目的是提高视觉SLAM建图的精度和效率。
[0005]为了实现以上目的，本专利技术采取以下方案：
[0006]一种全景视觉SLAM建图方法，包括以下步骤：
[0007]步骤S1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；
[0008]步骤S2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；
[0009]步骤S3：通过3D
‑
2D图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；
[0010]步骤S4：对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配，关键帧的作用为标识当前帧的姿态信息；
[0011]步骤S5：通过对相机位移进行估计和对空间特征点进行定位实现局部建图；
[0012]步骤S6：进行回环检测，实现全局建图优化。
[0013]优选地，所述步骤S1中，所述将全景图像转化为理想球面成像模型的方法为，将所述全景图上的所有点P(x，y)转化为理想球面上的点P
′
(lon，lat)：
[0014][0015][0016]所述将空间转化到理想球面成像模型的方法为，将空间中的所有点转化为理想球面上的点p
′
(lon，lat)：
[0017][0018]其中，width为图像宽度，height为图像高度，f
θ
，c
θ
由摄像机固有参数标定。
[0019]优选地，所述步骤S2中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点P1(x1，y1)转换为理想球面上的点 P1
′
(lon，lat)：
[0020][0021][0022][0023][0024][0025]其中，width为图像宽度，height为图像高度。
[0026]优选地，所述步骤S3中，所述运动姿态估计的方法为：
[0027]所述理想球面上的点P
’
(lon0，lat0)经过图像转动得到P
’
(lon1，lat1)，P
’ꢀ
(lon1，lat1)与P
’
(lon0，lat0)进行图像特征点跟踪或特征点匹配，采用最小二乘法或梯度下降法或牛顿法得到转动矩阵R1。
[0028]优选地，所述步骤S5中，所述对相机位移进行估计和对空间特征点进行定位的方法采用三角定位法。
[0029]优选地，所述步骤S6中，所述回环检测的方法为，将一个关键帧作为当前关键帧与前一个关键帧进行匹配，匹配方法为：两个关键帧之间的多个帧为间隔帧，依次计算每个间隔帧距离前一帧的位移求和得到两个关键帧经过多个间隔帧之间的累计位移T
n
，计算直接匹配两个关键帧得到的位移T
m
，T
n
和T
m
的差值代表误差。
[0030]本专利技术的有益效果如下：本专利技术通过全景的图像采集，对图像的连续性可以进行精准的姿态估计，从而获得漂移更小的运动估计，提升视觉SLAM系统建图精度和效率；进行
cube表达可以消除全景屏幕图像中畸变显示造成的特征点检测误差；采用最小二乘法或梯度下降法或牛顿法进行姿态估计也具有很高的准确性；最后还通过回环检测确定建图的准确性，对精确度有更进一步的保障。
附图说明
[0031]图1为实施例1的流程示意图；
[0032]图2为实施例1中全景图像转化为理想球面成像模型的结构示意图；
[0033]图3为实施例1中图像经过旋转的结构示意图；
[0034]图4为实施例1中对特征点位置估计的示意图。
具体实施方式
[0035]实施例1
[0036]参阅图1，一种全景视觉SLAM建图方法，包括以下步骤：
[0037]步骤S1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；
[0038]在步骤S1中，将全景图像转化为理想球面成像模型的方法为，参阅图2，将所述全景图上的所有点P(x，y)按照以下公式转化为理想球面上的点P
′ꢀ
(lon，lat)：
[0039][0040][0041]所述将空间转化到理想球面成像模型的方法为，将空间中的所有点按照以下公式转化为理想球面上的点p
′
(lon，lat)：
[0042][0043]其中，width为图像宽度，height为图像高度，f
θ
，c
θ
由摄像机固有参数标定即在全景相机标定中完成该参数的标定。
[0044]步骤S2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；其中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点P1 (x1，y1)转换为理想球面上的点P1
′
(lon，lat)：
[0045][0046][0047][0048][0049][0050]其中，width为图像宽度，height为图像高度。
[0051]步骤S3：通过3D
‑
2D图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；在这一步中，本实施例采取的运动姿态估计的方法为：
[0052]图像经过旋转产生了姿态变化，转动矩阵为R1，所述理想球面上的点P
’ꢀ
(lon0，lat0)经过图像转动得到P
’
(lon1，lat1)，P
’
(lon1，lat1)与P...

【技术保护点】

【技术特征摘要】
1.一种全景视觉SLAM建图方法，其特征在于，包括以下步骤：步骤S1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；步骤S2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；步骤S3：通过3D
‑
2D图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；步骤S4：对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配，关键帧的作用为标识当前帧的姿态信息；步骤S5：通过对相机位移进行估计和对空间特征点进行定位实现局部建图；步骤S6：进行回环检测，实现全局建图优化。2.根据权利要求1所述的一种全景视觉SLAM建图方法，其特征在于，所述步骤S1中，所述将全景图像转化为理想球面成像模型的方法为，将所述全景图上的所有点P(x,y)转化为理想球面上的点P'(lon,lat)：理想球面上的点P'(lon,lat)：所述将空间转化到理想球面成像模型的方法为，将空间中的所有点转化为理想球面上的点p'(lon,lat)：其中，width为图像宽度，height为图像高度，f
θ
,c
θ
由摄像机固有参数标定。3.根据权利要求1所述的一种全景视觉SLAM建图方法，其特征在于，所述步骤S2中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点P1(x1,y1)转换为理想球面上的点P...

【专利技术属性】
技术研发人员：胡丽玉，胡自航，胡志发，
申请(专利权)人：成都易瞳科技有限公司，
类型：发明
国别省市：