一种基于卷帘相机的高频视觉里程计方法技术

本发明专利技术公开了一种基于卷帘相机的高频视觉里程计方法，该方法包括：通过卷帘相机组获取不同视角的卷帘畸变图像；在卷帘畸变图像行上获取跟踪点，在上一帧图像上寻找最佳匹配点；得到各相机行图像上匹配好的像素点，通过对极约束估计相机组当前行位姿；在关键帧上对每行特征点进行深度滤波，传入新一帧卷帘图像，计算特征点在新帧的卷帘对极曲线，在当前帧卷帘对极曲线搜索获得最佳匹配位置；根据几何关系使用三角测量方法恢复特征点单次测量的深度和不确定性；对相机特征点上一状态深度和当前测量的深度融合，待重建帧上的特征点深度收敛后将特征点加入地图，优化相机位姿

【技术实现步骤摘要】
一种基于卷帘相机的高频视觉里程计方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于卷帘相机的高频视觉里程计方法
。

技术介绍

[0002]同时定位与地图构建
(Simultaneous Localization and Mapping
，
SLAM)
是指搭载特定传感器的机器人，在一个未知环境中运动时构建环境地图，并同时估计其自身的运动
。
选用相机作为传感器的视觉
SLAM(VSLAM)
，由于其成本较低
、
图像分辨率较高并且可以构建较为稠密的地图，在增强现实
/
虚拟现实
(AR/VR)、
三维重建
、
自动驾驶
、
路径规划
、
智能机器人
、
无人机等领域中具有重要作用
。
大多数相机分为全局相机和卷帘相机，卷帘相机因为其成本较低被广泛用于消费级电子产品中，不同于全局相机同时曝光所有像素，卷帘相机的像素采用逐行曝光的方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于卷帘相机的高频视觉里程计方法，其特征在于，包括以下步骤：
S1、
通过卷帘相机组获取当前环境不同视角的卷帘畸变图像，并同步获取同一时刻卷帘相机组同时曝光的图像行索引；
S2、
在当前卷帘畸变图像行上获取跟踪点，对卷帘畸变图像去畸变，通过旋转补偿重建上一帧图像行块，在重建图像行上寻找最佳匹配点；
S3、
根据步骤
S2
得到各卷帘相机同时曝光的行图像上匹配好的最佳匹配点，通过对极约束，估计初始卷帘相机组图像行位姿；
S4、
在关键帧上对每行特征点进行深度滤波，新一帧的卷帘图像传入，利用帧间行图像位姿计算当前帧上极线方程的参数矩阵，通过最小二乘优化方法构建卷帘对极曲线，搜索以获得特征点在当前帧的最佳匹配点位置；
S5、
根据特征点及其最佳匹配点所满足的对极几何约束使用三角测量方法恢复特征点单次测量的深度和不确定性；
S6、
对相机特征点上一状态最优深度和当前测量的深度融合，待重建行上的特征点深度收敛后将特征点加入地图，最小化重投影误差得到优化卷帘相机组图像行位姿
。2.
根据权利要求1所述的基于卷帘相机的高频视觉里程计方法，其特征在于，所述卷帘相机组包括多个卷帘相机，多个所述卷帘相机放置在不同方向上，且每个所述卷帘相机都与其他至少一个卷帘相机有重叠视野，所述卷帘相机之间在
x、y、z
三个方向上都有旋转和平移，且偶数卷帘相机在图像平面上旋转
90
°
。3.
根据权利要求1所述的基于卷帘相机的高频视觉里程计方法，其特征在于，所述获取同一时刻卷帘相机组同时曝光的图像行索引，具体包括：为每个卷帘相机安装一个以固定频率闪烁的
LED
灯，且灯光占据卷帘相机的整个视野，比较前后两帧卷帘相机行图像的平均灰度值的差值，若该差值超过预设的光度阈值则，表示
LED
灯闪烁时当前帧当前行正在被曝光，返回当前行的图像行索引，即为同一时刻卷帘相机组同时曝光的图像行索引
。4.
根据权利要求1所述的基于卷帘相机的高频视觉里程计方法，其特征在于，所述步骤
S2
具体包括：计算卷帘畸变图像行的灰度梯度，将梯度变化最大的前多个点作为行图像的跟踪点；在相机坐标系下，使用布朗径向畸变模型的前两个参数
k1和
k2，对径向畸变的行图像进行建模，将归一化平面上的畸变点
p
cdistorted
＝
[x
d
,y
d
,1]
T
进行去畸变，得到原始点
p
c_undistorted
＝
[x
u
,y
u
,1]
T
；每传入一行新图像
Row
t
，对行图像上的跟踪点进行畸变矫正，卷帘图像同一行具有相同的
y
d
，但不同的
x
d
对应空间中不同的
y
u
位置，即卷帘畸变图像行经过去畸变，还原到原始图像上为一条曲线；从前一帧中提取行图像
Row
i
，其旋转为
R
i
，先利用单应矩阵对相机图像进行旋转补偿，再去畸变重建行图像，其中，对于传入的图像
Row
t
指定参考行
Row
j
，以其旋转
R
j
来代替当前行图像的旋转，当
Row
t
与
Row
j
之间的旋转超过设置的旋转阈值时，将当前行更新为新的参考行；根据给定的相机内参矩阵
K
，确定行图像
Row
j
和行图像
Row
i
之间的单应变换关系，其表达式为
H
j,i
＝
KR
j
R
iT
K
‑1，并基于该表达式对上一帧图像上的像素行进行单应变换，利用当前行图像的跟踪点在上一帧图像中进行块匹配：在跟踪点两侧各取长度为
L
的图像块
A
，然后
在上一帧图像的重建行上灰度梯度最大的前
N
个点两侧也取同样长度的图像块
B
i
,i
＝
1,2,...,N
，并计算两个图像块的相似度，选取相似度最大的两个图像块作为匹配图像块，得到最佳匹配点
。5.
根据权利要求4所述的基于卷帘相机的高频视觉里程计方法，其特征在于，所述布朗径向畸变模型的表达式为：
x
d
＝
x
u
(1+k1r2+k2r4)y
d
＝
y
u
(1+k1r2+k2r4)
其中，
x
d
表示畸变点在
x
方向上的坐标，
y
d
表示畸变点在
y
方向上的坐标，
x
u
表示原始点在
x
方向上的坐标，
y
u
表示原始点在
y
方向上的坐标，
r
表示该原始点到图像中心的距离；所述两个图像块的相似度的计算公式为：其中，
S(A,B)
NCC
表示图像块
A
和图像块
B
的相似度，
A(i,j)
表示图像块
A
的灰度矩阵中第
i
行第
j
列的像素点灰度值，表示图像块
A
的灰度均值，
B(i,j)
表示图像块
B
的灰度矩阵中第
i
行第
j
列的像素点灰度值，表示图像块
B
的灰度均值
。6.
根据权利要求1所述的基于卷帘相机的高频视觉里程计方法，其特征在于，所述步骤
S3
具体包括：令
n
ξ
cam
∈SE(3)
表示卷帘相机
n
相对于卷帘相机组中心坐标系的相对位姿，即卷帘相机组中心到卷帘相机
n
的相对位姿，固定不变，通过外参校准获取；设
3D
世界点
P
W
＝
[x
W
,y
W
,z
W
,1]
T
，在
t1时刻和
t2时刻在卷帘相机
n
坐标系下的坐标分别为
P(n,t1)
＝
[x1,y1,z1,1]
T
，
P(n,t2)
＝
[x2,y2,z2,1]
T
，有：
P(n,t1)
＝
n
ξ
camcam
ξ
W
(t1)P
W
其中，
cam
ξ
W
表示卷帘相机组中心相对于世界坐标系的相对位姿，代替
cam
ξ
W
(t2)
cam
ξ
W
‑1(t1)
，表示从
t1时刻到
t2时刻卷帘相机组的位姿变化，
cam
ξ
W
(t1)
表示
t1时刻卷帘相机组相对于世界坐标系的位姿，
cam
ξ
W
(t2)
表示
t2时刻卷帘相机组相对于世界坐标系的位姿，
cam
ξ
n
表示卷帘相机组相对于卷帘相机
n
的相对位姿，
n
ξ
cam
表示卷帘相机
n
...

【专利技术属性】
技术研发人员：沈英，李晨，胡明南，陈博，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：