一种基于RGBD相机的自适应里程计与优化关键帧选择方法技术

本发明专利技术涉及计算机视觉技术领域，具体的说是一种基于RGBD相机的自适应里程计与优化关键帧选择方法，包括以下步骤，通过深度相机获取彩色图M和深度图D，计算彩色图的模糊程度与深度图不确定度，采用点到平面ICP与直接法通过自适应加权计算当前帧到关键帧相对位置，判断当前帧是否满足创建关键帧条件，满足则转置步骤4)否则返回步骤1)，采用图形学方法补全当前帧深度图D，得到补全后的深度图，利用步骤5)补全的深度图作为参考将上一关键帧和当前帧之间通过RGB

【技术实现步骤摘要】
一种基于RGBD相机的自适应里程计与优化关键帧选择方法


[0001]本专利技术涉及一种自适应里程计与优化关键帧选择方法，具体为一种基于RGBD相机的自适应里程计与优化关键帧选择方法，属于计算机视觉


技术介绍

[0002]近年来随着计算机、机器人技术、人工智能技术的不断发展，各种高智能的机器设备孕育而生，为了使各种机器设备实现自主运动环境感知，机器设备需要实时获取周围环境以及自身位置。为解决上述问题同步定位和地图重构(SLAM)受到广大研究学者的关注，SLAM通过激光雷达、视觉、IMU等传感器构建增量地图并且定位传感器位置，广泛应用于自动驾驶、虚拟现实、增强现实、无人机等领域。
[0003]视觉SLAM前端是系统能否成功对相机进行跟踪的关键，一个健壮的前端系统能够极大程度较小系统累计误差并使后端能够收敛到最优结果，构造高精度的场景地图。传统SLAM通常采用激光雷达作为传感器获取目标点云信息，但是激光雷达价格高昂交互性差并且舍弃了大量纹理信息，随着微软推出的首款消费级深度相机Kinect，将深度相机作为传感器的SLAM研究逐渐成为主流。
[0004]传统的基于RGB
‑
D相机的SLAM定位通常是基于关键帧，利用点到平面ICP(Iterative Closest Point)联合优化图像强度信息计算帧间相对运动，但是深度误差项和强度误差项往往采用固定权重并未考虑图片质量，关键帧的选取也是通过经验或者是随机选取，或者是采用尽量多选取的原则，在实际应用中由于相机抖动、快速运动、光照、物体材质、拍摄角度等都将影响彩色图和深度图质量，采用固定权重则会引入大量错误信息，并且传统的关键帧选择策略可能会选取的低质量的关键帧，并且只通过关键帧作为参考建图与定位忽略了大量普通帧信息同时会由于关键帧深度图的缺失导致建图不完整甚至定位失败。
[0005]有鉴于此特提出本专利技术。

技术实现思路

[0006]本专利技术的目的就在于为了解决上述问题而提供一种基于RGBD相机的自适应里程计与优化关键帧选择方法，。
[0007]本专利技术通过以下技术方案来实现上述目的，一种基于RGBD相机的自适应里程计与优化关键帧选择方法，包括以下步骤：
[0008]1)通过深度相机获取彩色图M和深度图D；
[0009]2)计算彩色图的模糊程度与深度图不确定度；
[0010]3)采用点到平面ICP与直接法通过自适应加权计算当前帧到关键帧相对位置；
[0011]4)判断当前帧是否满足创建关键帧条件，满足则转置步骤4)否则返回步骤1)；
[0012]5)采用图形学方法补全当前帧深度图D，得到补全后的深度图；
[0013]6)利用步骤5)补全的深度图作为参考将上一关键帧和当前帧之间通过RGB
‑
D相机
获取的深度图与当前帧深度图进行自适应加权融合，创建并更新关键帧；
[0014]7)输出融合后的深度图和彩色图作为关键帧。
[0015]进一步的，在步骤2)中，计算彩色图的模糊程度采用The Blur Effect:Perception and Estimation with a New No
‑
Reference Perceptual Blur Metric中提出的方法计算彩色图M的模糊程度，流程如下，分别利用水平卷积核和垂直卷积核,对M进行水平和垂直模糊，水平模糊B
Ver
＝h
v
*M，垂直模糊B
Hor
＝h
h
*M，分别计算原图像和水平和竖直模糊图片的绝对差分图D_M
Ver
，D_M
Hor
,D_B
Ver
,D_B
Hor
[0016]其中:
[0017]D_M
Ver
(i,j)＝|M(i,j)
‑
M(i
‑
1,j)|
[0018]D_M
Hor
(i,j)＝|M(i,j)
‑
M(i,j
‑
1)|
[0019]D_B
Ver
(i,j)＝|B
Ver
(i,j)
‑
B
Ver
(i
‑
1,j)|
[0020]D_B
Hor
(i,j)＝|B
Hor
(i,j)
‑
B
Hor
(i,j
‑
1)|；
[0021]获取原图与模糊图片的差分图片中水平与垂直方向上对应像素点差值分别构造水平与垂直方向差分图V
Ver
,V
Hor
.
[0022]V
Ver
＝Max(0,D_M
Ver
(i,j)
‑
D_B
Ver
(i,j))
[0023]V
Hor
＝Max(0,D_M
Ver
(i,j)
‑
D_B
Hor
(i,j))；
[0024]分别计算原始差分图像和模糊后差分图像像素差值之和，
[0025][0026][0027][0028][0029]计算彩色图M的模糊程度，
[0030][0031]进一步的，在步骤2)中，计算深度图不确定度的方式为：
[0032]对于深度传感器获取的深度图样本，使用传感器模型和经验模型分别计算深度图的纵向不确定度，横向不确定度和表面不确定度，
[0033]计算纵向不确定度
[0034][0035]式中d表示该点的深度，f为以像素为单位的焦距，b表示以米为单位的基线长度，m
表示立体匹配误差设置为0.1，
[0036]计算表面不确定度
[0037][0038]式中k表示对应点的k,d和d
i∈k
分别表示该点以及邻域内的深度值，n表示邻域内深度值有效点的个数，
[0039]计算横向不确定度
[0040][0041]式中θ表示该点和关键帧对应点偏转角，∈为设定阈值平衡不确定度和偏转角之间关系，
[0042]计算最终获取的深度图对应点不确定，度为δ
f
＝δ
z
δ
s
δ
m
。
[0043]进一步的，在步骤3)中，具体方法为：定义点到平面ICP能源函数E
geo
，通过RGB
‑
D相机获取的最新深度图数据与关键帧深度数据构造约束，寻找最优位姿矩阵T
f
最小化点到平面的误差成本项，
[0044][0045]式中表示关键帧顶点坐标，T
f
为位姿代求位姿更新量，T
pre
为上一迭代过程估计的位姿初始化为根据匀速运动模型求得ρ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGBD相机的自适应里程计与优化关键帧选择方法，其特征在于，包括以下步骤：1)通过深度相机获取彩色图M和深度图D；2)计算彩色图的模糊程度与深度图不确定度；3)采用点到平面ICP与直接法通过自适应加权计算当前帧到关键帧相对位置；4)判断当前帧是否满足创建关键帧条件，满足则转置步骤4)否则返回步骤1)；5)采用图形学方法补全当前帧深度图D，得到补全后的深度图；6)利用步骤5)补全的深度图作为参考将上一关键帧和当前帧之间通过RGB
‑
D相机获取的深度图与当前帧深度图进行自适应加权融合，创建并更新关键帧；7)输出融合后的深度图和彩色图作为关键帧。2.根据权利要求1所述的一种基于RGBD相机的自适应里程计与优化关键帧选择方法，其特征在于，在步骤2)中，计算彩色图的模糊程度采用The Blur Effect：Perception and Estimation with a New No
‑
Reference Perceptual Blur Metric中提出的方法计算彩色图M的模糊程度，流程如下，分别利用水平卷积核和垂直卷积核，对M进行水平和垂直模糊，水平模糊B
Ver
＝h
v
*M，垂直模糊B
Hor
＝h
h
*M，分别计算原图像和水平和竖直模糊图片的绝对差分图D_M
Ver
，D_M
Hor
，D_B
Ver
，D_B
Hor
其中：D_M
Ver
(i，j)＝|M(i，j)
‑
M(i
‑
1，j)|D_M
Hor
(i，j)＝|M(i，j)
‑
M(i，j
‑
1)|D_B
Ver
(i，j)＝|B
Ver
(i，j)
‑
B
Ver
(i
‑
1，j)|D
‑
B
Hor
(i，j)＝|B
Hor
(i，j)
‑
B
Hor
(i，j
‑
1)|；获取原图与模糊图片的差分图片中水平与垂直方向上对应像素点差值分别构造水平与垂直方向差分图V
Ver
，V
Hor
.V
Ver
＝Max(0，D_M
Ver
(i，j)
‑
D_B
Ver
(i，j))V
Hor
＝Max(0，D_M
Ver
(i，j)
‑
D_B
Hor
(i，j))；分别计算原始差分图像和模糊后差分图像像素差值之和，始差分图像和模糊后差分图像像素差值之和，始差分图像和模糊后差分图像像素差值之和，始差分图像和模糊后差分图像像素差值之和，计算彩色图M的模糊程度，
3.根据权利要求2所述的一种基于RGBD相机的自适应里程计与优化关键帧选择方法，其特征在于，在步骤2)中，计算深度图不确定度的方式为：对于深度传感器获取的深度图样本，使用传感器模型和经验模型分别计算深度图的纵向不确定度，横向不确定度和表面不确定度，计算纵向不确定度计算纵向不确定度式中d表示该点的深度，f为以像素为单位的焦距，b表示以米为单位的基线长度，m表示立体匹配误差设置为0.1，计算表面不确定度计算表面不确定度式中k表示对应点的k，d和d
i∈k
分别表示该点以及邻域内的深度值，n表示邻域内深度值有效点的个数，计算横向不确定度计算横向不确定度式中θ表示该点和关键帧对应点偏转角，∈为设定阈值平衡不确定度和偏转角之间关系，计算最终获取的深度图对应点不确定，度为δ
f
＝δ
z
δ
s
δ
m
。4.根据权利要求1所述的一种基于RGBD相机的自适应里程计与优化关键帧选择方法，其特征在于，在步骤3)中，具体方法为：定义点到平面ICP能源函数E
geo
，通过RGB
‑
D相机获取的最新深度图数据与关键帧深度数据构造约束，寻找最优位姿矩阵T
f
最小化点到平面的误差成本项，式中表示关键帧顶点坐标，T
f
为位姿代求位姿更新量，T
pre
为上一迭代过程估计的位姿初始化为根据匀速运动...

【专利技术属性】
技术研发人员：刘晓涛，黎千里，刘静，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：