基于网格分割与双地图耦合的机器人RGB-DSLAM方法技术

一种基于网格分割与双地图耦合的RGB

【技术实现步骤摘要】
基于网格分割与双地图耦合的机器人RGB
‑
D SLAM方法


[0001]本专利技术涉及一种室内动态环境的移动机器人视觉同步定位与建图方法。

技术介绍

[0002]同时定位与地图构建(simultaneous localization and mapping,SLAM)是移动机器人实现自主导航和完成复杂环境交互任务的基础，使得机器人可以在未知环境中一方面确定自身位置，另一方面构建场景的地图。RGB
‑
D(RGB
‑
Depth)相机可以直接采集到彩色和深度图像且成本较低，因此基于RGB
‑
D相机的视觉 SLAM系统被广泛应用于室内移动机器人等领域。实际室内场景中常常包含各种运动物体，对SLAM系统形成位姿估计和地图构建两方面的干扰。
[0003]现有的视觉SLAM系统大部分都假设场景为静态，并根据这一假设简化位姿估计。这些SLAM算法将动态特征点加入位姿计算，在稀疏点云地图中生成对应的错误地图点，使位姿估计产生偏差。因此，需要一种有效的方法区分动态特征或区域。运动物体还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网格分割与双地图耦合的机器人RGB
‑
D SLAM方法，其特征在于，所述方法包括以下步骤：步骤1：对RGB
‑
D相机拍摄的图像，提取并匹配灰度图像中的ORB特征点，基于单应变换原理对图像进行单应运动补偿，并使用根据光流理论设计的双向补偿光流法来识别图像中的动态特征点；步骤2：将输入的图像划分为矩形网格区域，将动态特征点转换为动态区域表示，并根据几何连通性和深度值聚类方法优化动态区域，得到最终的网格化运动分割图像；步骤3：根据网格分割对当前帧中的特征点运动性质做出判断，初始化稀疏点云地图，利用最小化重投影误差的方式计算当前帧去除动态影响的相机位姿；步骤4：结合相机位姿、RGB
‑
D图像、网格化运动分割图像，构建场景的静态八叉树地图；步骤5：逐步构建场景的稀疏点云地图，在这一过程中结合八叉树地图进行双地图耦合，在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点，更新稀疏点云地图，保障定位精度。2.如权利要求1所述的基于网格分割与双地图耦合的机器人RGB
‑
D SLAM方法，其特征在于，所述步骤1的过程如下：步骤1.1：对由RGB
‑
D相机拍摄的图像，提取灰度图像中的ORB特征点并进行特征匹配；步骤1.2：首先求解单应矩阵，单应矩阵描述两个平面之间的映射关系，单应变换前后点的坐标对应关系由式(1)计算，在图像包含明确前景和背景且运动前景不占据画面的绝大部分像素的情形下，单应变换可以补偿由于相机自身运动引起的图像背景变化；x
t+1
＝H
t+1,t
x
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，H
t+1,t
为第t帧到第t+1帧之间的3
×
3单应矩阵，x
t
和x
t+1
分别为第t帧和第t+1帧之间的对应点的齐次坐标，由于x
t
和x
t+1
为齐次坐标，该等式为齐次坐标等式，即等式两边乘以任意非0的常数仍然成立，将式(1)表示为(2)的形式；其中，x
t
＝[x
t y
t 1]
T
，x
t+1
＝[x
t+1 y
t+1 1]
T
，h
11
至h
33
为单应矩阵H
t+1,t
各元素，k为任意非0常数；两帧图像的单应矩阵计算依赖两帧之间的对应点信息，由于实际图像中的特征点对不可能全部满足同一刚体透视变换，使用LMedS方法确定参与单应矩阵计算的内点，使用LMedS方法迭代求解单应矩阵；其中，(x
i,t
,y
i,t
)和(x
i,t+1
,y
i,t+1
)分别为第i个t帧和t+1帧中的对应坐标，Median表示取所有数据样本的中值；如式(3)，将变换后坐标和与实际对应坐标之间的像素距离作为误差项，LMedS的求解使得选出点集误差的中值最小化；所需的两帧之间的对应点信息，通过光流法求得；将第t帧中提取的ORB特征点利用
Lucas
‑
Kanade稀疏光流法向第t+1帧追踪得到对应点位置；步骤1.3：提出基于光流原理的双向补偿光流法，步骤1.2已经对前后两帧t与t+1进行前向光流计算，根据对应点信息计算单应矩阵，对第t帧图像应用该单应变换得到补偿图像，此时从第t+1帧向补偿图像做反向光流追踪得到消除干扰的反向光流场；在双向补偿光流过程中，记第t帧的时刻为t，t时刻位于(x,y)处的像素，在t+dt时刻运动到(x+dx,y+dy)处，根据光流法中的灰度不变假设，有前向光流灰度关系式(4)，其中I(x,y,t)表示t时刻(x,y)处的像素灰度，前向光流的意义主要在于建立前后两帧之间的对应点联系，计算单应矩阵；I(x+dx,y+dy,t+dt)＝I(x,y,t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)I(x
b
,y
b
,t)＝I(x+dx,y+dy,t+dt)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)反向光流过程中，由t+dt时刻的像素位置(x+dx,y+dy)在经单应补偿的t时刻图像中计算得到对应点位置(x
b
,y
b
)，用I(x
b
,y
b
,t)表示该时刻和位置的像素灰度，有反向光流灰度关系式(5)；前向光流的光流矢量为式(6)，反向光流的光流矢量定义为该过程中原本光流失量的相反矢量，如式(7)；v
forward
＝(x+dx,x+dy)
‑
(x,y)＝(dx,dy)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，v
forward
为前向光流矢量，v
backward
为反向光流矢量；两个矢量的差值(x
–
x
b
,y
‑
y
b
)表征了单应运动补偿对于相机自身运动引起的背景运动的补偿，使得v
backward
接近于运动前景的位移；在计算t帧和t+1帧之间的反向光流场1的基础上，同理计算t帧和t+2帧之间的反向光流场2并对比分析两个光流场中的光流失量；按以下条件判断特征点是否做稳定的运动：1)两个矢量的模均大于一定阈值δ；2)场2中矢量的模大于场1中对应矢量模；3)两矢量的夹角小于180
°
，即内积大于0；以上条件表述为式(8)，v1和v2分别为两个光流场中的对应光流矢量，δ选取为一个极小的值，受运动程度影响小。3.如权利要求2所述的基于网格分割与双地图耦合的机器人RGB
‑
D SLAM方法，其特征在于，所述步骤2的过程如下：步骤2.1：将输入的图像划分为20
×
20的矩形网格区域，通过网格划分将动态特征点转换为动态区域，将含有动态特征点的区块标记为疑似动态区块，同时对每个矩形区域内的动态特征点数量进行计数；
步骤2.2：在得到的动态区域结果基础上，基于几何连通性处理其中的孤立区块与被包围区块；若某动态区块孤立且动态特征点计数少于设定阈值，则标记该区块为静止；若某静态区块被较多动态区块包围，则标记该区块为运动；步骤2.3：将深度图像降采样至20
×
2...

【专利技术属性】
技术研发人员：艾青林，王威，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：