一种适用于动态环境的制造技术

本发明专利技术公开了一种适用于动态环境的

【技术实现步骤摘要】
一种适用于动态环境的RGB
‑
D SLAM方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种适用于动态环境的
RGB
‑
D SLAM
方法
。

技术介绍

[0002]SLAM(
同时定位与地图构建
)
是一种融合计算机视觉和机器人技术的方法，用于在未知环境中实现对机器人轨迹和周围环境地图的同步估计；
SLAM
技术在自动驾驶汽车
、
无人机
、
服务机器人等领域得到了广泛应用，为智能系统提供了实时导航和路径规划的基础能力；而
RGB
‑
D SLAM
是一种基于
RGB
‑
D
传感器的同时定位与地图构建
SLAM
技术，通过整合
RGB(
彩色图像
)
和
D(
深度图像
)
，实现环境的三维重建和机器人的精确定位；与传统的单目或双目
SLAM
相比，
RGB
‑
D SLAM
在精度和稳定性方面具有显著优势，特别是在室内环境和近距离物体识别方面表现出较强的表现力
。
然而，由于传统
SLAM
算法通常基于静态环境假设，导致动态环境中的移动物体
(
如行人
、
汽车等
)
对地图构建的准确性和机器人的定位精度产生不利影响
。
[0003]为降低由动态物体引起的相机位姿估计的误差，很多研究者对动态环境下的
SLAM
做了大量的研究工作，并提出了以下几种常见的方法：
[0004]一是基于语义分割的方法，代表性的有
MaskFusion(
基于
Mask R
‑
CNN
语义分割网络的应对运动物体的
RGB
‑
D SLAM
方法
)
，这类方法利用深度学习或者其他机器学习技术，对输入的
RGB
图像进行逐像素的语义分割，从而识别出属于已知类别的动态物体，如人
、
车
、
狗等，再将分割出来的动态物体从
RGB
‑
D
数据中移除，或者赋予它们较低的权重，以减少它们对相机位姿估计和地图重建的影响；然而，这种方法的分割效果依赖于图像质量和分割算法的性能，其分割结果容易存在误差和噪声，且需要训练大量的数据集，计算成本较高，无法处理未知类别的动态物体
。
[0005]二是基于几何模型的方法，代表性的有
StaticFusion(
基于光流信息的用于动态环境中稠密
RGB
‑
D SLAM
的背景重建方法
)、SPWSLAM(
利用静态点加权来处理动态环境中
RGB
‑
D SLAM
问题的方法
)
及
EM
‑
Fusion(
利用概率数据关联来实现动态物体级别
SLAM
的方法
)
等；这类方法通常是利用多视角几何或者光流等技术，根据
RGB
‑
D
数据中的深度或者颜色变化，检测出运动或者非刚性的区域，从而分割出动态物体，再会将分割出来的动态物体从
RGB
‑
D
数据中移除，或者赋予它们较低的权重，以减少它们对相机位姿估计和地图重建的影响，该类方法不需要训练数据集，计算成本较低，且能够处理未知类别的动态物体；但是此类方法对于复杂或者遮挡严重的场景，动态物体检测的准确性和鲁棒性较差
。
[0006]三是基于相机自身运动估计的方法，代表性的有
Co
‑
Fusion(
利用不同的运动或语义线索分割背景和前景的
RGB
‑
D SLAM
方法
)、ORB
‑
SLAM3(
基于特征的紧耦合的
SLAM
系统
)
等方法，这类方法利用相机自身运动估计
(visual odometry)
作为一个中间步骤，根据相邻帧之间的特征匹配或者光度误差，检测出与相机运动不一致的区域，从而分割出动态物体，再将分割出来的动态物体从
RGB
‑
D
数据中移除，或者赋予它们较低的权重，以减少它们对相机
位姿估计和地图重建的影响，该类方法能够利用相机自身运动信息提高动态物体检测的准确性和鲁棒性，同时也能够处理未知类别的动态物体，但是需要对相机自身运动估计进行优化，计算成本较高，且对于快速或者剧烈的相机运动，动态物体检测的效果较差
。

技术实现思路

[0007]本专利技术的目的在于克服现有技术中的不足，提供一种适用于动态环境的
RGB
‑
D SLAM
方法，能够有效消除环境中的移动物体对
SLAM
技术的地图构建和定位的不利影响
。
[0008]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0009]本专利技术提供了一种适用于动态环境的
RGB
‑
D SLAM
方法，所述方法包括：
[0010]将所获取的
RGB
‑
D
相机的
RGB
图像和深度图像作为输入帧；
[0011]启动跟踪线程，基于所述输入帧和地图集，利用空间结构比较算法和对极约束一致性算法处理输入帧的特征点匹配对，计算当前帧相对于地图集中活跃子地图的位姿并筛选出新关键帧，同时创建新的地图点并结合地图点处理算法更新活跃子地图；
[0012]启动局部建图线程，将新关键帧插入到活跃子地图，结合对极约束一致性算法处理关键帧的特征点匹配对，创建新局部地图点并利用地图点处理算法和光束平差法更新优化活跃子地图；
[0013]启动回环检测与地图融合线程，对当前插入的新关键帧与地图集中各子地图的其它关键帧的公共区域进行检测，根据检测结果对活跃子地图进行回环校正或融合操作；
[0014]利用光束平差法对融合矫正后的全部活跃子地图进行全局优化后，获得相机当前帧的最终位姿及其周围环境的三维点地图
。
[0015]可选的，所述地图集包括一个活跃子地图
、
多个互不连通的休眠子地图及
DBoW3
关键帧数据库；所述
DBoW3
关键帧数据库包括特征点词典和重定位数据集，用于重定位
、
回环检测和地图融合；所述活跃子地图和休眠子地图均包括地图点集合
、
关键帧集合
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述方法包括：将所获取的
RGB
‑
D
相机的
RGB
图像和深度图像作为输入帧；启动跟踪线程，基于所述输入帧和地图集，利用空间结构比较算法和对极约束一致性算法处理输入帧的特征点匹配对，计算当前帧相对于地图集中活跃子地图的位姿并筛选出新关键帧，同时创建新的地图点并结合地图点处理算法更新活跃子地图；启动局部建图线程，将新关键帧插入到活跃子地图，结合对极约束一致性算法处理关键帧的特征点匹配对，创建新局部地图点并利用地图点处理算法和光束平差法更新优化活跃子地图；启动回环检测与地图融合线程，对当前插入的新关键帧与地图集中各子地图的其它关键帧的公共区域进行检测，根据检测结果对活跃子地图进行回环校正或融合操作；利用光束平差法对融合矫正后的全部活跃子地图进行全局优化后，获得相机当前帧的最终位姿及其周围环境的三维点地图
。2.
根据权利要求1所述的适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述地图集包括一个活跃子地图
、
多个互不连通的休眠子地图及
DBoW3
关键帧数据库；所述
DBoW3
关键帧数据库包括特征点词典和重定位数据集，用于重定位
、
回环检测和地图融合；所述活跃子地图和休眠子地图均包括地图点集合
、
关键帧集合
、
可视图和生成树；所述跟踪线程在活跃子地图上定位输入帧，局部建图线程不断优化并向活跃子地图添加新的关键帧
。3.
根据权利要求2所述的适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述跟踪线程具体包括以下步骤：通过特征点提取算法提取所述输入帧中
RGB
图像的特征点；将当前帧中的特征点与上一帧中的特征点进行匹配；根据匹配结果判断当前的跟踪状态，若跟踪丢失，则在地图集的所有子地图中重新定位当前帧或者切换活跃子地图进行跟踪，若重新跟踪定位成功，则恢复跟踪；否则，将当前活跃子地图存储为休眠子地图，并从头开始初始化一个新的活跃子地图；利用深度分类算法将匹配得到的特征点匹配对划分为深度有效的特征点匹配对和深度失准的特征点匹配对；利用空间结构比较算法剔除深度有效的特征点匹配对中的动态匹配对；根据剔除动态匹配对后的深度有效的特征点匹配对计算当前帧相对于活跃子地图的位姿；利用对极约束一致性算法剔除深度失准的特征点匹配对中的动态匹配对；基于当前帧与上一帧之间的时间间隔，判断当前帧是否成为关键帧，若是，则将当前帧设置为新关键帧；根据所述新关键帧及计算的位姿，结合剔除动态匹配对后的深度有效的特征点匹配对和深度失准的特征点匹配对创建新的地图点，并使用地图点处理算法对新地图点进行处理，以更新活跃子地图
。4.
根据权利要求3所述的适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述局部建图线程的具体包括以下步骤：向活跃子地图插入新关键帧；剔除活跃子地图中的不可追踪的地图点；
将当前新关键帧中的特征点与上一关键帧中的特征点进行特征匹配，获得关键帧特征点匹配对；利用对极约束一致性算法剔除关键帧特征点匹配对中的动态匹配对；基于剔除过的关键帧特征点匹配对创建新的局部地图点；使用地图点处理算法对新局部地图点进行处理，并利用光束平差法对活跃子地图进行平滑处理，同时删除活跃子地图中的冗余关键帧，以更新优化当前的活跃子地图
。5.
根据权利要求4所述的适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述回环检测与地图融合线程具体包括以下步骤：在新关键帧插入到活跃子地图时，新关键帧与检测活跃子地图内的其余关键帧有无公共区域；若在活跃子地图内检测到公共区域，则对当前活跃子地图进行回环校正；若在活跃子地图内没有检测到公共区域，则依次检测新关键帧与各休眠子地图上的关键帧是否存在无公共区域，直到检测到公共区域或已遍历完所有休眠子地图；若存在公共区域，则先将活跃子地图与存在有公共区域的休眠子地图进行融合操作，再对融合后的活跃子地图进行回环校正
。6.
根据权利要求3所述的适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述关键帧的判断包括：若当前帧与上一帧之间的时间间隔超过
0.5s
，且当前帧与上一帧的特征点匹配对数量少于上一帧与上上一帧的特征点匹配对数量的四分之一，则将当前帧判定为关键帧
。7.
根据权利要求3所述的适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述利用深度分类算法将匹配得到的特征点匹配对划分为深度有效的特征点匹配对和深度失准的特征点匹配对，包括以下步骤：获取当前帧与上一帧的全部特征点匹配对；对于所获取的各特征点匹配对，依次按下式进行分类：式中，
<p
，
q>
为任一特征点匹配对，
p
为上一帧中的特征点，
p.d
为特征点
p
对应的深度，
q
为当前帧中与
p
匹配的特征点，
q.d
为特征点
q
对应的深度，
L
min
为深度阈值下限，
L
max
为深度阈值上限，
<p
，
q>
＝
True
表示
<p
，
q>
为深度有效的特征点匹配对，
<p
，
q>
＝
Falsd
表示
<p
，
q>
为深度失准的特征点匹配对
。8.
根据权利要求3所述的适用于动态环境的
RGB
‑
D SLAM
方法，其特征在于，所述利用空间结构比较算法剔除深度有效的特征点匹配对中的动态匹配对，包括以下步骤：获取深度有效的特征点匹配对
<p0，
q0>
，
...
，
<p
n
‑1，
q
n
‑1>
；通过
p0，
...
，
p
n
‑1计算其对应的反投影点
P0，
...
，
P
n
‑1，其公式如下：
P
i
＝
d
i
.K
‑1.p
i
，1T
，
0≤i≤n1
ꢀꢀꢀꢀ
(2)
式中，
P
i
为第
i
个特征点
p
i
的反投影点，
n
表示深度有效的特征点匹配对的个数，
K
为
RGB
‑
D
相机中图像传感器的内参矩阵，
d
i
为特征点
p
i
的深度；通过
q0，
...
，
q
n
‑1计算其对用的反投影点
Q0，
...
，
Q
n
‑1，其公式如下：
Q
i
＝
d
i
·
K
‑1·
q
i
，1T
，
0≤i≤n
‑1ꢀꢀꢀꢀ
(3)
式中，
Q
i
为
q
i
的反投影点，
K
为
RGB
‑
D
相机中图像传感器的内参矩阵，
d
i
为特征点
q
i
的深度；根据反投影点
P0，
...
，
P
n
‑1，计算空间结构矩阵
M
ref
，其公式如下：，其公式如下：式中，
P
j
为第个
j
特征点
p
j
的反投影点；表示反投影点
P
i
和
P
j
之间的距离；根据反投影点
Q0，
...
，
Q
n
‑1，计算空间结构矩阵
M
cur
，其公式如下：，其公式如下：式中，表示反投影点
Q
i
...

【专利技术属性】
技术研发人员：倪建军，唐广翼，谢迎娟，曹卫东，史朋飞，王李，
申请(专利权)人：河海大学，
类型：发明
国别省市：