一种基于实例分割的语义SLAM方法技术

本申请涉及ORB

【技术实现步骤摘要】
一种基于实例分割的语义SLAM方法


[0001]本申请涉及ORB
‑
SLAM2系统和深度学习实例分割领域，具体而言，涉及一种基于实例分割的语义SLAM方法。

技术介绍

[0002]随着当代社会科技水平的不断进步，人们对生活便捷度的需求也在不断提升。随着人工智能的兴起，小到家用的服务型机器人，大到RoboTaxi，如何帮助机器人更好更准确的建立周围环境变得日益重要，对于同时定位和建图任务，视觉SLAM是最好的选择之一。例如，ORB
‑
SLAM2，RGB
‑
D SLAM
‑
V2等，其具有传感器采集速度快、成本低、时延短、准确率高等优点已经被广泛应用。以ORB
‑
SLAM2为例，该系统在高动态场景下容易丢失，并且由于其底层视觉信息采用的是ORB特征描述子，只能对最基础的特征点进行比对，而对于物体级信息没有加以利用。
[0003]随着深度学习技术的快速发展，使得很多视觉性的问题有了更好更快的解决方法，基于神经网络的可以轻易的识别一副图像中感兴趣的物体，具体是什么类别，精确的边界。这些结果可以将神经网络与视觉SLAM技术相结合，结合语义信息，更好的帮助SLAM系统感知世界。
[0004]近年来，有许多研究者提出了多种不同的语义SLAM方法。Raul Mur
‑
Artal提出的ORB
‑
SLAM2系统是基于特征点的单目，双目，RGB
‑
D一套完整的SLAM方案，其采用词袋(DBoW2)模型对特征点进行聚类，在帧间匹配和回环检测时进行特征点的匹配。由于ORB特征点是32维的01向量，基于向量距离的匹配并不符合人类的直观感受，比如，在车上的特征点和地面上的特征点的向量距离非常相近，以人类的角度来看并不会将这些特征点进行匹配。同样对于回环检测来说，基于DBoW2模型的回环检测在回环时只考虑了比对的两帧在词向量上是否吻合，而对于两帧的空间结构没有做任何要求。
[0005]东京大学的Masaya Kaneko提出的MASK
‑
SLAM是一种结合了MASK
‑
RCNN的单目SLAM系统，其能有效的分割出天空，车辆等语义级别的信息，并对属于动态物体的特征点做去除，把动态场景下的SLAM系统转化成静态场景下的SLAM系统。但是该方法仅适用于单目SLAM系统，并且对语义动态的特征点全部做了去除，没有考虑多类物体的不同状态，导致了相关信息的丢失，导致了相机位姿的丢失，在一些场景下并不适用。
[0006]Berta Bescos提出的DynaSLAM将MASK
‑
RCNN与ORB
‑
SLAM2进行了结合，提高了SLAM系统对动态场景的适应性，该方法也是单目时为物体赋予了先验动态信息，在跟踪时将这些特征点排除；双目时采用了多视几何的方式，计算当前帧与参考帧对应点的夹角大小，若大于30
°
则认为其为动态点进行排除。在建图时也去除了这些点的影响，并利用背景修复的方法，得到静态地图。但是该方法并没有从物体级考虑物体对参考点的约束，存在很多误匹配，因此也会导致对物体运动状态的错误判断。
[0007]综上所述，现有技术中存在动态场景下未考虑帧间约束和物体级信息导致特征点匹配错误，鲁棒性差的问题。

技术实现思路

[0008]本专利技术的目的在于，针对上述现有技术中的不足，提供一种基于实例分割的语义SLAM方法，以解决现有技术中存在的在动态场景下未考虑帧间约束和物体级信息导致特征点匹配错误，鲁棒性差的问题。
[0009]为实现上述目的，本专利技术采用的技术方案如下：
[0010]本申请提供一种基于实例分割的语义SLAM方法，所述方法包括以下步骤：S1，获取图像序列；S2，提取特征点信息和语义信息；S3，融合特征点信息和语义信息；S4，动态物体检测与去除；S5，物体级的帧间匹配；S6，物体级的回环检测。
[0011]更进一步地，步骤S2中特征点信息和语义信息的提取是同时进行的。
[0012]更进一步地，语义信息的提取通过网络实例分割模块完成。
[0013]更进一步地，网络实例分割为物体级的分割。
[0014]更进一步地，网络实例分割结合了MASK
‑
RCNN网络。
[0015]更进一步地，步骤S2中对MASK
‑
RCNN网络进行训练。
[0016]更进一步地，步骤S3对图像中每个物体内部的特征点进行细粒度特征点分类。
[0017]更进一步地，细粒度特征点分类通过KD
‑
TREE数据结构完成。
[0018]更进一步地，步骤S5使用物体级匹配约束帧间匹配。
[0019]更进一步地，步骤S5采用KM算法寻找最优匹配。
[0020]与现有技术相比，本专利技术的有益效果：
[0021]第一，本专利技术使用神经网络对场景进行实例分割，在单双目情况下均能有效的识别动态物体，提高了SLAM系统在动态场景下的鲁棒性；
[0022]第二，本专利技术针对于DBoW2模型仅关注向量层次信息的缺点，无法在更高层次对特征点匹配进行区分，提出了使用物体级匹配来约束帧间匹配，有效的解决了一些场景下特征点匹配错误导致丢失的情况；
[0023]第三，本专利技术提出了对图像进行网格划分，与语义信息相关联，建立Object_KeyFrame_DataBase的三维数据结构，能够有效使用物体的位置信息而不止是类别信息，在回环检测时可以高效的进行关联关键帧的检索，使得回环检测效率更高。
[0024]第四，本专利技术使用了libtorch库，可以分离网络的训练与部署，同时将网络模型与SLAM系统解耦，方便对网络模型进行修改，修改的同时不影响SLAM系统直接使用，本专利技术方法的适用性较强。
附图说明
[0025]图1为本专利技术提供的一种基于实例分割的语义SLAM方法的示意图；
[0026]图2为本专利技术提供的一种基于实例分割的语义SLAM方法的步骤S32中对图像网格划分的示意图；
[0027]图3为本专利技术提供的一种基于实例分割的语义SLAM方法中在双目系统下对三维地图点变换方式的示意图；
[0028]图4为现有技术中的基于词袋模型的关键帧关联方式示意图；
[0029]图5为本专利技术提供的一种基于实例分割的语义SLAM方法的本专利技术中三维关键帧数据库KeyFrame DataBase的空间结构；
[0030]图6为本专利技术提供的一种基于实例分割的语义SLAM方法的流程图。
具体实施方式
[0031]为了使本专利技术的实施过程更加清楚，下面将会结合附图进行详细说明。
[0032]实施例1：
[0033]本专利技术提供了一种基于实例分割的语义SLAM方法，如图1所示，该方法包括以下步骤：
[0034]S1，获取图像序列；
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例分割的语义SLAM方法，其特征在于，所述方法包括以下步骤：S1，获取图像序列；S2，提取特征点信息和语义信息；S3，融合特征点信息和语义信息；S4，动态物体检测与去除；S5，物体级的帧间匹配；S6，物体级的回环检测。2.根据权利要求1所述的基于实例分割的语义SLAM方法，其特征在于，所述步骤S2中所述特征点信息和所述语义信息的提取是同时进行的。3.根据权利要求2所述的基于实例分割的语义SLAM方法，其特征在于，所述语义信息的提取通过网络实例分割模块完成。4.根据权利要求3所述的基于实例分割的语义SLAM方法，其特征在于，所述网络实例分割为物体级的分割。5.根据权利要求4所述的基于实例分割的语义SLAM方法，其特征在于，所述网络实例分割结合了MASK
...

【专利技术属性】
技术研发人员：牛毅，吴腾飞，马明明，李甫，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：