动态场景机器人定位建图系统及方法技术方案

本发明专利技术公开了一种动态场景机器人定位建图系统及方法，其中，系统包括：语义分割线程用于根据RGB图像获取语义分割结果，生成带有语义信息的语义图像；位姿估测线程用于根据RGB图像获取ORB特征点，通过运动型一致性检测获得运动区域，结合语义图像的语义信息剔除动态目标上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧；稠密语义八叉树地图建立线程用于根据语义图像关键帧生成带语义标签的3D稠密八叉树地图。该系统通过将语义分割网络与运动一致性检测法相结合，完成对动态物体的剔除，并且构建的语义稠密八叉树地图，能够服务于更高层次的工作，从而有效提高了定位建图的适用性、实用性和鲁棒性。

【技术实现步骤摘要】
动态场景机器人定位建图系统及方法
本专利技术涉及机器人定位建图
，特别涉及一种动态场景机器人定位建图系统及方法。
技术介绍
机器人定位建图系统主要依赖SLAM(SimultaneousLocalizationandMapping，实时定位与地图构建)技术，该技术被视作移动智能机器人的一项重要技术，最早于1988年提出。机器人通过传感器获取周围环境的相关数据进行地图构建，然后将当前所感知到的环境特征与地图中的特征进行匹配，从而完成定位。根据传感器类型的不同，SLAM技术主要可以分为激光SLAM和视觉SLAM。由于图像在信息存储上的丰富性，以及图像对于一些更高层次工作(如语义分割与物体检测)的服务型，视觉SLAM技术在近年来被广泛研究。此外，当下的视觉SLAM技术往往都是一个完整的架构，包含了特征提取、回环检测等部分，如ORB-SLAM2，LSD-SLAM等现有的视觉SLAM技术已经在某些环境下取得了较好的试验结果。但在现有的机器人定位建图系统中，所应用的SLAM技术仍然存在着一些问题。一方面是如何让机器人的定位系统能够适应复杂多变的环境，例如环境中存在动态物体；另一方面是如何依靠SLAM技术构建更有价值的地图，提供更多的信息来服务于系统的高层次的应用。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种动态场景机器人定位建图系统，该系统可以有效提高了定位建图的适用性、实用性和鲁棒性。本专利技术的另一个目的在于提出一种动态场景机器人定位建图方法。为达到上述目的，本专利技术一方面实施例提出了一种动态场景机器人定位建图系统，为5线程架构，包括：语义分割线程，采用深度学习技术实时的获取语义分割结果，以生成带有语义信息的语义图像；位姿估测线程，根据RGB图像获取ORB特征点，通过运动一致性检测获得运动区域，结合语义分割的信息剔除动态区域上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧；稠密语义八叉树地图线程，用于根据所述语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，完成动态目标的剔除，可用于高级复杂任务。后端优化线程，用于对所述关键帧进行局部优化和关键帧筛选；回环线程，用于对局部优化和关键帧筛选的结果进行整体优化和回环检测。本专利技术实施例的动态场景机器人定位建图系统，通过将语义分割网络与运动一致性检测法相结合，并对动态物体的剔除，减少了环境中运动物体对实时定位与地图构建的影响，提高了在动态环境下的定位精度，并且构建的稠密八叉树地图，能够服务于更高层次的工作，从而有效提高了定位建图的适用性、实用性和鲁棒性。另外，根据本专利技术上述实施例的动态场景机器人定位建图系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述语义分割线程与所述位姿估测线程进行数据交流，与运动一致性检测相结合剔除环境中的动态目标。进一步地，在本专利技术的一个实施例中，所述稠密语义八叉树地图建立线程还用于通过概率融合法建立稳定的3D八叉树地图，将动态目标剔除，并与语义信息相融合，该地图可以用于导航以及机器人完成高级复杂任务。进一步地，在本专利技术的一个实施例中，所述位姿估测线程进一步用于：获取当前帧到达匹配特征点的LK光流金字塔；通过多个样本点和RANSAC得到基础矩阵；根据所述基础矩阵得到所述当前帧的极线；判断匹配点到所述极线的距离是否小于预设阈值；如果所述距离大于所述预设阈值，则所述匹配点为移动点。进一步地，在本专利技术的一个实施例中，所述稠密语义八叉树地图建立线程还用于通过逻辑回归值法构建稳定的3D八叉树地图，并将所述3D八叉树地图与所述语义信息相融合。为达到上述目的，本专利技术另一方面实施例提出了一种动态场景机器人定位建图方法，包括以下步骤：采用深度学习技术实时的获取语义分割结果，以生成带有语义信息的语义图像；根据RGB图像获取ORB特征点，通过运动一致性检测获得运动区域，结合语义分割的信息剔除动态区域上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧；根据所述语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，完成动态目标的剔除，可用于高级复杂任务；对所述关键帧进行局部优化和关键帧筛选；对局部优化和关键帧筛选的结果进行整体优化和回环检测。本专利技术实施例的动态场景机器人定位建图方法，通过将语义分割网络与运动一致性检测法相结合，并对动态物体的剔除，减少了环境中运动物体对实时定位与地图构建的影响，提高了在动态环境下的定位精度，并且构建的稠密八叉树地图，能够服务于更高层次的工作，从而有效提高了定位建图的适用性、实用性和鲁棒性。另外，根据本专利技术上述实施例的动态场景机器人定位建图方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述用于根据RGB图像获取语义分割结果，以生成带有语义信息的语义图像，进一步包括：通过与运动一致性检测相结合的实时语义分割网络剔除面向动态环境下的动态目标。进一步地，在本专利技术的一个实施例中，所述稠密语义八叉树地图建立线程，用于根据所述语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，进一步包括：通过概率融合法构建稳定的3D八叉树地图，并将所述3D八叉树地图与所述语义信息相融合。进一步地，在本专利技术的一个实施例中，所述根据RGB图像获取ORB特征点，并根据所述语义图像的语义信息和运动一致性检测剔除动态目标上的特征点，并通过匹配剩余的稳定目标的动态点得到变换矩阵，以得到所述语义图像的关键帧，进一步包括：获取当前帧到达匹配特征点的LK光流金字塔；通过多个样本点和RANSAC得到基础矩阵；根据所述基础矩阵得到所述当前帧的极线；判断匹配点到所述极线的距离是否小于预设阈值；如果所述距离大于所述预设阈值，则所述匹配点为移动点。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的动态场景机器人定位建图系统的结构示意图；图2为根据本专利技术一个具体实施例的动态场景机器人定位建图系统的结构示意图；图3为根据本专利技术一个实施例的动态场景机器人定位建图系统的功能示意图；图4为根据本专利技术一个实施例的运动一致性检测流程图；图5为根据本专利技术一个实施例的动态目标剔除流程图；图6为根据本专利技术一个实施例的数据集测试结果示意图；图7为根据本专利技术一个实施例的真实环境实验示意图；图8为根据本专利技术一个实施例的语义八叉树地图构建实验示意图；图9为根据本专利技术一个实施例的动态场景机器人定位建图方法的流程图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。在介绍动态场景机器人定位建图系统及方法之前，先简单介绍一下相关技术的语义分割技术和SLAM技术。在人机交互的过程中，机器人主要完成的工作主要有二：一是理解人的指令，二是对指令作出反应。相关技术的机器人定位建图系统与其依托视觉SLAM技术构建的本文档来自技高网...

【技术保护点】
1.一种动态场景机器人视觉定位建图系统，其特征在于，包括：语义分割线程，用于采用深度学习技术实时的获取语义分割结果，以生成带有语义信息的语义图像；位姿估测线程，用于根据RGB图像获取ORB特征点，通过运动一致性检测获得运动区域，结合语义分割的信息剔除动态区域上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧；稠密语义八叉树地图线程，用于根据所述语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，完成动态目标的剔除，可用于高级复杂任务；后端优化线程，用于对所述关键帧进行局部优化和关键帧筛选；回环线程，用于对局部优化和关键帧筛选的结果进行整体优化和回环检测。

【技术特征摘要】
1.一种动态场景机器人视觉定位建图系统，其特征在于，包括：语义分割线程，用于采用深度学习技术实时的获取语义分割结果，以生成带有语义信息的语义图像；位姿估测线程，用于根据RGB图像获取ORB特征点，通过运动一致性检测获得运动区域，结合语义分割的信息剔除动态区域上的外点，并通过匹配剩余稳定目标的特征点得到变换矩阵，生成语义图像关键帧；稠密语义八叉树地图线程，用于根据所述语义图像的关键帧生成带语义标签的3D稠密语义八叉树地图，完成动态目标的剔除，可用于高级复杂任务；后端优化线程，用于对所述关键帧进行局部优化和关键帧筛选；回环线程，用于对局部优化和关键帧筛选的结果进行整体优化和回环检测。2.根据权利要求1所述的动态场景机器人定位建图系统，其特征在于，所述语义分割线程与所述位姿估测线程进行数据交流，与运动一致性检测相结合剔除环境...

【专利技术属性】
技术研发人员：刘辛军，于超，乔飞，谢福贵，王智杰，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11