基于语义分割和多视图几何的同时定位与建图方法与系统技术方案

本发明专利技术公开了基于语义分割和多视图几何的同时定位与建图方法与系统，该方法包括：对原始图像和融合后的原始图像与深度图分别进行语义分割和几何分割得到对应的二进制掩膜；对几何分割的二进制掩膜进行多视图几何一致性检测得到第一动态区域，将语义分割的二进制掩膜与第一动态区域进行融合得到第二动态区域；对原始图像进行特征点提取，并过滤落入第二动态区域中的特征点得到静态特征点；基于IMU预积分量和静态特征点，优化求解相机位姿以得到当前帧位姿的最佳估计。本发明专利技术可以很好地检测到环境内所有动态物体，不依赖于含有大量类别的训练数据；运行速度快，无需高性能处理器即可达到实时处理。理器即可达到实时处理。理器即可达到实时处理。

【技术实现步骤摘要】
基于语义分割和多视图几何的同时定位与建图方法与系统


[0001]本专利技术涉及视觉定位
，特别是涉及基于语义分割和多视图几何的同时定位与建图方法与系统。

技术介绍

[0002]同时定位与建图(Simultaneous Localization And Mapping，SLAM)技术，旨在解决携带传感器的运动物体，在运动过程中如何对自身进行定位，同时以合适的方式建模周围环境的问题。由于视觉传感器在不同场合中应用极为广泛，并且具有成本低，安装方便，信息丰富等优势，基于视觉的SLAM方法获得了学术界和工业界越来越多的关注。近年来，随着计算机硬件性能的不断提升，视觉SLAM发展迅速，在很多新兴行业中得到了应用并展现出了广阔的发展前景，如自动驾驶、虚拟现实/增强现实、无人机配送、仓储机器人等。
[0003]目前，大部分SLAM算法，如ORB
‑
SLAM，LSD
‑
SLAM等都假设环境中的元素是静态的，这显著限制了SLAM系统在实际场景中的实用性。例如，在工厂仓库中，工人、车辆等动态元素会造成SLAM特征的错误匹配，进一步地，机器人自我定位与环境地图构建的性能可能会严重下降甚至完全失败。当经典SLAM算法应对动态场景时，会基于RANSAC方法剔除外点，利用正确的数据关联完成机器人的定位和建图。然而，如果环境中动态性过强，RANSAC方法难以很好的区分外点，从而相机位姿估计精度显著下降。近期对于动态SLAM的工作利用基于深度学习的目标检测或语义分割方法来检测行人、汽车等对象，并将对应区域视为异常值予以删除。例如，2018年清华大学的于超等人设计了DS
‑
SLAM，其基于SegNet获得像素级的语义分割，并利用特征点的极线约束判断语义分割是否为动态区域。然而，实际场景中可能存在很多非预期的动态物体类别不被包括在训练数据集中，如人手中的书籍、正在开关的门等。在这种场景中，基于深度学习的动态检测方法将完全失败。针对这点，2018年西班牙萨拉戈萨大学的Bescos等人设计了DynaSLAM，提出同时结合深度学习方法和多视图几何检查。基于深度学习的语义分割分离如人、汽车等常见的语义动态对象，多视图几何检查确保在训练集之外的、非预期的动态物体也能检测出来并给予剔除。然而，该方法耗时较长，这对于实时性要求比较高的SLAM算法而言是一种显著的应用限制。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术提出一种基于语义分割和多视图几何的同时定位与建图方法。分别在独立线程内将原始图像输入进行语义分割和几何分割；根据多视图几何一致性检测几何分割的动态区域；语义区域和几何动态区域融合；动态特征点过滤；基于静态特征点重投影误差和惯性残差对相机位姿进行优化求解，并执行局部建图和回环检测等。本专利技术重点研究动态环境下的SLAM系统，充分利用语义分割和几何分割的优势检测预期和非预期动态物体，并通过独特的设计保证了整个SLAM系统具有很好的实时性，便于在实际场景中使用。
[0006]本专利技术的另一个目的在于提出一种基于语义分割和多视图几何的同时定位与建
图系统。
[0007]为达上述目的，本专利技术一方面提出一种基于语义分割和多视图几何的同时定位与建图方法，包括：
[0008]对原始图像和融合后的原始图像与深度图分别进行语义分割和几何分割得到对应的二进制掩膜；
[0009]对几何分割的二进制掩膜进行多视图几何一致性检测得到第一动态区域，将语义分割的二进制掩膜与所述第一动态区域进行融合得到第二动态区域；
[0010]对所述原始图像进行特征点提取，并过滤落入所述第二动态区域中的特征点得到静态特征点；
[0011]基于IMU预积分量和所述静态特征点，优化求解相机位姿以得到当前帧位姿的最佳估计。
[0012]另外，根据本专利技术上述实施例的基于语义分割和多视图几何的同时定位与建图方法还可以具有以下附加的技术特征：
[0013]进一步地，在本专利技术的一个实施例中，所述对原始图像进行语义分割得到对应的二进制掩膜，包括：将第一预设尺寸的RGB图像输入SegNet网络模型；通过对所述第一尺寸的RGB图像中每一个像素点进行分类，识别每一个像素点的类别以输出得到语义分割的第二预设尺寸的二进制掩膜。
[0014]进一步地，在本专利技术的一个实施例中，所述对融合后的原始图像与深度图进行几何分割得到对应的二进制掩膜，包括：对深度图的第一灰度值进行预处理得到第二灰度值；将RGB图转为灰度图以得到第三灰度值，并对所述第二灰度值和所述第三灰度值进行融合得到融合后的图像灰度值，基于所述融合后的图像灰度值得到灰度图和深度图的融合图；使用边缘检测算法对所述融合图进行边缘检测得到二值图像，使用连接组件标记算法将所述二值图像划分为不同的区域以实现几何分割。
[0015]进一步地，在本专利技术的一个实施例中，所述对几何分割的二进制掩膜进行多视图几何一致性检测得到第一动态区域，包括：对于几何分割的二进制掩膜的每个输入帧，基于当前帧和每个关键帧之间的特征选择具有最高重叠度的多个关键帧，根据每个关键帧与当前帧之间的相对运动数据，计算所述多个关键帧包含的每个关键点从关键帧到当前帧的投影，得到重投影关键点及投影深度；根据所述每个关键点和所述重投影关键点的反向投影之间的角度，得到关键点与重投影关键点的遮挡状态；基于所述遮挡状态和相机的深度测量得到重投影关键点深度，将所述重投影关键点深度与所述投影深度进行比较得到差异数据，基于差异数据与预设阈值的比较结果得到重投影关键点的动态对象标记状态；基于所述动态对象标记状态将被标记为动态的关键点所在几何分割区域标记为所述第一动态区域。
[0016]进一步地，在本专利技术的一个实施例中，所述基于IMU预积分量和所述静态特征点，优化求解相机位姿以得到当前帧位姿的最佳估计，包括：
[0017]基于过滤后的静态特征点重投影误差和IMU预积分，建立帧与帧之间的约束关系，构造优化问题为：
[0018][0019]其中，E
proj
(k,t)为k关键帧下的视觉残差项，E
IMU
(i,t)为IMU在当前帧t和最近的一个关键帧i之间的预积分残差项。
[0020]为达上述目的，本专利技术另一方面提出一种基于语义分割和多视图几何的同时定位与建图系统，包括：
[0021]图像分割模块，用于对原始图像和融合后的原始图像与深度图分别进行语义分割和几何分割得到对应的二进制掩膜；
[0022]区域融合模块，用于对几何分割的二进制掩膜进行多视图几何一致性检测得到第一动态区域，将语义分割的二进制掩膜与所述第一动态区域进行融合得到第二动态区域；
[0023]特征划分模块，用于对所述原始图像进行特征点提取，并过滤落入所述第二动态区域中的特征点得到静态特征点；
[0024]位姿估计模块，用于基于IMU预积分量和所述静态特征点，优化求解相机位姿以得到当前帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割和多视图几何的同时定位与建图方法，其特征在于，包括以下步骤：对原始图像和融合后的原始图像与深度图分别进行语义分割和几何分割得到对应的二进制掩膜；对几何分割的二进制掩膜进行多视图几何一致性检测得到第一动态区域，将语义分割的二进制掩膜与所述第一动态区域进行融合得到第二动态区域；对所述原始图像进行特征点提取，并过滤落入所述第二动态区域中的特征点得到静态特征点；基于IMU预积分量和所述静态特征点，优化求解相机位姿以得到当前帧位姿的最佳估计。2.根据权利要求1所述的方法，其特征在于，所述对原始图像进行语义分割得到对应的二进制掩膜，包括：将第一预设尺寸的RGB图像输入SegNet网络模型；通过对所述第一尺寸的RGB图像中每一个像素点进行分类，识别每一个像素点的类别以输出得到语义分割的第二预设尺寸的二进制掩膜。3.根据权利要求1所述的方法，其特征在于，所述对融合后的原始图像与深度图进行几何分割得到对应的二进制掩膜，包括：对深度图的第一灰度值进行预处理得到第二灰度值；将RGB图转为灰度图以得到第三灰度值，并对所述第二灰度值和所述第三灰度值进行融合得到融合后的图像灰度值，基于所述融合后的图像灰度值得到灰度图和深度图的融合图；使用边缘检测算法对所述融合图进行边缘检测得到二值图像，使用连接组件标记算法将所述二值图像划分为不同的区域以实现几何分割。4.根据权利要求3所述的方法，其特征在于，所述对几何分割的二进制掩膜进行多视图几何一致性检测得到第一动态区域，包括：对于几何分割的二进制掩膜的每个输入帧，基于当前帧和每个关键帧之间的特征选择具有最高重叠度的多个关键帧，根据每个关键帧与当前帧之间的相对运动数据，计算所述多个关键帧包含的每个关键点从关键帧到当前帧的投影，得到重投影关键点及投影深度；根据所述每个关键点和所述重投影关键点的反向投影之间的角度，得到关键点与重投影关键点的遮挡状态；基于所述遮挡状态和相机的深度测量得到重投影关键点深度，将所述重投影关键点深度与所述投影深度进行比较得到差异数据，基于差异数据与预设阈值的比较结果得到重投影关键点的动态对象标记状态；基于所述动态对象标记状态将被标记为动态的关键点所在几何分割区域标记为所述第一动态区域。5.根据权利要求1所述的方法，其特征在于，所述基于IMU预积分量和静态特征点，优化求解相机位姿以得到当前帧位姿的最佳估计，包括：基于过滤后的静态特征点重投影误差和IMU预积分，建立帧与帧之间的约束关系，构造优化问题为：
其中，E
proj
(k,t)为k关键帧下的视觉残差项，E
IMU
(i,t)为IMU...

【专利技术属性】
技术研发人员：孟子阳，周鹏坤，王君，
申请(专利权)人：清华大学，
类型：发明
国别省市：