一种带有实例分割的SLAM方法技术

本发明专利技术公开了一种带有实例分割的SLAM方法。该方法利用一个彩色‑深度相机采集图像，利用ElasticFusion SLAM系统和实例分割网络Mask R‑CNN对采集的图像进行处理，在进行实时定位和地图重建的同时，在地图中加入实例信息。该方法突破了传统的SLAM系统只包含几何信息的局限，在原有基础上增加了更高维的实例信息，使得改进后的SLAM系统更加适用于人机交互领域。

【技术实现步骤摘要】
一种带有实例分割的SLAM方法
本专利技术属于SLAM、深度学习、计算机视觉
，涉及一种带有实例分割的SLAM方法。
技术介绍
即时定位与地图构建(SLAM)技术在机器人领域占有举足轻重的地位，近年来，已经发展出了一些可实时运行的SLAM系统，ElasticFusion就是其中的典型代表。然而，传统的SLAM只包含点云的几何信息，包括点云的位置、法向量、颜色等，缺乏一些高层的表征方式。与此同时，随着深度学习的发展，以MaskR-CNN为代表的物体实例分割技术也达到了较高的识别精度，可以广泛应用于物体识别领域。因此，如何把实例分割技术融入到SLAM系统中成为一个难题，若能成功将诸如实例分割等高层信息于SLAM结合，将给予SLAM更强大的功能，有效扩大SLAM的应用领域。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种带有实例分割的SLAM方法。本专利技术采用如下技术方案：一种带有实例分割的SLAM方法，该方法包括如下步骤：1.对ElasticFusionSLAM系统的数据结构进行扩充。ElasticFusion中地图的基础组成单位称为面元，对面元增加两个属性：①类别概率分布数组Class，Class是一个长度为N的数组；②实例概率分布数组Instance，Instance是一个长度为M的数组。增加一个计数器以记录地图中现有的实例个数。ElasticFusionSLAM系统开始运行时会首先构建一个不包含任何面元的空地图，并负责将实例个数设置为0。2.利用彩色-深度(RGB-D)摄像头获取一帧RGB-D图像Fk，输入到扩充后的SLAM系统中。其中下标k代表当前帧的序号，初始帧的下标k＝1，此后每到来一帧，k依次累加。3.利用ElasticFusion计算Fk对应的相机位姿TWC(k)，TWC(k)表示从相机坐标系到世界坐标系的齐次变换矩阵；同时可以得到从世界坐标系到相机坐标系的齐次变换矩阵使用TWC(k)和相机内参，对Fk中每个像素进行坐标变换并将其融合到三维地图中，融合方式分为两种：(3.1)若Fk中某一像素在三维地图中没有对应的面元，则在三维地图中增加一面元，其Class和Instance呈均匀分布；(3.2)若Fk中某一像素在三维地图中已存在对应的面元，则维持地图中对应面元的Class和Instance值不变。4.将Fk输入到已经训练好的实例分割网络中，得到Fk对应的实例分割结果，其中包含Nins个实例其中，包含在同一个实例中的所有像素对应同一个长度为N的类别概率分布。5.使用TCW(k)和相机内参，将地图中的面元投影到相机的像素平面上，得到投影帧Pk，每个实例内的像素的类别概率分布与Pk中对应像素的类别概率分布相乘并归一化，用归一化后的类别概率分布更新地图中面元的类别概率分布；6.使用TCW(k)和相机内参，将更新后的地图中的面元投影到相机的像素平面上，得到投影帧Pk′，从Pk′中提取实例信息，包括以下步骤：(6.1)使用argmax函数得到Pk′中每个像素对应的最大的实例概率；(6.2)若最大的实例概率<0.3，判定它不属于任何实例；(6.3)若最大的实例概率≥0.3，则该像素被归到最大实例概率对应的实例中，需要参与后续IOU的计算。7.针对第i个实例构建长度为M的数组IOUi，IOUi[j]表示与Pk′中实例j的交并比，若Pk′中不含有实例j，则IOUi[j]＝0.01。若IOUi中最大值<0.3，则在地图中增加一个实例，使实例个数变为NUM；更新IOUi，使得其中的IOUi[NUM]＝0.7；将的每个像素的实例概率分布与IOUi相乘并归一化，用归一化后的实例概率分布更新地图中面元的实例概率分布；8.不断利用下一帧RGB-D图像，按照步骤(3)将RGB-D图像融合到三维地图中，利用(4)-(5)所述的方法更新该帧所对应面元的类别概率分布，按照步骤(6)-(7)所述的方法更新该帧所对应面元的实例概率分布，从而获得最新的带有实例分割的三维地图。9.每当带有实例分割的三维地图更新之后，根据每个面元的Instance和Class，利用OpenGL对地图进行重新渲染，得到可视化效果。进一步地，所述步骤(4)中的实例分割网络采用MaskR-CNN分割网络。进一步地，MaskR-CNN网络的输入在RGB三通道的基础上加入了深度Depth通道，并重新训练。其分割结果包含实例进一步地，根据每个面元的Instance和Class对地图进行可视化渲染。本专利技术的有益效果在于：(1)丰富了SLAM构建的三维地图的内容。本专利技术在传统SLAM的基础上，融入了实例信息，令使用者可以便捷地获取地图中所包含物体的种类以及数量。(2)更有利于人机交互。得益于向SLAM中加入的实例分割的信息，本专利技术更有利于室内智能机器人完成拾取、移动物体等指令。附图说明图1为一种带有实例分割的SLAM方法的流程；图2为MaskR-CNN对于一帧RGB-D图像进行实例分割后的效果。图中的01,02,03分别表示不同物件；图3为带有实例分割信息的三维地图的可视化结果，不同实例通过颜色进行区分。图中的1,2,…,9分别表示不同物件。具体实施方式下面结合附图对本专利技术的SLAM方法作进一步说明。1.对ElasticFusionSLAM系统的数据结构进行扩充：对面元增加两个属性：①类别概率分布数组Class，Class为一个长度为N的数组，此处采用的MaskR-CNN实例分割网络规定了物体总计81类，即N＝81；②实例概率分布数组Instance，Instance为一个长度为M的数组，此处考虑到计算机实际内存大小，限定M＝100，即系统至多容纳100个实例物体。增加一个计数器以记录地图中现有的实例个数。2.连接RGB-D相机与笔记本电脑，运行ElasticFusionSLAM系统，该SLAM系统开始运行后会先构建一个初始地图，其中不包含任何面元，且计数器所表示的实例个数为0。3.用Fk表示利用彩色-深度(RGB-D)摄像头获取的第k帧图像，k从1开始，每到来一帧图像k都增加1。ElasticFusionSLAM系统首先计算第1帧RGB-D图像F1对应的相机位姿TWC(1)，TWC(1)表示从相机坐标系到世界坐标系的齐次变换矩阵，对于第1帧图像，地图为空，因此即F1对应坐标系是世界坐标系，后续到来的帧均以F1所在坐标系为参考坐标系；同时可以得到从世界坐标系到相机坐标系的齐次变换矩阵使用TWC(1)和相机内参，对F1中每个像素进行坐标变换并将其融合到三维地图中，根据融合规则：(3.1)若Fk中某一像素在三维地图中没有对应的面元，则在三维地图中增加一面元，其Class和Instance呈均匀分布；(3.2)若Fk中某一像素在三维地图中已存在对应的面元，则维持地图中对应面元的Class和Instance值不变。对于F1中每个像素，规则(3.1)均适用，因此根据(3.1)将F1融合到三维地图中。4.将F1输入到已经训练好的实例分割网络中，得到F1对应的实例分割结果如图2所示，其中包含3个实例上标1代表是F1的分割结果，下标代表分割出的实例的序号。其中，包含在同一个实例中的所有像素对应同一个长度为81的类别概率分布：5.使用TCW(1)和相机内本文档来自技高网...

【技术保护点】
1.一种带有实例分割的SLAM方法，其特征在于：所述方法包括以下步骤：(1)对ElasticFusion SLAM系统的数据结构进行扩充。ElasticFusion中地图的基础组成单位为面元，对面元增加两个属性：①类别概率分布数组Class，Class是一个长度为N的数组；②实例概率分布数组Instance，Instance是一个长度为M的数组。增加一个计数器以记录地图中现有的实例个数。ElasticFusion SLAM系统开始运行时会首先构建一个不包含任何面元的空地图，并负责将实例个数设置为0。(2)利用彩色‑深度(RGB‑D)摄像头获取一帧RGB‑D图像Fk，输入到扩充后的SLAM系统中。其中下标k代表当前帧的序号，初始帧的下标k＝1，此后每到来一帧，k依次累加。(3)利用ElasticFusion计算Fk对应的相机位姿TWC(k)，TWC(k)表示从相机坐标系到世界坐标系的齐次变换矩阵；同时可以得到从世界坐标系到相机坐标系的齐次变换矩阵

【技术特征摘要】
1.一种带有实例分割的SLAM方法，其特征在于：所述方法包括以下步骤：(1)对ElasticFusionSLAM系统的数据结构进行扩充。ElasticFusion中地图的基础组成单位为面元，对面元增加两个属性：①类别概率分布数组Class，Class是一个长度为N的数组；②实例概率分布数组Instance，Instance是一个长度为M的数组。增加一个计数器以记录地图中现有的实例个数。ElasticFusionSLAM系统开始运行时会首先构建一个不包含任何面元的空地图，并负责将实例个数设置为0。(2)利用彩色-深度(RGB-D)摄像头获取一帧RGB-D图像Fk，输入到扩充后的SLAM系统中。其中下标k代表当前帧的序号，初始帧的下标k＝1，此后每到来一帧，k依次累加。(3)利用ElasticFusion计算Fk对应的相机位姿TWC(k)，TWC(k)表示从相机坐标系到世界坐标系的齐次变换矩阵；同时可以得到从世界坐标系到相机坐标系的齐次变换矩阵使用TWC(k)和相机内参，对Fk中每个像素进行坐标变换并将其融合到三维地图中，融合方式分为两种：(3.1)若Fk中某一像素在三维地图中没有对应的面元，则在三维地图中增加一面元，其Class和Instance呈均匀分布；(3.2)若Fk中某一像素在三维地图中已存在对应的面元，则维持地图中对应面元的Class和Instance值不变。(4)将Fk输入到已经训练好的实例分割网络中，得到Fk对应的实例分割结果，其中包含Nins个实例其中，包含在同一个实例中的所有像素对应同一个长度为N的类别概率分布。(5)使用TCW(k)和相机内参，将地图中的面元投影到相机的像素平面上，得到投影帧Pk，每个实例内的像素的类别概率分布与Pk中对应像素...

【专利技术属性】
技术研发人员：孙东明，李华兵，杨恺伦，
申请(专利权)人：杭州凌像科技有限公司，
类型：发明
国别省市：浙江,33