基于实例分割的视觉SLAM方法技术

本发明专利技术提供一种基于实例分割的视觉SLAM算法，首先在对输入图像提取特征点的同时，使用卷积神经网络对图像进行实例分割；其次利用实例分割信息辅助定位，剔除容易造成误匹配的特征点，缩小特征匹配的区域；最后使用实例分割的语义信息构建语义地图，实现机器人对已建地图的复用与人机交互。本发明专利技术使用TUM数据集分别对图像实例分割、视觉定位以及语义地图构建进行了实验验证。实验结果表明，将图像实例分割与视觉SLAM相结合可以增加图像特征匹配的鲁棒性，加快特征匹配速度，提高移动机器人定位的准确性；并且该算法可以生成精确的语义地图，满足机器人执行高级任务的需求。

Visual slam method based on case segmentation

【技术实现步骤摘要】
基于实例分割的视觉SLAM方法
本专利技术涉及视觉图像
，具体涉及一种基于实例分割的视觉SLAM方法。
技术介绍
SLAM算法即是移动机器人从未知环境的某一地点出发，在运动过程中重复地读取传感器观测数据，分析获取环境特征与自身位置姿态，并以此实时的构建周围环境的增量式地图。其中，视觉传感器相比于其他传感器能够获得更丰富的图像信息，同时视觉传感器轻巧廉价、易于安装，因此基于视觉传感器的SLAM研究成为了当下研究热点。视觉SLAM的实现主要有特征点法和直接法,其中，直接法完全依靠搜索图像像素梯度来估算机器人位姿，这就要求机器人移动不能特别剧烈，同时直接法还需要假设机器人在运动过程中采集到的图像的灰度值不变，这些条件在现实环境中不可能完全满足，因此直接法只能够在特定的环境中使用。而特征点法则利用图像中的局部特征点进行特征匹配，通过匹配的特征点来进行位姿估计，它具有运行稳定、对光照及动态物体不敏感等优点。目前典型的视觉SLAM方法仍然存在以下几个问题：一是在特征匹配的过程中容易受到噪声和误匹配点的干扰，鲁棒性较差。二是无法从场景中提取语义本文档来自技高网...

【技术保护点】
1.基于实例分割的视觉SLAM方法，其特征在于，包括以下步骤：/n(1)对深度相机采集的视觉图像进行ORB特征点提取，采用图像的ORB特征作为视觉SLAM的路标特征；/n(2)构建MASK R-CNN模块，利用生成的掩模信息对ORB特征点进行筛选；/n所述的MASK R-CNN模块框架：/nMASK R-CNN模块并行完成目标分类、目标定位、语义分割三项任务；主要由卷积神经网络构成，通过多分支子网络并行实现端到端的实例分割；/n(3)利用实例分割掩模信息进行图像特征匹配并估算机器人位姿；解决相邻两帧图像F

【技术特征摘要】
1.基于实例分割的视觉SLAM方法，其特征在于，包括以下步骤：
(1)对深度相机采集的视觉图像进行ORB特征点提取，采用图像的ORB特征作为视觉SLAM的路标特征；
(2)构建MASKR-CNN模块，利用生成的掩模信息对ORB特征点进行筛选；
所述的MASKR-CNN模块框架：
MASKR-CNN模块并行完成目标分类、目标定位、语义分割三项任务；主要由卷积神经网络构成，通过多分支子网络并行实现端到端的实例分割；
(3)利用实例分割掩模信息进行图像特征匹配并估算机器人位姿；解决相邻两帧图像F1与F2特征点集数据的关联问题，即确定当前所观察的路标点是否与上一时刻的路标点为同一个；ORB特征点主要是通过相邻两帧图像特征点描述子的相似度进行匹配，经过特征匹配获得一组组匹配的特征点对，如式1所示：



其中，tP表示图像帧F1的所有特征点集合，t-1P表示图像帧F2的所有特征点集合；
MASKR-CNN利用边界框将视觉图像划分成有语义标记的不同实例区域，在进行特征匹配时，只需要在同一实例区域进行匹配，根据SLAM数学模型，这些特征匹配点对的变换关系如式(2)所示：



其中，tP表示图像帧F1的所有特征点集合，t-1P表示图像帧F2的所有特征点集合；R为移动机器人的旋转矩阵，T为移动机器人的平移向量；
采用最小化重投影误差的方法来求解位姿，如式3所示：



其中，tP表示图像帧F1的所有特征点集合，t-1P表示图像帧F2的所有特征点集合；R为移动机器人的旋转矩阵，T为移动机器人的平移向量,N表示特征点对的数目；

【专利技术属性】
技术研发人员：何召兰，何乃超，张庆洋，姚徐，丁淑培，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙;23