一种面向动态环境的基于点线联合的语义SLAM方法技术

本发明专利技术提供了一种面向动态环境的基于点线联合的语义SLAM方法,在ORB

【技术实现步骤摘要】
一种面向动态环境的基于点线联合的语义SLAM方法


[0001]本专利技术涉及计算机视觉领域，具体而言，特别涉及一种面向动态环境的基于点线联合的语义SLAM 方法。

技术介绍

[0002]同步定位与地图构建技术（Simultaneous Localization and Mapping, SLAM）是指机器人在未知的环境中，使用自身搭载的各种传感器采集周围环境信息，通过算法分析出自身位置并建立周围环境的地图，其中视觉SLAM(Visual SLAM) 主要是利用相机来获取数据，包括单目、双目、RGB
‑
D相机等，因其所使用的相机传感器性价比高、体积小、功耗较低，并且可以获得丰富的环境信息的特点，成为近几年比较热门的研究领域。
[0003]传统视觉SLAM的各种算法在静态场景中能够取得很好的特征匹配，而在动态场景中会出现误匹配，从而使得SLAM系统的定位和建图产生很大的误差。因此，针对应用场景中存在动态运动物体会降低SLAM系统的定位精度和鲁棒性的问题，提出了一种基于特征点和特征线的语义SLAM方法和系统，该方法将传统视觉SLAM前端与Mask RCNN实例分割算法结合，在对输入图像进行特征点和特征线提取的同时，对图像进行实例分割，判断目标类型，检测动态目标，剔除动态物体上的特征点和特征线，使用处理后的特征点和特征线与相邻帧进行帧间匹配求解相机位姿，通过采用特征点与特征线联合优化相机位姿，能够提高动态场景下的视觉定位精度。
[0004]目前现有的语义SLAM技术，主要是针对存在动态物体的场景而言，由于动态物体的存在，导致定位精度不高，主要采取的方式是将所有的先验动态物体上的像素删除，利用剩下的像素进行特征提取及后续的定位研究，或者是删除所有的动态特征点，仅采用静态特征点进行特征点匹配和后端的处理，这些方法在纹理比较丰富的动态场景中，可以提高相机的定位精度，但是针对低纹理、强光照的具有动态物体的场景，仅采用特征点和语义的信息，难以获取足够多的数据，容易造成SLAM系统的跟踪丢失，降低定位精度，因此本专利技术在视觉定位前端加入CNN网络提取的特征线，结合特征点匹配算法，联合特征点和特征线优化相机位姿，解决低纹理、光照变化场景的定位，同时，在视觉前端加入实例分割，解决场景中动态物体的存在导致的定位精度不足的问题，并在最后构图的过程加入静态场景的修复，在删除动态物体的同时，能够利用前几帧的信息，将动态物体所遮挡的静态场景，利用前后相关联帧进行修复，并估计出动态物体的位置。
[0005]目前，基于视觉的SLAM算法研究取得了很大的进展，例如ORB
‑
SLAM2（Orient FAST and Rotated BRIEF SLAM2），LSD
‑
SLAM（Large Scale Direct monocular SLAM）等。但这些算法通常都基于一个强烈的假设，即静态工作环境具有较多特征且无明显光照变化，对应用环境有严格的限制。这种假设影响了视觉SLAM系统在实际场景中的适用性，当环境为动态弱纹理区域且有光照变化，特征点对该场景比较敏感，难以检测，都会降低相机位姿估计的精度和鲁棒性，给基于视觉的定位带来误差，造成三维重建的结果出现较大偏差。
[0006]在移动机器人使用相机进行定位与建图的过程中相机通常处于运动状态。这就使
得经典的运动分割方法，例如背景去除（Background Subtraction）无法使用在视觉SLAM中。早期的SLAM系统大多采用数据优化的方法降低动态物体的影响。使用随机抽样一致性检测（Random SampleConsensus ，RANSAC）算法粗略的估计出两帧之间的基础矩阵，再结合语义信息和移动一致性检查结果，完成两级语义知识库的建立，动态轮廓内的所有特征点作为噪声或离散点被删除。将动态物体上的帧间特征点匹配对使用RANSAC 算法剔除，一定程度上降低动态物体对SLAM系统的影响。这些方法都隐性的假设图像中的物体大部分是静态的，当动态物体产生的数据超过一定阈值时，这些方法将失效。
[0007]现有技术在城市、室内等特征丰富的场景下对视觉定位、机器人导航等的研究已经取得一定的进展，但仍有许多研究内容不够深入，对于具有几何特征的低纹理场景及光照变化的场景，视觉定位仍存在以下几个问题：（1）现有方法在特征的检测上受到物体的遮挡、缺失等问题的影响，难以从图像中检测出完整的几何特征，导致相机位姿难以计算；（2）现有方法在低纹理图像中受纹理少、特征点少的影响，难以提取图像的特征，或导致特征匹配错误，使得SLAM跟踪和重定位失效，相机位姿识别差；（3）在光照变化明显的区域，特征点检测比较敏感，易出现特征点检测困难、无匹配等问题，导致相机位姿不准；将MASK
‑
RCNN与多视图几何结合，实现动态目标的实例分割和剔除，同时识别出动态特征点，排除动态目标对特征匹配的干扰，消除动态目标对SLAM系统的影响。

技术实现思路

[0008]本专利技术在ORB
‑
SLAM3的基础上进行改进，面向动态环境，提出一种基于点线特征的语义SLAM方法，与点特征相比，线提供了更多关于环境的几何结构信息，通过点线联合优化相机位姿，提高相机定位精度和鲁棒性。通过进行点和线特征提取，在缺乏纹理和光照变化的场景下，将点和线特征用于准确和鲁邦的匹配和重定位，进行相机位姿估计，减小定位误差和重定位误差，该算法解决了弱纹理区域和光照变化场景中特征点检测失效及定位难的问题。
[0009]本专利技术是通过如下技术方案实现的：一种面向动态环境的基于点线联合的语义SLAM 方法，具体包括以下步骤：步骤S1：获取场景的图像流，将图像流逐帧传入到CNN网络中，对先验动态性质的物体进行逐像素的分割，分割出场景中的动态物体，得到关键帧图像，并利用前几帧的信息，将动态目标遮挡的静态场景补全；步骤S2：对步骤S1：获得的关键帧图像提取特征点和特征线，同时构建一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像以及关键帧图像的相邻帧图像，在关键帧图像以及关键帧图像的相邻帧图像中查找与当前帧图像匹配的特征点和线段，然后对先验动态性质的物体进行动态一致性检查，剔除动态物体上的特征点和特征线，保留静态物体上的特征点和特征线，利用剩下的静态特征点和静态线进行匹配；步骤S3：对步骤S2的特征点和特征线进行匹配，同时进行滤波，剔除错误匹配的点和线，获得正确的匹配点对和线对，利用匹配点对获得初始相机位姿；步骤S4：通过步骤S3得到的匹配点对和线对计算当前帧的相机位姿，通过最小化
点对和线对的重投影误差，获得精确的相机位姿估计；步骤S5：利用关键帧图像构建关于场景的局部地图，对每帧图像进行实例分割，将每个实例中的特征点和特征线归并到对应的实例中，利用特征点和特征线来定位相机位姿，计算物体和场景的点云获得稀疏点云地图；步骤S6：利用回环检测进行位姿优化，修正漂移误差，获得更精确的相机位姿估计。
[0010]作为优选方案，步骤S1为提取关键帧图像上静态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向动态环境的基于点线联合的语义SLAM 方法，其特征在于,具体包括以下步骤：步骤S1：获取场景的图像流，将图像流逐帧传入到CNN网络中，对先验动态性质的物体进行逐像素的分割，分割出场景中的动态物体，得到关键帧图像，并利用前几帧的信息，将动态目标遮挡的静态场景补全；步骤S2：对步骤S1：获得的关键帧图像提取特征点和特征线，同时构建一个关于当前帧图像的局部地图，包括与当前帧图像有共视点的关键帧图像以及关键帧图像的相邻帧图像，在关键帧图像以及关键帧图像的相邻帧图像中查找与当前帧图像匹配的特征点和线段，然后对先验动态性质的物体进行动态一致性检查，剔除动态物体上的特征点和特征线，保留静态物体上的特征点和特征线，利用剩下的静态特征点和静态线进行匹配；步骤S3：对步骤S2的特征点和特征线进行匹配，同时进行滤波，剔除错误匹配的点和线，获得正确的匹配点对和线对，利用匹配点对获得初始相机位姿；步骤S4：通过步骤S3得到的匹配点对和线对计算当前帧的相机位姿，通过最小化点对和线对的重投影误差，获得精确的相机位姿估计；步骤S5：利用关键帧图像构建关于场景的局部地图，对每帧图像进行实例分割，将每个实例中的特征点和特征线归并到对应的实例中，利用特征点和特征线来定位相机位姿，计算物体和场景的点云获得稀疏点云地图；步骤S6：利用回环检测进行位姿优化，修正漂移误差，获得更精确的相机位姿估计。2.根据权利要求1所述的一种面向动态环境的基于点线联合的语义SLAM 方法,其特征在于,所述步骤S1为提取关键帧图像上静态区域的特征点和特征线，对关键帧图像静态区域提取特征点及特征线，具体包括以下步骤：采用ORB特征点提取图像静态区域的特征，同时计算ORB描述子，获得图像静态区域的特征点和描述子，对去除动态物体的图像进行线特征提取，线特征的提取采用Transformer的网络结构，通过一系列的上采样和下采样操作，融合不同尺度下的特征信息，获得图像静态区域上的线特征。3. 根据权利要求2所述的一种面向动态环境的基于点线联合的语义SLAM 方法,其特征在于,所述提取线特征，采用水平距离和垂直距离生成向量来预测单个线段两个端点的位置，获得线特征，其中和表示线段的左右两个端点坐标，为线段的中点坐标，表示右端点坐标和中点坐标之间关系的一个向量， 和分别表示为：，。4.根据权利要求1所述的一种面向动态环境的基于点线联合的语义SLAM 方法,其特征在于,所述步骤S3中的特征点和特征线的匹配的具体包括以下步骤：特征点的匹配是通过生成ORB描述子，...

【专利技术属性】
技术研发人员：杨健，董军宇，范浩，饶源，时正午，杨凯，李丛，刘伊美，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：