一种动态环境下点线融合机器人SLAM方法及系统技术方案

本发明专利技术公开了一种动态环境下点线融合机器人SLAM方法及系统，包括采集动态环境下的图像帧序列；对图像帧序列进行点线特征提取，构建点线特征对集合；对图像帧序列进行动态检测，将对组成动态区域的点特征从点特征对集合中进行剔除；利用对极几何特性，检查点特征对集合中剩余的点特征是否为动态点特征，对动态点特征进行剔除；采用PROSAC算法对点特征对集合中剩余的静态点特征进行滤除操作，得到可用的点特征对；通过最小化图像光度误差，利用稀疏图像对齐算法实现对机器人位姿的初步估计；基于可用的点特征对和线特征对通过最小化重投影误差优化机器人位姿；通过局部建图进行点云处理，获得稀疏点云地图；利用回环检测优化机器人位姿。机器人位姿。机器人位姿。

【技术实现步骤摘要】
一种动态环境下点线融合机器人SLAM方法及系统


[0001]本专利技术涉及机器人基于视觉的定位与导航
，具体为一种基于目标检测网络的动态环境下点线融合机器人SLAM方法及系统。

技术介绍

[0002]在人工智能及大数据科技高速发展的今天，移动机器人正以智能化的形式进入人类的生活工作中。在未知环境中确定自身位置与姿态是移动机器人进行环境感知和动态决策的重要前提。通过对目前主流定位方法SLAM系统进行不断研究和改进，使得智能机器人更好的应用于制造、物流等复杂的工作环境。
[0003]SLAM技术目前主要是利用相机、惯导和激光雷达等传感器对环境进行感知。基于激光雷达的SLAM技术较为成熟，并且已经在无人驾驶和人工智能机器人等方面实现了商业化的应用。但由于其多线束规格的产品成本较高并且不具备颜色和纹理信息，这很大程度上提高了移动机器人的研究成本和信息处理难度。而视觉SLAM使用的相机传感器具有造价便宜、图像中纹理信息丰富等优点，使得移动机器人更加适用于在各个应用领域的研究和推广。目前视觉SLAM在真实环境中仍面临着一些实际性挑战。例如，在室外高亮环境下图像易出现无纹理信息和移动速度过快易出现图像模糊等现象，造成图像特征追踪丢失等问题，进而影响移动机器人的位姿轨迹估计准确度。
[0004]在目前的视觉SLAM定位算法研究中，针对视觉中的图像特征信息求解问题，大多数的视觉算法都是以假设图像场景中的物体是静态作为基本前提，并未考虑实际环境中存在的移动对象，例如车辆和行人。由于场景中的移动物体会对图像造成信息遮挡等现象，导致图像在特征点匹配中发生误匹配，进而对载体的位姿状态估计造成偏差。

技术实现思路

[0005]专利技术目的：为解决在动态场景下现有视觉SLAM定位算法存在检测精度和鲁棒性低等问题，本专利技术提出了一种基于目标检测网络的针对动态环境下点线融合机器人SLAM方法与系统，将目标检测网络、几何法与点线融合SLAM系统结合，使SLAM系统前端提取特征点的同时能够有效剔除动态特征，然后利用保留的静态特征进行图像帧间位姿状态求解，进而有效提升移动机器人基于特征信息的位姿估计准确度。
[0006]技术方案：一种动态环境下点线融合机器人SLAM方法，包括以下步骤：
[0007]步骤1：采集动态环境下的图像帧序列；
[0008]步骤2：对图像帧序列进行点特征提取，构建点特征对集合；对图像帧序列进行线特征提取，构建线特征对集合；
[0009]步骤3：对图像帧序列进行动态检测，得到图像中的动态区域，将对组成动态区域的点特征从点特征对集合中进行剔除；
[0010]步骤4：利用对极几何特性，检查点特征对集合中剩余的点特征是否为动态点特征，对动态点特征进行剔除；
[0011]步骤5：采用PROSAC算法对点特征对集合中剩余的静态点特征进行滤除操作，得到可用的点特征对；
[0012]步骤6：通过最小化图像光度误差，利用稀疏图像对齐算法实现对机器人位姿的初步估计；
[0013]步骤7：基于可用的点特征对和线特征对通过最小化重投影误差优化机器人位姿；
[0014]步骤8：通过局部建图进行点云处理，获得稀疏点云地图；
[0015]步骤9：利用回环检测优化机器人位姿。
[0016]进一步的，步骤2中，所述对图像帧序列进行点特征提取，构建点特征对集合，具体操作包括：
[0017]采用SURF算法，获取图像帧序列的SURF点特征；
[0018]对SURF点特征进行高斯滤波；
[0019]对于任意一经过高斯滤波后的SURF点特征，以自身为中心点，在周围取S
×
S的窗口，在该选定的窗口中选取N对点特征，对于选取的每个点特征按照式(1)进行计算：
[0020][0021]式中，p(x)表示点特征x＝(u1,v1)的像素值，p(y)表示点特征y＝(u2,v2)的像素值。
[0022]按照式(2)，得到每个点特征的二进制编码：
[0023][0024]取相邻两帧图像的点特征，基于每个点特征的二进制编码，计算得到两个点特征之间的最短与次短汉明距离；当两个点特征之间的汉明距离的比例小于比例阈值时，且两个点特征之间的汉明距离小于距离阈值时，两个点特征为匹配的点特征对，以此构建得到点特征对集合。
[0025]进一步的，步骤2中，所述对图像帧序列进行线特征提取，构建线特征对集合，具体操作包括：
[0026]对图像帧序列中的图像进行图像缩放；
[0027]采用LSD算法对缩放后的图像中的每个像素点的右下四个像素进行梯度计算，得到每个像素点的梯度幅值，取梯度幅值不小于梯度幅值阈值的像素点构建得到线段区域；
[0028]通过线段区域内像素点的梯度方向，确定构建的线段区域的梯度方向；
[0029]随机选取位于线段区域周围的一个孤立像素点，计算该孤立像素点的梯度方向，和该孤立像素点的梯度方向与线段区域的梯度方向之间的方向容忍值；
[0030]仅当该方向容忍值小于方向容忍值阈值时，将该孤立像素点纳入线段区域内，以此更新线段区域；
[0031]对最新的线段区域进行矩形近似计算，得到LSD线特征；
[0032]对LSD线特征计算LBD描述子并进行匹配，得到线特征对，以此构建得到线特征对集合。
[0033]进一步的，步骤3中，采用轻量级目标检测网络YOLO
‑
EfficientNetV2对图像帧序列进行动态检测。
[0034]进一步的，步骤4中，所述利用对极几何特性，检查点特征对集合中剩余的点特征是否为动态点特征，具体操作包括：
[0035]从点特征对集中随机选出四对点特征对，求解得到基础矩阵F；计算点特征对集中其余点特征到基础矩阵F所对应极线的距离d，仅当距离d小于距离阈值时，判定该点特征为内点，记录此时被判定为内点的点特征数量；重复执行上述步骤N次后，取被判定为内点的点特征数量最多的一次，将该次求得的基础矩阵F作为最终的基础矩阵F；
[0036]基于最终的基础矩阵F，对点特征对集中所有的点特征，计算到最终的基础矩阵F所对应极线的距离，判定距离超过距离阈值的点特征为动态点特征。
[0037]进一步的，所述步骤5，具体包括：
[0038]按照式(7)，计算得到各点特征对的匹配质量：
[0039][0040]式中，γ为质量因子，β为每一对点特征对建立的欧式距离的比值，表示为：
[0041][0042]式中，d
min
、d
min2
分别为每一对点特征对建立的最小和次小欧式距离；
[0043]根据匹配质量对点特征对集合中的点特征对进行筛选，得到可用的点特征对。
[0044]进一步的，所述步骤6具体包括：
[0045]构建重投影误差模型，具体包括：
[0046]定义第i帧观测到的第m个点特征P
m
和第n条线特征L
n...

【技术保护点】

【技术特征摘要】
1.一种动态环境下点线融合机器人SLAM方法，其特征在于：包括以下步骤：步骤1：采集动态环境下的图像帧序列；步骤2：对图像帧序列进行点特征提取，构建点特征对集合；对图像帧序列进行线特征提取，构建线特征对集合；步骤3：对图像帧序列进行动态检测，得到图像中的动态区域，将对组成动态区域的点特征从点特征对集合中进行剔除；步骤4：利用对极几何特性，检查点特征对集合中剩余的点特征是否为动态点特征，对动态点特征进行剔除；步骤5：采用PROSAC算法对点特征对集合中剩余的静态点特征进行滤除操作，得到可用的点特征对；步骤6：通过最小化图像光度误差，利用稀疏图像对齐算法实现对机器人位姿的初步估计；步骤7：基于可用的点特征对和线特征对通过最小化重投影误差优化机器人位姿；步骤8：通过局部建图进行点云处理，获得稀疏点云地图；步骤9：利用回环检测优化机器人位姿。2.根据权利要求1所述的一种动态环境下点线融合机器人SLAM方法，其特征在于：步骤2中，所述对图像帧序列进行点特征提取，构建点特征对集合，具体操作包括：采用SURF算法，获取图像帧序列的SURF点特征；对SURF点特征进行高斯滤波；对于任意一经过高斯滤波后的SURF点特征，以自身为中心点，在周围取S
×
S的窗口，在该选定的窗口中选取N对点特征，对于选取的每个点特征按照式(1)进行计算：式中，p(x)表示点特征x＝(u1,v1)的像素值，p(y)表示点特征y＝(u2,v2)的像素值。按照式(2)，得到每个点特征的二进制编码：取相邻两帧图像的点特征，基于每个点特征的二进制编码，计算得到两个点特征之间的最短与次短汉明距离；当两个点特征之间的汉明距离的比例小于比例阈值时，且两个点特征之间的汉明距离小于距离阈值时，两个点特征为匹配的点特征对，以此构建得到点特征对集合。3.根据权利要求1所述的根据权利要求1所述的一种动态环境下点线融合机器人SLAM方法，其特征在于：步骤2中，所述对图像帧序列进行线特征提取，构建线特征对集合，具体操作包括：对图像帧序列中的图像进行图像缩放；采用LSD算法对缩放后的图像中的每个像素点的右下四个像素进行梯度计算，得到每个像素点的梯度幅值，取梯度幅值不小于梯度幅值阈值的像素点构建得到线段支持域区域；
通过线段支持域区域内像素点的梯度方向，确定构建的线段支持域区域的梯度方向；随机选取位于线段支持域区域周围的一个孤立像素点，计算该孤立像素点的梯度方向，和该孤立像素点的梯度方向与线段支持域区域的梯度方向之间的方向容忍值；仅当该方向容忍值小于方向容忍值阈值时，将该孤立像素点纳入线段支持域区域内，以此更新线段支持域区域；对不再最新的线段支持域区域进行矩形近似计算，得到LSD线特征；对LSD线特征计算LBD描述子并进行匹配，得到线特征对，以此构建得到线特征对集合。4.根据权利要求1所述的一种动态环境下点线融合机器人SLAM方法，其特征在于：步骤3中，采用轻量级目标检测网络YOLO
‑
EfficientNetV2对图像帧序列进行动态检测。5.根据权利要求1所述的一种动态环境下点线融合机器人SLAM方法，其特征在于：步骤4中，所述利用对极几何特性，检查点特征对集合中剩余的点特征是否为动态点特征，具体操作包括：从点特征对集中随机选出四对点特征对，求解得到基础矩阵F；计算点特征对集中其余点特征到基础矩阵F所对应极线的距离d，仅当距离d小于距离阈值时，判定该点特征为内点，记录此时被判定为内点的点特征数量；重复执行上述步骤...

【专利技术属性】
技术研发人员：马国军，徐洋洋，辜慧岚，张博文，仲重光，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：