一种在动态场景下的视觉SLAM动态特征点剔除方法及系统技术方案

本发明专利技术提供一种在动态场景下的视觉SLAM动态特征点剔除方法及系统，同时使用语义分割和目标检测实现对动态物体的识别，利用静态点恢复减少损失，最后实现动态点的剔除；实现过程包括利用目标检测处理出RGB图片中的动态部分；使用自适应机制，选择是否使用语义分割来做更精细化的识别；如果只使用目标检测处理RGB图片中的动态部分，则使用目标检测分支进一步处理，该分支使用运动一致性检测和静态点恢复两种策略来剔除动态特征点；如果使用了目标检测和语义分割处理RGB图片中的动态部分，则使用语义分割分支进一步处理，该分支使用运动一致性检测来剔除动态特征点。本发明专利技术在没有效率损失的情况下，可在高动态场景下提高位姿估计精度和vSLAM系统运行鲁棒性。估计精度和vSLAM系统运行鲁棒性。估计精度和vSLAM系统运行鲁棒性。

【技术实现步骤摘要】
一种在动态场景下的视觉SLAM动态特征点剔除方法及系统


[0001]本专利技术属于同步定位与地图构建领域，尤其涉及将摄像头作为主要传感器的同步定位与地图构建。

技术介绍

[0002]场景静态性的假设极大的限制了传统视觉SLAM(visual Simultaneous Localization and Mapping,vSLAM)的发展。现在许多方案都采用了深度学习或者几何约束的方案来处理场景中存在的动态物体，但是这些方案或多或少都存在一些位姿估计精度或者鲁棒性不高的问题。因此本专利技术提出了一种协同使用语义分割和目标检测的方案来获取场景中的潜在动态物体的先验轮廓信息，这些先验信息就可以辅助几何约束的方案来剔除动态特征点。在公开的数据集上进行了评估测试，实验结果表明本专利技术的方案在没有效率损失的情况下，可以在高动态场景下提高位姿估计的精度和vSLAM系统运行的鲁棒性。

技术实现思路

[0003]本专利技术的目的是为了让机器人在动态环境下更加鲁棒更加精确的估计自身的位置姿势。
[0004]为了实现上述目的，本专利技术提出的技术方案提供一种在动态场景下的视觉SLAM动态特征点剔除方法，同时使用语义分割和目标检测实现对动态物体的识别，利用静态点恢复减少损失，最后实现动态点的剔除；
[0005]实现过程包括以下步骤，
[0006]S1，利用目标检测处理出RGB图片中的动态部分；
[0007]S2，使用自适应机制，选择是否使用语义分割来做更精细化的识别；
[0008]S3，如果只使用目标检测处理RGB图片中的动态部分，则使用目标检测分支进一步处理，该分支使用运动一致性检测和静态点恢复两种策略来剔除动态特征点；如果使用了目标检测和语义分割处理RGB图片中的动态部分，则使用语义分割分支进一步处理，该分支使用运动一致性检测来剔除动态特征点。
[0009]而且，所述步骤S1)实现方式包括以下子步骤，
[0010]a)对每一张RGB图像使用YOLOv4算法进行处理，识别图像中的所有物体；
[0011]b)保留潜在动态物体的识别结果，潜在动态物体区域相应矩形框的保留格式为(x1,y1,x2,y2,h,w)，x1为矩形框左上角的横坐标，y1为矩形框左上角的纵坐标，x2为矩形框右下角的横坐标，y2为矩形框右下角的纵坐标，h为矩形框的高度，w为矩形框的宽度。
[0012]而且，所述步骤S2实现方式包括以下子步骤，
[0013]c)计算潜在动态物体区域所占RGB图像的像素点数量，同时计算RGB图像中总的像素点数量，令score为这两个参数的比值；
[0014]d)如果比值大于等于预设阈值r，则进一步使用语义分割处理图像中的潜在动态物体区域，在步骤S3进行语义分割分支；如果比值小于预设阈值r，则直接进入步骤S3进行
目标检测分支。
[0015]而且，所述步骤S3实现方式包括以下子步骤，
[0016]e)提取每个RGB图像中的ORB特征点；
[0017]f)根据步骤S2的判断结果，当进行语义分割分支时，使用动态一致性检测来判断潜在动态物体是否在运动，首先利用光流金字塔计算出几何离群点，如果达到预设数量阈值的几何离群点落在了潜在动态物体轮廓里，则认为该潜在动态物体在运动；否则认定该潜在动态物体保持静止，没有运动；对于正在运动的潜在动态物体，将落在其轮廓里的ORB特征点剔除；
[0018]g)根据步骤S2的判断结果，当进行目标检测分支时，先使用动态一致性检测来判断潜在动态物体是否在运动，然后利用静态点恢复策略将潜在动态物体区域中ORB特征点区分成静态ORB特征点和动态ORB特征点，最后将落在其轮廓里的动态ORB特征点剔除。
[0019]而且，利用静态点恢复策略进行动态ORB特征点剔除时，对一张RGB图像中所有的特征点分成两部分，第一部分是目标检测框外的特征点，第二部分是目标检测框内的特征点；计算第一部分中所有静态点对之间的平均距离作为静态特征点的阈值，用第一部分中所有的静态特征点，对第二部分中所有不确定点进行投票，包括根据阈值计算针对一个不确定点k的动态得分，如果超过一半的静态特征点都认为不确定点k是动态特征点，那么认定其为动态特征点并移除，否则保留该点。
[0020]另一方面，本专利技术提供一种在动态场景下的视觉SLAM动态特征点剔除系统，用于实现如上所述的一种在动态场景下的视觉SLAM动态特征点剔除方法。
[0021]而且，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种在动态场景下的视觉SLAM动态特征点剔除方法。
[0022]或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种在动态场景下的视觉SLAM动态特征点剔除方法。
[0023]本专利技术方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。采用本专利技术所述方案，与现有技术相比，只需要增加有限的时间开销，就可以大幅度的提升机器人位姿估计的精度以及vSLAM系统运行时的鲁棒性。
附图说明
[0024]图1是本专利技术实施例的目标检测结果示意图。
[0025]图2是本专利技术实施例的静态点恢复策略示意图。
[0026]图3是本专利技术实施例的精度提升示意图。
[0027]图4是本专利技术实施例的时间效率提升示意图。
具体实施方式
[0028]以下结合附图和实施例具体说明本专利技术的技术方案。
[0029]本专利技术实施例提供一种动态场景下的视觉SLAM动态特征点剔除方法，实现协同使用目标检测和语义分割两种深度学习模型实现对动态物体的识别，来获取潜在物体先验轮廓，有了潜在物体的先验信息，然后利用静态点恢复的方法减少了可用静态点的损失，再使
用几何方案来协助移除动态特征点。这样就可以移除场景中动态物体轮廓中的动态特征点，也就减小了移动的物体对于机器人自身位姿估计的影响。实现过程包括以下步骤，包括：
[0030]S1：利用目标检测处理出RGB图片中的动态部分。
[0031]S2：使用自适应机制，选择是否使用语义分割来做更精细化的识别。
[0032]S3：如果只使用目标检测处理RGB图片中的动态部分，则使用目标检测分支进一步处理，该分支使用运动一致性检测和静态点恢复两种策略来剔除动态特征点；如果使用了目标检测和语义分割处理RGB图片中的动态部分，则使用语义分割分支进一步处理，该分支使用运动一致性检测来剔除动态特征点。
[0033]本专利技术实施例所设计的动态点剔除框架分为三大部分，如附图1所示，第一部分是图片的输入，本专利技术用到了RGB图像；第二部分是语义信息的提取，本专利技术使用了语义分割和目标检测两种语义获取的方法，在不同动态场景下可以切换使用不同的模型，用于加快vSLAM系统运行速度以及提供vSLAM系统运行的鲁棒性，即该部分实现步骤S1和S2。第三部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在动态场景下的视觉SLAM动态特征点剔除方法，其特征在于：同时使用语义分割和目标检测实现对动态物体的识别，利用静态点恢复减少损失，最后实现动态点的剔除；实现过程包括以下步骤，S1，利用目标检测处理出RGB图片中的动态部分；S2，使用自适应机制，选择是否使用语义分割来做更精细化的识别；S3，如果只使用目标检测处理RGB图片中的动态部分，则使用目标检测分支进一步处理，该分支使用运动一致性检测和静态点恢复两种策略来剔除动态特征点；如果使用了目标检测和语义分割处理RGB图片中的动态部分，则使用语义分割分支进一步处理，该分支使用运动一致性检测来剔除动态特征点。2.根据权利要求1所述的一种在动态场景下的视觉SLAM动态特征点剔除方法，其特征在于：所述步骤S1)实现方式包括以下子步骤，a)对每一张RGB图像使用YOLOv4算法进行处理，识别图像中的所有物体；b)保留潜在动态物体的识别结果，潜在动态物体区域相应矩形框的保留格式为(x1,y1,x2,y2,h,w)，x1为矩形框左上角的横坐标，y1为矩形框左上角的纵坐标，x2为矩形框右下角的横坐标，y2为矩形框右下角的纵坐标，h为矩形框的高度，w为矩形框的宽度。3.根据权利要求1所述的一种在动态场景下的视觉SLAM动态特征点剔除方法，其特征在于：所述步骤S2实现方式包括以下子步骤，c)计算潜在动态物体区域所占RGB图像的像素点数量，同时计算RGB图像中总的像素点数量，令score为这两个参数的比值；d)如果比值大于等于预设阈值r，则进一步使用语义分割处理图像中的潜在动态物体区域，在步骤S3进行语义分割分支；如果比值小于预设阈值r，则直接进入步骤S3进行目标检测分支。4.根据权利要求1或2或3所述的一种在动态场景下的视觉SLAM动态特征点剔除方法，其特征在于：所述步骤S3实现方式包括以下子步骤，e)提取每个RGB图像中的ORB特征点；f)根据步骤S2的判断结果，当进行语义分割分支时，使用动态一致性检测来判断潜在动态物体是否在运动，首先利用...

【专利技术属性】
技术研发人员：郭迟，余佩林，
申请(专利权)人：武汉大学，
类型：发明
国别省市：