【技术实现步骤摘要】
本专利技术涉及同步定位与建图，具体涉及一种鲁棒性动态视觉同步定位与建图方法及系统。
技术介绍
1、同步定位与建图(simultaneous localization and mapping，slam)是一种利用传感器绘制设备周围区域的地图，同时将自身定位在该区域内的技术。视觉同步定位与建图(visual slam，vslam)利用相机作为主要传感器。
2、传统的vslam系统通常假设静态场景，但是现实场景中存在的动态对象违背该假设，该动态对象可能会导致不正确的数据关联，从而降低定位精度。此外，这些动态对象会将噪声和伪影引入稠密的点云地图，降低了其质量和可用性。一些vslam系统先使用深度卷积神经网络对图像进行像素级语义分割，然后结合几何约束识别动态对象。但是该方法严重依赖于神经网络输出的质量，特别是动态对象的边界，很难在只使用相机的情况下生成只包含静态背景和对象的干净的三维语义地图。
3、一些vslam系统使用几何法检测动态特征点，但是几何法很容易受到环境和相机运动的影响而失效，从而形成错误的几何约束关系。同时，这些算法通常十分信赖几何法的检测结果，不会对几何法的检测结果做任何限制，因此这些算法往往会将大量可靠的静态特征点识别为动态特征点而删除，从而导致定位精度降低或者是追踪失败。此外，几何法的执行通常需要较高的计算成本，而现有的系统几乎不会对机器人所处的环境进行判别，即便是在静态的环境中，这些算法也会无条件的执行基于几何法的动态特征点检测，从而造成了不必要的计算成本，减低了系统的实时性能和实用性能。p>
4、为此，设计一种能够在动态环境下实现高精度定位，同时生成实时静态语义图的可靠的vslam系统是很有必要的。
技术实现思路
1、本专利技术提供了一种鲁棒性动态视觉同步定位与建图方法及系统，其目的在于提高vslam系统在动态环境下的定位精度和地图质量。
2、其技术方案如下：
3、一种鲁棒性动态视觉同步定位与建图方法，其要点在于，包括：
4、s1、构建一种鲁棒性动态视觉同步定位与建图系统，以orb-slam 2系统框架作为主体框架，并在该主体框架内集成语义分割线程和稠密建图线程，其中语义分割线程位于输入模块之后，与跟踪线程并列且相互连接，所述稠密建图线程位于闭环检测线程之后，并分别与输入模块、跟踪线程和语义分割线程相互连接。
5、所述跟踪线程中，在姿态估计或重新定位模块前端设置有静态特征点提取模块和动态特征点检测模块，并在局部地图跟踪模块中集成误匹配检测模块。
6、s2、输入模块获取rgb-d相机拍摄的彩色图像a和深色图像b。
7、s3、语义分割线程对输入的彩色图像a进行像素级语义分割，获得语义信息c和动态对象的数量n。
8、s4、跟踪线程提取彩色图像a的orb特征点：
9、s41、静态特征点提取模块利用语义信息c提取彩色图像a的静态orb特征点f。
10、s42、动态特征点检测模块通过场景判别算法和有限动态特征点检测算法评估和筛选静态orb特征点f，获得静态特征点g。
11、s43、姿态估计或重新定位模块利用静态特征点g进行初始姿态估计，并将当前帧的特征点与地图点进行匹配，形成匹配对。
12、s44、局部地图跟踪模块在局部空间范围内将静态特征点g中未匹配成功的特征点与稀疏地图中的地图点进行进一步的匹配形成新的匹配对。
13、s45、利用误匹配检测模块筛选并删除步骤s43和s44中错误的匹配对；并使用剩余的的匹配对步骤s43获得的初始位姿进行优化，获得精确位姿。
14、s5、判断是否将当前帧作为关键帧：
15、如果当前帧不作为关键帧，则返回步骤s2。
16、如果当前帧作为关键帧，则将该关键帧输入到建图线程和闭环检测线程中，全局位姿优化。
17、同时，也将该关键帧输入到稠密建图线程。
18、s6、稠密建图线程结合新关键帧的彩色图像a、深色图像b、语义信息c和精确位姿，通过点云生成和过滤算法生成3d点云图。
19、采用以上结构，保留了orb-slam 2系统在静态环境中实现高定位精度的优势，同时又能充分反映动态对象的真实情况，在动态环境下也能实现高精度定位，并实时生成静态语义地图。语义分割线程与跟踪线程并行处理彩色图像，显著提高了系统效率；稠密建图线程能够生成和过滤点云，产生低噪声且高完整度的语义图。误匹配检测模块能够消除地图点和特征点之间的错误匹配，降低rgb-d相机不匹配和时间未对准的影响，提高姿态优化精度和定位精度。
20、步骤s3中，所述语义分割线程使用yolov8s模型作为分割网络，并使用coco数据集上的预训练模型处理输入图像，获得语义信息c包括动态对象掩膜和动态对象的数量n。
21、采用以上结构，yolov8s模型的s为small，用于表示yolov8s模型是yolov8模型中的小模型，速度快，作为分割网络能够平衡了语义分割的精度和速度。
22、在所述语义分割线程中，将一些在大多数环境中常为动态的实例类别设为先验动态对象，并将检测到的先验动态对象的掩膜结合到一个掩膜e中。
23、采用以上结构，yolov8s模型会为每一个对象生成一个掩膜，该掩膜为用白色表示动态对象、用黑色表示静态对象的黑白图像，所述结合操作是指将动态的实例的掩膜叠加到一起，形成一个掩膜e。
24、步骤s41中，所述静态特征点提取模块通过静态特征点提取算法提取彩色图像a的静态orb特征点f：
25、s411、将彩色图像a转换为灰度图像a’，利用灰度图像a’构建一个多尺度图像金字塔，并提取每个尺度的图像中的fast特征点，其中，尺度是指图像的分辨率。
26、s412、利用语义掩膜e生成与图像金字塔对应的掩膜金字塔。
27、s413、剔除掩膜金字塔中位于动态区域的fast特征点，获得静态fast特征点。
28、s414、利用八叉树将静态fast特征点均匀分布在图像上。
29、s415、计算静态fast特征点的方向和描述符，并经过高斯滤波后，留下1000个特征点作为彩色图像a的静态orb特征点f组。
30、采用以上结构，静态特征点提取算法能够无视环境变化，可以一致地从输入图像中提取超过1000个静态orb特征点，与orb-slam 2系统的配置参数1000个静态orb特征点相同。在提取过程中执行此丢弃动态orb特征点的任务，避免了在动态对象占据相当大一部分视野的情况下跟踪失败的情况，保证了定位精度和跟踪成功率。
31、步骤s42中，所述动态特征点检测模块评估和筛选静态orb特征点f的步骤如下：
32、s421、通过场景判别算法判断当前场景类型。
33、如果当前帧和前3帧中语义分割线程检测到的动态对象的数量n为零，则将该场景分类为静态场景，进入本文档来自技高网...
【技术保护点】
1.一种鲁棒性动态视觉同步定位与建图方法，其特征在于，包括：
2.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤S3中，所述语义分割线程使用YOLOv8s模型作为分割网络，并使用COCO数据集上的预训练模型处理输入图像；
3.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤S41中，所述静态特征点提取模块通过静态特征点提取算法提取彩色图像a的静态ORB特征点f；
4.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤S42中，所述动态特征点检测模块评估和筛选静态ORB特征点f的步骤如下：
5.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤S45中，所述误匹配检测算法筛选并删除步骤S43和步骤S44中不匹配的匹配对，包括以下步骤：
6.根据权利要求2或4所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤S6中，所述点云生成和过滤算法生成3D点云图步骤如下：
7.一种鲁棒性动态视觉同步定位与建图系统
...【技术特征摘要】
1.一种鲁棒性动态视觉同步定位与建图方法，其特征在于，包括：
2.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤s3中，所述语义分割线程使用yolov8s模型作为分割网络，并使用coco数据集上的预训练模型处理输入图像；
3.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤s41中，所述静态特征点提取模块通过静态特征点提取算法提取彩色图像a的静态orb特征点f；
4.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方法，其特征在于，步骤s42中，所述动态特征点检测模块评估和筛选静态orb特征点f的步骤如下：
5.根据权利要求1所述的一种鲁棒性动态视觉同步定位与建图方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。