一种面向动态场景的视觉SLAM方法、系统及存储介质技术方案

本发明专利技术涉及一种面向动态场景的视觉SLAM方法、系统及存储介质，其包括：根据语义信息将获取到的每一帧图像中的物体划分为动态对象和静态对象，得到相应的图像掩膜；对获取到的图像进行ORB特征提取，根据提取到的特征点对相邻两帧图像关键点进行特征匹配，同时根据图像掩膜进行运动状态检测；根据特征点的坐标是否落在分割区域确定特征点的运动属性，结合Delaunay三角剖分方法对特征点的运动属性最终判定，检测出潜在的动态特征点异常值，得到绝对的静态特征点；利用绝对的静态特征点进行位姿估计，获得高精度的定位结果。本发明专利技术能解决未知环境中动态物体对视觉定位系统造成的定位误差影响；能在机器人视觉定位领域中应用。用。用。

【技术实现步骤摘要】
一种面向动态场景的视觉SLAM方法、系统及存储介质


[0001]本专利技术涉及一种机器人视觉定位
，特别是关于一种面向动态场景的视觉SLAM(同步定位与地图构建)方法、系统及存储介质。

技术介绍

[0002]同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)，是机器人实现自主导航的核心技术，机器人通过利用激光雷达、相机等传感器获取环境中的感知信息对自身位姿进行实时估计同时构建稀疏的点云地图，以提高机器人的环境适应能力，满足自主作业的应用需求。近年来，随着人工智能技术的快速发展，机器人成为了解放人力的重要手段被广泛应用于生产生活的各个领域，面向动态场景的机器人自主作业成为了具有挑战性的研究热点。
[0003]现有技术中公开的ORB
‑
SLAM2是一个支持单目、双目、RGB
‑
D相机的开源SLAM框架，能够实时计算相机的位姿并同时对周围环境稀疏三维重建，它能够在CPU上做到实时的回环检测和重定位，定位精度极高，可达厘米级。ORB
‑
SLAM2利用随机采样一致性(RANSAC)和光束平差法(Bundle Adjustment)等方法来减少特征匹配过程中由于错误匹配而产生的误差，两种方法都是基于绝对静止的前提，但当系统处于动态环境中时这两种方法会因为动态特征点的介入给系统造成大量误差。因此，如区分动态和静态特征点，提升SLAM系统在动态场景中的鲁棒性和可靠性是确保移动机器人高效、稳健自主作业的关键。而现有技术中公开的全过程进行语义分割会占用大量计算资源，依据当前帧中特征点的运动等级信息与动态特征点所占的比重，自适应地判断当前帧是否需要进行语义分割，极大降低了运算成本，系统可实时运行。而利用单高斯模型(SGM)反映图像序列的灰度变化，依据灰度值大小区分前景区域和背景区域，忽略前景区域的特征点来估计相机位姿，但是单高斯模型容易受到噪声干扰，系统的稳定性欠佳。采用YOLOv4确定当前图像是否存在潜在可移动物体，根据最大类间方差算法分割边界框内前背景，过滤潜在动态特征点，相对位姿准确率提升近90％，但在动态目标所占比重较大的特殊场景时，系统会出现跟踪失败的情况。
[0004]故如何解决未知环境中动态物体对视觉定位系统造成的定位误差影响，成为目前亟需解决的技术问题。

技术实现思路

[0005]针对上述问题，本专利技术的目的是提供一种面向动态场景的视觉SLAM方法、系统及存储介质，其能解决未知环境中动态物体对视觉定位系统造成的定位误差影响。
[0006]为实现上述目的，本专利技术采取以下技术方案：一种面向动态场景的视觉SLAM方法，其包括：根据语义信息将获取到的每一帧图像中的物体划分为动态对象和静态对象，得到相应的图像掩膜；对获取到的图像进行ORB特征提取，根据提取到的特征点对相邻两帧图像关键点进行特征匹配，同时根据图像掩膜进行运动状态检测；根据特征点的坐标是否落在分割区域确定特征点的运动属性，结合Delaunay三角剖分方法对特征点的运动属性最终判
定，检测出潜在的动态特征点异常值，得到绝对的静态特征点；利用绝对的静态特征点进行位姿估计，获得高精度的定位结果。
[0007]进一步，根据语义信息将获取到的每一帧图像中的物体划分为动态对象和静态对象，包括：
[0008]采用轻量级的语义分割网络PP
‑
LiteSeg进行划分；
[0009]在获取的图像中提取的特征点中，标记出动态对象和静态对象，并将所有的通道对齐形成一个通道，得到一个场景图像中动态对象和静态对象的分割掩膜。
[0010]进一步，结合Delaunay三角剖分方法对特征点的运动属性最终判定，包括：
[0011]将图像中的特征点连结成三角形，并通过比较相邻两帧对应三角形的边，确定动态对象的特征点，将属于动态对象的特征点从三角剖分方法构成的连通图中剔除，以将图像中动态区域剔除。
[0012]进一步，确定动态对象的特征点，包括：
[0013]利用向量边连结的两个地图点所对应的当前帧的特征点反投影，生成的3D点连结形成的新向量边进行动态向量检测；
[0014]基于动态向量检测结果，获取向量边的动态程变化度，以检测出动态对象的地图点。
[0015]进一步，动态向量检测由动态向量检测函数实现，动态向量检测函数为：
[0016][0017]式中，MN为三角形的向量边，M'N'为当前帧的特征点反投影生成的3D点连结而成的向量边，为动态向量检测函数。
[0018]进一步，获取向量边的动态变化程度，包括：利用L2范数计算向量边的长度变化，利用余弦相似度来计算向量边的角度变化，得到向量边的动态变化程度；
[0019]如未发生动态变化，则应满足基于L2范数的判定条件；
[0020]如未发生向量边角度变化，则应满足基于余弦相似度的判定条件；
[0021]基于两种判定条件确定动态向量，若向量边被标记为动态向量，则增加该动态向量连结的两个地图点的动态权重。
[0022]进一步，基于L2范数的判定条件为：
[0023][0024]基于余弦相似度的判定条件为：
[0025][0026]式中，ε
dmax
，ε
dmin
为向量二范数的比值区间的最大值和最小值，ε
cos
为余弦相似度阈值。
[0027]一种面向动态场景的视觉SLAM系统，其包括：第一处理模块，根据语义信息将获取到的每一帧图像中的物体划分为动态对象和静态对象，得到相应的图像掩膜；第二处理模块，对获取到的图像进行ORB特征提取，根据提取到的特征点对相邻两帧图像关键点进行特征匹配，同时根据图像掩膜进行运动状态检测；第三处理模块，根据特征点的坐标是否落在
分割区域确定特征点的运动属性，结合Delaunay三角剖分方法对特征点的运动属性最终判定，检测出潜在的动态特征点异常值，得到绝对的静态特征点；输出模块，利用绝对的静态特征点进行位姿估计，获得高精度的定位结果。
[0028]一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
[0029]一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
[0030]本专利技术由于采取以上技术方案，其具有以下优点：
[0031]本专利技术基于ORB
‑
SLAM2提出了一个动态环境下的实时SLAM系统，该系统利用深度学习网络PP
‑
LiteSeg获取的语义信息结合三角剖分，对场景中的动态特征点进行了滤除，采用绝对静态的特征点进行位姿估计。通过TUM和KITTI数据集实验表明，本专利技术在相机姿态和定位精度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向动态场景的视觉SLAM方法，其特征在于，包括：根据语义信息将获取到的每一帧图像中的物体划分为动态对象和静态对象，得到相应的图像掩膜；对获取到的图像进行ORB特征提取，根据提取到的特征点对相邻两帧图像关键点进行特征匹配，同时根据图像掩膜进行运动状态检测；根据特征点的坐标是否落在分割区域确定特征点的运动属性，结合Delaunay三角剖分方法对特征点的运动属性最终判定，检测出潜在的动态特征点异常值，得到绝对的静态特征点；利用绝对的静态特征点进行位姿估计，获得高精度的定位结果。2.如权利要求1所述面向动态场景的视觉SLAM方法，其特征在于，根据语义信息将获取到的每一帧图像中的物体划分为动态对象和静态对象，包括：采用轻量级的语义分割网络PP
‑
LiteSeg进行划分；在获取的图像中提取的特征点中，标记出动态对象和静态对象，并将所有的通道对齐形成一个通道，得到一个场景图像中动态对象和静态对象的分割掩膜。3.如权利要求1所述面向动态场景的视觉SLAM方法，其特征在于，结合Delaunay三角剖分方法对特征点的运动属性最终判定，包括：将图像中的特征点连结成三角形，并通过比较相邻两帧对应三角形的边，确定动态对象的特征点，将属于动态对象的特征点从三角剖分方法构成的连通图中剔除，以将图像中动态区域剔除。4.如权利要求3所述面向动态场景的视觉SLAM方法，其特征在于，确定动态对象的特征点，包括：利用向量边连结的两个地图点所对应的当前帧的特征点反投影，生成的3D点连结形成的新向量边进行动态向量检测；基于动态向量检测结果，获取向量边的动态程变化度，以检测出动态对象的地图点。5.如权利要求4所述面向动态场景的视觉SLAM方法，其特征在于，动态向量检测由动态向量检测函数实现，动态向量检测函数为：式中，MN为三角形的向量边，M'N'为当前帧的特征点反投影生成的3D点连结而成的向量边，为动态向量检测函数。6.如权利要求...

【专利技术属性】
技术研发人员：张帅，左云波，王少红，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：