动态环境下基于深度学习的视觉SLAM方法技术

本发明专利技术公开了一种动态环境下基于深度学习的视觉SLAM方法，该方法包括以下步骤:采用GCNv2网络进行特征点提取；利用语义分割网络和多视图几何结合的方法检测动态特征点，进行动态特征点剔除，其中采用改进后的DeepLabV3plus网络对RGB图像进行语义分割，将先验动态物体人对应的像素作为动态区域；利用多视图几何检测除人之外的其他动态物体；然后经过跟踪、局部地图优化、闭环检测，最后利用点云信息与语义信息相结合构建语义点云地图和语义八叉树地图。本发明专利技术具有通过语义分割模型和多视图几何方法，使视觉SLAM算法能够有效减少动态物体带来的影响，提高了系统的定位精度。度。度。

【技术实现步骤摘要】
动态环境下基于深度学习的视觉SLAM方法


[0001]本专利技术涉及机器人、计算机视觉、人工智能
，具体涉及一种动态环境下基于深度学习的视觉SLAM方法。

技术介绍

[0002]同步定位与建图(Simultaneous Localization AndMapping，SLAM)能够在未知环境下完成定位与地图的自主构建，是工业机器人、自主导航、无人驾驶等应用中的基础技术之一。目前SLAM采用的传感器主要是激光雷达、相机以及惯性测量单元(Inertial Measurement Units，IMU)，近年来以相机作为传感器的视觉SLAM逐渐成为SLAM领域的主要研究方向之一。
[0003]目前大多数视觉SLAM算法研究的假设条件是静态且简单环境，然而实际环境中会存在运动对象，这些运动对象会影响定位精度，严重的将可能出现定位失败的情况。这会导致视觉SLAM在动态场景下鲁棒性差，定位与建图精度易受动态物体干扰。此外，大部分SLAM算法缺少语义信息，构建的地图不具有直观性，无法很好应用到导航中。随着深度学习的发展和计算机性能的不断提高，语义分割为解决动态环境下VSLAM算法的鲁棒性差的问题提供了一种新的技术路线。将语义分割与SLAM相结合可以有效剔除动态点，以及构建包含语义信息的地图。现有技术中，Yu等提出DS
‑
SLAM算法，利用语义分割网络SegNet和运动一致性检测方法剔除动态特征点。Bescos等采用实例分割网络MaskR
‑
CNN分割先验动态目标，并利用多视图结合方法检测潜在运动物。Zhong等采用目标检测方法SSD检测帧中的动态物体，利用特征匹配和扩展影响区域的方式对动态特征点进行运动概率传播，在跟踪线程中剔除动态点。Xiao等同样使用SSD检验先验运动物体，并在跟踪线程中利用选择性跟踪算法处理动态目标上的特征点。但存在以下缺点：由于动态场景中视觉SLAM不能区分出动态和静态特征点，在估计相机位姿时，把动态特征点错误的当成静态特征点，导致估计出的相机位姿和真实位姿有较大偏差，降低了视觉SLAM系统的定位与建图精度。此外，大部分SLAM算法缺少语义信息，使构建的地图不具有直观性，无法很好应用到导航中。

技术实现思路

[0004]本专利技术的目的在于克服上述缺点而提出了一种能够在动态场景下定位与建图不易受动态物体干扰，具有语义性，且精度高、鲁棒性和实时性好的动态环境下基于深度学习的视觉SLAM方法。
[0005]本专利技术的一种动态环境下基于深度学习的视觉SLAM方法，该方法包括以下步骤：
[0006]S1.特征点提取：以相机获取的RGB图像作为输入，进行特征提取，并对特征进行均匀化与非极大值抑制处理，最终获得分布均匀的特征点，当前帧中提取的特征点包含了关键点和描述子。
[0007]所述特征提取采用GCNv2网络，先将RGB图像调整为320
×
240尺寸，再进行特征提取。
[0008]S2.动态点剔除：利用语义分割网络和多视图几何结合的方法检测动态特征点，进行动态特征点剔除，具体步骤如下：
[0009]S2.1利用语义分割网络对图像进行语义分割：所述语义分割网络为改进的DeepLabV3plus网络，该改进的DeepLabV3plus网络：基于传统的DeepLabV3plus网络，采用MobileNet V2作为主干网络，采用迁移学习加载预训练模型，在空洞空间金字塔池化模块ASPP中使用深度可分离卷积替换标准卷积，并引用SE注意力机制，以便对网络性能好的特征通道的权重进行提升，抑制对使网络性能不好的特征通道的权重；
[0010]采用所述改进后的DeepLabV3plus网络对RGB图像进行语义分割，获得像素级语义分割结果，将先验动态物体人对应的像素作为动态区域，其具体步骤为：
[0011]输入图像，利用轻量级主干网络MobilenetV2提取图像特征之后，得到两个输出值：包含高级语义信息的特征图和包含低级特征的特征图；包含高级语义信息的特征图先通过空洞空间金字塔池化模块ASPP，接着利用SE注意力机制提高训练效率，随后利用1x1卷积调整通道数，并进行四次上采样操作；包含低级特征的特征图利用1x1卷积调整通道数，之后与高级语义信息的特征图堆叠，最后利用3x3卷积进行通道调整之后，四倍上采样得到最终像素级语义分割结果，并将先验动态物体人对应的像素作为动态区域；
[0012]其中，所述通过空洞空间金字塔池化模块ASPP，ASPP通过在不同的分辨率上，进行深度可分离空洞卷积及全局平均池化操作以捕获丰富的上下文信息，空洞卷积算法可以表示为：
[0013][0014]其中，y[i]为输入空洞卷积大小为i的特征图，w[k]代表卷积核的大小为k
×
k，w为卷积核，k为卷积核的尺寸，r为扩展率，x为输出的特征图；其中，扩展率为卷积核在工作时移动的步幅大小，感受野的大小随扩展率大小而改变。
[0015]S2.2利用多视图几何检测除人之外的其他动态物体：确定图像中的关键帧，将所述关键帧中的关键点投影到当前帧，利用视差角和深度值变化大小将目标对象区分为动态区域和静态区域；其过程如下：首先将关键帧中的关键点p投影到当前帧，得到投影点p
′
和投影深度D
proj
，之后计算p的反投影与p
′
之间视差角α，同时，还要计算深度值差ΔD；利用视差角α和深度值差ΔD判断当前特征点是否为动态特征点，从而将检测到的除人之外的其他动态物体对象的动态特征点作为动态区域；
[0016]当α＞30
°
，可判断其为动态点；
[0017]同时，计算深度值差ΔD，若ΔD＝0，该点被认为是静态的，若ΔD＞0，则该点被认为是动态的；
[0018]其中，ΔD＝D
proj
‑
D
′
，D
′
表示当前帧中关键点深度。
[0019]S2.3动态点剔除：将所述语义分割网络和多视图几何分别检测的两个动态区域取并集，最终的动态区域并集内的所有特征点都视为动态特征点被剔除；
[0020]S3.跟踪：将特征点剔除之后，利用剩余的静态特征点进行相机位姿初始化，在得到初始位姿后在局部地图中进行更精确的跟踪，并选择插入关键帧；
[0021]所述选择插入关键帧的依据为：距上次插入关键帧超过20帧，当前帧跟踪的特征
点少于50个，当前帧跟踪的特征点少于参考关键帧的90％。
[0022]S4.局部地图优化：对新插入的关键帧、新插入关键帧所有共视帧和共视帧中地图点进行BA优化；
[0023]S5.闭环检测：利用词典模型对当前帧与历史帧之间相似度与阈值进行对比，进而确定闭环的存在，并将闭环检测结果传送到后端进行优化处理；
[0024]所述后端优化，对前端获取的每个时间点的相机位姿以及回环检测到数据进行优化处理，实现视觉SLAM跟踪的实时性。
[0025]S6本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态环境下基于深度学习的视觉SLAM方法，其特征在于：该方法包括以下步骤:S1.特征点提取：以RGB图像作为输入，进行特征提取，并对特征进行均匀化与非极大值抑制处理，最终获得分布均匀的特征点；图像的当前帧中提取的特征点包含了关键点和描述子；S2.动态点剔除：利用语义分割网络和多视图几何结合的方法检测动态特征点，进行动态特征点剔除，具体步骤如下：S2.1利用语义分割网络对图像进行语义分割：所述语义分割网络为改进的DeepLabV3plus网络，该改进的DeepLabV3plus网络：基于传统的DeepLabV3plus网络，采用MobileNet V2作为主干网络，采用迁移学习加载预训练模型，在空洞空间金字塔池化模块ASPP中使用深度可分离卷积替换标准卷积，并引用SE注意力机制，以便对网络性能好的特征通道的权重进行提升，抑制对使网络性能不好的特征通道的权重；采用所述改进后的DeepLabV3plus网络对RGB图像进行语义分割，获得像素级语义分割结果，将先验动态物体人对应的像素作为动态区域，其具体步骤为：输入图像，利用轻量级主干网络MobilenetV2提取图像特征之后，得到两个输出值：包含高级语义信息的特征图和包含低级特征的特征图；包含高级语义信息的特征图先通过空洞空间金字塔池化模块ASPP，接着利用SE注意力机制提高训练效率，随后利用1x1卷积调整通道数，并进行四次上采样操作；包含低级特征的特征图利用1x1卷积调整通道数，之后与高级语义信息的特征图堆叠，最后利用3x3卷积进行通道调整之后，四倍上采样得到最终像素级语义分割结果，并将先验动态物体人对应的像素作为动态区域；S2.2利用多视图几何检测除人之外的其他动态物体：确定图像中的关键帧，将关键帧中的关键点投影到当前帧，利用视差角和深度值变化大小将目标对象区分为动态区域和静态区域；其过程如下：首先将关键帧中的关键点p投影到当前帧，得到投影点p＇和投影深度D
proj
，计算p的反投影与p＇之间视差角α，同时，还要计算深度值差ΔD；利用视差角α和深度值差ΔD判断当前特征点是否为动态特征点，从而将检测到的除人之外的其他动态物体对象的动态特征点作为动态区域；S2.3动态点剔除：将所述语义分割网络和多视图几何分别检测的两个动态区域取并集，最终的动态区域并集内的所有特征点都视为动态特征点被剔除；S3.跟踪：将特征点剔除之后，利用剩余的静态特征点进行相机位姿初始化，在得到初始位姿后在局部地图中进行更精确的跟踪，并选择插入关键帧；S4.局部地图优化：对新插入的关键帧的所有共视帧和共视帧中地图点进行BA优...

【专利技术属性】
技术研发人员：袁庆霓，杜晓英，陈启鹏，吕健，杜飞龙，吴杨东，蓝伟文，
申请(专利权)人：贵州大学，
类型：发明
国别省市：