一种面向自动驾驶汽车的视觉SLAM系统及方法技术方案

本发明专利技术公开了一种面向自动驾驶汽车的视觉SLAM系统及方法，所述系统包括图像预处理模块、多目标跟踪模块、视觉里程计模块、物体状态更新模块以及后端优化模块。所述方法包括：步骤S1，通过实例分割网络对图像进行预处理；步骤S2，判别物体的动静态；步骤S3，估计初始相机的位姿；步骤S4，去除动态物体；步骤S5，对图像关键帧执行优化策略。本发明专利技术的有益效果：在视觉图像中，可以实现高效地动态物体滤除，有效降低建图鬼影，提高定位的准确性和鲁棒性，以及能够提高自动驾驶车辆在动态环境下的适用性。性。性。

【技术实现步骤摘要】
一种面向自动驾驶汽车的视觉SLAM系统及方法


[0001]本专利技术涉及同步定位与地图构建
，尤其涉及一种面向自动驾驶汽车的视觉SLAM系统及方法。

技术介绍

[0002]近年来，一种搭载特定传感器实现自主定位源的方法应运而生，即同步定位与建图技术(simultaneous localization and mapping，SLAM)，SLAM技术能够使运载设备完成对周围环境的地图构建并估计出地图中自身位姿。视觉SLAM广泛应用于智能移动机器人、无人驾驶汽车以及虚拟现实等领域。然而，视觉SLAM技术依赖于场景中的物体在连续帧图像中保持静止的假设，但真实场景通常无法满足这种静态假设，现实场景中的动态物体随处可见，并且不可避免。特别是基于特征点的视觉SLAM技术，为了避免动态物体匹配点占优而导致的定位漂移、建图鬼影等情况，探索具有处理动态物的能力的视觉SLAM系统是很有必要的。
[0003]目前，视觉SLAM技术已经在自动驾驶车辆中得到广泛应用，对于动态物体判别和滤除的方法根据是否借助深度学习模型分为两类。(1)非模型方法。传统SLAM都具备一定程度去除动态点的能力，通常引入几何约束来检验特征点是否符合静态假设，在位姿估计以及建图过程中去除部分不合格点；(2)借助深度学习模型提供潜在动态物体先验。随着近年来深度学习的不断发展，视觉SLAM借助深度神经网络提供的潜在动态物体的先验信息，辅以几何约束、概率传播和估算动态物体速度的方法实现动态物体滤除，达到提升系统性能表现的作用。
[0004]但上述两种方法存在以下问题：(1)非模型方法虽然具备一定滤除动态点的能力，但这种以特征点为单位的动态判别方法存在一定局限性，无法去除动态物体整体带来的影响，误差会随着运行时间累计，甚至可能导致系统追踪失败。(2)依靠深度学习模型的先验信息能以物体为单位提取特征，但是物体级数据关联的缺失，在判别物体状态时，容易造成误判等情况。依赖几何的方法往往通过前后两帧或者指定固定数量的图像帧中判别物体状态，没有考虑到运动物体的完整时空信息，鲁棒性低，容易导致动态物体误判。

技术实现思路

[0005]本专利技术公开了一种面向自动驾驶汽车的视觉SLAM系统及方法，充分利用潜在动态物体的时空关联，通过潜在动态物体时空关联信息构建共视窗口，结合基于外观和几何约束的动静态判别算法实现更加准确的动态物体判别结果，提升动态场景SLAM的定位精度，从而可以有效解决
技术介绍
中涉及的技术问题。
[0006]为实现上述目的，本专利技术的技术方案为：
[0007]一种面向自动驾驶汽车的视觉SLAM系统，包括：
[0008]图像预处理模块，其通过实例分割网络对图像进行预处理，得到二维检测框和二进制掩码；
[0009]多目标跟踪模块，其通过二维检测框融合外观相似度和几何距离实现实时多物体跟踪；
[0010]视觉里程计模块，其用于去除属于潜在动态物体的特征点，并将初始位姿发送给物体状态更新模块；
[0011]物体状态更新模块，其通过初始位姿和潜在动态物体的运动状态判别动静态状态，并将发生状态更新的物体传递到后端优化模块；
[0012]后端优化模块，其恢复静态物体地图点的同时，以初始位姿为初值利用纯静态物体优化更加准确位姿。
[0013]一种基于所述系统的面向自动驾驶汽车的视觉SLAM方法，包括以下步骤：
[0014]步骤S1：图像预处理模块通过实例分割网络对图像进行处理得到潜在动态物体的语义标签和背景；
[0015]步骤S2：多目标跟踪模块提供额外数据关联，根据潜在动态物体的时空信息判别其动静态，其具体步骤包括：
[0016]步骤S21：通过ORB特征提取词袋向量，通过计算轨迹和待匹配物体的外观相似度构建基于外观尺度的代价矩阵；
[0017]步骤S22：结合卡尔曼滤波器预测轨迹在当前帧出现的位置与待匹配二维检测框之间的马氏距离，更新代价矩阵；
[0018]步骤S23：通过匈牙利算法处理代价矩阵，解决分配问题，实现二维检测框和轨迹匹配；
[0019]步骤S3：视觉里程计模块借助深度学习模型得到的先验信息，去除动态特征，估计初始位姿；
[0020]步骤S4：物体状态更新模块根据多目标跟踪模块判别结果以及初始位姿判别出为纯静态物体的潜在动态物体后，去除动态物体，将更新信息传送到后端优化模块；所述判别出为纯静态物体的潜在动态物体，包括：
[0021]利用多物体跟踪结果，通过共视关键帧构建潜在动态物体的共视窗口；
[0022]在共视窗口中，通过外观约束和几何约束判别潜在动态物体的状态；
[0023]外观约束通过皮尔森系数评估物体在共视窗口中的相似性以剔除部分外观不合理的观测；
[0024]几何约束根据物体运动程度不同分别应用两种几何约束算法，包括：
[0025]通过基本矩阵的对级约束去除高动态物体；
[0026]通过先构造地图点再计算重投影误差的方式去除中低程度的动态物体和静态物体；
[0027]步骤S5：后端优化模块执行对图像的优化策略。
[0028]作为本专利技术的一种优选改进，通过实例分割网络对单目或双目图像进行处理。
[0029]作为本专利技术的一种优选改进，所述语义标签用于为多目标跟踪模块提供潜在动态物体的二维检测框和二进制掩码，所述背景用于计算初始位姿。
[0030]作为本专利技术的一种优选改进，所述图像预处理模块采用YOLACT++网络和Resnet50
‑
FPN实现。
[0031]作为本专利技术的一种优选改进，所述多目标跟踪模块通过八维状态空间描述二维检
测框的运动。
[0032]作为本专利技术的一种优选改进，步骤S3中，通过实例分割网络提供的静态背景中的特征点以及已经确定的静态物体内的特征点估计初始位姿。
[0033]作为本专利技术的一种优选改进，当更新信息传送到后端优化模块时，静态物体对应的地图点会相应地添加进局部BA残差项构建，优化求解得到更精准的位姿。
[0034]本专利技术的有益效果：
[0035]1、通过实时多物体跟踪算法实现了潜在动态物体的数据关联，能够有效判别动静态；
[0036]2、通过应用结合外观和几何约束的物体级的动态物体判别算法实现高效地动态物体滤除，提高了定位的准确性和鲁棒性；
[0037]3、通过在视觉图像中滤除动态物体，可以有效降低建图鬼影，大幅提高了建图精度；
[0038]4、能够有效提高自动驾驶车辆在动态环境下的适用性，并且因为具有动态障碍物剔除模块，能够同时达到提高定位系统定位精度和稳定性的效果。
附图说明
[0039]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向自动驾驶汽车的视觉SLAM系统，其特征在于，包括：图像预处理模块，其通过实例分割网络对图像进行预处理，得到二维检测框和二进制掩码；多目标跟踪模块，其通过二维检测框融合外观相似度和几何距离实现实时多物体跟踪；视觉里程计模块，其用于去除属于潜在动态物体的特征点，并将初始位姿发送给物体状态更新模块；物体状态更新模块，其通过初始位姿和潜在动态物体的运动状态判别动静态状态，并将发生状态更新的物体传递到后端优化模块；后端优化模块，其恢复静态物体地图点的同时，以初始位姿为初值利用纯静态物体优化更加准确位姿。2.一种基于权利要求1所述的系统的面向自动驾驶汽车的视觉SLAM方法，其特征在于，包括以下步骤：步骤S1：图像预处理模块通过实例分割网络对图像进行处理获得潜在动态物体的语义标签和背景；步骤S2：多目标跟踪模块提供额外数据关联，根据潜在动态物体的时空信息判别其动静态，其具体步骤包括：步骤S21：通过ORB特征提取词袋向量，通过计算轨迹和待匹配物体的外观相似度构建基于外观尺度的代价矩阵；步骤S22：结合卡尔曼滤波器预测轨迹在当前帧出现的位置与待匹配二维检测框之间的马氏距离，更新代价矩阵；步骤S23：通过匈牙利算法处理代价矩阵，解决分配问题，实现二维检测框和轨迹匹配；步骤S3：视觉里程计模块借助深度学习模型得到的先验信息，去除动态特征，估计初始位姿；步骤S4：物体状态更新模块根据多目标跟踪模块判别结果以及初始位姿判别出为纯静态物体的潜在动态物体后，去除动态物体，...

【专利技术属性】
技术研发人员：秦晓辉，廖毅霏，周云水，胡满江，边有钢，谢国涛，秦兆博，王晓伟，秦洪懋，徐彪，丁荣军，
申请(专利权)人：湖南大学，
类型：发明
国别省市：