【技术实现步骤摘要】
本专利技术涉及4d毫米波雷达，尤其涉及定位与建图，具体是指一种基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法。
技术介绍
1、近年来，随着传感设备的不断更新迭代，定位与建图技术（simultaneouslocalization and mapping，slam）已经变得越来越成熟，成为了自动驾驶、室内机器人导航、安防监控、虚拟现实、游戏开发等应用领域中不可或缺的技术手段。其中视觉因其可以提供稠密且丰富的环境信息而受到广泛关注。然而，受限于摄像头的成像原理，其采集车辆的位置、速度等信息都是二维平面位置信息，且单帧图像无法描述目标的运动信息。在真实环境中，通常存在大量动态物体，仅使用图像信息难以识别场景中的动态目标，导致在视觉slam前端提取的特征点无法稳定的跟踪匹配，进而影响相机位姿估计以及地图点构建，使得地图构建的精度较低和鲁棒性较差。
2、目前，关于动态场景下视觉slam方法中有基于光流法、实例分割网络以及基于连续帧目标深度变化对动态目标进行分割。其中基于光流法，是通过计算像素特征的光流不一致性来区分静态背景和移动目标，实现高效的动态目标检测。然而，光流法本身易受光照影响，精度和鲁棒性较差。基于实例分割网络的动态场景下视觉slam方法，是通过设置特定目标进而进行像素级语义分割，并未对分割结果是否为动态目标进行严格的检测，极易出现误判，反而影响了正常的特征提取流程，进而导致最终的位姿估计精度较低。第三种方法中常见的是使用rgbd相机连续检测场景中深度的变化，进而从中找出动态目标，并将动态目标范围内的点云
技术实现思路
1、本专利技术的目的是克服了上述现有技术的缺点，提供了一种基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法、装置、处理器及其计算机可读存储介质。
2、为了实现上述目的，本专利技术的该基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法、装置、处理器及其计算机可读存储介质如下：
3、该基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其主要特点是，所述的方法包括以下步骤：
4、（1）输入4d毫米波雷达点云数据进行预处理，并以此进行点云动态点与静态点的剥离；
5、（2）基于所述的4d毫米波雷达点云数据获取当前最新时间戳的图像数据进行数据关联；
6、（3）将4d毫米波雷达的动态点投影到输入图像上进行空间关联，并将其输入到sam图像分割模型中进行训练，以此得到数个包含动态目标边界像素坐标的分割实例；
7、（4）对获取到的动态目标边界像素坐标进行orb特征提取，得到滤除所有动态目标特征点后的所有静态特征点，并进行静态特征点匹配；
8、（5）基于三角化原理对匹配的静态特征点对，求解与静态目标特征点对应的有效的三维点，并基于该三维点计算局部点云地图中的地图点以及相应的位姿；
9、（6）对所述的局部点云地图进行局部ba优化以及回环检测处理，并以此得到当前环境的全局静态特征点地图和优化后的位姿。
10、较佳地，所述的步骤（1）具体包括以下步骤：
11、（1.1）输入4d毫米波雷达点云数据，其中所述的4d毫米波雷达点云数据包含4维信息，分别为空间坐标x，y，z以及对应点的多普勒速度信息v；
12、（1.2）使用统计滤波计算每个点云周围的邻域内点的统计特征，并根据预先设定的阈值判断是否将该点视为噪声并进行滤除；
13、（1.3）使用半径滤波算法计算每个点云周围的邻域内点的数量，若某个点周围的点数小于设定的阈值，则认为该点为噪声点，则将其滤除；
14、（1.4）基于随机采样一致算法进行重复迭代，直到最终的拟合结果下内点数量最多时，剥离出4d毫米波雷达点云数据中的初步静态点；
15、（1.5）计算自车速度进一步获取4d毫米波雷达点云数据中的所有动态点和静态点；
16、（1.6）基于所述的多普勒速度信息v计算自车速度；
17、（1.7）基于自车速度计算4d毫米波雷达点云数据中的点的预测多普勒速度与观测多普勒速度差值以及该差值的均值；
18、（1.8）通过设置速度阈值进行动态点与静态点的判断，并滤除每帧点云中的静态点，以此输出动态点。
19、较佳地，所述的步骤（1.5）具体包括以下步骤：
20、（1.5.1）求出所述的初步静态点中点的方向标量，其中为点的坐标，为点的方向；
21、（1.5.2）按照以下方式获取4d毫米波雷达所测得的静态目标点的多普勒速度：
22、；
23、其中：
24、；
25、；
26、其中，为自车速度，、和分别为自车在x，y，z三个方向上的速度，、和分别为当前该点在x，y，z三个方向上的大小，t为转置；
27、若有n个观测，则将上述方程进一步修改为：
28、；
29、其中，表示毫米波雷达点云中的多普勒速度观测向量，h为观测矩阵，为自车速度。
30、较佳地，所述的步骤（1.6）为：通过构建最小二乘问题，基于qr分解求出自车速度，具体如下：
31、所述的最小二乘问题的解为：；
32、将所述的观测矩阵h进行qr分解可得自车速度：
33、；
34、；
35、较佳地，所述的步骤（1.7）具体包括以下步骤：
36、（1.7.1）按照以下方式计算4d毫米波雷达点云数据中点的预测多普勒速度与观测多普勒速度的差值：
37、；
38、其中，为第i个点预测多普勒速度与观测多普勒速度的差值，与分别为点的方向坐标与观测多普勒速度；
39、（1.7.2）按照以下方式计算所有点云的相对多普勒速度均值为：
40、；
41、其中n为点的个数。
42、较佳地，所述的步骤（1.8）具体包括以下步骤：
43、（1.8.1）设置速度阈值，对每帧4d毫米波雷达点云中的点进行判断，当该点的多普勒速度与相对多普勒速度均值之差的绝对值低于所设阈值，则认为该点为静态点，否则为动态点1，具体如下式所示：
44、；
45、（1.8.2）根据上式滤除每帧点云中的静态点，输出动态点。
46、较佳地，所述的步骤（2）具体包括以下步骤：
47、（2.1）输入图像数据；
48、（2.2）以最新输入图像的时间戳为基准，弹出雷达点云队列中与该时间戳相差较大的点云帧，直到雷达点云队列的队首存放的是与最新图像时间戳最接近的雷达点云帧，以此完成数据关联。
49、较佳地，所述的步骤（3）具体包括以下步骤：
50、（3.1）本文档来自技高网...
【技术保护点】
1.一种基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1）具体包括以下步骤：
3.根据权利要求2所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1.5）具体包括以下步骤：
4.根据权利要求3所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1.6）为：通过构建最小二乘问题，基于QR分解求出自车速度，具体如下：
5.根据权利要求4所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1.7）具体包括以下步骤：
6.根据权利要求5所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1.8）具体包括以下步骤：
7.根据权利要求6所述的基于4D毫米波雷达与SAM图像分割模
8.根据权利要求7所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（3）具体包括以下步骤：
9.根据权利要求8所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（4）具体包括以下步骤：
10.根据权利要求9所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（5）具体包括以下步骤：
11.根据权利要求10所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（6）具体包括以下步骤：
12.一种实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的装置，其特征在于，所述的装置包括：
13.一种实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1～11中任一项所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1～11中任一项所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
...【技术特征摘要】
1.一种基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其特征在于，所述的步骤（1）具体包括以下步骤：
3.根据权利要求2所述的基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其特征在于，所述的步骤（1.5）具体包括以下步骤：
4.根据权利要求3所述的基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其特征在于，所述的步骤（1.6）为：通过构建最小二乘问题，基于qr分解求出自车速度，具体如下：
5.根据权利要求4所述的基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其特征在于，所述的步骤（1.7）具体包括以下步骤：
6.根据权利要求5所述的基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其特征在于，所述的步骤（1.8）具体包括以下步骤：
7.根据权利要求6所述的基于4d毫米波雷达与sam图像分割模型的动点滤除视觉slam方法，其特征在于，所述的步骤（2）具体包括以下步骤：
8.根据权利要求7所述的基于4d毫米波雷达与sam图像分割模型的动点滤除视觉...
【专利技术属性】
技术研发人员：李琛玮，赵映重，曾啟华，陆新飞，薛旦，史颂华，
申请(专利权)人：上海几何伙伴智能驾驶有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。