结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法、装置、处理器及其存储介质制造方法及图纸

本发明专利技术涉及一种结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法，其中，该方法包括以下步骤：(1)智能驾驶车辆实时采集4D毫米波雷达的点云数据以及鱼眼相机的图像数据，并对二者的数据进行预处理；(2)对点云数据以及图像数据同时进行位姿估计处理，分别得到基于4D毫米波雷达的车辆当前位姿以及基于鱼眼图像的车辆当前位姿；(3)将两个位姿进行EKF滤波处理得到更为精准的位姿；(4)将车辆的精准位姿与4D毫米波雷达的点云关键帧进行变换处理，得到点云地图；(5)将精准位姿以及点云地图作为SLAM进行输出。本发明专利技术还涉及一种相应的装置、处理器及其存储介质。采用了本发明专利技术的该方法、装置、处理器及其存储介质，大大提高了建图质量和定位精度。量和定位精度。量和定位精度。

【技术实现步骤摘要】
结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法、装置、处理器及其存储介质


[0001]本专利技术涉及智能驾驶
，尤其涉及毫米波雷达与SLAM
，具体是指一种结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法、装置、处理器及其计算机可读存储介质。

技术介绍

[0002]在智能驾驶领域，车辆往往需要实时感知周围的环境信息和确定自身的位置信息，来达到对周围环境的精准感知进而输出到运动规划决策模块。这就需要SLAM技术在构建车辆周围的地图的同时确定车辆在全局参考坐标系中的位置。
[0003]目前，对于车端纯4D毫米波雷达实现SLAM技术,受限于毫米波雷达的点云稀疏性以及点云的高度信息俯仰角度测量不准确，导致建立的环境地图质量差(地图中物体的轮廓不够清晰，有重影)和确定出来的位置精度差(和真实的位置相差较大)，尤其在车辆转弯时，这种现象表现尤为明显。地图质量差、定位精度不高往往使得后续的运动控制产生抖动，使得乘客的驾驶体验差。

技术实现思路

[0004]本专利技术的目的是克服了上述现有技术的缺点，提供了一种提高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法，其特征在于，所述的方法包括以下步骤：(1)智能驾驶车辆实时采集4D毫米波雷达的点云数据以及鱼眼相机的图像数据，并对二者的数据进行预处理；(2)对经过预处理后的点云数据以及图像数据同时进行位姿估计处理，分别得到基于4D毫米波雷达的车辆当前位姿以及基于鱼眼图像的车辆当前位姿；(3)将两个位姿进行EKF滤波处理，并得到滤波后更为精准的位姿；(4)将车辆的精准位姿与4D毫米波雷达的点云关键帧进行变换处理，得到世界坐标系下的关键帧点云，并将数帧所述的关键帧点云进行拼接，得到点云地图；(5)将上述得到的精准位姿以及点云地图作为SLAM进行输出。2.根据权利要求1所述的结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法，其特征在于，所述的步骤(1)具体包括以下步骤：(1.1)对采集到的各个4D毫米波雷达的数据进行时间同步，并按照先后顺序的融合方式拼接成车辆周围360度的点云；(1.2)将4D毫米波雷达的点云数据和鱼眼相机的图像数据进行时间对齐同步，并按照4D毫米波雷达点云的时间进行对齐。3.根据权利要求2所述的结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法，其特征在于，所述的步骤(2)进行基于4D毫米波雷达的位姿估计具体包括以下步骤：(2.1.a)提取点云关键帧：根据车辆的运动信息，即距离上一次提取关键帧车辆运动的距离Δd或者旋转角度Δα，如果Δd或者Δα大于一定阈值θ则将当前的4D毫米波雷达的点云P
i
{x0，x1…
x
m
}添加为关键帧，记为K
i
；(2.2.a)点云关键帧间匹配：即将关键帧K
i
和上一个关键帧K
i
‑1进行正态分布变换ndt匹配，将关键帧K
i
的点云P
i
{x0，x1…
x
m
}和关键帧K
i
‑1的点云P
i
‑1{x0，x1...x
n
}划分为一个个体素单元格voxel，估计出每个体素单元格内所有点服从的正态分布p
voxel
～N(μ，σ)，其中，μ为正态分布的均值，σ为正态分布的协方差；并求解出一个变换T
i
(R
i
，t
i
)使得关键帧K
i
的点经过变换落到关键帧K
i
‑1点所在的体素单元格voxel的概率值p
voxel
最大，求解方式如下：最后得到4D毫米波雷达帧间的相对平移变换和相对旋转变换(2.3.a)利用以下公式计算基于4D毫米波雷达的车辆当前位姿(2.3.a)利用以下公式计算基于4D毫米波雷达的车辆当前位姿其中，为上一帧车辆的位姿估计。4.根据权利要求3所述的结合鱼眼相机实现车端4D毫米波雷达SLAM处理的方法，其特征在于，所述的步骤(2)...

【专利技术属性】
技术研发人员：赵映重，陆新飞，史颂华，薛旦，
申请(专利权)人：上海几何伙伴智能驾驶有限公司，
类型：发明
国别省市：