【技术实现步骤摘要】
一种基于激光雷达的三维目标感知方法、装置及系统
[0001]本专利技术涉及目标感知
，具体涉及一种基于激光雷达的三维目标感知方法、装置及系统。
技术介绍
[0002]三维目标检测是自动驾驶的重要内容，是自动驾驶的决策控制和建图导航的重要依据，对环境感知和语义建图的最终结果起到重要的作用，故三维目标感知的准确性，直接影响到自动驾驶的安全性与鲁棒性。
[0003]目前常用的三维目标检测方法有激光点云法、RGBD法、多目相机法。
[0004](1)激光点云法：激光点云可提供准确的空间位置信息，通过深度学习网络补充语义特征Semantic features、前景遮盖Foreground Mask、3D特则提取，最后得出三维检测框，即3D bounding box。
[0005](2)RGBD法：在对RGB图像进行轮廓检测(Contour detection)和候选区域(Region proposal)后分别使用CNN(卷积神经网络)对深度层和图像层进行特征提取和分类并输出目标检测结果(深度分割)。
【技术保护点】
【技术特征摘要】
1.一种基于激光雷达的三维目标感知方法，其特征在于，包括：将RGBD数据及IMU数据输入到SLAM的追踪线程中，得到当前帧的传感器位姿、所述当前帧的二维特征点和所述当前帧的三维地图点；根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵；将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框；根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P；将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1；在所述二维检测框内拟合一个最大的内切椭圆，得到第一椭圆o1；利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项，得到误差项1；将所述误差项1加入到BA优化中，优化所述椭球P。2.根据权利要求1所述的方法，其特征在于，在将RGBD数据输入到SLAM的追踪线程之前，还包括：分别获取相机的RBG图像数据和激光雷达的点云数据；获取预设的外参标定数据；根据所述RBG图像数据、所述点云数据和所述外参标定数据，得到所述激光雷达与所述相机之间的准确外参数据；利用所述准确外参数据和预设的相机内参数据，将所述点云数据投影至二维像素屏幕；使用平滑化算法，将投影后的点云数据转化为像素平面的深度数据；将所述深度数据与RGB图像数据结合，得到RGBD数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵包括：获取预设的相机内参数据；根据所述相机内参数据和所述当前帧的传感器位姿，得到所述当前帧的投影矩阵，其中所述传感器包括相机和激光雷达。4.根据权利要求1所述的方法，其特征在于，根据二维检测框在所述当前帧中的位置、所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合，得到椭球P包括：根据所述二维检测框在所述当前帧中的位置及所述当前帧的传感器位姿，利用所述当前帧的投影矩阵将所述二维检测框投影到三维空间中，得到四个垂直于相机平面的约束平面；根据所述当前帧中所述二维检测框内的二维特征点的语义信息，得到所述目标的三维语义对象点；根据所述目标的三维语义对象点，形成两个平行于相机平面的约束平面；根据六个约束平面构成的立方体空间内拟合一个最大内切椭球，得到椭球P。5.根据权利要求1～4任一项所述的方法，其特征在于，还包括：将所述当前帧的三维地图点利用所述当前帧的投影矩阵投影至二维平面，并计算与所述当前帧的二维特征点的误差，得到误差项2；将所述误差项2加入到BA优化中，优化所述椭球P。
6.根据权利要求5所述的方法，其特征在于，将所述误差项1和所述误差项2加入到BA优化中，优化所述椭球P包括：将所述误差项1和所述误差项2加入到所...
【专利技术属性】
技术研发人员：王发平，邵鹏韬，姜波，
申请(专利权)人：深圳海星智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。