【技术实现步骤摘要】
基于视觉和雷达信息融合的3D目标运动分析方法
本专利技术具体涉及一种基于视觉和雷达信息融合的3D目标运动分析方法。
技术介绍
随着经济技术的发展，无人驾驶和自动驾驶技术已经得到了长足的发展，而且也是未来的科技趋势之一。对于自动驾驶车辆而言，一个典型的自动驾驶系统包括感知、预测、规划和控制四个部分。感知是对场景中感兴趣的物体(如车辆、行人等)进行检测，并随着时间的推移对目标进行跟踪。因此，感知(运动分析)就成为了自动驾驶技术的核心部分之一。目前，对于3D目标的检测方法，大致分类以下三类：a.基于双目视觉的3D检测与跟踪方法，利用双目视觉来估计视差和深度，但双目视觉的立体匹配与标定是其一大难点；b.基于单目视觉的3D检测与跟踪方法，由于难以获取物体的立体与深度信息，因此这种方法性能较差；c.基于激光雷达点云的3D检测与跟踪，点云数据只包含3D结构信息而缺少RGB信息，因此，单纯依靠点云的跟踪是不可靠的。
技术实现思路
本专利技术的目的在于提供一种可靠性高、准确性好且性能优异的基于视觉和雷达信息融合的3D目标运动分析方法。本专利技术提供的这种基于视觉和雷达信息融合的3D目标...
【技术保护点】
1.一种基于视觉和雷达信息融合的3D目标运动分析方法，包括如下步骤：S1.构建初始目标检测模型，并对模型进行训练，从而得到目标检测模型；S2.实时获取相机图像；S3.利用步骤S1得到的目标检测模型对步骤S2得到的相机图像进行检测，从而得到目标的2D框和目标掩码；S4.利用多目标跟踪算法对目标进行跟踪，从而得到目标id；S5.实时获取激光雷达点云数据；S6.对相机图像和激光雷达点云数据进行联合标定，从而得到相机和激光雷达之间的坐标转换关系；S7.根据步骤S6得到的坐标转换关系，将激光雷达点云数据投影到图像中，从而得到包含在2D框中的点云数据；S8.利用前景背景分离算法过滤步骤...
【技术特征摘要】
1.一种基于视觉和雷达信息融合的3D目标运动分析方法，包括如下步骤：S1.构建初始目标检测模型，并对模型进行训练，从而得到目标检测模型；S2.实时获取相机图像；S3.利用步骤S1得到的目标检测模型对步骤S2得到的相机图像进行检测，从而得到目标的2D框和目标掩码；S4.利用多目标跟踪算法对目标进行跟踪，从而得到目标id；S5.实时获取激光雷达点云数据；S6.对相机图像和激光雷达点云数据进行联合标定，从而得到相机和激光雷达之间的坐标转换关系；S7.根据步骤S6得到的坐标转换关系，将激光雷达点云数据投影到图像中，从而得到包含在2D框中的点云数据；S8.利用前景背景分离算法过滤步骤S7得到的包含在2D框中的点云数据，从而得到只属于目标的点云数据；S9.对步骤S8得到的点云数据进行3D矩形边框拟合，从而得到目标的3D坐标；S10.计算当前帧目标的位置质心与前一帧目标的位置质心之间的位置偏差，从而得到目标的速度大小和速度方向，完成3D目标运动分析。2.根据权利要求1所述的基于视觉和雷达信息融合的3D目标运动分析方法，其特征在于步骤S1所述的构建初始目标检测模型，并对模型进行训练，具体为初始目标检测模型采用Mask-RCNN深度学习检测算法，并采用公开的BDD100K自动驾驶数据集对Mask-RCNN深度学习检测算法进行训练。3.据权利要求1或2所述的基于视觉和雷达信息融合的3D目标运动分析方法，其特征在于步骤S4所述的利用多目标跟踪算法对目标进行跟踪，从而得到目标id，具体为采用如下步骤进行目标跟踪并得到目标id：A.对于行人目标框，使用公开的Market1501行人再识别数据集训练行人特征提取模型；所述的行人特征提取模型采用ResNet50模型；B.对于车辆目标框，使用公开的VRID车辆再识别数据集训练车辆特征提取模型；所述的车辆特征提取模型采用ResNet50模型；C.采用步骤A得到的行人特征提取模型提取行人目标框的深度表现特征，并计算相邻两帧之间的行人的表现特征之间的余弦距离，从而得到第一行人距离度量矩阵；D.采用步骤B得到的车辆特征提取模型提取车辆目标框的深度表现特征，并计算相邻两帧之间的车辆的表现特征之间的余弦距离，从而得到第一车辆距离度量矩阵；E.根据行人的上一帧目标框位置，预测行人的当前帧的预测目标框位置，计算行人的预测目标框位置与上一帧目标框位置之间的距离，从而得到第二行人距离度量矩阵；F.根据车辆的上一帧目标框位置，预测车辆的当前帧的预测目标框位置，计算车辆的预测目标框位置与上一帧目标框位置之间的距离，从而得到第二车辆距离度量矩阵；G.对第一行人距...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。