【技术实现步骤摘要】
本申请涉及自动驾驶，具体涉及一种基于多模态传感器的目标标注数据获取方法、介质及设备。
技术介绍
1、在对车辆进行自动驾驶时通常会涉及环境感知、运动预测、规划决策等环节，为了提高这些环节的准确性和可靠性，通常会获取不同场景的传感器数据，对这些传感器数据进行目标标注，再采用标注好目标各项数据（如位姿、语义等）的传感器数据训练用于各环节的模型（如环境感知模型、运动预测模型、规划决策模型等），最后采用训练好的模型实现各环节的功能。在此过程中，目标标注数据至关重要，如果想要提高各环节的能力，必须要采用精度高、数量大、场景完备的目标标注数据。
2、目前常规的标注方法通常需要耗费较大的成本才能完成高数据量和场景完成的目标标注。同时，前常规的标注方法主要是利用目标在单帧数据中的信息进行标注，无法得到高精度的标注数据。
3、相应地，本领域需要一种新的技术方案来解决上述问题。
技术实现思路
1、为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何低成本、便捷地获取高精度的目标标注数据的技术问题的基于多模态传感器的目标标注数据获取方法、介质及设备。
2、在第一方面，提供一种基于多模态传感器的目标标注数据获取方法，所述多模态传感器包括雷达和相机，所述方法包括：
3、对雷达采集的点云序列进行目标检测和跟踪，以获取各点云目标的运动轨迹，所述运动轨迹包括点云目标在所述点云序列中每帧点云时刻的轨迹信息，所述轨迹信息至少包括3d位姿；
4、对相机
5、根据所述图像目标的类别，获取各点云目标的类别；
6、根据各点云目标的类别和各点云目标在所述每帧点云时刻的轨迹信息，获取各点云目标的标注数据；
7、其中，所述获取各点云目标的类别，包括：针对各点云目标，根据所述点云目标的运动轨迹，获取所述点云目标在所述图像时刻的位姿，根据所述位姿获取所述图像上与所述点云目标匹配的图像目标，根据所述匹配的图像目标的类别获取所述点云目标的类别。
8、在上述目标标注数据获取方法的一个技术方案中，所述轨迹信息还包括点云目标的3d检测框，在所述获取各点云目标的类别之前，还包括：
9、针对各点云目标，分别获取所述点云目标在所述点云序列的每帧点云中3d检测框的尺寸，并将所有3d检测框的尺寸修改成相同尺寸。
10、在上述目标标注数据获取方法的一个技术方案中，所述将所有3d检测框的尺寸修改成相同尺寸，包括：
11、分别获取每个3d检测框的权重和第一残差；
12、根据每个3d检测框的权重和第一残差的乘积，分别获取每个3d检测框的第二残差；
13、以目标尺寸为优化变量，并以所有3d检测框的第二残差的平方和最小为目标，对所述目标尺寸进行优化，以获取最优的目标尺寸；
14、将所有3d检测框的尺寸修改成所述最优的目标尺寸；
15、其中，所述3d检测框的权重为点云目标在所述3d检测框内的投影尺寸与所述3d检测框的实际尺寸的比值；所述3d检测框的第一残差为所述3d检测框的实际尺寸与所述目标尺寸的差值。
16、在上述目标标注数据获取方法的一个技术方案中，在所述获取各点云目标的类别之前，所述方法还包括：
17、针对各点云目标，根据所述点云目标在所述点云序列中每帧点云时刻的3d位姿，估计所述点云目标在所述每帧点云时刻的运动信息；
18、将所述点云目标在所述每帧点云时刻的运动信息，增加至所述点云目标在所述每帧点云时刻的轨迹信息中；
19、其中，所述运动信息至少包括点云目标的速度和速度方向。
20、在上述目标标注数据获取方法的一个技术方案中，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：针对各点云目标，若所述点云目标在所述点云序列中至少一帧点云时刻的速度大于设定阈值，则获取最大速度时的速度方向，将所述点云目标在所述点云序列中每帧点云时刻的朝向均修改为所述速度方向。
21、在上述目标标注数据获取方法的一个技术方案中，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：
22、针对各点云目标，若所述点云目标在所述点云序列中全部点云时刻的速度均小于或等于设定阈值，则对所述点云目标在所述点云序列中全部点云时刻的朝向进行投票处理，根据投票处理的结果选取数量最多的一种朝向，将所述点云目标在所述点云序列中每帧点云时刻的朝向均修改为所述数量最多的一种朝向。
23、在上述目标标注数据获取方法的一个技术方案中，所述对相机采集的图像进行目标检测，以获取各图像目标的类别，包括：对相机采集的图像序列进行目标检测，以获取各图像目标在所述图像序列中每帧图像的类别；
24、所述获取各点云目标的类别，还包括：针对各点云目标，分别获取所述图像序列中每帧图像上与所述点云目标匹配的图像目标，对所有匹配的图像目标的类别进行投票处理，根据投票处理的结果获取所述点云目标的类别。
25、在上述目标标注数据获取方法的一个技术方案中，所述雷达为多个，所述获取各点云目标的运动轨迹，包括：
26、针对每一雷达，对雷达采集的点云序列进行目标检测和跟踪，以获取所述雷达对应的各点云目标的第一运动轨迹；
27、针对各点云目标，对所有雷达对应所述点云目标的第一运动轨迹进行融合，以获取所述点云目标的第二运动轨迹。
28、在上述目标标注数据获取方法的一个技术方案中，所述获取所述点云目标的第二运动轨迹，包括：
29、获取所有雷达对应所述点云目标的第一运动轨迹中各帧点云时刻的第一轨迹信息；
30、采用基于因子图的优化方法，对所述点云目标在所述各帧点云时刻的第一轨迹信息进行优化，以获取所述点云目标在所述各帧点云时刻的第二轨迹信息；
31、根据所述点云目标在所述各帧点云时刻的第二轨迹信息，获取所述点云目标的第二运动轨迹。
32、在第二方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述多模态传感器的目标标注数据获取方法的技术方案中任一项技术方案所述的方法。
33、在第三方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述多模态传感器的目标标注数据获取方法的技术方案中任一项技术方案所述的方法。
34、本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
35、在实施本申请提供的基于多模态传感器的目标标注数据获取方法的技术方案中，多模态传感器可以包括雷达和相机，同时该方法包括：对雷达采集的点云序列进行目标检测和跟踪，以获取各点云目标的运动轨迹，运动轨本文档来自技高网...
【技术保护点】
1.一种基于多模态传感器的目标标注数据获取方法，其特征在于，所述多模态传感器包括雷达和相机，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述轨迹信息还包括点云目标的3D检测框，在所述获取各点云目标的类别之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述将所有3D检测框的尺寸修改成相同尺寸，包括：
4.根据权利要求1所述的方法，其特征在于，在所述获取各点云目标的类别之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：
6.根据权利要求4所述的方法，其特征在于，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：
7.根据权利要求1所述的方法，其特征在于，
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述雷达为多个，所述获取各点云目标的运动轨迹，包括：
9.根据权利要求8所述的方法，其特征在于，所述获取所述点云目标的第二运动轨迹，包括：
<...【技术特征摘要】
1.一种基于多模态传感器的目标标注数据获取方法，其特征在于，所述多模态传感器包括雷达和相机，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述轨迹信息还包括点云目标的3d检测框，在所述获取各点云目标的类别之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述将所有3d检测框的尺寸修改成相同尺寸，包括：
4.根据权利要求1所述的方法，其特征在于，在所述获取各点云目标的类别之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：
6.根据权利要求4...
【专利技术属性】
技术研发人员：郭强，戴国政，彭超，任少卿，
申请(专利权)人：安徽蔚来智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。