一种基于三维重建的自动驾驶街景无监督4D自动标注方法技术

技术编号:43370897 阅读:64 留言:0更新日期:2024-11-19 17:51
本发明专利技术涉及一种基于三维重建的自动驾驶街景无监督4D自动标注方法,包括:针对输入的逐帧图像进行信息处理,获得逐像素的实例信息和伪点云;根据实例信息和伪点云,进行三维重建,得到重建场景;对于重建场景进行逐帧采样,得到逐实例点云,再进行去噪处理,输出逐帧的3D标注框,从而得到由逐帧图像构成的整个序列的4D标注结果。与现有技术相比,本发明专利技术能够在没有真值标注的情况下,仅利用图像信息即可实现3D物体检测,从本质上实现了无监督,直接省去了人工标注和数据预处理的成本,提高了效率并且节省大量计算资源。

【技术实现步骤摘要】

本专利技术涉及自动驾驶数据处理,尤其是涉及一种基于三维重建的自动驾驶街景无监督4d自动标注方法。


技术介绍

1、现阶段,对自动驾驶的研发已经不仅仅停留在学术研究阶段,工业界对技术的践行反馈出了诸多需求。其中,最基本的一项是,对于采集好的真实数据,需要对其进行数据标注,包含但不限于场景中物体的4d框和语义信息(这里的4d框是指长宽高坐标和时间维度,也就是需要知道每个物体在不同时刻的具体位置)。4d标注是种数据标注方法,它不仅包含了传统2d标注的所有信息且引入了高度和时间等维度使得标注数据更加丰富和完整,在自动驾驶领域,4d标注有着广泛的应用前景,但是这项工作目前只能依靠人工或者半自动来完成,这意味着数据标注方需要花费大量的人力、财力和时间,类似的已标注好的数据集可参考waymo和nuscenes等。

2、现有的数据标注技术方案是使用数据驱动的训练神经网络方法,基于一部分已有的2d/3d/4d标注数据,以对模型进行训练,训练完成后的模型即可完成目标功能,即输入逐帧的图像和点云给模型,由模型输出物体逐帧的3d信息。比如,bevfusion和auto4本文档来自技高网...

【技术保护点】

1.一种基于三维重建的自动驾驶街景无监督4D自动标注方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于三维重建的自动驾驶街景无监督4D自动标注方法,其特征在于,所述步骤S1具体是使用通用的预训练好的视觉模型,以对逐帧图像进行信息处理。

3.根据权利要求2所述的一种基于三维重建的自动驾驶街景无监督4D自动标注方法,其特征在于,所述通用的预训练好的视觉模型包括图像分割模型和深度估计模型,所述图像分割模型用于获取图像中各个像素点的语义信息,进而得到实例信息;

4.根据权利要求3所述的一种基于三维重建的自动驾驶街景无监督4D自动标注方法,其特征...

【技术特征摘要】

1.一种基于三维重建的自动驾驶街景无监督4d自动标注方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于三维重建的自动驾驶街景无监督4d自动标注方法,其特征在于,所述步骤s1具体是使用通用的预训练好的视觉模型,以对逐帧图像进行信息处理。

3.根据权利要求2所述的一种基于三维重建的自动驾驶街景无监督4d自动标注方法,其特征在于,所述通用的预训练好的视觉模型包括图像分割模型和深度估计模型,所述图像分割模型用于获取图像中各个像素点的语义信息,进而得到实例信息;

4.根据权利要求3所述的一种基于三维重建的自动驾驶街景无监督4d自动标注方法,其特征在于,所述图像分割模型的工作过程为:

5.根据权利要求4所述的一种基于三维重建的自动驾驶街景无监督4d自动标注方法,其特征在于,所述深度估计模型的工作过程为:

【专利技术属性】
技术研发人员:黄秋胜周鸿斌郭建非窦民石博天
申请(专利权)人:上海人工智能创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1