基于可靠深度估计的多模态深度融合3D目标检测方法技术

技术编号:43813501 阅读:23 留言:0更新日期:2024-12-27 13:28
本发明专利技术公开了基于可靠深度估计的多模态深度融合3D目标检测方法,该方法首先构建图像特征提取网络和毫米波雷达点云特征提取网络,分别提取图像特征和毫米波雷达点云特征。其次将图像和毫米波雷达点云特征进行融合,得到深度概率分布,将深度概率分布与图像特征相乘,得到图像视锥特征,使用深度补全后的激光雷达点云制作深度概率分布标签,基于深度概率分布进行监督训练。然后合并图像视锥特征和毫米波雷达点云特征,再利用Splat网络和可变形注意力机制,得到特征F<subgt;A</subgt;。最后基于特征F<subgt;A</subgt;,使用3D目标检测头完成3D目标检测,输出检测结果。本发明专利技术通过毫米波雷达优化深度估计,从而提升了3D目标检测的准确性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及3d目标检测领域,尤其涉及基于可靠深度估计的多模态深度融合3d目标检测方法。


技术介绍

1、多模态3d目标检测技术是自动驾驶和机器人领域的一个关键技术,它在目标检测与跟踪、车辆定位、路径规划等关键环节扮演着至关重要的角色。这项技术通过整合来自相机、雷达等多种传感器的数据,提高了对周围环境的理解和自动驾驶系统在复杂道路条件下的精度与可靠性。

2、在3d目标检测中,相机与雷达数据的整合尤为关键。一些先进的方法,如rcbevdet和camera radar net(crn),通过创新技术进行雷达特征提取和鸟瞰图(bev)点散射,实现了卓越的性能。尽管如此,这些方法主要关注bev层面的融合,而较少考虑图像深度估计对整体效果的影响。雷达虽然能在任何光照条件下提供准确的距离测量,但其数据缺乏图像中丰富的语义信息,这对于在复杂环境中区分和识别对象至关重要。

3、深度估计从二维图像到三维场景的转换是多模态3d目标检测中的一项核心任务。单目深度估计因其成本效益和操作简便性而被广泛采用,但它存在无法恢复场景绝对尺度和在光照或天气条件不佳时本文档来自技高网...

【技术保护点】

1.基于可靠深度估计的多模态深度融合3D目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于可靠深度估计的多模态深度融合3D目标检测方法,其特征在于,所述提取图像特征和毫米波雷达点云特征具体过程如下:

3.根据权利要求2所述的基于可靠深度估计的多模态深度融合3D目标检测方法,其特征在于,所述步骤S2具体过程如下:

4.根据权利要求3所述的基于可靠深度估计的多模态深度融合3D目标检测方法,其特征在于,所述深度补全算法以激光雷达为原点中心进行。

5.根据权利要求4所述的基于可靠深度估计的多模态深度融合3D目标检测方法,其特征在...

【技术特征摘要】

1.基于可靠深度估计的多模态深度融合3d目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于可靠深度估计的多模态深度融合3d目标检测方法,其特征在于,所述提取图像特征和毫米波雷达点云特征具体过程如下:

3.根据权利要求2所述的基于可靠深度估计的多模态深度融合3d目标检测方法,其特征在于,所述步骤s2具体过程如下:

4.根据权利要求3所述的基于可靠深度估计的多模态深度融合3d目标...

【专利技术属性】
技术研发人员:吴迎笑王温翔韩建平蒋忠敏周致远
申请(专利权)人:杭州电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1