一种基于多帧时序信息的3D目标检测方法技术

技术编号:42943310 阅读:20 留言:0更新日期:2024-10-11 16:01
本发明专利技术公开了一种基于多帧时序信息的3D目标检测方法,包括:获取待检测3D图像;将所述待检测3D图像输入至TSIF3D模型,获取3D目标检测结果,其中,所述TSIF3D模型通过训练集训练而成,所述训练集为采集的历史3D图像,所述TSIF3D模型由特征金字塔模块、多尺度空间交叉注意力编码器模块、长短期特征编码器模块和历史查询融合解码器模块组成。本发明专利技术解决传统时序融合方法存在的长期记忆失效和未利用查询级时序信息导致的检测精度不足的问题,并降低计算成本,提高目标检测性能。

【技术实现步骤摘要】

本专利技术属于3d目标检测,尤其涉及一种基于多帧时序信息的3d目标检测方法。


技术介绍

1、目前,大多数的3d目标检测研究集中在单帧图像,在基于单帧图像的3d目标检测方法中,其关注重点在于如何更好的对图像中的空间信息进行建模。然而除了空间信息外,时间信息对于3d目标检测任务也很重要。例如,在没有时间线索的情况下,从静态图像特征中难以准确推断出运动目标物体的速度或被遮挡的目标物体的尺寸,而通过对多帧图像时空信息的建模可以弥补这些缺陷。

2、另外,对于图像中被遮挡目标物体的检测问题,单帧图像的信息不够全面,不能获取到被遮挡部分的信息,这使得检测头难以对其尺寸和位置进行准确的预测。而在多帧图像中,可以利用被遮挡目标物体在历史帧中的特征信息对当前帧的特征信息进行补全来提升检测效果。现有模型针对时序信息的融合可以分为特征级的融合方法和查询级的融合方法两种。

3、综上,在bev3d目标检测领域,由于目标物体常被遮挡以及自我车辆运动(egomotion)和目标物体的运动等因素,使得目标检测任务难以准确,高效的进行。现有的研究利用了时序信息对检测精本文档来自技高网...

【技术保护点】

1.一种基于多帧时序信息的3D目标检测方法,其特征在于,包括:

2.根据权利要求1所述的一种基于多帧时序信息的3D目标检测方法,其特征在于,将所述待检测3D图像输入至TSIF3D模型,获取3D目标检测结果包括:

3.根据权利要求2所述的一种基于多帧时序信息的3D目标检测方法,其特征在于,将历史特征和所述当前帧特征图输入至长短期特征编码器模块,获取融合特征图包括:

4.根据权利要求3所述的一种基于多帧时序信息的3D目标检测方法,其特征在于,获取融合后的空间信息特征的方法为:

5.根据权利要求4所述的一种基于多帧时序信息的3D目标检测方法,其特...

【技术特征摘要】

1.一种基于多帧时序信息的3d目标检测方法,其特征在于,包括:

2.根据权利要求1所述的一种基于多帧时序信息的3d目标检测方法,其特征在于,将所述待检测3d图像输入至tsif3d模型,获取3d目标检测结果包括:

3.根据权利要求2所述的一种基于多帧时序信息的3d目标检测方法,其特征在于,将历史特征和所述当前帧特征图输入至长短期特征编码器模块,获取融合特征图包括:

4.根据权利要求3所述的一种基于多帧时序信息的3d目标检测方法,其特征在于,获取融合后的空间信息特征的方法为:

5.根据权利要求4所述的一种基于多帧时序信息的3d目标检测方法,其特征在于,获取...

【专利技术属性】
技术研发人员:庞善民李宁
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1