当前位置: 首页 > 专利查询>河海大学专利>正文

一种基于多模态融合的三维目标检测方法及装置制造方法及图纸

技术编号:41095984 阅读:17 留言:0更新日期:2024-04-25 13:54
本发明专利技术公开了一种基于多模态融合的三维目标检测方法及装置,方法包括:将获取的自动驾驶场景下RGB图像和激光雷达点云数据输入基于多模态融合的三维目标检测模型中,得到三维车辆检测结果;其中模型的处理过程包括:利用三维目标检测算法对激光雷达点云数据进行检测,得到m个三维边界框;利用二维目标检测算法对RGB图像进行检测,得到n个二维边界框;基于n个二维边界框,利用基于旋转交并比的融合策略从m个三维边界框确定一个三维边界框作为输入三维边界框;对输入三维边界框利用融合网络进行特征提取,得到m*n*1的稀疏张量;对稀疏张量进行池化后压缩,得到m个三维边界框对应的预测分数;根据预测分数,从m个三维边界框中确定三维车辆检测结果。

【技术实现步骤摘要】

本专利技术涉及视觉检测,是目标检测与深度学习的应用,具体涉及一种基于多模态融合的三维目标检测方法及装置


技术介绍

0、
技术介绍

1、目前,人工智能需求不断更新,二维目标检测算法以无法满足较复杂的环境,如自动驾驶场景等。自动驾驶场景下,仅依靠二维目标检测算法只能获取到平面信息。


技术实现思路

1、为了解决以上问题,提出了三维目标检测算法。此类方法可获取物体的位置、三维尺寸、角度等信息。在三维场景下目前搭载在自动驾驶环境多使用单一传感器,但在自动驾驶系统的应用中,在不同环境条件下对周围环境的准确理解对于保证安全至关重要。

2、使用多模态数据融合的方法,不再依赖单一传感器,使用不同传感器对当前环境进行互补的信息感知,可以提高整体系统的准确性。决策融合的多模态融合方法,只需要在检测级别进行关联,无需考虑数据对齐的问题。工控机内存大,可存储较大的激光雷达点云数据,并且可灵活运用于工程领域。

3、本专利技术的目的在于提供一种基于多模态融合的三维目标检测方法,能够在工控机实现,具有检本文档来自技高网...

【技术保护点】

1.一种基于多模态融合的三维目标检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多模态融合的三维目标检测方法,其特征在于,所述基于多模态融合的三维目标检测模型的获取方法包括:

3.根据权利要求1或2所述的基于多模态融合的三维目标检测方法,其特征在于,所述分组再拆分多模态决策融合网络包括多个分组再拆分残差网络模块;

4.根据权利要求1或2所述的基于多模态融合的三维目标检测方法,其特征在于,所述基于旋转交并比的融合策略,包括:

5.根据权利要求2所述的基于多模态融合的三维目标检测方法,其特征在于,利用所述自动驾驶数据集对三维目...

【技术特征摘要】

1.一种基于多模态融合的三维目标检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多模态融合的三维目标检测方法,其特征在于,所述基于多模态融合的三维目标检测模型的获取方法包括:

3.根据权利要求1或2所述的基于多模态融合的三维目标检测方法,其特征在于,所述分组再拆分多模态决策融合网络包括多个分组再拆分残差网络模块;

4.根据权利要求1或2所述的基于多模态融合的三维目标检测方法,其特征在于,所述基于旋转交并比的融合策略,包括:

5.根据权利要求2所述的基于多模态融合的三维目标检测方法,其特征在于,利用所述自动驾驶数据集对三维目标检测模型进行训练,包括:

6.根据权利要...

【专利技术属性】
技术研发人员:范新南陈馨洋史朋飞辛元雪赵兵杨鸣宇万刚朱思思李新宇耿在明
申请(专利权)人:河海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1