【技术实现步骤摘要】
本专利技术涉及图像检测，尤其涉及一种多模态目标检测方法、装置、设备及存储介质。
技术介绍
1、安全准确的3d目标检测是自主驾驶的核心技术，所有后续组件(如跟踪、预测和规划)在很大程度上取决于检测性能，其它交通参与者的感知错误可能会通过系统传播，导致自动驾驶车辆严重故障。为了防止这种错误，感知系统需要仔细设计，这仍然是一个具有挑战性的研究问题。
2、激光雷达与相机是目标检测领域常用的传感器，但是激光雷达获得的点云数据具有稀疏性并且不能提供纹理信息，因此难以胜任小目标检测的任务；相机拍摄的图像对光照变化敏感，难以应对复杂变化的真实驾驶环境。因此，单独使用激光雷达或者相机难以应对真实复杂驾驶场景下的目标检测任务。
3、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种多模态目标检测方法、装置、设备及存储介质，旨在解决现有技术中单独的传感器难以应对真实复杂驾驶场景下的目标检测任务的技术问题。
2、为实现上述目的，本专利技术提供了一种多模态目标检测方法，所述方法包括以下步骤：
3、获取待检测点云数据以及待检测图像数据；
4、分别对所述待检测点云数据和所述待检测图像数据进行特征提取，获得点云特征和图像特征；
5、将所述点云特征和所述图像特征进行多模态特征融合，获得融合特征；
6、对所述融合特征进行目标检测，获得目标检测结果。
...【技术保护点】
1.一种多模态目标检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的多模态目标检测方法，其特征在于，所述将所述点云特征和所述图像特征进行多模态特征融合，获得融合特征的步骤，包括：
3.如权利要求2所述的多模态目标检测方法，其特征在于，所述通过学习对齐方法对所述图像特征和所述增强点云特征进行多模态特征融合的步骤，包括：
4.如权利要求1所述的多模态目标检测方法，其特征在于，所述获取待检测点云数据以及待检测图像数据的步骤，包括：
5.如权利要求4所述的多模态目标检测方法，其特征在于，所述对所述初始点云数据和所述初始图像数据进行预处理，获得待检测点云数据和待检测图像数据的步骤，包括：
6.如权利要求1所述的多模态目标检测方法，其特征在于，所述对所述融合特征进行目标检测，获得目标检测结果的步骤，包括：
7.如权利要求6所述的多模态目标检测方法，其特征在于，所述将所述融合特征输入至目标检测框架中进行目标检测，获得目标检测结果的步骤之后，还包括：
8.一种多模态目标检测装置，其特征在于，所述多模态目
9.一种多模态目标检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多模态目标检测程序，所述多模态目标检测程序配置为实现如权利要求1至7中任一项所述的多模态目标检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有多模态目标检测程序，所述多模态目标检测程序被处理器执行时实现如权利要求1至7任一项所述的多模态目标检测方法的步骤。
...【技术特征摘要】
1.一种多模态目标检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的多模态目标检测方法，其特征在于，所述将所述点云特征和所述图像特征进行多模态特征融合，获得融合特征的步骤，包括：
3.如权利要求2所述的多模态目标检测方法，其特征在于，所述通过学习对齐方法对所述图像特征和所述增强点云特征进行多模态特征融合的步骤，包括：
4.如权利要求1所述的多模态目标检测方法，其特征在于，所述获取待检测点云数据以及待检测图像数据的步骤，包括：
5.如权利要求4所述的多模态目标检测方法，其特征在于，所述对所述初始点云数据和所述初始图像数据进行预处理，获得待检测点云数据和待检测图像数据的步骤，包括：
6.如权利要求1所述的多模态目标检测方法，其特征在于，所...
【专利技术属性】
技术研发人员：程刚，王爽，徐文东，龚杰，
申请(专利权)人：天眸嘉善光电科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。