一种基于Gumbel分布采样和不确定性融合的多模态三维目标检测方法及其电子设备技术

本发明专利技术本发明专利技术涉及计算机深度学习和目标检测技术领域，具体涉及一种基于Gumbel分布采样和不确定性融合的多模态三维目标检测方法，步骤为：S1、获取包含待检测目标的场景的原始点云数据集和原始图像；S2、利用Gumbel‑Softmax函数对原始点云数据集进行分布采样，从原始点云数据集中选择出代表性点云，得到代表性点云子集；S3、通过点云特征提取模型对代表性点云子集进行进行特征提取，得到点云特征；S4、利用图像特征提取模型对原始图像进行特征提取，得到图像特征；S5、采用不确定性融合模块将点云特征信息与图像特征信息进行融合，得到融合特征；S6、将融合特征输入到检测头中，进行目标的检测识别。本发明专利技术目标检测方法的检测精度高，鲁棒性好。

【技术实现步骤摘要】

本专利技术涉及计算机深度学习和目标检测，具体涉及一种基于gumbel分布采样和不确定性融合的多模态三维目标检测方法及其电子设备。

技术介绍

技术实现思路

1、在深度学习和计算机视觉领域，三维目标检测是一项关键技术，尤其在自动驾驶领域中具有重要应用。传统的三维目标检测技术主要依赖于激光雷达(lidar)和相机作为主要的传感器数据来源。这些系统能够直接提供物体的三维坐标和丰富的语义信息。然而，这些传感器数据常常受到多种因素的影响，包括传感器本身的噪声、环境条件的变化及物体的遮挡等。这些因素都可能对三维目标检测的准确性产生显著影响。

2、首先，传统激光雷达点云的采样方法中广泛使用的最远点采样(fps)方法存在以下问题：1.采样结果依赖于初始点，即它不具备置换不变性；2.该方法是任务相关的，专为低维欧几里得空间设计；3.该方法对异常值极为敏感。

3、其次，在复杂的路况下，面向前方安装的激光雷达仅提供有限的视场，这可能导致物体检测的不完整。例如，某些物体(如黑色汽车)的反射率可能低于激光雷达的检测阈值，因此本文档来自技高网...

【技术保护点】

1.一种基于Gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于Gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，步骤S5中采用不确定性融合模块将所述点云特征信息Fl与所述图像特征信息Fc进行融合具体为：

3.根据权利要求2所述的基于Gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，步骤S2具体为：

4.根据权利要求3所述的基于Gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，所述Gumbel-Softmax函数是加入了Gu...

【技术特征摘要】

1.一种基于gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，步骤s5中采用不确定性融合模块将所述点云特征信息fl与所述图像特征信息fc进行融合具体为：

3.根据权利要求2所述的基于gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，步骤s2具体为：

4.根据权利要求3所述的基于gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，所述gumbel-softmax函数是加入了gumbel分布噪声的softmax函数，gumbel-softmax函数的计算公式如下：

5.根据权利要求1-4任一所述的基于gumbel分布采样和不确定性融合的多模态三维目标检测方法，其特征在于，步骤s4具体为：利用bevfo...

【专利技术属性】
技术研发人员：周洋，许文台，翁豪，李政霖，彭艳，谢少荣，罗均，蒲华燕，
申请(专利权)人：上海大学，
类型：发明
国别省市：