一种基于采样自适应的连续NeRF的多视角3D目标检测方法技术

本发明专利技术提供一种基于采样自适应的连续NeRF的多视角3D目标检测方法，包括：将多视角姿势图像输入到2D主干网络得到2d特征；均匀采样整个场景中的空间坐标，得到原始的采样点；将该采样点投射到2d特征中得到多视角的特征体积，再通过多头权重融合方式得到空间特征；首次多头权重融合时，由空间特征直接处理得到场景特征，将场景特征输入到检测头预测偏移量，更新采样点和多视角的特征体积，再进行多头权重融合得到新的空间特征，与上一次的场景特征拼接后处理得到新的场景特征，将该场景特征输入到检测头再预测偏移量，更新采样点和多视角的特征体积，再次多头权重融合得到新的空间特征，再得到新的场景特征，输入到检测头中得到最终的3D边界框数据。

【技术实现步骤摘要】

本专利技术涉及目标检测，尤其是涉及一种基于采样自适应的连续nerf的多视角3d目标检测方法。

技术介绍

1、3d目标检测是在三维空间中获取语义和几何信息的基本任务，其旨在识别和定位三维场景中特定类别的特定对象，并被广泛应用于增强现实（ar）和虚拟现实（vr）等应用，以及流行的自动驾驶任务（bevformer,tpvformer,detr3d,bevfusion,voxformer）。随着技术的不断进步，3d感知领域的研究取得了显著的进展，特别是在目标检测领域。目前，各种传感器被广泛应用于获取空间中各种信息。经典的3d目标检测方法（voxelnet,pointnet,votenet）通常依赖于预先重建的三维表示或来自3d传感器（如点云）的信息。然而，这些方法的部署成本非常高。在这种情况下，以传统的rgb图像作为获取空间信息的最具成本效益的方式仍然是最合适的。因此，探索姿态rgb图像与三维空间中各种潜在信息之间的关系成为一个有意义的研究任务。

2、作为一种新颖的三维表示方法，神经辐射场（neural radiance field）或基于nerf的方本文档来自技高网...

【技术保护点】

1.一种基于采样自适应的连续NeRF的多视角3D目标检测方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种基于采样自适应的连续NeRF的多视角3D目标检测方法，其特征在于：所述检测头包括类别分数卷积层、回归分数卷积层、中心分数卷积层、映射线性层和偏移卷积层；

3.根据权利要求2所述的一种基于采样自适应的连续NeRF的多视角3D目标检测方法，其特征在于：对每一层的检测头的预测结果均进行监督，所述监督通过对bbox和class进行损失函数计算实现。

4.根据权利要求1所述的一种基于采样自适应的连续NeRF的多视角3D目标检测方法，其特征在于：所...

【技术特征摘要】

1.一种基于采样自适应的连续nerf的多视角3d目标检测方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种基于采样自适应的连续nerf的多视角3d目标检测方法，其特征在于：所述检测头包括类别分数卷积层、回归分数卷积层、中心分数卷积层、映射线性层和偏移卷积层；

3.根据权利要求2所述的一种基于采样自适应的连续nerf的多视角3d目标检测方法，其特征在于：对每一层的检测头的预测结果均进行监督...

【专利技术属性】
技术研发人员：纪荣嵘，曹刘娟，黄驰，李新阳，张声传，
申请(专利权)人：厦门大学，
类型：发明
国别省市：