当前位置: 首页 > 专利查询>南京大学专利>正文

一种多尺度光场三维目标检测方法及检测装置制造方法及图纸

技术编号:46095879 阅读:6 留言:0更新日期:2025-08-12 18:15
本申请公开一种多尺度光场三维目标检测方法及检测装置,采用分支网络处理神经辐射场采样的辐射和密度信息,以解决传统方法对神经辐射场中场景信息理解不充分,导致多尺度目标感知能力不足问题。由于辐射和密度对不同尺度特征的倾向性不同,能够有效挖掘不同尺度的目标信息;同时,目标检测方法通过分层训练和动态加权融合,既增强了分支网络的性能,也提高了整体多尺度目标检测的能力。

【技术实现步骤摘要】

本申请涉及计算机图像处理领域,具体涉及一种多尺度光场三维目标检测方法及检测装置


技术介绍

1、传统的可见光三维目标检测方案通常依赖于点云或体素信息。一方面,获取目标点云信息通常需要激光雷达(lidar)或rgb-d相机等专业设备,这些设备的价格和维护成本较高,操作流程较为复杂,不利于实际推广;另一方面,当模型精细度较高时,点云和体素的存储成本会呈现出立方级增长,实际模型精细度因此受限,目标检测的效果也会受到影响。在三维重建领域,神经辐射场(nerf)的提出为解决这些难题带来了新的思路。nerf通过普通相机拍摄的多视角图像即可进行重建,其隐式表达和分层采样的特性也大大降低了样本需求量。

2、受此启发,一些研究者在三维目标检测中引入了nerf模型。主要思路有两种,一种是对预训练nerf在场景3d包围盒内均匀采样,构建包含密度和辐射的3d点云后送入单一目标检测网络,另一种是将nerf改造为端到端的目标检测模型,通过将输出替换为yolo式的目标参数(如3d边界框和类别概率),直接预测物体位置与类别。两类方案均取得了一定效果,但仍存在一些不足。前者忽视本文档来自技高网...

【技术保护点】

1.一种多尺度光场三维目标检测方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述通过均匀采样获取场景的三维坐标点,根据完全训练的神经辐射场模型生成包含辐射亮度和体密度的高维特征点云,包括:

3.如权利要求1所述的方法,其特征在于,所述将所述高维特征点云分离为辐射亮度特征点云和体密度特征点云,分别进行对应的预处理以适配小尺度与大尺度目标检测网络的输入需求,包括:

4.如权利要求3所述的方法,其特征在于,所述基于所述辐射亮度特征点云,通过引入局部注意力机制的Transformer编码器提取小尺度目标的精细特征,输出包含中心位置、尺寸及类...

【技术特征摘要】

1.一种多尺度光场三维目标检测方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述通过均匀采样获取场景的三维坐标点,根据完全训练的神经辐射场模型生成包含辐射亮度和体密度的高维特征点云,包括:

3.如权利要求1所述的方法,其特征在于,所述将所述高维特征点云分离为辐射亮度特征点云和体密度特征点云,分别进行对应的预处理以适配小尺度与大尺度目标检测网络的输入需求,包括:

4.如权利要求3所述的方法,其特征在于,所述基于所述辐射亮度特征点云,通过引入局部注意力机制的transformer编码器提取小尺度目标的精细特征,输出包含中心位置、尺寸及类别的第一检测结果,包括:

5.如权利要求3所述的方法,其特征在于,所述基...

【专利技术属性】
技术研发人员:李希才汪锐
申请(专利权)人:南京大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1