一种学习体素占用的单目图像3D目标检测方法技术

本发明专利技术公开了一种学习体素占用的单目图像3D目标检测方法。将RGB图像经骨干网络处理提升到视锥空间中获得视锥特征，针对视锥特征转换在视锥空间中进行占用学习处理获得增强视锥特征，然后使用网格采样将增强视锥特征转换为3D体素特征，将3D体素特征再在3D空间中进行占用学习处理获得增强3D体素特征，将增强3D体素特征传递给3D框检测头提取出目标的3D框。本发明专利技术方法目前达到了单目图像3D目标检测领域中最高的检测精度，能更细粒度提取近处物体的三维特征。的三维特征。的三维特征。

【技术实现步骤摘要】
一种学习体素占用的单目图像3D目标检测方法


[0001]本专利技术是涉及了一种计算机视觉和自动驾驶中的图像特征处理方法，尤其是涉及了一种学习体素占用的单目图像3D目标检测方法。

技术介绍

[0002]三维物体检测是许多现实应用中的关键任务，例如自动驾驶和机器人导航。早期的方法通常依赖于激光雷达传感器，因为它们可以产生稀疏而精确的3D点测量。相比之下，相机提供了密集的纹理特征，但缺乏3D信息。
[0003]近年来，基于单目的三维检测方法，也被称为单目三维检测，由于其成本效益和部署友好的性质，得到了业界和学术界的广泛关注。
[0004]从单个RGB图像中恢复精确的3D信息是一个挑战。虽然以前的研究采用几何约束和密集深度估计来促进3D推理，但他们往往忽视了3D空间中具有判别性和信息性的3D特征的重要性，而这些特征对于3D检测至关重要。之前的工作主要关注改善二维空间的特征，很少关注更好的视锥和三维空间的特征编码和表示。

技术实现思路

[0005]为了获得用于单目三维检测中更具鉴别力的三维特征/表示，本专利技术提出了一种学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学习体素占用的单目图像3D目标检测方法，其特征在于：方法包括：S1、将RGB图像经骨干网络处理提升到视锥空间中获得视锥特征；S2、针对视锥特征转换在视锥空间中进行占用学习处理获得增强视锥特征Fru3；S3、然后使用网格采样将增强视锥特征Fru3转换为体素化的3D特征，作为3D体素特征；S4、将3D体素特征再在3D空间中进行占用学习处理获得增强3D体素特征V3；S5、将增强3D体素特征V3传递给3D框检测头提取出目标的3D框。2.根据权利要求1所述的一种学习体素占用的单目图像3D目标检测方法，其特征在于：所述步骤S1具体为：S11、将单张RGB图像输入DLA34骨干网络提取第一图像特征；S12、针对第一图像特征采用通道减少的卷积操作生成第二图像特征，同时针对第一图像特征采用深度头的卷积操作生成深度值分布图；S13、再将第二图像特征和深度值分布图进行外积运算处理获得视锥特征。3.根据权利要求1所述的一种学习体素占用的单目图像3D目标检测方法，其特征在于：所述步骤S2具体为：S21、将步骤S1获得的视锥特征作为第一视锥特征Fru1，将第一视锥特征Fru1通过由连续两个3D卷积层及其ReLU激活函数构成的视锥网络提取获得第二视锥特征Fru2，如下：Fru2＝f1(Fru1)其中，f1()表示视锥网络；S22、将第二视锥特征Fru2通过由一个3D卷积层和一个ReLU激活函数构成的视锥占用预测头提取获得视锥占用率矩阵O
fru
，如下：O
fru
＝Sigmoid(f2（Fru2))其中，f2()表示一个3D卷积层；S23、再利用视锥占用率矩阵O
fru
加权第二视锥特征Fru2处理获得增强视锥特征Fru3：Fru3＝O
fru
⊙
Fru2其中，
⊙
表示阿达玛乘积。4.根据权利要求1所述的一种学习体素占用的单目图像3D目标检测方法，其特征在于：所述步骤S4具体为：S41、将步骤S2获得的3D体素特征作为第一3D体素特征V1，将第一3D体素特征V1通过由一个3D卷积层和3D沙漏型网络构成的3D网络提取获得第二3D体素...

【专利技术属性】
技术研发人员：彭亮，徐骏凯，程浩然，钱炜，杨政，何晓飞，
申请(专利权)人：杭州飞步科技有限公司，
类型：发明
国别省市：