一种基于特征增强的三维感知方法技术

本发明专利技术公开了一种基于特征增强的三维感知方法，包括：将获取到的RGB图像输入至2D检测器进行目标检测，得到作为区域建议的包围框信息，每个包围框信息针对于一个目标；得到原始点云在RGB图像上的前景点；得到从RGB图像到3D空间形成的截锥体；得到特征补全后的补全点云；将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云；将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息。本发明专利技术利用球查询策略进行关键信息补全，意在基于原始点云，为下采样后实例物体附近的点云进行信息补全；同时基于多级连接的特征扩充策略，为特征提取后的每个点提供额外语义信息，提升了回归网络的包围盒回归效果。

【技术实现步骤摘要】

本专利技术涉及3d目标检测领域，尤其涉及一种基于特征增强的三维感知方法。

技术介绍

1、目前3d目标检测方法主要有voxel-based方法与point-based两大类。voxel-based方法将大规模的点云数据划分为一个个体素块进行特征提取，这种策略会带来不可避免的信息损失，这主要由于每个体素内的点的数量最后是一个固定值，如果一个体素内的点的数量超过了限制，就会把多余的点直接过滤掉。point-based直接使用原始点云进行特征提取，可以保留更精确的点的信息，但由于原始点云中点的无序性和庞大的数量级，导致计算开销很大。

2、我们认为特征的信息完整度对于三维感知起到关键作用。举例如下：(1)在真实场景点云中背景点的数量一般会比前景点的数量多得多，参考2d目标检测网络retinanet中的思想，在训练阶段使用focal loss可以小幅度减小这一现象的影响。但一些基于原始点云的模型在实现下采样时均采用随机下采样的策略，因此会导致物体相关信息丢失较严重。(2)针对基于体素的模型的缺陷，一些研究者们通过平衡体素大小、插值、结合使用点云和体素等方式本文档来自技高网...

【技术保护点】

1.一种基于特征增强的三维感知方法，用于对通过雷达传感器采集的原始点云和通过相机采集的RGB图像进行处理，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于特征增强的三维感知方法，其特征在于：所述对原始点云的前景点做投影变换，公式如下：

3.根据权利要求1所述的一种基于特征增强的三维感知方法，其特征在于：所述找到物体质心位置，采用投票机制获取物体的大致质心位置，包括：

4.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：所述编码器使用顺次连接的set abstraction即SA层和Feature Propagation即FP...

【技术特征摘要】

1.一种基于特征增强的三维感知方法，用于对通过雷达传感器采集的原始点云和通过相机采集的rgb图像进行处理，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于特征增强的三维感知方法，其特征在于：所述对原始点云的前景点做投影变换，公式如下：

3.根据权利要求1所述的一种基于特征增强的三维感知方法，其特征在于：所述找到物体质心位置，采用投票机制获取物体的大致质心位置，包括：

4.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：所述编码器使用顺次连接的set abstraction即sa层和feature propagation即fp层对截锥体的点进行特征提取。

5.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：在所述由浅层特征通过下采样逐步得到深层特征的过程中，引入了质心感知下采样策略，即将更接近质心的点赋予更高的权重掩码maski公式如下：

6.根据权利...

【专利技术属性】
技术研发人员：匡平，郭浩然，李凡，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：