基于离散Transformer的点云3D目标检测方法与模型技术

本发明专利技术公开了一种基于离散Transformer的点云3D目标检测方法与模型，方法包括：S1、实时采集物体的点云数据帧；S2、对所述点云数据帧进行点云体素化，得到初始体素；S3、通过基于离散Transformer的3D骨干网络从所述初始体素中提取包含动态信息和静态信息的体素特征；S4、将步骤S3最终输出的体素特征映射到BEV空间得到对应的2DBEV特征；S5、所述2DBEV特征通过Neck网络送入3D目标检测器，进行3D目标检测，得到物体在3D空间中的物体属性信息。得到物体在3D空间中的物体属性信息。得到物体在3D空间中的物体属性信息。

【技术实现步骤摘要】
基于离散Transformer的点云3D目标检测方法与模型


[0001]本专利技术涉及自动驾驶物体感知领域，具体涉及一种基于离散Transformer的点云3D目标检测方法与模型。

技术介绍

[0002]自动驾驶汽车是一种依靠车载传感器对环境进行感知并进行决策控制的复杂无人系统。为实现自动驾驶的决策与控制，需要首先使用传感器(通常包括激光雷达与相机)对周围环境进行感知，并对传感器数据进行处理得到周围环境的物体3D语义信息。
[0003]基于激光雷达的3D物体检测是解决自动驾驶对环境感知问题的一种关键技术，其通过实时获取的点云数据帧，通过神经网络进行编解码得到物体的3D语义信息。为了实现高效性，目前在自动驾驶领域普遍使用基于体素的点云3D目标检测算法。这些方法首先将点云量化为体素，然后使用基于3D稀疏卷积的骨干网络提取体素的特征。但由于点云数据结构是无序无结构化的离散形式，使用固定权重的静态卷积往往难以提取物体的多样几何结构信息。最近VOTR提出使用体素Transformer来提取体素的动态特征。该算法根据体素坐标生成体素哈希表，来对体素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于离散Transformer的点云3D目标检测方法，其特征在于，包括如下步骤：S1、实时采集物体的点云数据帧；S2、对所述点云数据帧进行点云体素化，得到初始体素；S3、通过基于离散Transformer的3D骨干网络从所述初始体素中提取包含动态信息和静态信息的体素特征；S4、将步骤S3最终输出的体素特征映射到BEV空间得到对应的2DBEV特征；S5、所述2DBEV特征通过Neck网络送入3D目标检测器，进行3D目标检测，得到物体在3D空间中的物体属性信息。2.如权利要求1所述的基于离散Transformer的点云3D目标检测方法，其特征在于：步骤S2中通过均值体素化或基于多层感知机的动态体素化，得到所述初始体素。3.如权利要求1所述的基于离散Transformer的点云3D目标检测方法，其特征在于，步骤S3具体包括：S31、将所述初始体素输入一第一子流形3D稀疏卷积，得到第一体素；S32、将所述第一体素输入一离散Transformer模块，得到第二体素；S33、将所述第一体素和所述第二体素输入一第一多尺度离散Transformer模块，得到第三体素；S34、将所述第二体素和所述第三体素输入一第二多尺度离散Transformer模块，得到第四体素，作为步骤S3最终输出的体素特征。4.如权利要求3所述的基于离散Transformer的点云3D目标检测方法，其特征在于：所述离散Transformer模块、所述第一多尺度离散Transformer模块和所述第二多尺度离散Transformer模块均由下采样3D稀疏卷积、第二子流形3D稀疏卷积和3D离散注意力机制构成。5.如权利要求1所述的基于离散Transformer的点云3D目标检测方法，其特征在于：所述基于离散Transformer的3D骨干网络使用离散Transformer模块提取体素化点云的静态信息与动态信息；其中，离散Transformer模块先通过下采样3D稀疏卷积得到下采样的体素，作为离散注意力机制的查询特征，再使用子流形3D稀疏卷积提取体素的静态特征，使用离散注意力机制提取体素的动态特征，并将动态特征与静态特征沿通道维度进行拼接作为输出特征。6.如权利要求1所述的基于离散Trans...

【专利技术属性】
技术研发人员：李志恒，黄迪和，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：