【技术实现步骤摘要】
本专利技术涉及数字图像，尤其涉及计算机视觉，具体是指一种基于投影交互式空间特征的激光雷达3d点云目标检测方法、装置、处理器及其计算机可读存储介质。
技术介绍
1、随着自动驾驶、智能机器人和工业自动化等领域的快速发展，对于环境感知和物体识别的需求日益增长。在这些应用中，激光雷达成为一种重要的传感器，因为它能够提供高精度和高分辨率的三维点云数据。基于激光点云的三维目标检测技术旨在从三维点云数据中准确地检测和识别出不同类型的目标物体。与传统的基于图像的目标检测方法相比，激光点云提供了更加丰富和准确的深度信息，使得目标检测算法能够更好地理解和感知环境中的物体。目前已经有许多基于激光雷达的目标检测方法。比如：申请号为cn201910135184.5的中国专利技术专利申请，提出了根据高度信息将点云空间分割成若干层提取特征进行目标检测的方法；申请号为cn202110516998.0的专利技术专利申请，提出了通过偏移预测和目标自适应邻域划分方法生成候选点进行目标预测和回归；申请号为cn202310942753.3的中国专利技术申请专利，提出了一种利用不同稀疏度点云特征交互网络进行三维目标检测。上述公开申请存在的缺陷是，由于点云空间下的特征极度稀疏，直接在三维稀疏空间下使用稀疏卷积和子流形卷积提取特征可能无法提取到高质量的点云特征，从而影响目标检测的精度，如何从稀疏点云空间内提取到充分的语义特征，是三维目标检测的关键。
技术实现思路
1、本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足精度
2、为了实现上述目的，本专利技术的基于投影交互式空间特征的激光雷达3d点云目标检测方法、装置、处理器及其计算机可读存储介质如下：
3、该基于投影交互式空间特征的激光雷达3d点云目标检测方法，其主要特点是，所述的方法包括以下步骤：
4、(1)使用车载激光雷达采集真实世界的点云数据集，并对点云数据进行预处理操作，得到三维空间点云体素；
5、(2)构建体素分块投影生成模块，具体为将全尺寸的三维体素特征图在空间上划分为非重叠的三维窗口，将每个三维窗口区域内的体素块分别投影并稀疏化地降维到x-y平面、x-z平面和y-z平面区域，将同属于一个窗口投影的二维区域像素块划分为一个投影组；
6、(3)构建平面内部特征自融合模块，具体为在所述的投影组所包含的x-y平面、x-z平面和y-z平面特征中分别计算各自平面内的transformers稀疏自注意力，编码并融合同一平面的内在特征；
7、(4)构建平面外部特征互融合模块，具体为在所述的投影组所包含的x-y平面、x-z平面和y-z平面特征中分别计算两两平面内的transformers稀疏交叉注意力，编码并融合平面与平面之间的互补特征，结合来自所有平面的上下文信息；
8、(5)构建融合特征匹配模块，具体为对于每个窗口，将窗口内的体素与对应二维投影区域特征匹配并聚合，得到新的体素特征，再将所有窗口重建回体素空间；
9、(6)根据融合后的体素特征，输出待检测目标的类别信息和位置信息，采用类别损失和边界框回归损失，训练3d点云目标检测网络。
10、较佳地，所述的步骤(1)具体为：
11、通过根据预定义的体素尺寸对连续的三维空间进行离散化，所述的预定义的体素尺寸为w×l×h，得到了一个尺寸为wspatial×lspatial×hspatial的体素空间，形成三维空间点云体素。
12、较佳地，所述的步骤(2)具体包括以下步骤：
13、(2.1)将空间维度为wspatial×lspatial×hspatial的三维稀疏体素特征图沿x轴上的nx-1个节点、y上的ny-1个节点和z轴上的nz-1个节点均匀划分为g＝nx×ny×nz个窗口，每个窗口区域内包含一个体素块，得到体素块集合([d_(spatial,1)，d_(spatial,2)，…，d_(spatial,nx×ny×nz)]；其中，nx、ny、nz分别为体素空间下三个维度的窗口数目，spatial是指体素空间的特征，d_(spatial,i)表示体素空间下第i个离散化3d窗口；
14、(2.2)对于任意窗口，将窗口内的体素块向x-y平面、x-z平面和y-z平面进行空间投影，并将该体素块的特征稀疏化地降维到x-y平面、x-z平面和y-z平面，得到x-y平面特征像素块集合[d_(x-y,1)，d_(x-y,2)，…，d_(x-y,nz)]，x-z平面特征像素块集合[d_(x-z,1)，d_(x-z,2)，…，d_(x-z,ny)]，y-z平面特征像素块集合[d_(y-z,1)，d_(y-z,2)，…，d_(y-z,nx)]；
15、(2.3)根据所述的体素块集合和x-y平面、x-z平面和y-z平面像素块集合，根据投影关系得到投影分组集合[s_1，s_2，…，s_nx×ny×nz]，其中s_i是指第i个3d窗口投影在x-y平面、x-z平面和y-z平面上的像素块集合。
16、较佳地，所述的步骤(3)具体包括以下步骤：
17、(3.1)收集每个窗口i内的稀疏特征fi＝{f1i，…，fni}，其中，ni表示第i个窗口内稀疏特征总数目，用于给定视角投影的特征做计算，每个上述的二维稀疏特征窗口都表示为三维稀疏特征矩阵，这些矩阵的空间形状根据视图类型而变化，所述的视图类型包括x-y平面、x-z平面或y-z平面；可选择地，在x-y平面中，空间形状为wx-y×hx-y×d，而x-z平面和y-z平面为wx-z×hx-z×d和wy-z×hy-z×d，d表示每个非空体素的特征维度；
18、(3.2)在x-y平面下，每个窗口内的特征fi在其三维稀疏张量表示中形成ni×d矩阵，满足条件(wi×hi)≥ni；
19、(3.3)构建用于计算视图内部特征自融合的线性投影层lq(·)、lk(·)和lv(·)用于为多头注意力机制生成查询、键和值特征，同时保持相同的语义；
20、(3.4)将稀疏体素的索引(i，j)通过多层感知器mlp映射来获得位置索引pe作为每个稀疏体素的可学习基于索引的二维位置嵌入；
21、(3.5)根据以下公式以及所述lq(·)、lk(·)、lv(·)和位置索引pe计算视图内的特征多头自注意力ma：
22、
23、其中，ma为视图内的特征多头自注意力，lq(·)、lk(·)、lv(·)为线性投影层，fi为每个窗口i内的稀疏特征，pe为位置索引。
24、较佳地，所述的步骤(4)具体包括以下步骤：
25、(4.1)构建用于计算视图外部特征交互的线性投影层q(·)、k(·)和v(·)用于为多头注意力机制生成查询、键和值特征，同时保持相同的语义；
26、(4.2)以某一视图的稀疏特征图为例，将该视图本文档来自技高网...
【技术保护点】
1.一种基于投影交互式空间特征的激光雷达3D点云目标检测方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于投影交互式空间特征的激光雷达3D点云目标检测方法，其特征在于，所述的步骤(1)具体为：
3.根据权利要求2所述的基于投影交互式空间特征的激光雷达3D点云目标检测方法，其特征在于，所述的步骤(2)具体包括以下步骤：
4.根据权利要求3所述的基于投影交互式空间特征的激光雷达3D点云目标检测方法，其特征在于，所述的步骤(3)具体包括以下步骤：
5.根据权利要求4所述的基于投影交互式空间特征的激光雷达3D点云目标检测方法，其特征在于，所述的步骤(4)具体包括以下步骤：
6.根据权利要求5所述的基于投影交互式空间特征的激光雷达3D点云目标检测方法，其特征在于，所述的步骤(5)具体包括以下步骤：
7.一种用于实现基于投影交互式空间特征的激光雷达3D点云目标检测的装置，其特征在于，所述的装置包括：
8.一种用于实现基于投影交互式空间特征的激光雷达3D点云目标检测的处理器，其特征在于，所
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1至6中任一项所述的基于投影交互式空间特征的激光雷达3D点云目标检测的方法的各个步骤。
...【技术特征摘要】
1.一种基于投影交互式空间特征的激光雷达3d点云目标检测方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于投影交互式空间特征的激光雷达3d点云目标检测方法，其特征在于，所述的步骤(1)具体为：
3.根据权利要求2所述的基于投影交互式空间特征的激光雷达3d点云目标检测方法，其特征在于，所述的步骤(2)具体包括以下步骤：
4.根据权利要求3所述的基于投影交互式空间特征的激光雷达3d点云目标检测方法，其特征在于，所述的步骤(3)具体包括以下步骤：
5.根据权利要求4所述的基于投影交互式空间特征的激光雷达3d点云目标检测方法，其特征在于，所述的步骤(4)具体包括以下步骤：
6.根据权利要求5所述的基于投影交互式...
【专利技术属性】
技术研发人员：朱煜，朱梓铭，张可至，陈加昊，凌小峰，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。