当前位置: 首页 > 专利查询>上海大学专利>正文

一种基于关键点点云局部特征的三维目标检测方法技术

技术编号:38153280 阅读:40 留言:0更新日期:2023-07-13 09:19
一种基于关键点点云局部特征的三维目标检测方法,包括:获取当前时刻待检测的点云数据;将获取的点云数据输入到训练好的多维特征融合的特征编码网中,得到目标检测结果,所述多维特征融合的特征编码网对训练样本中点云数据进行关键点采样和特征编码,得到关键点点云局部特征,具体获取N个原始点云数据;通过空间距离最远点采样法,从N个点中采样N

【技术实现步骤摘要】
一种基于关键点点云局部特征的三维目标检测方法


[0001]本专利技术属于计算机视觉
,具体是一种基于关键点点云局部特征的三维目标检测方法。

技术介绍

[0002]三维目标检测中常用的有两种方法,基于点的方法和基于体素的方法。基于点的方法:这种方法将三维点云数据看作一系列散点,直接对每个点进行处理。其优点在于具有较高的几何灵活性和可扩展性,同时也能够准确地捕捉点云数据的细节和局部特征。但是,由于点云数据的稀疏性和无序性,基于点的方法在处理大型场景时会存在效率和准确度方面的问题。这方面代表性的研究有PointNet和PointNet++。FPointNet首先提出将PointNet应用于基于2D图像边界框的裁剪点云的3D检测。PointRCNN直接从整个点云生成3D候选框,而不是仅使用点云进行3D检测的2D图像。
[0003]基于体素的方法:这种方法将三维点云数据划分为一系列规则的体素(即三维像素),然后对每个体素进行处理。相比于基于点的方法,基于体素的方法具有更高的计算效率和稳定性,且容易集成卷积神经网络(CNN)等深度学习技术。但是,基于体素的方法也存在着数据维度较高、信息损失严重等问题。相关研究有VoxelNet和SECOND算法。
[0004]现有近似方案中,基于点的关键点采样和点集特征提取方法,主要是PointNet++的最远点采样算法进行关键点采样,获得均匀的全局关键点,然后经过特征抽象层进行特征提取。PointNet++和PointRCNN使用集合抽象层(SA)进行下采样得到关键点以获得更高的效率和扩大感受野,得到关键点邻域的局部特征。集合抽象层利用最远点采样算法来进行降采样获得关键点的子集作为下采样的代表点。但是这种抽样方法只考虑了点之间的相对位置,由于我们所感兴趣的点数量没有背景点数量那么巨大,且由于激光雷达点云的不均匀性,近处的点稠密,远处稀疏,远处物体上可能只有几个点。这样再用这种方法,被采样到的关键点实际上是背景点,远处物体的点就被过滤掉了,使它们不会被检测到。大多数现有方法在下采样过程中应用特征传播层(FP)来召回那些被放弃的有用点,但它们必须付出更长的推理时间的计算开销。

技术实现思路

[0005]针对上述现有技术的缺点,本专利技术提出一种基于关键点点云局部特征的三维目标检测方法,通过采样空间距离的最远点、特征距离的最远点,以及点到中心的距离,三种采样方式获得各三分之一关键点,并通过多维特征融合生成最终的关键点点云。
[0006]本专利技术的技术解决方案如下:
[0007]一种基于关键点点云局部特征的三维目标检测方法,包括:获取当前时刻待检测的点云数据;将获取的点云数据输入到训练好的多维特征融合的特征编码网中,得到目标检测结果,其特点在于,所述多维特征融合的特征编码网对训练样本中点云数据进行关键点采样和特征编码,得到关键点点云局部特征,具体步骤如下:
[0008]S1.获取N个原始点云数据;
[0009]S2.通过空间距离最远点采样法,从N个点中采样N

/3个点,作为关键点;
[0010]S3.通过特征距离最远点采样法,从N个点中采样N

/3个点,作为关键点;
[0011]S4.将点云坐标系转换为以激光雷达为原点的坐标系,计算逐点距离坐标原点的相对距离,根据点到坐标原点的距离设置不同的采样概率,点被随机采样的概率与点到原点的距离成正比,从N个点中采样N

/3个点;
[0012]S5.将步骤S2、步骤S3和步骤S4分别采样得到的点云重新组合成一个N

个点的关键点云集合,并通过点集抽象模块(SA)进行特征提取,生成关键点点云局部特征。
[0013]进一步,所述步骤S2.通过空间距离最远点采样法,从N个点中采样N

/3个点,具体步骤如下:
[0014]步骤S2.1输入点云有N个点,从点云中选取点P0作为起始点,得到采样点集合S={P0};
[0015]步骤S2.2计算所有点到点P0的距离,构成N维数组L,并选择最大值对应的点作为点P1,更新采样点集合S={P0,P1};
[0016]步骤S2.3计算所有点到点P1的距离,对于每一个点Pi,其距离P1的距离如果小于L[i],则更新L[i]=d(Pi,P1),即数组L中存储是每一个点到采样点集合S的最近距离;
[0017]步骤S2.4选取数组L中最大值对应的点作为点P2,更新采样点集合S={P0,P1,P2};
[0018]步骤S2.5重复步骤S2.2

S2.4,直至采样到N

/3个目标采样点。
[0019]进一步,所述步骤S3.通过特征距离最远点采样法,从N个点中采样N

/3个点,具体步骤如下:
[0020]步骤S3.1随机选取一个点作为第一个采样点,添加到采样点集合中;
[0021]步骤S3.2对于剩余点,计算它们到采样点集合中所有点的特征距离,选取距离最远且特征距离最大的点作为下一个采样点,添加到采样点集合中;
[0022]步骤S3.3重复步骤S3.2,直到采样点集合中点的数量达到指定数量为止。
[0023]进一步,所述的步骤S4,基于点到中心距离的不同采样概率,具体步骤如下:
[0024]步骤S4.1以激光雷达为坐标原点即中心点,计算每个点到中心点的欧式距离d;
[0025]步骤S4.2对原始点云进行采样,一个点被采样的概率与点的欧式距离成正比,概率p=d/D,其中,D为点到中心的最远距离;
[0026]步骤S4.3重复步骤步骤S4.2,直到采样到指定数量的点为止。
[0027]进一步,所述通过点集抽象模块(SA)进行特征提取,具体步骤如下:
[0028]步骤S5.1对输入点云进行区域分割:点集抽象模块层首先将输入点云数据按空间位置进行分割,将每个区域内的点看作一个集合,对于每个区域,点集抽象模块层使用一个可学习的神经网络来确定该区域的中心点,这些中心点用于表示该区域的整体特征;
[0029]步骤S5.2提取区域的局部特征,将局部特征聚合到中心点:使用最大池化的方法将局部特征聚合到中心点,即将每个局部特征向量与该区域的中心点的特征向量进行比较,选择其中的最大值作为该区域的最终特征向量;
[0030]步骤S5.3将每个区域的特征向量合并:将每个区域的最终特征向量连接起来,形成整个点云的全局特征向量,该全局特征向量可以传递到后续的网络层进行分类或者回归
等任务。
[0031]与现有技术相比,本专利技术的有益效果是:
[0032]1)利用特征距离作为最远点采样中的标准,许多类似的无用背景点将被大部分移除,如大量的地面点。即使对于远处对象的有效点,它们也可以保留下来,因为来自不同对象的点的语义特征彼此不同。这样获得的关键点既考虑了空间距离,又考虑了点的语义信息。
[0033]2)本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于关键点点云局部特征的三维目标检测方法,包括:获取当前时刻待检测的点云数据;将获取的点云数据输入到训练好的多维特征融合的特征编码网中,得到目标检测结果,其特征在于,所述多维特征融合的特征编码网对训练样本中点云数据进行关键点采样和特征编码,得到关键点点云局部特征,具体步骤如下:S1.获取N个原始点云数据;S2.通过空间距离最远点采样法,从N个点中采样N

/3个点,作为关键点;S3.通过特征距离最远点采样法,从N个点中采样N

/3个点,作为关键点;S4.将点云坐标系转换为以激光雷达为原点的坐标系,计算逐点距离坐标原点的相对距离,根据点到坐标原点的距离设置不同的采样概率,点被随机采样的概率与点到原点的距离成正比,从N个点中采样N

/3个点;S5.将步骤S2、步骤S3和步骤S4分别采样得到的点云重新组合成一个N

个点的关键点云集合,并通过点集抽象模块(SA)进行特征提取,生成关键点点云局部特征。2.根据权利要求1所述的基于关键点点云局部特征的三维目标检测方法,其特征在于,所述步骤S2.通过空间距离最远点采样法,从N个点中采样N

/3个点,具体步骤如下:步骤S2.1输入点云有N个点,从点云中选取点P0作为起始点,得到采样点集合S={P0};步骤S2.2计算所有点到点P0的距离,构成N维数组L,并选择最大值对应的点作为点P1,更新采样点集合S={P0,P1};步骤S2.3计算所有点到点P1的距离,对于每一个点Pi,其距离P1的距离如果小于L[i],则更新L[i]=d(Pi,P1),即数组L中存储是每一个点到采样点集合S的最近距离;步骤S2.4选取数组L中最大值对应的点作为点P2,更新采样点集合S={P0,P1,P2};步骤S2.5重复步骤S2.2

S2.4,直至...

【专利技术属性】
技术研发人员:杨庆华倪金虎童彦
申请(专利权)人:上海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1