【技术实现步骤摘要】
本专利技术涉及一种基于点云密度信息的点云特征提取方法，主要用于3d目标检测领域，特别是弱监督3d目标检测领域。
技术介绍
1、3d目标检测是一种新兴出现的检测方法，主要利用先进的传感器设备如激光雷达和深度相机采集带有深度信息的输入，如点云或rgb-d图，以获取三维空间中物体的形状和位置信息。相比于2d目标检测中以图像为输入，3d目标检测中以点云为主要的输入形式，处理点云数据是3d目标检测的挑战之一。为了进行有效的3d检测模型构建，大规模标注公开数据集。大规模标注公开数据集为3d数据集提供了良好的铺垫和数据标注标准，通常情况下，一个良好的标注数据集会完全标注对象的三维边界框、语义标签和实例标识符，我们将这一标注成为完全标注或精准标注。精确标注三维数据是一项相当复杂的事，最少要包括三维物体的类别和中心，三维标注框的长、宽、高以及定位角度(翻滚角、俯仰角、偏航角)。即便一个经验丰富的标注人员使用专业的标注工具也需要平均消耗120秒甚至更多的时间来完成一个物体的标注工作。这相比于图像检测中标注二维检测框所平均消耗的5s时间极大地增加了成本。对于一个含有数个甚至十数个物体的场景来说，标注的成本十分巨大。对于一个含有复杂的场景、多个物体实例或需要详细的标注，标注工作将更加耗时。
2、弱监督3d目标检测的产生背景就是源于上述数据标注上的困难。弱监督学习的目标是通过利用不完整、不准确或成本较低的标注数据来训练模型，从而降低数据标注的要求。
3、作为进行监督学习的最初部分，点云特征提取往往采用深度学习的方法，通过多层次的架
技术实现思路
1、针对上述问题，本专利技术提供了一种基于点云密度的即插即用的点云特征提取方法，用于3d目标检测，特别是弱监督3d目标检测。方法借助transformer进行注意力特征的提取，通过利用不同尺度点云密度的属性来提取点云特征，使得提取的特征具有自然的形状倾向和场景稳定性，这是亟待解决的问题需要检测弱标签。我们提出下降密度局部注意力聚合模块和上升密度偏差特征提取模块，用于聚合密度下降和上升过程中的局部邻接关系、计算全局特征偏移信息。在密度下降阶段，利用邻接位置编码器ape提取邻域内的最佳关系表示，并通过减式transformer构建局部注意力来划分邻域内的各个属性的存在范围。模块提取局部注意力特征的同时，对输入进行下采样以降低点云密度，从而得到密度下降过程中的形状倾向特征。当点云密度降到最低时进行密度恢复，并利用密度上升偏差特征提取模块提取特征，以概括整个场景信息。上升密度偏差特征提取模块在不断恢复密度的过程中通过学习之前保存的等密度浅层特征与当前深层特征的焦点迁移来强化形状倾向特征。所述方法具体步骤为：
2、步骤(1)、给定由激光雷达或深度相机或其他深度采集设备采集的点云数据，其数据形式为n个带有三维坐标(x,y,z)的离散点，其中n为整个场景中离散点个数。设原始点云的集合形式为χn，输入χn至下降密度特征聚合模块进行特征提取。下降密度特征聚合模块为并联的两个模块：基于多层感知机mlp的特征提取层和基于减式transformer的局部注意力聚合层，其中点云特征提取层可以被定义为：
3、
4、其中，f1得到的浅层点云特征，{x1,x2,...,xn}表示n个属于点云集合χn的点，xi表示任意一个属于{x1,x2,...,xn}的点。f表示从点到特征的映射函数，α和β表示多层感知机层(mlp)，该操作将三维坐标(x,y,z)转换为一个1*m的高维向量。max用于进行点云的置换不变性表示，为x1到xi中得到的i个高维向量中的最大值。对于任意顺序的表示，如{x1,x2,...,xi}和{xi,...,x1,x2}，会有相同的max表示。保存得到的f1特征。
5、同时，原始点云χn经过最远点采样和聚簇技术得到m个簇。该过程可以表示为：首先利用最远点采样技术，从点云中选取一个随机点加入集合，然后选择离该集合最远的点作为下一个采样点，并将该点加入集合。重复这个过程，直到集合中已经采集够m个点。之后通过球形聚簇技术，以采集到的m个点为为球心，给定一个球体半径r，采集k个在该球体内的点。这样，就能获得m个球体半径为r，包含k个点的簇。
6、我们可以使用欧氏距离来定义球形聚簇过程。球形区域内的点集合p1可以表示为：
7、
8、最远点采样可以表示为：
9、
10、其中，p2是下采样后的点集，包含n个最远的点，argmax表示最大值的点，||·||表示欧氏距离。
11、m个簇会被输入到局部注意力聚合层，该层为一减式transformer，可以被定义为：
12、
13、其中，x(i)表示某簇i的中心，pi表示以该点为中心，球形半径r的簇内的点的集合。ψ和α是特征转换函数，如leaky relu、softmax。δ是从邻接位置编码模块ape学到的相邻元素的最佳关系表示。邻接位置编码ape可以定义为：
14、δ＝θ(p(i),p(j)) (5)
15、其中，p(i)、p(j)为某一空间中邻接的任意两个点。θ表示可学习的参数。
16、步骤(2)、将步骤(1)得到的浅层点云特征f1和局部注意力特征f2沿着向量方向进行相加，得到融合特征f3。利用步骤(1)提到的最远点采样技术对f3进行下采样，将点云密度降低至缩小到原先的1/4、1/16，进行与步骤(1)同样的特征提取工作。在三个密度上可以保存到3个浅层点云特征和1个最终的融合特征。
17、步骤(3)、将步骤(2)得到的融合特征输入上升密度偏差特征提取模块进行特征提取。上升密度偏差特征提取模块为串联的两层：点云特征提取层和全局偏差注意力计算层。点云特征提取层得到深层点云特征f4，并将该特征输入后续的全局偏差注意力计算层，得到注意力特征f5。该层会同时接受之前保存的相同点云密度的浅层点云特征，如1/16密度的全局偏差注意力计算层会得到步骤(1)中保存的1/16密度的浅层点云特征。计算f5和保存的浅层点云特征的注意力偏差，得到偏差特征f6。全局偏差注意力计算层可以定义为：
18、f6＝ω((i-a)f4，f3) (6)
19、其中，f3代表输入的本文档来自技高网...
【技术保护点】
1.一种基于点云密度信息的点云特征提取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的点云特征提取方法，其特征在于，下降密度特征聚合模块为并联的两层：基于多层感知机MLP的特征提取层和基于减式Transformer的局部注意力聚合层；其中，由MLP特征提取层得到浅层特征F1，由局部注意力聚合层得到局部注意力特征F2，局部注意力聚合层可以被定义为：
3.根据权利要求1所述的点云特征提取方法，其特征在于，上升密度偏差特征提取模块为串联的两层：基于MLP的特征提取层和全局偏差注意力计算层；基于特征提取层得到深层特征F4，将F4输入后续的全局偏差注意力计算层，得到全局注意力特征F5，全局注意力用来在精简的低密度点云阶段进行整个场景的注意力概括，得到全局特征后进行跳跃连接，将之前保存的等密度浅层特征F1和当前的全局特征进行连接，计算F5和保存的浅层点云特征的注意力偏差，得到偏差特征F6，全局偏差注意力计算层可以定义为：
【技术特征摘要】
1.一种基于点云密度信息的点云特征提取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的点云特征提取方法，其特征在于，下降密度特征聚合模块为并联的两层：基于多层感知机mlp的特征提取层和基于减式transformer的局部注意力聚合层；其中，由mlp特征提取层得到浅层特征f1，由局部注意力聚合层得到局部注意力特征f2，局部注意力聚合层可以被定义为：
3.根据权利要求1所述的点云特征提取方法，其...
【专利技术属性】
技术研发人员：任柯燕，胡兆欣，杨贺雄，赵虎，王世豪，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。