【技术实现步骤摘要】
本公开涉及图像处理，尤其涉及一种基于端到端神经网络邻域点云下采样分类方法及装置。
技术介绍
1、近年来，3d传感设备的普及程度有所提高。这些设备通常以点云的形式捕获数据。分类、配准和形状重建等多种应用都会消耗原始点云数据。这些应用程序在处理庞大的点云数据时效率很低，因此，通常需要减小点云数据量的大小，以提高计算效率和降低通信成本。
2、在运行下游任务之前，这往往是对数据进行下采样来完成减小点云数据量的问题。由于下采样保持了数据结构(即输入和输出都是点云的形式)，并且采样保持了数据的保真性，并将数据保留在可解释的表示中，所以对三维点云下采样处理成了一个热门方向。
3、三维点云数据分类一直是一个具有挑战的问题。在相关技术中，提出了可以直接处理点云数据的pointnet网络，通过多层感知器学习每个点的特征，同时采用对称函数保持点云的置换不变性，最后将这些聚合的特征通过全连接层输出一个一维矩阵，矩阵的每一维分量表示点云被分类为该类别的概率，概率最高的作为点云被网络划分的类别。考虑到点云中临近点相互具有可替代性，去除数据中的冗杂信息依然可以保证pointnet网络具有非常高的分类准确度。然而，现有的点云下采样分类方法只能按照特定准则进行采样，不能考虑到下游分类任务的需求，下采样后的点云失去了大量的语义信息，进而很容易影响下游任务的性能。
4、因此，有必要提供一种新的技术方案改善上述方案中存在的一个或者多个问题。
5、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因
技术实现思路
1、本公开的目的在于提供一种基于端到端神经网络邻域点云下采样分类方法及装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
2、根据本公开实施例的第一方面，提供一种基于端到端神经网络邻域点云下采样分类方法，该方法包括：
3、输入待分类的三维点云数据，并对所述三维点云数据进行预处理操作；其中，所述预处理操作包括：对所述三维点云数据进行降噪处理，将无序的所述三维点云数据转换成有序的所述三维点云数据，对有序的所述三维点云数据进行体素化处理，得到有序规整的所述三维点云数据，其公式如下：
4、x＝voxel(pcd) (1)
5、式中，pcd表示去噪之后的三维点云数据，voxel(·)代表体素化操作，x表示体素化处理后的三维点云数据；
6、通过公开数据集对基于神经网络的点云下采样模型进行训练，得到训练好的基于神经网络的点云下采样模型，并将有序规整的所述三维点云数据输入训练好的基于神经网络的所述点云下采样模型，得到简化后的采样的三维点云数据；
7、通过pointnet网络对简化后的采样的所述三维点云数据进行点云分类，得到最终点云分类结果。
8、本公开的实施例中，所述点云下采样模型包括关键点提取网络与自适应邻域软投影注意力生成网络。
9、本公开的实施例中，所述关键点提取网络包括多层感知机层、池化层和全连接层；
10、所述自适应邻域软投影注意力生成网络包括自适应邻域软投影层和注意力层。
11、本公开的实施例中，在所述关键点提取网络中，对经过预处理后的所述三维点数据时，包括：
12、通过所述多层感知机层提取所述三维点云数据的特征矩阵；
13、通过最大池化层特征矩阵聚合所述三维点云数据的聚合特征；
14、通过所述全连接层得到所需要的关键点点集。
15、本公开的实施例中，在所述软件投影注意力生成网络中，输入由所述关键点提取网络中获得的所述关键点点集时，包括：
16、通过自适应邻域根据关键点集重要度自适应获得邻域范围大小，对关键点集进行自适应偏移，其公式如下：
17、xkey＝mlp(xkey)+xkey (2)
18、式中，xkey表示预处理后的关键点点集，使用软投影技术将所述关键点点集投影至预处理后的所述三维点云数据，并使用自适应最邻近聚类方法，具体公式为：
19、k＝k0×d (3)
20、
21、
22、式中，k0表示预处理后的三维点云数据平均密度，u表示预处理后的三维点云数据区域大小，n0表示预处理后的三维点云数据的点数，d表示密度伸张系数，d表示反局部密度，将获得关键点点集在预处理后的三维点云数据中的邻近点集合，其中，每一个关键点点集对应一个邻近点点集；
23、对于所生成的每一个所述自适应邻近点点集，通过注意力机制获得相应的注意力矩阵，并将所述注意力矩阵与所述自适应邻近点点集做点积操作，得到最终的下采样后的所述三维点云数据。
24、本公开的实施例中，所述点云下采样模型中进行的公式如下：
25、f1＝mlp(x) (6)
26、f2＝max_pooling(f1) (7)
27、f3＝fc(f2) (8)
28、f4＝project(f3，x) (9)
29、f5＝attention(f3，f4) (10)
30、xds＝f5·f4 (11)
31、式中，公式(6)至(11)为对应点云下采样网络中的操作，公式(6)至(8)为对应关键点提取网络中的操作，f1表示多层感知机输出的三维点云数据的特征矩阵，mlp代表多层感知机层，x表示经过预处理后的三维点云数据，f2表示最大池化层输出的三维点云数据的聚合特征，max_pooling表示最大池化层，f3表示全连接层输出的关键点点集合，fc表示全连接层，f4表示关键点邻近点点集，project表示软投影层，f5表示注意力权重，attention表示注意力机制层，·表示点积操作，xds表示下采样后的三维点云数据。
32、本公开的实施例中，所述通过公开数据集对基于神经网络的点云下采样模型进行训练，得到训练好的基于神经网络的点云下采样模型，包括：
33、按照7：3的比例将选取的公开数据集划分为训练集和测试集；
34、在训练中，设置总的epoch为300次，batch size大小为8，选择adam为优化器，在所述优化器中，采用衰减学习率的训练策略，初始学习率为0.08，每过30个epoch，学习率会降低为原来的0.8倍，整体网络的损失函数由下采样网络的损失函数以及pointnet分类网络构成，如下所示：
35、loss(x,xds)＝losscls+αlossds (12)
36、losscls＝losscd+lossmse(pred，label )(13)
37、
38、式中，losscls表示下游分类任务的损失函数，lossds表示下采样任务的损失函数；losscd表示chamfer distance损失，lossmse表示分本文档来自技高网...
【技术保护点】
1.一种基于端到端神经网络邻域点云下采样分类方法，其特征在于，该方法包括：
2.根据权利要求1所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，所述点云下采样模型包括关键点提取网络与自适应邻域软投影注意力生成网络。
3.根据权利要求2所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，所述关键点提取网络包括多层感知机层、池化层和全连接层；
4.根据权利要求3所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，在所述关键点提取网络中，对经过预处理后的所述三维点数据时，包括：
5.根据权利要求4所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，在所述自适应邻域软投影注意力生成网络中，输入由所述关键点提取网络中获得的所述关键点点集时，包括：
6.根据权利要求5所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，所述点云下采样模型中进行的公式如下：
7.根据权利要求6所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，所述通过公开数据集对基于神经网络的点云下采样模型进行训练，得
8.一种基于端到端神经网络邻域点云下采样分类装置，其特征在于，该装置包括：
...【技术特征摘要】
1.一种基于端到端神经网络邻域点云下采样分类方法，其特征在于，该方法包括：
2.根据权利要求1所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，所述点云下采样模型包括关键点提取网络与自适应邻域软投影注意力生成网络。
3.根据权利要求2所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，所述关键点提取网络包括多层感知机层、池化层和全连接层；
4.根据权利要求3所述基于端到端神经网络邻域点云下采样分类方法，其特征在于，在所述关键点提取网络中，对经过预处理后的所述三维点数据时，包括：
5.根据权利要求4...
【专利技术属性】
技术研发人员：邱博之，李莹，张佰顺，华伟，王放，
申请(专利权)人：西安黄河机电有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。