一种高精度通用的三维点云识别方法技术

本发明专利技术公开一种高精度通用的三维点云识别方法，它包括：将点云的特征信息通过非线性映射得到不同变换空间下的表示；将得到的表示使用图注意力网络提取局部编码特征，通过全局空间融合得到全局编码特征，将局部编码特征和全局编码特征通过门控特征聚合机制得到融合后的点云特征；将融合后的点云特征送入分类器中得到预测结果；构建整体预测损失函数并加入独立性判别损失用于网络训练和优化，同时保存合适的模型参数。本发明专利技术在每个变换中使用图注意力卷积神经网络有效地提取点云特征，并通过门控机制高效的融合，同时引入希尔伯特

【技术实现步骤摘要】
一种高精度通用的三维点云识别方法


[0001]本专利技术涉及计算机视觉
，属于一种基于深度学习的三维识别技术，具体来说，是一种高精度通用的三维点云识别方法，通过建立一个统一的网络框架完成对场景中点云分类、部分分割和语义分割的任务，以达到高精度点云识别的目的。

技术介绍

[0002]近年来，二维图像的识别已经在应用中取得了一定的成功，但由于实际场景中物体均以三维形式存在，有效的对三维场景进行理解能够促进智能系统(如机器人、自动驾驶、虚拟/增强现实等技术)的快速发展。点云作为一种能够直观表示三维场景空间和几何形状信息的数据形式，被广泛应用于三维场景理解的研究中。目前，随着激光扫描等传感器技术的进步，点云数据采集获取已变得较为容易，但相关点云智能化处理识别方法还处于萌芽状态。此外，由于应用环境的复杂多样性，需要建立一个通用的统一框架来完成不同的点云识别任务。
[0003]点云的识别任务有多种，一般可分为点云分类、点云部分分割、点云语义分割等，点云分类是指按照点云的形状特征将其划分到对应的类别，点云部分分割是指将点云组成的形状划分为各个组成部分，点云语义分割是指将场景中点云划分为在语义上具有实际意义的不同类别。
[0004]在之前的研究方法中，研究人员通过采用多层感知机或三维卷积方法直接对点云特征进行建模，随着图卷积网络的兴起，很多方法转向采用图结构来充分捕获点云的局部和全局依赖关系，以完成对点云的精准识别。这些方法都通过单一的变换来捕获点云上下文的表示，然而这样会出现两个问题：其一，由于实际场景物体种类繁杂，不同物体间空间距离较近，容易出现特征混叠的现象，从而影响点云识别的结果；其二，这些方法均采用单一变换去提取点云的特征，并未从多个角度去考虑，从而获取的特征信息不够丰富，无法满足应用的需要；此外，在其他领域中多变换方法已被证明具有良好的性能去帮助网络学习更加丰富的特征表示。

技术实现思路

[0005]针对现有技术存在的上述问题，本专利技术旨在提供了一种基于多变换学习的三维点云识别方法，该方法将原始点云应用多变换，从多个变换后的嵌入点云空间中分别提取特征再高效融合，以提升网络对点云识别的精度和鲁棒性，增强模型的性能。
[0006]为实现上述技术目的，本专利技术采用的技术方案如下：
[0007]一种高精度通用的三维点云识别方法，包括：
[0008]将包含特征信息的点云通过非线性映射得到原始点云在不同变换空间下的表示；
[0009]将得到的表示使用图注意力卷积神经网络提取不同变换下点云的局部编码特征；
[0010]将得到的表示应用全局空间融合，并将其索引映射得到不同变换下点云的全局编码特征，所述全局编码特征与局部编码特征具有相同的特征表示形式；
[0011]将分别得到的局部编码特征和全局编码特征通过门控特征融合机制得到融合后的点云特征；
[0012]将融合后的点云特征送入分类器中得到预测结果；
[0013]对于非线性映射得到原始点云在不同变换空间下的表示，应用希尔伯特
‑
施密特独立性指标衡量两两间相似度，建立独立性判别损失；
[0014]构建整体预测损失函数并加入独立性判别损失用于网络训练和优化，同时保存合适的模型参数。
[0015]进一步，所述非线性映射采用多层感知机来完成。
[0016]进一步，所述将得到的表示应用图结构通过注意力卷积神经网络提取不同变换下点云的局部编码特征包括：
[0017]对每个变换中的点云使用K近邻算法构建局部邻域；
[0018]计算邻域中心点c与邻域点k的相对坐标；
[0019]计算邻域中心点c与邻域点k的相对其他特征；
[0020]将相对坐标和相对其他特征分别进行编码再拼接，通过softmax函数得到注意力权重；
[0021]将注意力权重与对应特征相乘，得到编码后的点云局部编码特征。
[0022]进一步，所述全局空间融合将原始点云与非线性映射变换后的点云进行自适应的全局融合，计算公式如下：
[0023][0024]其中门控权重G
j
通过网络映射学习得到，计算如下：
[0025][0026]进一步，若点云识别任务为部分分割任务或语义分割任务，则需要先将融合后的点云特征进行点云特征插值和上采样得到解码后的点云特征，再将解码后的点云特征送入分类器中得到预测结果。
[0027]进一步，所述分类器采用全连接层结构。
[0028]进一步，所述整体预测损失函数采用交叉熵损失函数。
[0029]本专利技术相比现有技术，具有如下有益效果：
[0030]1、通用性强。本申请建立一个统一的网络框架用于点云识别相关任务，适用于点云分类、点云部分分割和点云语义分割等任务，具有良好的适用能力。
[0031]2、精度高。在ModelNet40形状分类数据集上的总体精度达到了93.3，在ShapeNet部分分割数据集上mIoU达到了86.4，在S3DIS(Area 5)和ScanNet两个语义分割数据集上的mIoU分别达到了65.15和63.2。
[0032]3、鲁棒性好。由于网络从多个变换的角度出发去学习特征，能够获得更丰富的表示，此外，模型对数据适应能力强，能在广泛来源的数据中精准完成识别。
附图说明
[0033]图1为本专利技术一种三维点云识别方法的流程图；
[0034]图2为本专利技术一种三维点云识别方法的网络结构图；
[0035]图3为本专利技术中的门控特征融合结构示意图；
[0036]图4为本专利技术中的空间独立性判别模块图；
[0037]图5为采用ShapeNet、S3DIS和ScanNet数据集的点云识别效果图。
具体实施方式
[0038]为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。
[0039]如图1、图2所示，一种高精度通用的三维点云识别方法，包括如下步骤：
[0040]S10：将包含特征信息的点云通过非线性映射得到原始点云在不同变换空间下的表示
[0041]点云的特征信息主要是通过读取设备读取点云的XYZ坐标信息、RGB颜色信息等，然后输入一个编码器空间映射模块，该编码器空间映射模块能够将点云的特征信息通过非线性映射得到原始点云在不同变换空间下的表示。
[0042]其中非线性映射采用多层感知机(Multi Layer Perceptron)，具体地，对于输入点云其中N表示点云中点的个数，应用多变换对点云映射的过程如下所示：
[0043]P
i
＝MLP
i
(P0),i＝1,
…
,M
[0044]其中P
i
为映射后的点云特征表示，M为变换的个数。
[0045]S20：将得到的表示使用图注意力卷积神经网络提取不同变换下点云的局部编码特征
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高精度通用的三维点云识别方法，其特征在于，包括：将包含特征信息的点云通过非线性映射得到原始点云在不同变换空间下的表示；将得到的表示使用图注意力卷积神经网络提取不同变换下点云的局部编码特征；将得到的表示应用全局空间融合，并将其索引映射得到不同变换下点云的全局编码特征，所述全局编码特征与局部编码特征具有相同的特征表示形式；将分别得到的局部编码特征和全局编码特征通过门控特征聚合机制得到融合后的点云特征；将融合后的点云特征送入分类器中得到预测结果；对于非线性映射得到原始点云在不同变换空间下的表示，应用希尔伯特
‑
施密特独立性指标衡量两两间相似度，建立独立性判别损失；构建整体预测损失函数并加入独立性判别损失用于网络训练和优化，同时保存合适的模型参数。2.根据权利要求1所述的三维点云识别方法，其特征在于，所述非线性映射采用多层感知机来完成。3.根据权利要求2所述的三维点云识别方法，其特征在于，所述将得到的表示应用图结构通过注意力卷积神经网络提取不同变换下点云的局部编码特征包括：对每...

【专利技术属性】
技术研发人员：雷印杰，杨昱威，
申请(专利权)人：四川大学，
类型：发明
国别省市：