一种针对原始3D点云处理的深度卷积网络的点云识别方法技术

本发明专利技术公开了一种针对原始3D点云处理的深度卷积网络的点云识别方法，包括：通过FPS算法对原始点云进行采样；使用球域搜索算法对每个采样中心点周围给定半径所形成地球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域；使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征。本发明专利技术可以对原始点云直接进行端到端的特征学习，无需任何预处理，并且具有较高的点云识别精度，将图像数据转为点云并使用该方法对其进行识别，性能也基本等效于传统2D卷积网络。

【技术实现步骤摘要】
一种针对原始3D点云处理的深度卷积网络的点云识别方法
本专利技术属于点云识别的
，尤其涉及一种针对原始3D点云处理的深度卷积网络的点云识别方法。
技术介绍
由于点云学习在无人驾驶，机器视觉和机器人等诸多领域的广泛应用，近来引起了越来越多的关注。作为AI中的主要技术，深度学习已成功用于解决各种2D视觉问题。但是，由于使用深度神经网络处理点云所面临的独特挑战，因此点云上的深度学习仍处于起步阶段。近年来，在点云上的深度学习甚至变得蓬勃发展，提出了许多方法来解决该领域的不同问题。现有技术中，Voxnet将点云表示为体积占用网格，然后用3D卷积神经网络来进行监督学习。所用数据包含LiDAR点云，RGBD点云和CAD模型。首先将点云拟合到32x32x32的体素化网格，可以构建一个全部填充为零的32x32x32的数组。然后缩放点云来计算每个体素内的有多少个点。在获得体素化网格后，接下来执行3D卷积计算，使其有效地在基于体素的图像上滑动立方体(注:3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核)。VoxNet通过将点云表示为体积占用网格的构建方式固有地会引入离散化伪像和信息丢失。通常，高分辨率会导致较高的内存和计算成本，而低分辨率会导致细节丢失。在实践中选择合适的网格分辨率并非易事。MVCNN首次提出了基于视图的方法，将一个3D形状的物体的每一张视角图像各自独立地经过第一段的CNN1卷积网络(注:整张网络第一部分的所有分支，共享相同的CNN1里的参数)，然后从不同图像中学习的特征通过视图池化层(View-pooling)聚合为全局特征。之后，再送入剩下的CNN2卷积网络，得到预测结果。MVCNN只是将多视图特征最大池化为一个全局描述符。但是，最大池化只能保留特定视图中的最大元素，从而导致信息丢失。PointNet对于每一个N×3的点云输入，网络先通过一个T-Net将其在空间上对齐(旋转到正面)，再通过MLP将其映射到64维的空间上，再进行对齐，最后映射到1024维的空间上。这时对于每一个点，都有一个1024维的向量表征，而这样的向量表征对于一个3维的点云明显是冗余的，因此这个时候引入最大池化操作，将1024维所有通道上都只保留最大的那一个，这样得到的1×1024的向量就是N个点云的全局特征。对于分类问题，则直接将这个全局特征再进过MLP去输出每一类的概率即可；但如果是分割问题，由于需要输出的是逐点的类别，因此其将全局特征拼接在了点云64维的逐点特征上，最后通过MLP，输出逐点的分类概率。PointNet对每一个点映射到高维空间，再通过max结合。由于其网络直接暴力地将所有的点最大池化为了一个全局特征，因此局部点与点之间的联系并没有被网络学习到，使之无法获取局部信息。pointnet++采用分层学习网络进行特征的逐层提取且一步一步提取了越来越大的局部区域，由一系列的set-abstraction组成，每层set-abstraction层包括sampling&grouping和pointnet两层子层。一层set-abstraction层的输入是一组点集N×(d+c)(表示的是具有N个点，每个点d维，包含有c个点特征)，首先通过sampling&grouping子层，使用FPS算法进行最远点采样，得到N′×(d+c)的矩阵(表示经FPS采样得到的N′个点，每个点d维，包含有c个点特征)，并且对N×(d+c)的原始点集和N′×d的采样中心点作为输入进行分组，输出为N′×K×(d+c)的矩阵，这里每一组代表一个局部邻域，其中K表示每个邻域内所包含点的个数。然后通过pointnet子层，对输入的N′个局部邻域的矩阵N′×K×(d+c)进行特征提取，输出中的每个局部区域由其质心和编码质心邻域的局部特征抽象而成，大小为N′×(d+c′)。PointNet++虽然可以对提取到的局部特征进行整合，但仍然仅会分别处理局域点集中的每个点，并且不会提取该点及其邻居之间的关系，例如距离和边缘向量。
技术实现思路
基于以上现有技术的不足，本专利技术所解决的技术问题在于提供一种针对原始3D点云处理的深度卷积网络的点云识别方法，对原始点云直接进行端到端的特征学习，无需任何预处理，并且具有较高的点云识别精度，将图像数据转为点云并使用该方法对其进行识别，性能也基本等效于传统2D卷积网络。为了解决上述技术问题，本专利技术提供一种针对原始3D点云处理的深度卷积网络的点云识别方法，包括以下步骤：步骤1：通过FPS算法对原始点云进行采样；步骤2：使用球域搜索算法对每个采样中心点周围给定半径所形成的球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域；步骤3：使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征。可选的，在步骤1中，对于给定点集{x1,x2,...,xs}，使用FPS算法采样出S′个采样点的集合的子集，其中是相对于其余点集合而言在度量距离中最远的点。可选的，在步骤2中，将大小为S′×C的采样中心点集、S×C的位置点集、采样中心点附近最大样本数K和分组半径作为输入；在采样中心点附近给定半径的球域内进行搜索，找到与采样中心点距离最近的前K个点的索引，并按其索引进行划分，找到每个采样中心点所在局域内的K个点，输出是大小为S′×K×(C+D)的分组后点集。进一步的，在步骤3中，对分组后大小为S′×K×(C+D)的S′个局部区域的点集输入到点云卷积网络之中进行细粒度特征提取，输出特征大小为S′×(C+D′)。由上，本专利技术的针对原始3D点云处理的深度卷积网络的点云识别方法具有如下有益效果：1、可以对原始点云直接进行端到端的特征学习，而不是将点云投影到图像或体积网格，无需任何预处理，并且具有较高的点云识别精度。2、提出一种密度重新加权的卷积方式，对局域中不同密度的点赋予不同的权重，使之能够完全逼近任何3D点集上的3D连续卷积。并将2D图像数据转为点云，使用该方法对其进行识别，也取得了较高精度，加入该卷积操作后网络的对图像数据的识别性能可基本等效于传统的2D卷积网络。3、使用分层学习网络进行局域信息逐层特征提取，并采用多尺度方法进行特征提取与融合，进一步提升了网络的整体性能。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例的附图作简单地介绍。图1为本专利技术的针对原始3D点云处理的深度卷积网络的点云识别方法的流程图；图2为点云卷积操作中局域内K个点的点云卷积操作示意图；图3为网络的总体结构图；图4为以MNIST数据集上的数字“7”为例，其中(a)为2D栅格图像，(b)为图像转换后的3D点云格式图。<本文档来自技高网...

【技术保护点】
1.一种针对原始3D点云处理的深度卷积网络的点云识别方法，其特征在于，包括以下步骤：/n步骤1：通过FPS算法对原始点云进行采样；/n步骤2：使用球域搜索算法对每个采样中心点周围给定半径所形成的球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域；/n步骤3：使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征。/n

【技术特征摘要】
1.一种针对原始3D点云处理的深度卷积网络的点云识别方法，其特征在于，包括以下步骤：
步骤1：通过FPS算法对原始点云进行采样；
步骤2：使用球域搜索算法对每个采样中心点周围给定半径所形成的球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域；
步骤3：使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征。


2.如权利要求1所述的针对原始3D点云处理的深度卷积网络的点云识别方法，其特征在于，在步骤1中，对于给定点集{x1,x2,...,xs}，使用FPS算法采样出S′个采样点的集合的子集，其中是相对于其余点集合而言在度量距离中最远的点。

【专利技术属性】
技术研发人员：秦鑫宇，沈学利，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：辽宁;21