一种基于特征复用的点云卷积神经网络制造技术

本发明专利技术公开了一种基于特征复用的点云卷积神经网络，包括w个并行的点云特征提取单元、一池化层和若干串联的全连接层，点云特征提取单元输入原始点云、输出共同连接至池化层，池化层的输出连接第一个全连接层；每个点云特征提取单元含N个采样模块和N‑1个特征复用模块，第1个采样模块之后串联第2个采样模块，第2个采样模块开始，采样模块与特征复用模块先后交替串联；各采样模块对各自的输入进行特征提取，各特征复用模块对各自的输入进行特征叠加复用；池化层对w个点云特征提取单元最终输出的w组特征按预设条件进行过滤；若干全连接层对池化层过滤后所筛选出的特征进行连接，将维度降至与所要分类的物体数目相等的特征维度数，实现物体分类。

【技术实现步骤摘要】
一种基于特征复用的点云卷积神经网络
本专利技术涉及3D点云数据处理
，具体涉及一种基于特征复用的点云卷积神经网络。
技术介绍
随着自动驾驶领域和高精度地图定位技术的迅猛发展，高效、准确地处理3D点云数据的技术变得越来越重要。一般而言，点云数据可通过CAD模型转化得到，也可直接通过LiDAR传感器或RGBD相机获取点云。由此衍生出，如何在3D点云的处理上达到对2D图像的效果，这成为一个非常值得探究的问题。3D点云处理技术面临的挑战主要包括以下方面：1)非结构化数据，没有规范的网格，难以进行卷积。点云是分布在空间中的三维坐标点，因此没有结构化的网格来实现有效的卷积，在点云领域至今没有规范的卷积范式；2)点云处理过程中的置换不变性要求。点云本质上是一长串空间中的点(n×3矩阵，其中n是点数)。在几何上，点的顺序不影响它在底层矩阵结构中的表示方式，相同的点云可以由两个完全不同的矩阵表示。3)采集的原始点云特点。通常环境噪声会造成采集到的点云数据有很多干扰点，也会因为物体之间存在遮挡、光照条件不充足导致点云采集缺失，而且采集点云会因为距离的远近造成近密远疏的点云分布，增加了对点云处理技术的要求。在如何使用深度学习技术对点云处理问题进行探究的过程中，斯坦福大学提出的PointNet和Pointnet++首次实现了直接对原始点云有效的卷积处理，并达到了比较理想的实验结果。PointNet的主要思想是三维物体分类任务的分类数目是有限的，而空间中的点只有XYZ三维的信息，因此原始的信息不能满足分类个数的要求，需要对原始点云的特征进行升维操作。通过卷积的方式将原始点云特征升到一个非常冗余的特征空间，比如1024维特征空间，在这个空间中点云的特征是冗余的，随后再对这样一个空间进行下采样，采样到要求分类的物体数量，比如需要分成30类物体，就通过下采样将1024维特征降到30维，这样就能够满足分类任务的要求。PointNet的局限性：一是忽略了点云的局部信息。PointNet是直接对全部点云进行特征提取，再做maxpool(使用maxpool主要是为了解决点云输入的置换不变性要求，因为maxpool是一种对称函数，而对称函数对数据的输入顺序没有要求，同样的数据经过对称函数都能得到同样的输出)操作实现全局特征的下采样，而这样的操作就过滤掉了点云的局部信息，比如边缘轮廓信息等，从而难以实现与物体模型比较相似的物体的区分。二是没有点云数据的近密远疏的密度分布特征，对于稀疏点云的处理效果不好，对复杂的场景点云没有泛化能力。Pointnet++的主要思想是在Pointnet基础上增加了点云局部特征的提取模块，并考虑了点云的密度分布不均匀的问题，采用了不同尺度的采样方式。PointNet++的局限性：一是对局部特征的提取仅仅通过简单的多层感知机，没有在最开始阶段对点云特征进行高效、完整的提取，点云的卷积方式需要进一步改进。二是对点云密度不均匀问题的解决方法过于简单，只是通过不同尺度的特征拼接在一起，而忽视了对于点云中同一个点在不同尺度中其所代表的特征，表达的信息内容是不同的。
技术实现思路
本专利技术的主要目的在于提出一种基于特征复用的点云卷积神经网络，通过采用多个特征复用模块重复利用低层级特征，并以叠加复用的方式对不同的特征层进行旁路加强，从而有效地提取点云特征，以解决现有的点云分类方式所存在的随着卷积层加深，低层级特征信息逐渐缺失导致的网络分类准确度下降问题；以及，随着卷积层数增加而出现的梯度弥散问题。本专利技术为达上述目的提出以下技术方案：一种基于特征复用的点云卷积神经网络，包括w个并行的点云特征提取单元、一池化层和若干全连接层，w个并行的点云特征提取单元的输入是w组原始点云、输出共同连接至所述池化层的输入端，若干全连接层串联，所述池化层的输出端连接于第一个全连接层的输入端；在每个点云特征提取单元中：包含N个采样模块和N-1个特征复用模块，N≥2，其中，第1个采样模块之后串联第2个采样模块，从第2个采样模块开始的后N-1个采样模块与所述N-1个特征复用模块按先后顺序交替串联，所述先后顺序是指采样模块在前、特征复用模块在后；各采样模块用于对各自的输入以采样的方式进行特征提取，各特征复用模块用于对各自的输入进行特征叠加复用，其中，第一个采样模块的输入为原始点云，第二个采样模块的输入为第一个采样模块的输出，后面N-2个采样模块的输入分别为与之相邻的前一个特征复用模块的输出；每个特征复用模块的输入包含该特征复用模块之前的所有采样模块的输出；所述池化层对w个点云特征提取单元最终输出的w组特征按预设条件进行过滤；所述若干全连接层对所述池化层过滤后所筛选出的特征进行连接，将维度降至与所要分类的物体数目相等的特征维度数，最终输出物体分类结果。本专利技术上述技术方案与现有技术相比，具备如下有益效果：1)重复利用低层级特征，能够有效减少因网络层级过多导致的信息丢失问题；2)特征复用模块能够将点云特征不断在网络中叠加，从而实现最佳的网络性能，并且能够针对不同的场景、点云数量的多少设置不同的特征复用模块数量。与现有的Pointnet和Pointnet++点云处理网络架构相比，本专利技术通过对不同尺度特征的重复利用、叠加复用，一方面增强了特征在卷积层之间传播的信息流，能够有效满足因点云密度不均匀带来的网络结构需要满足密度自适应的要求；另一方面能够缓解因为卷积层增多而导致的梯度弥散问题，提升利用该点云卷积神经网络进行物体分类的准确率。附图说明图1是本专利技术具体例提供的一种基于特征复用的点云卷积神经网络的原理框图；图2是一个点云特征提取单元的示例性原理框图。具体实施方式下面结合附图和具体的实施方式对本专利技术作进一步说明。本专利技术的具体实施方式提供一种基于特征复用的点云卷积神经网络，如图1所示，该点云卷积神经网络包括w个并行的点云特征提取单元、一池化层和若干全连接层，w个并行的点云特征提取单元的输入是w组原始点云(即原始点云1～原始点云w)、输出共同连接至所述池化层的输入端，若干全连接层串联，所述池化层的输出端连接于第一个全连接层的输入端；w的取值可根据分类场景和需求来设置，通常w≥2。全连接层的数量K优选为2或3，当然也可以是其它值，本专利技术对此不作限制，只要能将特征降到与分类物体数目相等的维度即可。例如，为了实现分类任务要求，需要将512维特征降到与分类数相同的维度，如需进行32维分类，则需要降至32维，可据此来设置全连接层的层数和每层的输入输出维度。此外，为了防止网络过拟合，在每一个全连接层之后均可进行Dropout操作，在每次训练的时候，以一定的概率比如50％丢弃神经元(特征点)。在每个点云特征提取单元中：包含N个采样模块和N-1个特征复用模块，N≥2。其中，第1个采样模块之后串联第2个采样模块，从第2个采样模块开始的后N-1个采样模块与所述N-1个特征复用模块按先后顺序交替串联，所述先后顺序是指采样模块在前、特征复用模块在本文档来自技高网...

【技术保护点】
1.一种基于特征复用的点云卷积神经网络，其特征在于：包括w个并行的点云特征提取单元、一池化层和若干全连接层，w个并行的点云特征提取单元的输入是w组原始点云、输出共同连接至所述池化层的输入端，若干全连接层串联，所述池化层的输出端连接于第一个全连接层的输入端；/n在每个点云特征提取单元中：包含N个采样模块和N-1个特征复用模块，N≥2，其中，第1个采样模块之后串联第2个采样模块，从第2个采样模块开始的后N-1个采样模块与所述N-1个特征复用模块按先后顺序交替串联，所述先后顺序是指采样模块在前、特征复用模块在后；各采样模块用于对各自的输入以采样的方式进行特征提取，各特征复用模块用于对各自的输入进行特征叠加复用，其中，第一个采样模块的输入为原始点云，第二个采样模块的输入为第一个采样模块的输出，后面N-2个采样模块的输入分别为与之相邻的前一个特征复用模块的输出；每个特征复用模块的输入包含该特征复用模块之前的所有采样模块的输出；/n所述池化层对w个点云特征提取单元最终输出的w组特征按预设条件进行过滤；/n所述若干全连接层对所述池化层过滤后所筛选出的特征进行连接，将维度降至与所要分类的物体数目相等的特征维度数，最终输出物体分类结果。/n...

【技术特征摘要】
1.一种基于特征复用的点云卷积神经网络，其特征在于：包括w个并行的点云特征提取单元、一池化层和若干全连接层，w个并行的点云特征提取单元的输入是w组原始点云、输出共同连接至所述池化层的输入端，若干全连接层串联，所述池化层的输出端连接于第一个全连接层的输入端；
在每个点云特征提取单元中：包含N个采样模块和N-1个特征复用模块，N≥2，其中，第1个采样模块之后串联第2个采样模块，从第2个采样模块开始的后N-1个采样模块与所述N-1个特征复用模块按先后顺序交替串联，所述先后顺序是指采样模块在前、特征复用模块在后；各采样模块用于对各自的输入以采样的方式进行特征提取，各特征复用模块用于对各自的输入进行特征叠加复用，其中，第一个采样模块的输入为原始点云，第二个采样模块的输入为第一个采样模块的输出，后面N-2个采样模块的输入分别为与之相邻的前一个特征复用模块的输出；每个特征复用模块的输入包含该特征复用模块之前的所有采样模块的输出；
所述池化层对w个点云特征提取单元最终输出...

【专利技术属性】
技术研发人员：刘厚德，阮见，张郑，王学谦，朱晓俊，梁斌，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44