一种基于膨胀最近邻特征增强的点云语义分割方法技术

本发明专利技术公开了一种基于膨胀最近邻特征增强的点云语义分割方法，所提出的膨胀最近邻特征增强部分包含以下步骤：步骤A：设置需要提取的邻域点数目n以及设置膨胀因子d。步骤B:采用最近邻算法提取n*d的点云数目。步骤C：以膨胀因子d为步长提取步骤B所得到的邻域点云，从而得到数目为n的邻域点云，这n个邻域点云称为膨胀邻域。步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征。最后得到每一个点云的增强特征后进行点云语义分割。本发明专利技术利用三维膨胀最近邻模块对全部原始点云做特征增强操作，提升了点云感受野的大小，进而提升分割的精度。升分割的精度。升分割的精度。

【技术实现步骤摘要】
一种基于膨胀最近邻特征增强的点云语义分割方法


[0001]本专利技术涉及点云分割技术，特别涉及一种点云语义分割方法。

技术介绍

[0002]场景语义理解是计算机视觉中的核心问题，对于诸如机器人技术，自动驾驶，增强现实等应用程序来说是基础。在各种场景语义理解问题中，三维语义分割允许在三维空间中找到准确的对象边界及其标签，这对于诸如自动驾驶任务处理，详细的场景语义建模之类的细粒度任务十分有用。目前的三维语义分割技术中特征增强模块仅利用普通的最近邻操作选取有限的局部点结构信息进行增强，而忽略了更大范围的区域结构信息，导致每一个三维点的感受野受到限制。而在二维图像邻域中，膨胀卷积的有效增强感受野大小的作用受到广泛的推崇，促进了图像语义理解邻域的进一步发展。因此，在三维语义分割方面亟需设计一种如同二维图像领域中膨胀卷积的操作，增强每一个三维点的感受野大小，从而进一步提高分割的精度。

技术实现思路

[0003]鉴于上述的分析，本专利技术根据二维图像领域中膨胀卷积提出针对于三维点云的膨胀最近邻特征增强操作，以跳跃时的方式选取邻居点，从而使得中心点的感受野大幅度提高，并且在后续中心点与邻居点融合的过程中，以梯度下降学习的方式筛选合适的邻居点，从而提升语义分割的整体精度。因此，本专利技术旨在提供一种基于膨胀最近邻特征增强的点云语义分割方法，用于解决点云在提取局部结构特征信息时感受野大小受到限制从而影响分割精度的问题。
[0004]本专利技术所采用的技术方案如下：
[0005]一种基于膨胀最近邻特征增强的点云语义分割方法，该方法包括膨胀最近邻特征增强和编码器-解码器语义分割两个部分，其中膨胀最近邻特征增强部分对单个点云特征进行局部结构特征增强，从而生成携带局部信息的点云特征输入到编码器-解码器语义分割部分进行分割。
[0006]膨胀最近邻特征增强部分包含以下步骤：
[0007]步骤A：设置需要提取的邻域点数目n以及设置膨胀因子d；
[0008]步骤B：采用最近邻算法提取n*d的点云数目；
[0009]步骤C：以膨胀因子d为步长提取步骤B所得到的邻域点云，从而得到数目为n的邻域点云；
[0010]步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征；
[0011]编码器-解码器语义分割部分采用编码器-解码器框架进行点云语义分割的训练。
[0012]所述步骤A的具体处理过程如下：
[0013]在神经网络模型训练之前给定领域点数目n以及膨胀因子d的具体数值。
[0014]所述步骤B的具体处理过程如下：
[0015]采用最近邻算法提取n*d的点云数目，其中，n为步骤A所设置的邻域点数目，d为步骤A所设置的膨胀因子，最近邻算法采用欧式距离作为距离评价指标。
[0016]所述步骤C的具体处理过程如下：
[0017]根据步骤A所设置的膨胀因子d的具体数据作为步长，选取所得到的n*d的邻域点云集合中的n个邻域点云，这n个邻域点云称为膨胀邻域。
[0018]所述步骤D的具体处理过程如下：
[0019]1)膨胀邻域特征生成
[0020]对于输出点云集合中的任意一点i，用上述步骤A、步骤B、步骤C得到膨胀邻域，膨胀邻域内拥有n个i点的邻居点，依次将这n个邻居点的初始特征拼接到一起，组成一个新的特征R
i
，R
i
维度为(1，n*c)，其中n为步骤A所设置的邻域点数目，c为每一个三维点的特征数目。
[0021]2)原始特征与膨胀邻域点云特征进行融合
[0022]本专利技术对原始特征与膨胀邻域特征融合包含四个步骤，分别是(i)原始点云特征升维(ii)原始点云特征与膨胀邻域点云特征进行信息交互(iii)膨胀邻域点云特征与原始点云特征信息交互(iv)拼接融合所得的特征。所述具体步骤如下：
[0023](i)原始点云特征升维
[0024]采用全连接层对原始点云特征进行升维，全连接层的输入维度为c，输出维度为n*c，保证与后续融合的模块维度一致，升维后的原始点云特征记为
[0025](ii)原始点云特征与膨胀邻域点云特征信息交互
[0026]采用多层感知机对R
i
做非线性变换，计算公式如下：
[0027]g
i
＝σ(w
i
R
i
+b
i
)(1)
[0028]其中w
i
的维度为(n*c，n*c)，b
i
的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表某一个膨胀邻域特征的重要性。然后，利用点乘操作求解结果，计算公式如下：
[0029][0030]其中为(i)所得的原始点云特征升维结果，g
i
为R
i
非线性变换结果，为点乘符号，所得结果即为原始点云特征与膨胀邻域点云特征信息交互后的结果。
[0031](iii)膨胀邻域点云特征与原始点云特征信息交互
[0032]采用多层感知机对做非线性变换，计算公式如下：
[0033][0034]其中的维度为(n*c，n*c)，的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表一个原始点云某一个升维后特征的重要性。然后，利用点乘操作求解结果，计算公式如下：
[0035][0036]其中R
i
为膨胀邻域点云特征拼接在一起所得的特征，h
i
为非线性变换结果，
为点乘符号，所得结果即为膨胀邻域点云特征与原始点云特征信息交互后的结果。
[0037](iv)拼接融合所得的特征
[0038]将(ii)所得结果与(iii)所得结果拼接在一起，计算公式如下：
[0039][0040]计算所得p
i
即为原始点云特征与膨胀邻域特征融合所得的增强特征。
[0041]编码器-解码器语义分割部分的具体处理过程如下：
[0042]采用PointConv点云卷积操作作为编码器，一共设置四个编码器模块，采用最远点采样算法减少每一个编码器模块的处理点云数目，同时增大特征的数目，相对应的采用三近邻插值以及PointConv点云卷积操作作为解码器，一共设置四个解码器模块，在每一层解码器模块中恢复之前减少的点云数目同时减少特征层数目。最后利用两层全连接层将每一个点云的输出映射为类别数，采用softmax作为全连接层的激活函数，得到分割结果为softmax函数输出最大的值所对应的类别。训练过程中采用交叉熵作为损失函数，初始学习率设置为0.01，采用余弦退火算法调增学习率大小，具体做法为，以余弦函数为周期，学习率呈余弦函数型衰减。并在每个周期最大值时重新设置学习率。以初始学习率为最大学习率，以2*Tmax为周期，其中，Tmax为一次学习率周期的迭代次数。
[0043]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于膨胀最近邻特征增强的点云语义分割方法，包含膨胀最近邻特征增强和编码器-解码器语义分割两个部分，其中膨胀最近邻特征增强部分对单个点云特征进行局部结构特征增强，从而生成携带局部信息的点云特征输入到编码器-解码器语义分割部分进行分割。2.根据权利要求1所述的基于膨胀最近邻特征增强部分，其特征在于，该部分包括以下步骤：步骤A：设置需要提取的邻域点数目n以及设置膨胀因子d；步骤B：采用最近邻算法提取n*d的点云数目；步骤C：以膨胀因子d为步长提取步骤B所得到的邻域点云，从而得到数目为n的邻域点云；步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征。3.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤A的具体处理过程如下：在神经网络模型训练之前给定邻域点数目n以及膨胀因子d的具体数值，其中邻域点数目n代表在进行膨胀最近邻特征增强中选择多少个邻居点，膨胀因子d为选择邻居点的步长。4.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤B的具体处理过程如下：采用最近邻算法提取n*d的点云数目，其中，n为步骤A所设置的邻域点数目，d为步骤A所设置的膨胀因子，最近邻算法采用欧式距离作为距离评价指标。5.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤C的具体处理过程如下：根据步骤A所设置的膨胀因子d的具体数据作为步长，选取所得到的n*d的邻域点云集合中的n个领域点云，这n个邻域点云称为膨胀邻域。6.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤D的具体处理过程如下：1)膨胀邻域特征生成对于输出点云集合中的任意一点i，用上述步骤A、步骤B、步骤C得到膨胀邻域，膨胀邻域内拥有n个i点的邻居点，依次将这n个邻居点的初始特征拼接到一起，组成一个新的特征R
i
，R
i
维度为(1，n*c)，其中n为步骤A所设置的邻域点数目，c为每一个三维点的特征数目；2)原始特征与膨胀邻域点云特征进行融合本发明对原始特征与膨胀邻域特征融合包含四个步骤，分别是(i)原始点云特征升维(ii)原始点云特征与膨胀邻域点云特征进行信息交互(iii)膨胀邻域点云特征与原始点云特征信息交互(iv)拼接融合所得的特征；所述具体步骤如下：(i)原始点云特征升维采用全连接层对原始点云特征进行升维，全连接层的输入维度为c，输出维度为n*c，保证与后续融合的模块维度一致，升维后的原始点云特征记为
(ii)原始点云特征与膨胀邻...

【专利技术属性】
技术研发人员：任清泉，李志勇，唐琎，郭璠，曾小沣，
申请(专利权)人：中南大学，
类型：发明
国别省市：