一种点云语义分割方法技术

本发明专利技术公开了一种点云语义分割方法，进行点云数据预处理，包括分块、采样、平移和归一化操作；设计特征选择模块，建立基于特征选择的神经网络模型；训练神经网络，用于后续点云语义分割。本发明专利技术设计神经网络结构包括特征选择模块，通过训练网络获得每个点的语义标签，提高了点云语义分割的精度。本发明专利技术设计的神经网络结构包括特征选择模块，抑制了弱语义信息的特征通道，增强了对分割任务有关键作用的特征通道，提高了分割精度。

A point cloud semantic segmentation method

【技术实现步骤摘要】
一种点云语义分割方法
本专利技术涉及点云分割技术，特别涉及一种点云语义分割方法。
技术介绍
点云语义分割是将点云划分为语义上有意义的部分，是计算机视觉领域的重要研究方向。目前，点云语义分割仅停留在对点云数据的特征抽取上，却忽略研究各个特征通道对于语义分割任务不同的重要性。因此，亟需设计一种基于特征选择的网络结构，以抑制弱语义信息的特征通道，增强对分割任务有关键作用的特征通道，提高分割精度。
技术实现思路
本专利技术的目的在于提供一种点云语义分割方法。实现本专利技术目的的技术解决方案为：一种点云语义分割方法，包括如下步骤：步骤1、进行点云数据预处理，包括分块、采样、平移和归一化操作；步骤2、设计特征选择模块，建立基于特征选择的神经网络模型；步骤3、训练神经网络，用于后续点云语义分割。进一步的，步骤1中，点云数据预处理的具体方法为：首先将点云数据分成若干立方块，然后在每个块中随机采样，当块中点数大于设定阈值时，丢弃掉多出的点，点数小于设定阈值时，从块中随机挑点进行复制直到点数达到设定阈值，完成数据采样；采样的点云数据为包括XYZ坐标值和RGB颜色值的6维向量，以XYZ的最小坐标值的点为坐标原点，用公式(1)相应地计算其他点的坐标值，完成数据平移，得到X'、Y'、Z'；用公式(2)对X'、Y'、Z'进行归一化，增加3维新的坐标值x、y、z；用公式(3)对RGB进行归一化，得到归一化后的颜色值R'、G'、B'，最后输出处理后的9维点云数据(X'、Y'、Z'、x、y、z、R'、G'、B')：X'＝X-Xmin；Y'＝Y-Ymin；Z'＝Z-Zmin(1)式中，Xmin、Ymin、Zmin为XYZ坐标值的最小值，Xmax、Ymax、Zmax为XYZ坐标值的最大值。进一步的，步骤2中，建立基于特征选择的神经网络模型的具体方法为：(a)神经网络模块设计点云数据输入神经网络，经过5层MLP后得到特征矩阵，然后经过特征选择模块得到点云的局部特征；接着经过最大池化和两层MLP后，得到点云的全局特征；最后将局部特征与全局特征拼接起来，再经过三层MLP操作，得到每个点的语义类别；(b)特征选择模块设计特征选择包括最大池、两层MLP、加法器和乘法器，设特征选择模块的输入为特征矩阵M1，特征选择模块将特征矩阵M1先经过最大池化和两层MLP得到加权向量W，接着将W和M1的每一行向量相乘得到特征矩阵M2；最后将M1和M2进行矩阵元素相加得到特征矩阵M3，即点云的局部特征。进一步的，步骤3中，训练神经网络的具体方法为：使用交叉熵损失函数，使用带动量参数为0.9的ADAM算法优化网络的交叉熵损失函数，使用大小为32的batch训练网络；训练过程中，采取变化的学习率进行学习，初始化学习率为0.001，每训练20个周期学习率下降到原来的0.5倍，使得学习衰减率从0.5开始逐渐上升到0.99。本专利技术与现有技术相比，其显著优点为：设计的神经网络结构包括特征选择模块，抑制了弱语义信息的特征通道，增强了对分割任务有关键作用的特征通道，提高了分割精度。附图说明图1为本专利技术点云语义分割系统的工作流程图。图2为本专利技术数据处理模块的工作流程图。图3为本专利技术神经网络模块的结构示意图。图4为本专利技术特征选择模块的结构示意图。具体实施方式下面结合附图和具体实施例，进一步说明本专利技术方案。本专利技术设计了神经网络结构，通过训练网络获得每个点的语义标签，提高了点云语义分割的精度，包括数据处理模块、神经网络模块，具体工作步骤如下：步骤1、数据处理模块完成点云数据预处理，包括分块、采样、平移和归一化四个步骤，如图2所示，具体流程如下：首先将点云数据分成若干立方块，然后在每个块中随机采样，当块中点数大于设定阈值时，丢弃掉多出的点，点数小于设定阈值时，从块中随机挑点进行复制直到点数达到设定阈值，完成数据采样。采集的点云数据为包括XYZ坐标值和RGB颜色值的6维向量，为了训练方便，以XYZ的最小坐标值的点为坐标原点，用公式(1)相应地计算其他点的坐标值，完成数据平移，得到X'、Y'、Z'。为了提高分割精度，用公式(2)对X'、Y'、Z'进行归一化，增加3维新的坐标值x、y、z(0-1)。此外用公式(3)对RGB进行归一化，得到归一化后的颜色值R'、G'、B'(0-1)，最后输出处理后的9维点云数据(X'、Y'、Z'、x、y、z、R'、G'、B')：X'＝X-Xmin；Y'＝Y-Ymin；Z'＝Z-Zmin(1)步骤2、设计特征选择模块，建立基于特征选择的神经网络模型，如图3和4所示，具体流程如下：(a)神经网络模块设计如图3所示，点云数据输入神经网络，经过5层MLP后得到特征矩阵M1，然后经过特征选择模块得到点云的局部特征；接着经过最大池化和两层MLP后，得到点云的全局特征；最后将局部特征与全局特征拼接起来，再经过三层MLP操作，得到每个点的语义类别。(b)特征选择模块设计特征选择模块通过给每个点的特征向量加权，选择有用的特征通道。如图4所示，特征选择包括最大池、两层多层感知机(MLP)、加法器和乘法器，假设特征选择模块的输入为特征矩阵M1，特征选择模块将特征矩阵M1先经过最大池化和两层MLP得到加权向量W，接着将W和M1的每一行向量相乘得到特征矩阵M2；最后将M1和M2进行矩阵元素相加得到特征矩阵M3，即点云的局部特征。步骤3、训练神经网络，用于后续点云数据的语义分割；使用交叉熵损失函数，使用带动量参数为0.9的ADAM算法优化网络的交叉熵损失函数，使用大小为32的batch训练网络；训练过程中，采取变化的学习率进行学习，初始化学习率为0.001，每训练20个周期学习率下降到原来的0.5倍，学习衰减率从0.5开始逐渐上升到0.99。本专利技术设计了神经网络结构包括特征选择模块，通过训练网络获得每个点的语义标签，提高了点云语义分割的精度。实施例为了验证本专利技术方案的有效性，以室内场景点云数据集S3DIS(Stanford3DIndoorSemanticDataset)作为实验数据，进行如下仿真实验，以预测每个点的语义标签。数据集包括6个场景271个房间的扫描数据，每一个点都标注了语义标签，系统具体工作步骤如下：步骤1、点云数据预处理模块，进行分块、采样、平移和归一化四个操作。先将点云数据按照每个房间分成若干边长为1米的立方块，在每个块中随机采样4096个点，当块中点数大于4096时，丢弃掉多出的点，点数小于4096时，从块中随机挑点进行复制直到点数达到这个数值，完成采样；接着按照公式1-3完成数据的平移和归一化操作。步骤2、构建基于特征选择的神经网络，具体如下：a、神经网络模块设计首先将4096×9维的点云数据输入神经网络，经过5层大小依本文档来自技高网...

【技术保护点】
1.一种点云语义分割方法，其特征在于，包括如下步骤：/n步骤1、进行点云数据预处理，包括分块、采样、平移和归一化操作；/n步骤2、设计特征选择模块，建立基于特征选择的神经网络模型；/n步骤3、训练神经网络，用于后续点云语义分割。/n

【技术特征摘要】
1.一种点云语义分割方法，其特征在于，包括如下步骤：
步骤1、进行点云数据预处理，包括分块、采样、平移和归一化操作；
步骤2、设计特征选择模块，建立基于特征选择的神经网络模型；
步骤3、训练神经网络，用于后续点云语义分割。


2.根据权利要求1所述的点云语义分割方法，其特征在于，步骤1中，点云数据预处理的具体方法为：
首先将点云数据分成若干立方块，然后在每个块中随机采样，当块中点数大于设定阈值时，丢弃掉多出的点，点数小于设定阈值时，从块中随机挑点进行复制直到点数达到设定阈值，完成数据采样；采样的点云数据为包括XYZ坐标值和RGB颜色值的6维向量，以XYZ的最小坐标值的点为坐标原点，用公式(1)相应地计算其他点的坐标值，完成数据平移，得到X'、Y'、Z'；用公式(2)对X'、Y'、Z'进行归一化，增加3维新的坐标值x、y、z；用公式(3)对RGB进行归一化，得到归一化后的颜色值R'、G'、B'，最后输出处理后的9维点云数据(X'、Y'、Z'、x、y、z、R'、G'、B')：
X'＝X-Xmin；Y'＝Y-Ymin；Z'＝Z-Zmin(1)






式中，Xmin、Ymin、Zmin为XYZ坐标值的最小值，Xmax、Y...

【专利技术属性】
技术研发人员：潘琳琳，孔慧，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32