本发明专利技术公开了一种基于三维池化空间注意力机制的点云语义分割模型。本发明专利技术包括以下步骤：1、模型建立，设计一种基于三维池化空间注意力机制的点云语义分割模型，通过注意力机制学习三维空间中点云之间的关联性以及通过捕获局部邻域点云特征进一步捕获丰富的上下文三维空间语义信息。2、模型训练，首先对数据集预处理，然后输入到三维池化空间注意力机制的点云语义分割模型进行模型训练。3、模型推理，将测试集的点云数据输入到训练好的模型中，推理测试点云的语义类别预测值，评估预测准确度。本发明专利技术是一种针对点云语义分割的神经网络模型，特别是提出了一种三维池化空间注意力机制提取三维空间中点云与相邻点云之间的关联性的建模方法，获得了在三维点云语义分割领域较好的分割效果。较好的分割效果。较好的分割效果。
【技术实现步骤摘要】
一种基于三维池化空间注意力机制的点云语义分割模型
[0001]本专利技术属于计算机视觉
，特别涉及一种基于三维池化空间注意力机制的点云语义分割网络模型。
技术介绍
[0002]点云语义分割是计算机视觉的一个基础问题，广泛应用于自动驾驶、智能机器人、人机交互等等领域的场景理解。点云语义分割技术是将三维空间中具有相似语义信息的点给予一致的标签，解释不同的语义类别。例如，在自动驾驶场景中我们需要区分三维空间中属于汽车的所有点，并把这些点标记为一个语义类别。
[0003]传统的点云语义分割是通过数学方法，如三维几何的空间分布和直方图统计等，得到相应的特征，然后构建相应的模型，如随机森林(Random Forest)和条件随机场(Conditional Random Field)。传统方法在处理大数量的点云数据任务时，对点云数据处理速度缓慢。
[0004]近年来伴随着深度学习的不断发展，采用深度学习方法处理点云数据的分类和语义分割越来越受欢迎。如PointNet(Deep Learning on Point Sets for 3D Classification and Segmentation)直接对点云数据进行处理的方式成为计算机视觉方向上的主流研究方法。在点云的语义分割中，设计深度网络模型实现对点云数据的建模，分割的准确率得到了明显的提升，相较于二维图像的语义分割方法分割性能得到了大大的提升。
[0005]目前基于深度学习的点云语义分割的主要方法：(1)将点云映射成多个视角二维图像然后使用二维图像深度学习方法进行分类和分割，实现了对三维点云的分类和分割。但采用多个视角的图像，存在数据冗余和角度选取等问题，且并没有真正利用三维数据的结构信息；(2)直接将点云数据输入至网络模型进行处理，可以获得三维点云在空间上的位置信息，利用位置信息完成分类和分割任务，但未考虑到空间上点与其他点的相关性，提取的特征不够全面，在实际的应用场景中分割效果差。
[0006]因此，有必要设计一套高效的易于实现的点云语义分割深度网络模型。
技术实现思路
[0007]本专利技术提供一种基于三维池化空间注意力机制的点云语义分割模型的构建方法，该基于三维池化空间注意力模型效率高，易于实现。
[0008]专利技术的技术解决方案如下：
[0009]一种基于三维池化空间注意力机制的点云语义分割模型，其特征在于，包括数据预处理、模型的建立、模型的训练和验证；
[0010]数据预处理主要是对点云数据集进行点的筛选，得到点云集合P，对应的真实标签GT，构成训练集、测试集，为模型训练与测试提供数据基础；
[0011]模型的建立是通过分析点云数据的属性，设计具体的子模块，构建端到端的点云
语义分割深度网络模型；
[0012]模型的训练和验证是确定所建立的模型的参数，并且验证所设计模型的分割效果；
[0013]基于三维池化空间注意力机制的点云语义分割模型按照以下步骤展开：
[0014]步骤1：模型建立；
[0015]步骤2：模型训练；
[0016]步骤3：模型推理。
[0017]步骤1中，具体设计一种基于三维池化空间注意力机制的点云语义分割模型，通过三维池化空间注意力机制学习三维空间中点与相邻点之间的关联性及构建局部邻域特征进一步捕获丰富的三维空间上下文信息，进而增强网络模型的分割准确性；
[0018]首先，对点云数据进行点的选取，通过最远点采样方法选取出有M个点的集合P；
[0019]然后，通过SA1、SA2、SA3模块提取局部点云特征，并对点云进行降维；再通过FP1、FP2、FP3模块对点云进行升维，并融合SA1、SA2、SA3模块输出的局部点云特征，得到局部点云特征其中B
n
为批量处理大小，C为点云的特征通道维度，M为点云的数量；
[0020]最后，建立三维池化空间注意力模型PSAM，通过三维池化空间注意力机制提取点云的局部邻域特征，增强三维空间中点之间的关联性，得到三维空间上增强后的点云特征经MLP层输出点云语义分割类别预测；
[0021]步骤2中，首先对点云数据集进行预处理操作，对点云数据进行随机平移、随机旋转，对点云数据集采用最远点采样方法进行点的筛选，得到具有M个点的集合P；
[0022]然后对步骤1建立的三维池化空间注意力机制的点云语义分割模型进行训练，将点云集合P通过SA1、SA2、SA3、FP1、FP2、FP3模块、三维池化空间注意力PSAM子模块得到点云特征再经MLP层进行点云语义分割类别预测，将得到的预测值Z与真实值GT进行交叉熵运算，度量预测值与真实值的误差；通过反向传播对步骤1定义的网络模型参数进行迭代优化训练，训练到模型收敛为止；
[0023]步骤3中，将测试集的点云数据输入到训练好的模型中，推测测试点云数据的语义类别预测值，计算测试预测值与真实值的平均交并比MIoU，评估预测准确度；
[0024]步骤1所述的三维池化空间注意力机制的点云语义分割模型建立具体过程如下：
[0025]首先，对点云数据进行点的筛选，通过最远点采样方法选取具有M个点的集合P；
[0026]然后，通过SA1、SA2、SA3模块提取局部点云特征，并对点云进行降维；再通过FP1、FP2、FP3模块对点云进行升维，并融合SA1、SA2、SA3模块输出的局部点云特征，得到局部点云特征其中B
n
为批量处理大小，C为点云的特征通道数，M为点云的数量；
[0027]最后，在得到局部点云特征G后，建立三维池化空间注意力模型PSAM；
[0028]其中，建立三维池化空间注意力模型PSAM，其特征在于包括以下操作：
[0029]①
提取局部邻域特征：
[0030]对点云特征G使用三个MLP层将点云映射成张量的形式，得到特征信息a、b、c，其中具体过程如下：
[0031]a＝MLP(G)，b＝MLP(G)，c＝MLP(G)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0032]其中MLP是一维的1
×
1卷积；
[0033]②
计算点与其相邻点在三维空间中的关联性：
[0034]对特征信息a和b采用自适应最大池化操作进行指定维度大小的降维，得到局部点云特征：
[0035]A＝AdaptiveMaxpool(a),B＝AdaptiveMaxpool(b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0036]其中
[0037]然后，对局部特征A和B采用clustering操作来聚合一个点在三维空间上相邻点的相似度，即计算空间上一个点自身的特征信息和该点与三维空间中其他所有点之间的关联性；其中clustering操作具体过程如下：
[0038][0039]其中A
h
×
B
h
表示计算一个点与三维空间中所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于三维池化空间注意力机制的点云语义分割模型的构建方法，其特征在于包括以下步骤：步骤1：模型建立；具体设计一种基于三维池化空间注意力机制的点云语义分割模型，在模型中通过注意力机制学习三维空间中点与点之间的关联性并获取局部邻域特征信息，进而增强网络模型的分割准确性；首先，对点云数据进行点的筛选，通过最远点采样方法选取具有M个点的集合P；然后，通过1SA1、SA2、SA3模块提取局部点云特征，并对点云进行降维；再通过FP1、FP2、FP3模块对点云进行升维，并融合SA1、SA2、SA3模块输出的局部点云特征，得到局部点云特征其中B
n
为批量处理大小，C为点云的特征通道数，M为点云的数量；最后，建立三维池化空间注意力模型PSAM，通过三维池化空间注意力机制提取点云的局部邻域特征，增强三维空间中点之间的关联性，得到三维空间上增强后的点云特征其中，建立三维池化空间注意力模型PSAM，其特征在于包括以下操作：
①
提取局部邻域特征：对点云特征G使用三个MLP层将点云映射成张量的形式，得到特征信息a、b、c，其中具体过程如下：a＝MLP(G)，b＝MLP(G)，c＝MLP(G)
ꢀꢀꢀꢀꢀ
(1)其中MLP是一维的1
×
1卷积；11
②
计算点与其相邻点在三维空间中的关联性：1对特征信息a和b采用自适应最大池化操作进行指定维度大小的降维，得到局部点云特征：A＝AdaptiveMaxpool(a),B＝AdaptiveMaxpool(b)
ꢀꢀꢀꢀꢀꢀ
(2)其中然后，对局部特征A和B采用clustering操作来聚合一个点在三维空间上相邻点的相似度，即计算空间上一个点自身的特征信息和该点与三维...
【专利技术属性】
技术研发人员：许海霞，王玮，周维，彭伟，刘彦帮，丁凡迅，韩丰，许宇婷，胡开宇，周博文，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。