一种3D点云语义分割方法、系统、设备及介质技术方案

本发明专利技术公开的一种3D点云语义分割方法、系统、设备及介质，涉及无人清扫车3D点云语义分割技术领域，其中的，3D点云语义分割模型通过多个连续的特征提取块对3D点云数据进行多级位置和信息特征提取，且每个特征提取块均输出点云位置特征和点云信息特征，多个点云位置特征和点云信息特征经连续上采样后，获得3D点云数据语义分割结果。保证了3D点云语义分割的准确性。

【技术实现步骤摘要】

本专利技术涉及智能无人清扫车3d点云语义分割，尤其涉及一种3d点云语义分割方法、系统、设备及介质。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、无人清扫车在扫地的过程中，主要是通过获取前方的城市场景视频，并对城市场景视频进行分析，将场景中的实例进行识别分割，进而根据实例分割结果进行自动驾驶，为了提高对场景中实例识别分割的准确性，在无人清扫车上设置了价格低廉、精度高的三维传感器（如kinect、realsense和激光雷达），通过三维传感器获取环境的3d点云数据，进而对3d点云数据进行分析，实现对场景中实例的识别分割，当前存在利用transformer对环境的3d点云数据进行分析，进而实现对3d点云数据的语义分割的方法，但是该方法存在以下问题：（1）由于三维点云数据的无序性、大量数据和不规则分布，对点云位置信息的处理仍有待改进；（2）transformer可以通过自我注意机制自然地获取远程信息。然而，只有有限的尝试将transformer应用于3d点云，且目前的大多数方法都专注于聚合局部特征，但本文档来自技高网...

【技术保护点】

1.一种3D点云语义分割方法，其特征在于，包括：

2.如权利要求1所述的一种3D点云语义分割方法，其特征在于，每个特征提取块均包括第一特征提取层和两个连续的transformer块，第一特征提取层从输入特征提取块的点云位置特征和点云信息特征中提取位置特征和信息特征，提取出的信息特征输入第一个transformer块中，提取出的位置特征作为特征提取块输出的点云位置特征，每个transformer块均包括自注意力模块和前馈网络，自注意力模块从输入transformer块的特征中提取注意力特征，注意力特征经前馈网络后，作为transformer块的输出特征，第一个transform...

【技术特征摘要】

1.一种3d点云语义分割方法，其特征在于，包括：

2.如权利要求1所述的一种3d点云语义分割方法，其特征在于，每个特征提取块均包括第一特征提取层和两个连续的transformer块，第一特征提取层从输入特征提取块的点云位置特征和点云信息特征中提取位置特征和信息特征，提取出的信息特征输入第一个transformer块中，提取出的位置特征作为特征提取块输出的点云位置特征，每个transformer块均包括自注意力模块和前馈网络，自注意力模块从输入transformer块的特征中提取注意力特征，注意力特征经前馈网络后，作为transformer块的输出特征，第一个transformer块的输出特征输入第二个transformer块中，第二个transformer块的输出特征为特征提取块输出的点云信息特征。

3.如权利要求2所述的一种3d点云语义分割方法，其特征在于，第一特征提取块从3d点云数据中提取点云位置特征和点云信息特征，除最后一个特征提取块外，每个特征提取块输出的点云位置特征和点云信息特征，均输入下一特征提取块中；第一个特征提取块中的第一特征提取层采用点云嵌入模块，通过点云嵌入模块对输入模型的3d点云数据进行嵌入式点云表征，获得3d点云的位置特征和信息特征，将位置特征作为第一个特征提取块提取的点云位置特征进行输出。

4.如权利要求2所述的一种3d点云语义分割方法，其特征在于，除第一个特征提取块外，其余特征提取块的第一特征提取层均采用下采样层，下采样层包括采样和分组模块及pre-ln线性投影层，采样和分组模块通过最远点采样法确定输入第一特征提取层的点云位置特征的质心点，将质心点作为第一特征提取层提取出的位置特征，采样和分组模块还使用k近邻算法从输入第一特征提取层的点云位置特征中查询每个质心点的临近点，并使用k近邻算法，对查询到的所有临近点进行分类，得到分组信息，之后对每个组进行编号得到分组索引；pre-ln线性投影层对输入第一特征提取层的点云信息特征进行线性投影，获得投影特征，利用最大池来使用分组索引聚合投影特征，获得聚合特征，该...

【专利技术属性】
技术研发人员：庞世玺，李雷，毕研磊，孙念莹，张德斌，杨继欣，邢福梅，
申请(专利权)人：山东省凯麟环保设备股份有限公司，
类型：发明
国别省市：