一种基于体素聚类和稀疏卷积的点云语义分割方法和系统技术方案

本发明专利技术公开一种基于体素聚类和稀疏卷积的点云语义分割方法和系统，其中，点云语义分割方法包括：采集待分割的三维点云数据；使用体素网格对三维点云数据中的三维空间坐标点进行体素下采样和聚类处理，得到多块不同采样尺度的点云；将不同采样尺度的点云输入至稀疏卷积特征提取网络，得到与点云对应的逐点特征信息；根据点云的聚类索引融合逐点特征信息，得到融合后的多尺度点云特征；根据融合后的多尺度点云特征监督训练稀疏卷积特征提取网络，得到语义分割网络模型；使用语义分割网络模型对三维点云数据进行推理，得到语义分割预测结果。本发明专利技术的技术方案能解决现有技术存在的分割精度低，需要较强硬件支持且对小尺度物体难以感知的问题。以感知的问题。以感知的问题。

【技术实现步骤摘要】
一种基于体素聚类和稀疏卷积的点云语义分割方法和系统


[0001]本专利技术涉及神经网络
，尤其涉及一种基于体素聚类和稀疏卷积的点云语义分割方法和系统。

技术介绍

[0002]随着激光雷达硬件成本的降低，点云数据的应用越来越广泛。其中，基于点云数据的点云语义分割技术在智能驾驶、遥感制图和智慧城市等任务中发挥着重要的作用。点云语义分割任务是指分割点云数据，区分出不同的分割物的技术。当使用点云语义分割时，它将点云数据划分为语义上有意义的部分，然后在语义上将每个部分标记为预定义的类之一。
[0003]因为点云数据存在数据量大、无序和特征难以提取的特点，所以在有限的计算资源下，难以保证大规模点云语义分割的处理效率。近年来随深度学习技术的发展，可以通过神经网络的GPU计算，加快点云语义分割的计算速度，因此基于深度学习的点云语义分割方法是大规模点云语义分割任务中最具潜力的技术。
[0004]然而，现有的的基于深度学习的点云语义分割方案存在以下问题：
[0005](1)语义分割精度差：现有的基于深度学习的点云语义分割方法，在处理大规模点云数据时，由于数据中分割对象大小尺度不一致，导致语义分割结果精度较低。
[0006](2)需要较大显软硬件支持：虽然现有稀疏体素卷积技术通过减少点云中空体素上无用的计算，加快了计算速度和一定程度的降低了显存消耗，使得处理大规模点云数据成为可能，但是其仍然需要较大的显存和算力才可以处理大规模点云数据。
[0007](3)对较小尺寸物体感知难：目前基于稀疏卷积的点云语义分割算法受算力约束，一般采用较大体素，所以对小尺度物体的感知较难。

技术实现思路

[0008]本专利技术提供一种基于体素聚类和稀疏卷积的点云语义分割方案，旨在解决现有技术中点云语义分割任务存在的分割对象大小尺度不一致导致的精度低，需要较强硬件支持且对小尺度物体难以感知的问题。
[0009]为实现上述目的，根据本专利技术的第一方面，本专利技术提出了一种基于体素聚类和稀疏卷积的点云语义分割方法，包括：
[0010]采集待分割的三维点云数据；
[0011]使用体素网格对三维点云数据中的三维空间坐标点进行体素下采样和聚类处理，得到多块不同采样尺度的点云；
[0012]将不同采样尺度的点云输入至稀疏卷积特征提取网络，得到与点云对应的逐点特征信息；
[0013]根据点云的聚类索引融合逐点特征信息，得到融合后的多尺度点云特征；
[0014]根据融合后的多尺度点云特征监督训练稀疏卷积特征提取网络，得到语义分割网
络模型；
[0015]使用语义分割网络模型对三维点云数据进行推理，得到语义分割预测结果。
[0016]优选的，上述点云语义分割方法中，使用体素网格对三维点云数据中的三维空间坐标点进行体素下采样和聚类处理的步骤包括：
[0017]去除三维点云数据中无效三维空间坐标点；
[0018]使用预定大小的体素网格对三维空间坐标点进行下采样，得到稀疏且均匀的三维点云。
[0019]优选的，上述点云语义分割方法中，使用体素网格对三维点云数据中的三维空间坐标点进行体素下采样和聚类处理的步骤还包括：
[0020]使用多种不同大小的体素网格对稀疏且均匀的三维点云进行下采样，得到多块不同采样尺度的点云；
[0021]对不同采样尺度的点云按照同一体素网格进行聚类，得到聚类后的多块点云；
[0022]记录聚类后的多块点云的聚类索引。
[0023]优选的，上述点云语义分割方法中，将不同采样尺度的点云输入至稀疏卷积特征提取网络的步骤包括：
[0024]对不同采样尺度的点云中每块点云，将点云输入至稀疏卷积特征提取网络的编码器，输出得到点云对应的高维特征表示；
[0025]将高维特征表示输入至稀疏卷积特征提取网络的解码器进行上采样；
[0026]将上采样得到的逐点特征与编码器各层卷积得到的逐点特征进行融合，得到逐点特征信息。
[0027]优选的，上述点云语义分割方法中，根据点云的聚类索引融合逐点特征信息的步骤包括：
[0028]针对不同采样尺度的点云中任一点云，使用点云的聚类索引对逐点特征信息进行扩展；
[0029]根据融合系数对扩展后的逐点特征信息与其他点云的逐点特征信息进行特征融合，得到融合后的多尺度点云特征。
[0030]优选的，上述点云语义分割方法中，根据融合后的多尺度点云特征监督训练稀疏卷积特征提取网络的步骤包括：
[0031]使用稀疏卷积特征提取网络的多层感知机、将多尺度点云特征转化为类别概率矩阵；
[0032]根据类别概率矩阵和给定标签，计算稀疏卷积特征提取网络的类别加权交叉熵损失；
[0033]使用类别加权交叉熵损失监督训练稀疏卷积特征提取网络，得到语义分割网络模型。
[0034]优选的，上述点云语义分割方法中，使用语义分割网络模型对三维点云数据进行推理的步骤包括：
[0035]当语义分割网络模型训练完成时，使用语义分割网络模型对三维点云数据进行推理，得到三维点云对应的类别概率矩阵；
[0036]使用语义分割网络模型的SoftMax函数对类别概率矩阵进行分类，得到语义分割
预测结果。
[0037]根据本专利技术的第二方面，本专利技术还提供了一种基于体素聚类和稀疏卷积的点云语义分割系统，包括：
[0038]点云采集模块，用于采集待分割的三维点云数据；
[0039]点云处理模块，用于使用体素网格对三维点云数据中的三维空间坐标点进行体素下采样和聚类处理，得到多块不同采样尺度的点云；
[0040]特征提取模块，用于将不同采样尺度的点云输入至稀疏卷积特征提取网络，得到与点云对应的逐点特征信息；
[0041]特征融合模块，用于根据点云的聚类索引融合逐点特征信息，得到融合后的多尺度点云特征；
[0042]监督训练模块，用于根据融合后的多尺度点云特征监督训练稀疏卷积特征提取网络，得到语义分割网络模型；
[0043]点云推理模块，用于使用语义分割网络模型对三维点云数据进行推理，得到语义分割预测结果。
[0044]优选的，上述点云语义分割系统中，点云处理模块包括：
[0045]点云去除子模块，用于去除三维点云数据中无效三维空间坐标点；
[0046]第一采样子模块，用于使用预定大小的体素网格对三维空间坐标点进行下采样，得到稀疏且均匀的三维点云；
[0047]第二采样子模块，用于使用多种不同大小的体素网格对稀疏且均匀的三维点云进行下采样，得到多块不同采样尺度的点云；
[0048]点云聚类子模块，用于对不同采样尺度的点云按照同一体素网格进行聚类，得到聚类后的多块点云；
[0049]索引记录子模块，用于记录聚类后的多块点云的聚类索引。
[0050]优选的，上述点云语义分割系统中，特征提取模块包括：
[0051]编码器输入子模块，用于对每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于体素聚类和稀疏卷积的点云语义分割方法，其特征在于，包括：采集待分割的三维点云数据；使用体素网格对所述三维点云数据中的三维空间坐标点进行体素下采样和聚类处理，得到多块不同采样尺度的点云；将所述不同采样尺度的点云输入至稀疏卷积特征提取网络，得到与所述点云对应的逐点特征信息；根据所述点云的聚类索引融合所述逐点特征信息，得到融合后的多尺度点云特征；根据所述融合后的多尺度点云特征监督训练所述稀疏卷积特征提取网络，得到语义分割网络模型；使用所述语义分割网络模型对三维点云数据进行推理，得到语义分割预测结果。2.根据权利要求1所述的点云语义分割方法，其特征在于，所述使用体素网格对所述三维点云数据中的三维空间坐标点进行体素下采样和聚类处理的步骤，包括：去除所述三维点云数据中无效三维空间坐标点；使用预定大小的体素网格对所述三维空间坐标点进行下采样，得到稀疏且均匀的三维点云。3.根据权利要求2所述的点云语义分割方法，其特征在于，所述使用体素网格对所述三维点云数据中的三维空间坐标点进行体素下采样和聚类处理的步骤，还包括：使用多种不同大小的体素网格对所述稀疏且均匀的三维点云进行下采样，得到多块不同采样尺度的点云；对所述不同采样尺度的点云按照同一体素网格进行聚类，得到聚类后的多块点云；记录所述聚类后的多块点云的聚类索引。4.根据权利要求1所述的点云语义分割方法，其特征在于，所述将所述不同采样尺度的点云输入至稀疏卷积特征提取网络的步骤，包括：对所述不同采样尺度的点云中每块点云，将所述点云输入至所述稀疏卷积特征提取网络的编码器，输出得到所述点云对应的高维特征表示；将所述高维特征表示输入至所述稀疏卷积特征提取网络的解码器进行上采样；将上采样得到的逐点特征与所述编码器各层卷积得到的逐点特征进行融合，得到所述逐点特征信息。5.根据权利要求1或3所述的点云语义分割方法，其特征在于，所述根据所述点云的聚类索引融合所述逐点特征信息的步骤，包括：针对所述不同采样尺度的点云中任一点云，使用点云的聚类索引对所述逐点特征信息进行扩展；根据融合系数对扩展后的逐点特征信息与其他点云的逐点特征信息进行特征融合，得到所述融合后的多尺度点云特征。6.根据权利要求1所述的点云语义分割方法，其特征在于，根据所述融合后的多尺度点云特征监督训练所述稀疏卷积特征提取网络的步骤，包括：使用所述稀疏卷积特征提取网络的多层感知机、将所述多尺度点云特征转化为类别概率矩阵；根据所述类别...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：武汉绿土图景科技有限公司，
类型：发明
国别省市：