一种基于制造技术

本申请提供一种基于

【技术实现步骤摘要】
一种基于3D稀疏卷积的实时点云分割方法及装置


[0001]本申请涉及自动驾驶
，尤其是涉及一种基于
3D
稀疏卷积的实时点云分割方法及装置
。

技术介绍

[0002]当前，常用的点云语义分割方法之一是将点云划分为体素，随后使用
Poi ntNet
提取每个体素中点的高维特征，最后使用
3D
卷积预测每个体素的类别作为体素中所有点的类别
。
然而，为保证点云分割的准确率，体素的数量往往十分庞大
。
此外，传统的
3D
卷积消耗较大的计算量，因此无法完成实时的点云语义分割任务
。
此外，
Poi ntNet
使用较少的多层感知器
(MLP)
去提取并整合一个体素中所有点的特征，无法实现体素间的信息交互，因此无法提取点云的全局信息
。

技术实现思路

[0003]有鉴于此，本申请提供了一种基于
3D
稀疏卷积的实时点云分割方法及装置，以解决上述技术问题
。
[0004]第一方面，本申请实施例提供一种基于
3D
稀疏卷积的实时点云分割方法，包括：
[0005]对含有
N
个点的原始点云数据进行体素化处理，得到多个体素；
[0006]对含有点的每个体素进行处理，得到每个体素中各点的局部高维特征，对每个体素中各点的局部高维特征进行处理，得到每个体素的局部特征；
[0007]对每个体素的局部特征进行拼接得到所有体素的局部特征，基于稀疏
3D
卷积对所有体素的局部特征进行处理，得到所有体素的全局特征；
[0008]从所有体素的全局特征中提取出每个体素的全局特征，将每个体素中各点的全局特征设置为所在体素的全局特征；
[0009]将每个点的局部高维特征和全局特征进行拼接，得到每个点的融合特征，将每个点的融合特征进行拼接，得到
N
个点的融合特征；
[0010]对
N
个点的融合特征进行处理，得到语义分割结果
。
[0011]进一步地，对含有
N
个点的原始点云数据进行体素化处理，得到多个体素；包括：
[0012]使用预设尺寸的正方体对原始点云数据进行体素化处理，得到
V
个体素：
V
＝
L
×
H
×
W
，其中，
L、H
和
W
为长
、
宽和高方向上的体素数量
。
[0013]进一步地，对含有点的每个体素进行处理，得到每个体素中各点的局部高维特征，对每个体素中各点的局部高维特征进行处理，得到每个体素的局部特征；包括：
[0014]利用预先训练完成的连接的第一多层感知器和第二多层感知器对含有点的每个体素进行处理，得到每个体素中各点的局部高维特征；
[0015]利用全局最大池化层对每个体素中各点的局部高维特征进行处理，得到每个体素的局部特征
。
[0016]进一步地，对所有体素的局部特征进行处理，得到所有体素的全局特征；包括：
[0017]利用预先训练完成的体素全局特征提取网络对所有体素的局部特征进行处理，得到所有体素的全局特征；所述体素全局特征提取网络包括依次连接的卷积核尺寸为3×3×3的第一稀疏卷积层
、
卷积核尺寸为3×3×3的第二稀疏卷积层
、
卷积核尺寸为3×3×3的第三稀疏卷积层
、
第一反稀疏卷积层
、
第一加法器
、
第二反稀疏卷积层
、
第二加法器
、
第三反稀疏卷积层
、
第三加法器以及卷积核尺寸为1×1×1的第四稀疏卷积层
。
[0018]进一步地，利用预先训练完成的体素全局特征提取网络对所有体素的局部特征进行处理，得到所有体素的全局特征；包括：
[0019]利用卷积核尺寸为3×3×3的第一稀疏卷积层对所有体素的局部特征
F
vl
进行处理，得到特征
F1
vl
；
[0020]利用卷积核尺寸为3×3×3的第二稀疏卷积层对特征
F1
vl
进行处理，得到特征
F2
vl
；
[0021]利用卷积核尺寸为3×3×3的第三稀疏卷积层对特征
F2
vl
进行处理，得到特征
F3
vl
；
[0022]利用第一反稀疏卷积层对特征
F3
vl
进行处理，得到特征
F4
vl
；
[0023]利用第一加法器对特征
F2
vl
和特征
F4
vl
进行相加，得到特征
F5
vl
；
[0024]利用第二反稀疏卷积层对特征
F5
vl
进行处理，得到特征
F6
vl
；
[0025]利用第二加法器对特征
F1
vl
和特征
F6
vl
进行相加，得到特征
F7
vl
；
[0026]利用第三反稀疏卷积层对特征
F7
vl
进行处理，得到特征
F8
vl
；
[0027]利用第三加法器对特征
F
vl
和特征
F8
vl
进行相加，得到特征
F9
vl
；
[0028]利用卷积核尺寸为1×1×1的第四稀疏卷积层对特征
F9
vl
进行处理，得到所有体素的全局特征
F
vg
。
[0029]进一步地，对
N
个点的融合特征进行处理，得到语义分割结果；包括：
[0030]利用预先训练完成的连接的第三多层感知器和第四多层感知器，对
N
个点的融合特征进行处理，得到语义分割结果
。
[0031]进一步地，所述方法还包括：对第一多层感知器
、
第二多层感知器
、
体素全局特征提取网络
、
第三多层感知器和第四多层感知器进行联合训练的步骤
。
[0032]进一步地，对第一多层感知器
、
第二多层感知器
、
体素全局特征提取网络
、
第三多层感知器和第四多层感知器进行联合训练的步骤；包括：
[0033]获取训练数据集，包括多个标注语义分割结果的点云数据样本；
[0034]对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
3D
稀疏卷积的实时点云分割方法，其特征在于，包括：对含有
N
个点的原始点云数据进行体素化处理，得到多个体素；对含有点的每个体素进行处理，得到每个体素中各点的局部高维特征，对每个体素中各点的局部高维特征进行处理，得到每个体素的局部特征；对每个体素的局部特征进行拼接得到所有体素的局部特征，基于稀疏
3D
卷积对所有体素的局部特征进行处理，得到所有体素的全局特征；从所有体素的全局特征中提取出每个体素的全局特征，将每个体素中各点的全局特征设置为所在体素的全局特征；将每个点的局部高维特征和全局特征进行拼接，得到每个点的融合特征，将每个点的融合特征进行拼接，得到
N
个点的融合特征；对
N
个点的融合特征进行处理，得到语义分割结果
。2.
根据权利要求1所述的方法，其特征在于，对含有
N
个点的原始点云数据进行体素化处理，得到多个体素；包括：使用预设尺寸的正方体对原始点云数据进行体素化处理，得到
V
个体素：
V
＝
L
×
H
×
W
，其中，
L、H
和
W
为长
、
宽和高方向上的体素数量
。3.
根据权利要求2所述的方法，其特征在于，对含有点的每个体素进行处理，得到每个体素中各点的局部高维特征，对每个体素中各点的局部高维特征进行处理，得到每个体素的局部特征；包括：利用预先训练完成的连接的第一多层感知器和第二多层感知器对含有点的每个体素进行处理，得到每个体素中各点的局部高维特征；利用全局最大池化层对每个体素中各点的局部高维特征进行处理，得到每个体素的局部特征
。4.
根据权利要求3所述的方法，其特征在于，基于稀疏
3D
卷积对所有体素的局部特征进行处理，得到所有体素的全局特征；包括：利用预先训练完成的体素全局特征提取网络对所有体素的局部特征进行处理，得到所有体素的全局特征；所述体素全局特征提取网络包括依次连接的卷积核尺寸为3×3×3的第一稀疏卷积层
、
卷积核尺寸为3×3×3的第二稀疏卷积层
、
卷积核尺寸为3×3×3的第三稀疏卷积层
、
第一反稀疏卷积层
、
第一加法器
、
第二反稀疏卷积层
、
第二加法器
、
第三反稀疏卷积层
、
第三加法器以及卷积核尺寸为1×1×1的第四稀疏卷积层
。5.
根据权利要求4所述的方法，其特征在于，利用预先训练完成的体素全局特征提取网络对所有体素的局部特征进行处理，得到所有体素的全局特征；包括：利用卷积核尺寸为3×3×3的第一稀疏卷积层对所有体素的局部特征
F
vl
进行处理，得到特征
F1
vl
；利用卷积核尺寸为3×3×3的第二稀疏卷积层对特征
F1
vl
进行处理，得到特征
F2
vl
；利用卷积核尺寸为3×3×3的第三稀疏卷积层对特征
F2
vl
进行处理，得到特征
F3
vl
；利用第一反稀疏卷积层对特征
F3
vl
进行处理，得到特征
F4
vl
；利用第一加法器对特征
F2
vl
和特征
F4
vl
进行相加，得到特征
F5
vl
；利用第二反稀疏卷积层对特征
F5
vl
进行处理，得到特征
F6
vl
；利用第二加法器对特征
F1
vl
和特征
F6
vl
进行相加，得到特征
F7
vl
；
利用第三反稀疏卷积层对特征
F7
vl
进行处理，得到特征
F8
vl

【专利技术属性】
技术研发人员：张新钰，谢涛，王力，戴崑，蒋志强，赵虚左，徐大中，
申请(专利权)人：北京学图灵教育科技有限公司，
类型：发明
国别省市：