一种基于深度特征表达的三维点云语义分割方法技术

本发明专利技术公开了一种基于深度特征表达的三维点云语义分割方法。包括步骤1：搜集三维点云相关的数据集进行处理，用于模型的训练；步骤2：在模型训练过程中，对数据进行预处理；步骤3：建立深度网络模型，将点云数据输入到边缘特征模块获得边缘特征输入到U

【技术实现步骤摘要】
一种基于深度特征表达的三维点云语义分割方法


[0001]本专利技术涉及一种基于深度特征表达的三维点云语义分割方法，属于计算机视觉


技术介绍

[0002]三维点云语义分割是计算机视觉领域的一种基础技术，具有广泛的应用背景，例如自动驾驶、机器人路径规划、自主导航等。随着硬件水平和软件技术的高速发展，3D点云数据的规模正在迅速增大，使得数据的处理与分析工作量显著增长，如何从海量数据中提取有用的信息来解决具有场景特异性的问题，是当前三维视觉领域重要的研究方向。传统的三维点云分割得到的只是物体边界分割，而语义分割则是在边界分割的基础上，赋予每个物体特定的标签，使其具有特定的含义，成为了场景理解的关键技术。传统方法处理三维数据后，还需要人工对分割完的数据进行标注，这也一定程度上增大了工作量，影响了工作效率。为此，我们更加迫切需要一种基于数据驱动的方法来解决语义分割问题。随着深度学习在视觉领域的广泛应用，直接在三维点云上进行深度学习受到更多关注。由于点云具有无序性和非结构性，一些传统方法无法直接应用到三维点云上，必须将点云数据经过一些预处理，而这些预处理又会造成一定原始信息的损失。
[0003]针对现有的点云语义分割方法，存在以下问题：(1)三维点云数据量远远大于二维数据表达方式。(2)三维点云具有无序性，相比于图像这样的规整网格格式较难处理。(3)三维点云缺少图像的纹理信息，加大了语义分割的难度。(4)点云运用范围较广，涉及的算法多种多样，如何从大量算法中选择合适的进行创新。(5)三维空间内点云的稀疏性使得大多数空间算子效率低下，如何设计适合的空间算子。(6)由于三维点云具有的无序性和非结构性，点与点间隐含的关系难以表示。

技术实现思路

[0004]为了解决以上问题，本专利技术设计了一种基于深度特征表达的三维点云语义分割方法，该方法重点优化网络在领域搜索和边缘特征处理方面的工作，以获得良好的语义分割性能。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]步骤1：搜集三维点云相关的数据集，将数据集中的点云进行处理，用于模型的训练；
[0007]步骤2：在模型训练过程中，对数据进行预处理；
[0008]步骤3：建立深度网络模型，所述深度网络模型由5个模块组成，包括边缘特征模块、U
‑
Inception模块、注意力权重模块、语义分割模块；将点云数据输入到边缘特征模块，该模块获得的边缘特征输入到U
‑
Inception模块进一步进行特征提取，U
‑
Inception模块得到的特征张量输入到注意力权重模块；如上操作重复多次，每次重复得到的结果整合后输入到语义分割模块，得到最终的语义标签赋予结果；
[0009]步骤4：将步骤2处理后得到的数据送入网络，对步骤3建立的网络的参数进行训练；
[0010]步骤5：对于步骤4中的模型进行测试。
[0011]进一步地，步骤3中特征提取模块具体实现为：将输入的大小为B
×
N
×
C的原始点云数据通过KNN(K
‑
最近邻搜索)获取每个点的K个邻点，B代表点云数量，N代表点的特征向量维数，C代表每个点云中采样点的个数，并按照点在点云中的排列顺序将所有邻点排列在大小为B
×
N
×
C
×
K的邻点张量中，将原始点云复制K次作为大小为B
×
N
×
C
×
K的点云张量，将邻点张量和点云张量相减，得到边缘特征张量，输出大小为B
×
N
×
C
×
K的边缘特征张量和B
×
N
×
C
×
K的点云张量；
[0012]进一步地，步骤3中注意力权重模块具体实现如下：将输入的边缘特征张量经过卷积层、ReLU层和softmax层处理，得到边缘特征权重张量，输入的边缘特征张量中排列有每个中心点的K个边缘特征，对于每个中心点，将其所有边缘特征及对应的边缘特征权重相乘并求和，得到该中心点的特征向量；
[0013]进一步地，步骤3中所述将点云数据输入到边缘特征模块，是通过以下方式提取边缘特征：将输入的大小为B
×
N
×
C的原始点云数据通过KNN(K
‑
最近邻搜索)获取每个点的K个邻点，B代表点云数量，N代表点的特征向量维数，C代表每个点云中采样点的个数，并按照点在点云中的排列顺序将所有邻点排列在大小为B
×
N
×
C
×
K的邻点张量中，将原始点云复制K次作为大小为B
×
N
×
C
×
K的点云张量，将邻点张量和点云张量相减，得到边缘特征张量，输出大小为B
×
N
×
C
×
K的边缘特征张量和B
×
N
×
C
×
K的点云张量。
[0014]进一步地，步骤3中所述U
‑
Inception模块具体结构如下：
[0015]该模块的输入有三个并行的卷积分支和一个最大化分支，四个分支的结果整合后再进行卷积，所得结果作为该模块的输出；
[0016]第一个分支，一个单独的卷积层；
[0017]第二个分支，四个串联的卷积层，其中第一个卷积层的输出被加到第三个卷积层的输出上，求和的结果作为第四个卷积层的输入，第四个卷积层的输出会和第一个卷积层的输入相加作为该分支的输出；
[0018]第三个分支，两个串联的卷积层；
[0019]第四个分支，对大小为B
×
N
×
C
×
K输入的边缘张量通过最大化操作，得到大小为B
×
N
×
C的全局特征张量，将全局特征张量通过复制恢复到大小为B
×
N
×
C
×
K；
[0020]进一步地，步骤3中所述注意力权重模块通过以下方式进行注意力计算：将输入的特征张量经过卷积层、ReLU层和softmax层处理，得到边缘特征权重张量，输入的边缘特征张量中排列有每个中心点的K个边缘特征，对于每个中心点，将其所有边缘特征及对应的边缘特征权重相乘并求和，得到该中心点的特征向量。
[0021]进一步地，步骤3中所述语义分割模块具体结构如下：
[0022]聚集层1：将三个注意力权重模块输出的三个大小为B
×
D
×
C的注意力特征张量按第二维进行整合，输出大小为B
×
3*D
×
C的整合特征张量，其中D是注意力特征向量的特征维度；
[0023]卷积层1：用1024个kernelsize为1的卷积核去卷积聚集层1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度特征表达的三维点云语义分割方法，其特征在于，该方法包括下列步骤：步骤1：搜集三维点云相关的数据集，将数据集中的点云进行处理，用于模型的训练；步骤2：在模型训练过程中，对数据进行预处理；步骤3：建立深度网络模型，所述深度网络模型由5个模块组成，包括边缘特征模块、U
‑
Inception模块、注意力权重模块、语义分割模块；将点云数据输入到边缘特征模块，该模块获得的边缘特征输入到U
‑
Inception模块进一步进行特征提取，U
‑
Inception模块得到的特征张量输入到注意力权重模块；如上操作重复多次，每次重复得到的结果整合后输入到语义分割模块，得到最终的语义标签赋予结果；步骤4：将步骤2处理后得到的数据送入网络，对步骤3建立的网络的参数进行训练；步骤5：对于步骤4中的模型进行测试。2.根据权利要求1中所述的基于深度特征表达的三维点云语义分割算法，其特征在于，步骤3中所述将点云数据输入到边缘特征模块，是通过以下方式提取边缘特征：将输入的大小为B
×
N
×
C的原始点云数据通过KNN(K
‑
最近邻搜索)获取每个点的K个邻点，B代表点云数量，N代表点的特征向量维数，C代表每个点云中采样点的个数，并按照点在点云中的排列顺序将所有邻点排列在大小为B
×
N
×
C
×
K的邻点张量中，将原始点云复制K次作为大小为B
×
N
×
C
×
K的点云张量，将邻点张量和点云张量相减，得到边缘特征张量，输出大小为B
×
N
×
C
×
K的边缘特征张量和B
×
N
×
C
×
K的点云张量。3.根据权利要求1中所述的基于深度特征表达的三维点云语义分割算法，其特征在于，步骤3中所述U
‑
Inception模块具体结构如下：该模块的输入有三个并行的卷积分支和一个最大化分支，四个分支的结果整合后再进行卷积，所得结果作为该模块的输出；第一个分支，一个单独的卷积层；第二个分支，四个串联的卷积层，其中第一个卷积层的输出被加到第三个卷积层的输出上，求和的结果作为第四个卷积层的输入，第四个卷积层的输出会和第一个卷积层的输入相加作为该分支的输出；第三个分支，两个串联的卷积层；第四个分支，对大小为B
×
N
×
C
×
K输入的边缘张量通过最大化操作，得到大小为B
×
N
×
C的全局特征张量，将全局特征张量通过复制恢复到大小为B
×
N
×
C
×
K。4.根据权利要求1中所述的基于深度特征表达的三维...

【专利技术属性】
技术研发人员：杜松林，许喆，
申请(专利权)人：东南大学，
类型：发明
国别省市：