一种基于Transformer神经网络的点云分割方法技术

本发明专利技术公开了一种基于Transformer神经网络的点云分割方法，S1：点云图的高维映射：将初始点云图送入MLP模块，提取在高维空间中的点云特征；S2：高维特征的多级编码：对于高维空间中的点云特征，采用由多个编码块组成的编码器逐级提取特征；S3：多级特征的解码：将S2提取的各级特征分别送入与编码器相对称的解码模块中；编码特征首先经过MLP模块进行维度变换，随后被送入编码器中进行上采样和全局相关性映射，编码器被设计成与解码器对称的结构，并充分利用解码网络的每一级特征，获得最终的点云分割结果。本发明专利技术，能够实现精确的点云分割效果，同时具备优越的推理速度。同时具备优越的推理速度。同时具备优越的推理速度。

【技术实现步骤摘要】
一种基于Transformer神经网络的点云分割方法


[0001]本专利技术涉及点云分割
，具体是一种基于Transformer神经网络的点云分割方法。

技术介绍

[0002]点云分割是计算机视觉中最重要的任务之一，具有广泛的科学、工业和商业用途。该方法的研究在三维物体和场景理解方面取得了许多突破。三维点云的语义分割在自主驾驶、机器人技术、城市信息建模、工程测绘等领域有着广泛的应用。与二维像素形成的图像相比，三维点云更加复杂和灵活。针对三维点云的特点，设计适合于增强型三维点云处理的方法是当前计算机视觉领域最活跃的研究课题之一。
[0003]现有的三维点云分割方法一般可以分为三类：基于视图的方法，基于体素的方法和基于点的方法。它们大多数利用层次结构进行点云处理，侧重于局部特征提取，往往忽略了远程上下文依赖关系的建模。层次结构通常涉及两个关键步骤:点云采样和分组。目前，大多数分层点云处理方法使用最远点抽样(FPS)算法，在几何空间中均匀地采样。然而，FPS只关注点云的几何特性，忽略了点云的语义特征。这会导致神经网络不再关注具有明显语义信息的细粒度物体部分。此外，FPS非常耗时，经常造成计算瓶颈。此外，k最近邻(kNN)和球查询算法被广泛用于下采样后的点云分组。然而，这类分组方法仍然严格遵循点的几何性质。在这种情况下，局部特征聚合往往受到局部邻域语义异质性的干扰，特别是对于相邻部分边界上的点。与图像处理中的超像素相似，超点图被设计用于将语义上同质的点聚类到同一组中，它能够详细描述相邻物体之间的关系。然而，作为深度学习网络前的一个预处理步骤，SPG未能在网络的不同阶段对分层提取的语义特征进行动态采样和聚类，限制了其性能。

技术实现思路

[0004]本专利技术的目的在于提供一种基于Transformer神经网络的点云分割方法，以解决现有技术中的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于Transformer神经网络的点云分割方法，包括以下步骤：
[0006]S1：点云图的高维映射：将初始点云图送入MLP模块，提取在高维空间中的点云特征；
[0007]S2：高维特征的多级编码：对于高维空间中的点云特征，采用由多个编码块组成的编码器逐级提取特征；
[0008]S3：多级特征的解码：将S2提取的各级特征分别送入与编码器相对称的解码模块中；编码特征首先经过MLP模块进行维度变换，随后被送入编码器中进行上采样和全局相关性映射，编码器被设计成与解码器对称的结构，并充分利用解码网络的每一级特征，获得最终的点云分割结果。
[0009]优选的，所述S2编码块的特征提取包含两个阶段；
[0010]在第一阶段，点云特征被送入一个基于动态聚类的局部特征聚合模块提取局部特征，该过程分三步进行：第一步实现点云采样，并为采样点进行语义相同的聚类；第二步是聚合同一类群中的点特征；最后一步是建立聚合采样点与输入特征之间的联系，增强采样点特征，减少聚合造成的特征丢失；
[0011]在第二阶段，采用双注意力Transformer建立点之间的空间关系，实现远程上下文关系建模，从而获取点云的全局特征。
[0012]优选的，所述点云动态聚类的计算过程如下：
[0013][0014]其中，p为输入点集中的元素，D为输入特征的维度，d
i
表示点p
i
在特征空间中通过k近邻Φ
i
的局部密度；根据定义
[0015]随后为p
i
计算距离指示器δ
i
，计算细节如公式(2)所示
[0016][0017]根据公式(2)，δ
i
可被理解为p
i
与局部密度较高的任一其他点之间的最小特征距离，对于局部密度最大的点，其距离指示器定义为该点与任意其他点之间的最大特征距离；对于给定的d
i
和δ
i
，计算每个点的分值δ
i
×
d
i
，分值越高，该点更具代表性，更适合作为抽样点，因此，根据抽样率将得分最高的点作为抽样点；由此实现基于语义特征的采样；
[0018]然后，给定抽样点集基于语义特征的聚类方法为每个s
i
构造一个聚类；在特征空间中，小的特征距离意味着相似的语义信息；根据特征距离将P中的每个点分配给S中最近的采样点；每个s
i
都有一个具有局部语义同质性的集群C
si
，促进局部特征聚合。
[0019]优选的，所述局部特征聚合的过程如下：
[0020]给定聚类使用基于学习的加权平均数算法来实现局部特征聚合；由于C
si
中的聚类点具有相似的语义特征，采用一种直观的方法对它们进行平均，获得具有局部信息的s
i
，s
i
由公式(3)表示：
[0021][0022]其中C
si
‑
j
的j表示C
si
中的第j个聚类点；然而，同一簇中的点对于网络的重要性是很难一致的；这个简单的平均操作可能导致信息丢失；因此，我们为P中的所有点实现了一个可学习的注意力分数集对于群集C
si
，s
i
可由公式(4)表示：
[0023][0024]其中a
j
是C
si
的注意力分数；s
i
能够更准确地描述局部语义信息；因此，得到了聚合抽样点集
[0025]优选的，所述特征增强过程如下：
[0026]在给定采样点集S的情况下，设计了一个交叉注意力Transformer，建立了S与输入特征P之间的联系，具体来说，首先基于S生成Query矩阵，基于P生成Key矩阵和Value矩阵，计算过程如公式(5)所示：
[0027]Q＝SW
Q
[0028]K＝PW
K
[0029]V＝PW
V (5)
[0030]其中Q、K、V分别表示Query、Key和Value值矩阵；W
Q
、W
K
和W
V
为可学习权重矩阵；随后，注意图M可由公式(6)表示：
[0031][0032]QK
T
的尺寸为S
×
N，其中每个元素m
i,j
表示S中的第i个采样点和P中的第j个输入点之间的特征相似性；然而，如上所示，A的大小为1
×
N，这与QK
T
的尺寸不一致；因此，沿行对A进行重复，将其大小扩展到S
×
N；在交叉注意Transformer中，QK
T
和A之间的元素相加意味着同时考虑了特征相似性和点重要性；最后，通过乘以M和V可以得到增强的采样点集S，采样点集的大小为S
×
D；
[0033]基于双注意力Tr本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer神经网络的点云分割方法，其特征在于：包括以下步骤：S1：点云图的高维映射：将初始点云图送入MLP模块，提取在高维空间中的点云特征；S2：高维特征的多级编码：对于高维空间中的点云特征，采用由多个编码块组成的编码器逐级提取特征；S3：多级特征的解码：将S2提取的各级特征分别送入与编码器相对称的解码模块中；编码特征首先经过MLP模块进行维度变换，随后被送入编码器中进行上采样和全局相关性映射，编码器被设计成与解码器对称的结构，并充分利用解码网络的每一级特征，获得最终的点云分割结果。2.根据权利要求1所述的一种基于Transformer神经网络的点云分割方法，其特征在于：所述S2编码块的特征提取包含两个阶段；在第一阶段，点云特征被送入一个基于动态聚类的局部特征聚合模块提取局部特征，该过程分三步进行：第一步实现点云采样，并为采样点进行语义相同的聚类；第二步是聚合同一类群中的点特征；最后一步是建立聚合采样点与输入特征之间的联系，增强采样点特征，减少聚合造成的特征丢失；在第二阶段，采用双注意力Transformer建立点之间的空间关系，实现远程上下文关系建模，从而获取点云的全局特征。3.根据权利要求2所述的一种基于Transformer神经网络的点云分割方法，其特征在于：所述点云动态聚类的计算过程如下：其中，p为输入点集中的元素，D为输入特征的维度，d
i
表示点p
i
在特征空间中通过k近邻Φ
i
的局部密度；根据定义随后为p
i
计算距离指示器δ
i
，计算细节如公式(2)所示根据公式(2)，δ
i
可被理解为p
i
与局部密度较高的任一其他点之间的最小特征距离，对于局部密度最大的点，其距离指示器定义为该点与任意其他点之间的最大特征距离；对于给定的d
i
和δ
i
，计算每个点的分值δ
i
×
d
i
，分值越高，该点更具代表性，更适合作为抽样点，因此，根据抽样率将得分最高的点作为抽样点；由此实现基于语义特征的采样；然后，给定抽样点集基于语义特征的聚类方法为每个s
i
构造一个聚类；在特征空间中，小的特征距离意味着相似的语义信息；根据特征距离将P中的每个点分配给S中最近的采样点；每个s
i
都有一个具有局部语义同质性的集群C
si
，促进局部特征聚合。4.根据权利要求2所述的一种基于Transformer神经网络的点云分割方法，其特征在于：所述局部特征聚合的过程如下：
给定聚类使用基于学习的加权平均数算法来实现局部特征聚合；由于C
si
中的聚类点具有相似的语义特征，采用一种直观的方法对它们进行平均，获得具有局部信息的s
i
，s
i
由公式(3)表示：其中C
si
‑
j
的j表示C
si
中的第j个聚类点；然而，同一簇中的点对于网络的重要性是很难一致的；这个简单的平均操作可能导致信息丢失；因此，我们为P中的所有点实现了一个可学习的注意力分数集对于群集C
si
，s
i
可由公式(4)表示：其中a
j
是C
si
的注意力分数；s
i
能够更准确地描述局部语义信息；因此，得到了聚合抽样点集5.根据权利要求2所述的一种基于Transformer神经网络的点云...

【专利技术属性】
技术研发人员：李军，鲁德宁，马凌飞，李静，李志龙，赵花，
申请(专利权)人：南京海茵茨数字技术有限公司，
类型：发明
国别省市：