一种基于双边特征融合及向量自注意力的点云分割方法技术

本发明专利技术公开了一种基于双边特征融合及向量自注意力的点云分割方法，涉及点云语义分割技术领域；包括如下步骤：输入原始点云数据；使用双边特征融合模块和向量自注意力模块对输入的原始点云数据进行编码；对点云特征进行解码，用连续的FP层对点云特征进行上采样，得到点云的分割结果。本发明专利技术提出了一种高效的点云语义分割网络，使得点云的语义分割更为快速准确，分割性能优越；提出了一组基于几何语义双边特征信息的修正信息计算模块，调整边缘信息，缓解了局部区域聚合时的边缘歧义问题，加强了局部信息的聚合效果；提出了一种新的偏移向量自注意力模块，有效的提取了点云的全局特征，在减少网络计算量的基础上，取得了更好的全局特征提取效果。全局特征提取效果。全局特征提取效果。

【技术实现步骤摘要】
一种基于双边特征融合及向量自注意力的点云分割方法


[0001]本专利技术涉及点云语义分割
，具体涉及一种基于双边特征融合及向量自注意力的点云分割方法，适用于室内点云的语义分割。

技术介绍

[0002]随着研究的深入，利用深度学习处理3D点云的方法取得了重大的成功，这些方法通常可分为三种类型：基于投影的方法、基于体素化的方法和基于点的方法。其中，基于点的方法，即使用多层感知器(MLP)直接处理点集，由于其效率和高性能而成为主流。
[0003]在基于点的方法中，PointNet是一个非常经典网络。它使用共享多层感知器(MLP)来提取特征，并通过对称函数一致地聚合全局特征，而不考虑内部顺序。但是，Pointnet采用的是单点采样的模式，这种方法无法有效提取局部特征。Pointnet++在PointNet的基础上提出了的采样和分组操作，这种多层次的特征提取方法有效的解决了前面的问题。但是Pointnet++通过分组的方法对局部特征提取会造成局部区域的边缘歧义问题，在邻域构建过程中，邻域之间的异常值和重叠很难避免，在多种语义分类的交接区域，这种异常和重叠更为突出。而且以欧几里德距离为标准划分的聚合区域在语义空间的局部范围并不能很好适应语义特征，这使得PointNet++侧重于几何信息的提取，对局部特征信息聚合效果不足，对于语义提取的提取能力较弱，仅采用FPS对全局的提取也不够充分。相比于Pintnet++，最近提出的PointNeXt则是专注于培训技能和规模策略，以进一步提高Pointnet++的性能；PointMLP通过引入残差MLP结构，在没有任何复杂的局部特征提取器设计的情况下达到了非常高的分类性能。但这些方法都是侧重于几何空间的特征提取，PointNet++边缘歧义和全局特征提取不足的的问题并没有得到很好的解决。也存在某些侧重于语义特征提取的方法，DGCNN提出了一个用于学习边缘特征的边缘卷积(EdgeConv),通过构建局部邻域图和对每条邻边进行EdgeConv操作,动态更新层级之间的图结构。AdaptiveGraph提出在每条边上分配学习权重，以更好地评估和聚合信息。这些方法同样采用类似的分组方法，也存在类似于PointNet++的边缘歧义问题，由于侧重于语义空间的特征提取，使得特征提取部分在高维语义空间中存在几何结构缺失的问题。随着自然语言处理和二维图像处理任务中取得巨大成功的自注意力机制也被用于处理三维点云，注意力机制对全局特征的提取能力强，但是存在计算量大的问题。
[0004]所以可以看出，由于当前大部分点云语义分割网络针对局部特征的提取都是通过将点云进行分组聚合来完成的。分组中邻居边缘的歧义问题难以解决。而且以欧几里德距离为标准划分的聚合区域在语义空间的局部范围并不能很好适应语义特征，同样在高维语义空间中几何结构缺失，导致在局部特征信息聚合效果不足。仅通过下采样构建多尺度特征提取的方法会损失很多的细节信息，无法充分的提取全局特征。如何解决这些问题，成为现有技术亟需解决的技术问题。

技术实现思路

[0005]基于
技术介绍
存在的技术问题，本专利技术提出了一种基于双边特征融合及向量自注意力的点云分割方法，提升点云场景语义分割的鲁棒性与准确率，提升语义分割网络的特征学习能力，缓解局部区域特征的边缘歧义和全局特征代表性不足的问题。
[0006]本专利技术采用的技术方案是：
[0007]一种基于双边特征融合及向量自注意力的点云分割方法，该方法包括如下步骤：
[0008]S1：输入原始点云数据；
[0009]S2：使用双边特征融合模块和向量自注意力模块对输入的原始点云数据进行编码；
[0010]S3：对点云特征进行解码，用连续的FP层对点云特征进行上采样，得到点云的分割结果。
[0011]进一步地，步骤S1所述的输入原始点云数据，具体为：
[0012]以S3DIS作为测试的室内数据集，S3DIS是一个大型室内场景分割数据集，包含13个类别，共271个房间。每个点云数据具有9个特征，即颜色信息R、G、B、坐标信息x、y、z和3个法向量。271个房间分为6个区域，每个房间分为1米
×
1米的区块。设定输入点云位F
in
，其维度为[B,N,9]，其中B为批次，N为点数目，9为特征，输入特征总数为B*N*9。
[0013]进一步地，步骤S2所述的使用双边特征融合模块和向量自注意力模块对输入的原始点云数据进行编码，具体为：
[0014]将输入点云划分为几何空间包含点云的坐标信息，其维度[B,N,3]，语义空间包含点云的颜色信息和法向量，其维度为[B,N,6],对语义空间部分进行mlp操作，将其转化到语义空间然后分别送入编码器SA中，利用原始数据上的FPS来生成采样点p
i
相应的特征信息表示f
i
，以这些采样点为中心，在三维欧几里得距离的度量下使ballquery方法对点云进行分组，其中ballquery的方法就是通过设定一个半径r，找到以FPS采样点为中心，r为半径的球面范围的点，这些点被称为中心点p
i
的邻居点p
j
，并添加SA层和VA层对点云特征进行提取；其中SA层表示点云的局部区域聚合层负责点云的双边特征信息融合和局部特征提取，VA层为改进的自注意力层负责完成点云的全局特征提取；
[0015]在SA层，将中心点的绝对位置及其邻域的相对位置组合为几何空间局部特征G(p
i
,p
j
)＝[p
i
；p
j
‑
p
i
]；同样的在语义空间中利用S(f
i
,f
j
)＝[f
i
；f
j
‑
f
i
]表示语义空间中的局部特征；采用MLP将几何信息转换到语义空间，通过softmax函数将几何信息转化为一种特征掩码，对语义空间的边缘特征信息进行修正；同样的，针对几何空间，也是采用相同的方法来对几何边缘信息进行动态调整；同时将调整后的边缘信息与原本的边缘信息相加，建立了一种残差结构来保证信息优化的鲁棒性；这种修正信息的计算可以被公式化为：
[0016]f
s
＝Softmax(mlp(G(p
i
,p
j
)))*S
e
+S
e
(1)
[0017]p
s
＝Softmax(mlp(S(f
i
,f
j
)))*G
e
+G
e
(2)
[0018]其中G
e
(pi,pj)＝[p
i
；p
j
‑
p
i
],S
e
(f
i
,f
j
)＝[f
i
；f
...

【技术保护点】

【技术特征摘要】
1.一种基于双边特征融合及向量自注意力的点云分割方法,其特征在于，该方法包括如下步骤：S1：输入原始点云数据；S2：使用双边特征融合模块和向量自注意力模块对输入的原始点云数据进行编码；S3：对点云特征进行解码，用连续的FP层对点云特征进行上采样，得到点云的分割结果。2.根据权利要求1所述的一种基于双边特征融合及向量自注意力的点云分割方法,其特征在于，步骤S1所述的输入原始点云数据，具体为：以S3DIS作为测试的室内数据集，S3DIS是一个大型室内场景分割数据集，包含13个类别，共271个房间；每个点云数据具有9个特征，即颜色信息R、G、B、坐标信息x、y、z和3个法向量；271个房间分为6个区域，每个房间分为1米
×
1米的区块；设定输入点云位F
in
，其维度为[B,N,9]，其中B为批次，N为点数目，9为特征，输入特征总数为B*N*9。3.根据权利要求2所述的一种基于双边特征融合及向量自注意力的点云分割方法,其特征在于，步骤S2所述的使用双边特征融合模块和向量自注意力模块对输入的原始点云数据进行编码，具体为：将输入点云划分为几何空间包含点云的坐标信息，其维度[B,N,3]，语义空间包含点云的颜色信息和法向量，其维度为[B,N,6]，对语义空间部分进行mlp操作，将其转化到语义空间然后分别送入编码器SA中，利用原始数据上的FPS来生成采样点p
i
相应的特征信息表示f
i
，以这些采样点为中心，在三维欧几里得距离的度量下使ballquery方法对点云进行分组，其中ballquery的方法就是通过设定一个半径r，找到以FPS采样点为中心，r为半径的球面范围的点，这些点被称为中心点p
i
的邻居点p
j
，并添加SA层和VA层对点云特征进行提取；其中SA层表示点云的局部区域聚合层负责点云的双边特征信息融合和局部特征提取，VA层为改进的自注意力层负责完成点云的全局特征提取；在SA层，将中心点的绝对位置及其邻域的相对位置组合为几何空间局部特征G(p
i
,p
j
)＝[p
i
；p
j
‑
p
i
]；同样的在语义空间中利用S(f
i
,f
j
)＝[f
i
；f
j
‑
f
i
]表示语义空间中的局部特征；采用MLP将几何信息转换到语义空间，通过softmax函数将几何信息转化为一种特征掩码，对语义空间的边缘特征信息进行修正；同样的，针对几何空间，也是采用相同的方法来对几何边缘信息进行动态调整；同时将调整后的边缘信息与原本的边缘信息相加，建立了一种残差结构来保证信息优化的鲁棒性；这种修正信息的计算可以被公式化为：f
s
＝Softmax(mlp(G(p
i
，p
j
)))*S
e
+S
e
(1)p
s
＝Softmax(mlp(S(f
i
，f
j
)))*G
e
+G
e
(2)其中G
e
(p
i
，p
j
)＝[p
i
；p
j
‑
p
i
]，S
e
(f
i
，f
j
)＝[f
i
；f
j
‑
f
i
]，p
i
,p
j
,p
s
∈R
N
×3，f
i
,f
j
,f
s
∈R
N
×

【专利技术属性】
技术研发人员：胡海兵，刘泓淳，冯鑫，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：