基于双边交叉增强与自注意力补偿的点云语义分割方法技术

本发明专利技术公开了基于双边交叉增强与自注意力补偿的点云语义分割方法，特点是将待分割的点云数据输入语义分割模型，语义分割模型包括预处理模块、基于双边交叉增强与自注意力补偿的空间聚合模块、多尺度特征融合模块和全连接层；由预处理模块获取初步几何上下文信息和初步语义上下文信息；由基于双边交叉增强与自注意力补偿的空间聚合模块获取不同分辨率的特征图；由多尺度特征融合模块中获取用于语义分割的综合特征图并至全连接层，得到待分割的点云数据的语义分割结果；优点是增强点云中每个点的局部上下文信息；补偿局部上下文信息的单一性，增强特征的完备性，以达到提升点云局部细粒度分割精度的目的。细粒度分割精度的目的。细粒度分割精度的目的。

【技术实现步骤摘要】
基于双边交叉增强与自注意力补偿的点云语义分割方法


[0001]本专利技术涉及点云语义分割方法，尤其是基于双边交叉增强与自注意力补偿的点云语义分割方法。

技术介绍

[0002]早期点云语义分割方法主要分为基于投影的点云语义分割方法和基于体素化的点云语义分割方法，这两种点云语义分割方法取得了很大的研究进展，但是不可避免的也会损失几何信息，导致分割精度不佳。
[0003]为了解决上述方法的不足，学者们提出了直接对点云中的点进行处理的语义分割方法，可以获得更好的点云空间几何信息，提高点云的分割精度。比如：Qi等人提出了PointNet方法(文献：Charles Ruizhongtai Qi，Hao Su，Kaichun Mo，and Leonidas J.Guibas.PointNet：Deep Learning on Point Sets for 3D Classification and Segmentation.Conference 0n Computer Vision and Pattern Recognition(CVPR)，IEEE Computer Society，pp.77
‑
85，2017.)，直接对点云中的点进行处理，通过共享的多层感知机(Multi
‑
layer Perceptron，MLP)逐点学习点特征，解决了点云的稀疏性、无序性以及置换不变性的问题，但不能很好的提取点云的局部上下文信息；Komarichev等人提出了一种环形卷积算子(文献：Artem Komarichev，Zichun Zhong，and Jing Hua.A
‑
CNN：Annularly Convolutional Neural Networks on Point Clouds.Conference on Computer Vision and Pattern Recognition(CVPR)，CVF/IEEE，pp.7421
‑
7430，2019.)，该算子在计算中规定了环形结构和方向，以更好地捕捉点云中每个点的局部邻域几何形状，但是没有综合考虑局部几何信息和全局信息之间的关系，导致点云局部细粒度分割不准确。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供基于双边交叉增强与自注意力补偿的点云语义分割方法，不但可以很好的获得局部上下文信息，而且可以通过全局上下文信息补偿局部上下文信息的方式，达到提升点云局部细粒度分割精度的目的。
[0005]本专利技术解决上述技术问题所采用的技术方案为：基于双边交叉增强与自注意力补偿的点云语义分割方法，包括以下步骤：
[0006]①
将待分割的点云数据输入至语义分割模型中，所述的语义分割模型包括预处理模块、基于双边交叉增强与自注意力补偿的空间聚合模块、多尺度特征融合模块和全连接层；所述的基于双边交叉增强与自注意力补偿的空间聚合模块由五个级联的空间聚合块组成，所述的空间聚合块由一个双边交叉增强作用单元和一个Transformer自注意力机制作用单元组成，其中双边交叉增强作用单元的输出为Transformer自注意力机制作用单元的输入；
[0007]②
在预处理模块中，将待分割的点云数据在三维空间的原始坐标记为初步几何上下文信息；通过多层感知机对待分割的点云数据进行特征提取，得到初步语义上下文信息；
[0008]③
将初步几何上下文信息和初步语义上下文信息输入至第一个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过一次下采样的初步语义上下文信息输入至第二个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过两次下采样的初步语义上下文信息输入至第三个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过三次下采样的初步语义上下文信息输入至第四个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过四次下采样的初步语义上下文信息输入至第五个空间聚合块的双边交叉增强作用单元中，由五个空间聚合块的Transformer自注意力机制作用单元中输出并得到不同分辨率的特征图；
[0009]④
将不同分辨率的特征图输入至多尺度特征融合模块中，得到用于语义分割的综合特征图；
[0010]⑤
将用于语义分割的综合特征图输入至全连接层，得到待分割的点云数据的语义分割结果。
[0011]得到所述的双边交叉增强作用单元的输出的具体过程如下：
[0012]随机抽取点云数据中的一个点作为中心点，使用3D
‑
KNN算法搜索并得到中心点的近邻点，通过公式计算得到局部几何上下文信息其中，P
i
表示中心点的绝对坐标，表示近邻点的绝对坐标，表示近邻点相对于中心点的相对坐标，表示拼接操作符号，k＝16，通过公式计算得到局部语义上下文信息其中，Fi表示中心点在语义特征空间中所对应的语义特征，表示近邻点在语义特征空间中所对应的相邻语义特征，表示近邻点相对于中心点的语义特征，通过公式得到局部几何上下文信息的偏移量通过公式得到局部语义上下文信息的偏移量通过公式计算得到增强后的局部上下文信息Le并作为双边交叉增强作用单元的输出，其中，concat(
·
)表示连接运算，M(
·
)表示多层感知机运算。点云的绝对坐标可以增强模型的空间感知定位能力，相对坐标可以增强模型应对点云无序性的能力；通过交叉学习偏移量对点云的局部几何上下文信息和局部语义上下文信息进行增强，达到增强局部上下文信息的作用。
[0013]得到所述的Transformer自注意力机制作用单元输出的特征图的具体过程如下：
[0014]将增强后的局部上下文信息Le转换为由局部特征从分辨率高到分辨率低依次排列组成的序列F
in
，对序列F
in
中高分辨率的局部特征做平均池化下采样处理得到H
×
W
×
C的第一三维张量，对序列F
in
中高分辨率的局部特征做最大池化下采样处理得到H
×
W
×
C的第二三维张量，将第一三维张量和第二三维张量叠加得到(2
×
H
×
W)
×
C的输入张量，并嵌入一个位置编码，将嵌有位置编码的输入张量输入至Transformer模块中得到H
×
W
×
c的第一特征图和H
×
W
×
C的第二特征图，对第一特征图进行双线性插值上采样得到第一原始分辨率，对第二特征图进行双线性插值上采样得到第二原始分辨率，将第一原始分辨率与序列F
in
进行拼接得到第一拼接特征，将第二原始分辨率与序列F
in
进行拼接得到第二拼接特征，将第一拼接特征与第二拼接特征进行拼接得到输出的特征图F
out
，其中H表示高，W表示宽本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双边交叉增强与自注意力补偿的点云语义分割方法，其特征在于包括以下步骤：
①
将待分割的点云数据输入至语义分割模型中，所述的语义分割模型包括预处理模块、基于双边交叉增强与自注意力补偿的空间聚合模块、多尺度特征融合模块和全连接层；所述的基于双边交叉增强与自注意力补偿的空间聚合模块由五个级联的空间聚合块组成，所述的空间聚合块由一个双边交叉增强作用单元和一个Transformer自注意力机制作用单元组成，其中双边交叉增强作用单元的输出为Transformer自注意力机制作用单元的输入；
②
在预处理模块中，将待分割的点云数据在三维空间的原始坐标记为初步几何上下文信息；通过多层感知机对待分割的点云数据进行特征提取，得到初步语义上下文信息；
③
将初步几何上下文信息和初步语义上下文信息输入至第一个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过一次下采样的初步语义上下文信息输入至第二个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过两次下采样的初步语义上下文信息输入至第三个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过三次下采样的初步语义上下文信息输入至第四个空间聚合块的双边交叉增强作用单元中，将初步几何上下文信息和经过四次下采样的初步语义上下文信息输入至第五个空间聚合块的双边交叉增强作用单元中，由五个空间聚合块的Transformer自注意力机制作用单元中输出并得到不同分辨率的特征图；
④
将不同分辨率的特征图输入至多尺度特征融合模块中，得到用于语义分割的综合特征图；
⑤
将用于语义分割的综合特征图输入至全连接层，得到待分割的点云数据的语义分割结果。2.根据权利要求1所述的基于双边交叉增强与自注意力补偿的点云语义分割方法，其特征在于得到所述的双边交叉增强作用单元的输出的具体过程如下：随机抽取点云数据中的一个点作为中心点，使用3D
‑
KNN算法搜索并得到中心点的近邻点，通过公式计算得到局部几何上下文信息其中，P
i
表示中心点的绝对坐标，F
ik
表示近邻点的绝对坐标，P
ik
‑
P
i
表示近邻点相对于中心点的相对坐标，表示拼接操作符号，k＝16，通过公式计算得到局部语义上下文信息其中，F
i
表示中心点在语义特征空间中所对应的语义特征，表示近邻点在语义特征空间中所对应的相邻语义特征，表示近邻点相对于中心点的语义特征，通过公式得到局部几何上下文信息的偏移量通过公式得到局部语义上下文信息的偏移量通过公式计算得到增强后的局部上下文信息Le并作为双边交叉增强作用单元的输出，其中，concat(
·
)表示连接运算，M(
·
)表示多层感知机运算。3.根据权利要求2所述的基于双边交叉增强与自注意力补偿的点云语义分割方法，其特征在于得到所述的Tran...

【专利技术属性】
技术研发人员：朱仲杰，张荣，白永强，王玉儿，于显超，
申请(专利权)人：浙江万里学院，
类型：发明
国别省市：