一种上下文驱动的大规模园林场景点云语义分割方法技术

本发明专利技术提供了一种上下文驱动的大规模园林场景点云语义分割方法，包括以下步骤：1)多尺度空间上下文信息提取：提取点云逐点位置编码，并根据点云的近邻点聚合局部空间信息，最终通过特征拼接提取逐点多尺度空间上下文信息。2)全局

【技术实现步骤摘要】
segmentation of large
‑
scale point clouds[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2020:11108
‑
11117.提出在点云层级编码过程中采用随机下采样方式取代耗时的最远点采样以提升网络的处理速度。但是该方法只聚合了局部上下文信息，这在大规模园林场景点云上可能是不够的。文献11：Fan S,Dong Q,Zhu F,et al.SCF
‑
Net:Learning spatial contextual features for large
‑
scale point cloud segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:14504
‑
14513.提出同时聚合局部和全局特征来丰富大规模场景点云的表示能力，但是它们所使用的全局上下文相对较为低层，无法很好地表达全局依赖关系。文献12：公开号为CN112819833A的中国专利一种大场景点云语义分割方法提出一种大场景语义分割方法，其使用扩张图卷积和随机采样提升模型在大场景上的分割精度和推理速度。然而，园林点云相较于此前的室内以及室外场景点云，具有对象几何结构复杂、对象之间边界不清晰以及对象占据的空间范围较大等特点，使得上述方法很难在此类场景上学习到鲁棒的特征表示。

技术实现思路

[0005]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种上下文驱动的大规模园林场景点云语义分割方法。
[0006]为了解决上述技术问题，本专利技术公开了一种上下文驱动的大规模园林场景点云语义分割方法，包括如下步骤：
[0007]步骤1，多尺度空间上下文信息提取：提取点云逐点位置编码，并根据点云的近邻点聚合局部空间信息，最终通过特征拼接提取逐点多尺度空间上下文信息；
[0008]步骤2，全局
‑
局部上下文提取：使用局部Transformer编码网络提取点云的局部特征，使用全局Transformer编码网络提取点云的全局特征；
[0009]步骤3，全局
‑
局部上下文融合及Transformer解码：根据全局特征和局部特征的相关性融合点云的全局和局部的特征并使用Transformer解码器解码特征得到逐点的类别标签，完成点云语义分割。
[0010]进一步地，步骤1包括以下步骤：
[0011]步骤1
‑
1，对输入园林点云进行位置编码，获得逐点的位置编码特征，记输入园林点云N
p
表示输入园林点云个数，位置编码特征为c表示点云位置编码特征维度；
[0012]步骤1
‑
2，所述近邻点包括8近邻、16近邻和32近邻，采用点云多尺度邻域查询，得到点云8近邻编码16近邻编码以及32近邻编码
[0013]步骤1
‑
3，局部信息聚合，分别对点云8近邻点编码16近邻编码32近邻编码进行平均池化操作，得到8近邻信息16近邻信息16近邻信息32近邻信息
[0014]步骤1
‑
4，特征拼接，将逐点的位置编码特征f
pe
、8近邻信息16近邻信息以及32近邻信息在第二个维度上进行拼接，得到点云多尺度空间上下文信息
[0015]选择多种近邻信息可以让上下文信息中包含多尺度的信息，使得逐点的空间表征更加丰富，这也使得后文中的编码网络将多尺度信息编码到网络中。
[0016]进一步地，步骤1
‑
2中的点云多尺度邻域查询包含以下步骤：
[0017]步骤1
‑2‑
1，对输入园林点云构建KD树；
[0018]步骤1
‑2‑
2，根据KD树查询点云的8近邻点、16近邻点以及32近邻点索引2，根据KD树查询点云的8近邻点、16近邻点以及32近邻点索引
[0019]步骤1
‑2‑
3，根据近邻点索引查询位置编码特征f
pe
得到8近邻编码16近邻编码和32近邻编码
[0020]使用KD树检索近邻点的方法有利于降低算法的时间复杂度。
[0021]进一步地，步骤2包含以下步骤：
[0022]步骤2
‑
1，搭建局部Transformer编码网络
[0023]步骤2
‑
2，搭建全局Transformer编码网络所述全局Transformer编码网络包含一个键网络F
k
、一个值网络F
v
以及一个查询网络F
q
，所述键网络F
k
、值网络F
v
和值网络F
v
均包括一个全连接层，所述全连接层输入通道是4c，输出通道是c2，c2表示全局特征的维度；
[0024]步骤2
‑
3，使用最远点采样算法提取园林点云的关键点P
key
以及关键点描述子f
key
；
[0025]步骤2
‑
4，将点云多尺度空间上下文信息f
mssca
输入局部Transformer编码网络得到局部特征以及局部特征所对应的局部点索引I
loc
，其中m1表示局部特征的数量，c1表示局部特征的维度；将关键点描述子f
key
输入全局Transformer编码网络得到全局特征以及全局特征所对应的关键点索引I
glb
，其中m2表示全局特征的数量。
[0026]进一步地，步骤2
‑
3包含以下步骤：
[0027]步骤2
‑3‑
1，使用最远点采样算法提取点云关键点索引集合I
S
；
[0028]步骤2
‑3‑
2，根据点云关键点索引集合I
S
从园林点云提取园林点云的关键点P
key
＝P[I
S
]；根据点云关键点索引集合I
S
从点云多尺度空间上下文信息f
mssca
提取园林点云的关键点描述子f
key
＝f
mssca
[I
S
]。
[0029]提取关键点和关键描述子可以在减少计算开销的情况下，尽可能用少的资源来描述点云特征，在减少下文的计算量的同时，保证注意力机制的有效性。
[0030]进一步地，步骤2
‑
4全局特征f
glb
的计算步骤如下：
[0031]步骤2
‑4‑
1，键<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种上下文驱动的大规模园林场景点云语义分割方法，其特征在于，包括如下步骤：步骤1，多尺度空间上下文信息提取：提取点云逐点位置编码，并根据点云的近邻点聚合局部空间信息，最终通过特征拼接提取逐点多尺度空间上下文信息；步骤2，全局
‑
局部上下文提取：使用局部Transformer编码网络提取点云的局部特征，使用全局Transformer编码网络提取点云的全局特征；步骤3，全局
‑
局部上下文融合及Transformer解码：根据全局特征和局部特征的相关性融合点云的全局和局部的特征并使用Transformer解码器解码特征得到逐点的类别标签，完成点云语义分割。2.根据权利要求1所述的一种上下文驱动的大规模园林场景点云语义分割方法，其特征在于，步骤1包括以下步骤：步骤1
‑
1，对输入园林点云进行位置编码，获得逐点的位置编码特征，记输入园林点云N
p
表示输入园林点云个数，位置编码特征为c表示点云位置编码特征维度；步骤1
‑
2，所述近邻点包括8近邻、16近邻和32近邻，采用点云多尺度邻域查询，得到点云8近邻编码16近邻编码以及32近邻编码步骤1
‑
3，局部信息聚合，分别对点云8近邻点编码16近邻编码32近邻编码进行平均池化操作，得到8近邻信息16近邻信息16近邻信息32近邻信息步骤1
‑
4，特征拼接，将逐点的位置编码特征f
pe
、8近邻信息16近邻信息以及32近邻信息在第二个维度上进行拼接，得到点云多尺度空间上下文信息3.根据权利要求2所述的一种上下文驱动的大规模园林场景点云语义分割方法，其特征在于，步骤1
‑
2中的点云多尺度邻域查询包含以下步骤：步骤1
‑2‑
1，对输入园林点云构建KD树；步骤1
‑2‑
2，根据KD树查询点云的8近邻点、16近邻点以及32近邻点索引2，根据KD树查询点云的8近邻点、16近邻点以及32近邻点索引步骤1
‑2‑
3，根据近邻点索引查询位置编码特征f
pe
得到8近邻编码16近邻编码和32近邻编码4.根据权利要求3所述的一种上下文驱动的大规模园林场景点云语义分割方法，其特征在于，步骤2包含以下步骤：步骤2
‑
1，搭建局部Transformer编码网络步骤2
‑
2，搭建全局Transformer编码网络所述全局Transformer编码网络包含一个键网络F
k
、一个值网络F
v
以及一个查询网络F
q
，所述所述键网络F
k
、值网络F
v
和值网络F
v
均包括一个全连接层，所述全连接层输入通道是4c，输出通道是c2，c2表示全局特征的维度；步骤2
‑
3，使用最远点采样算法提取园林点云的关键点R
key
以及关键点描述子f
key
；
步骤2
‑
4，将点云多尺度空间上下文信息f
mssca
输入局部Transformer编码网络得到局部特征以及局部特征所对应的局部点索引I
loc
，其中m1表示局部特征的数量，c1表示局部特征的维度；将关键点描述子f
key
输入全局Transformer编码网络得到全局特征以及全局特征所对应的关键点索引I
glb
，其中m2表示全局特征的数量。5.根据权利要求4所述的一种上下文驱动的大规模园林场景点云语义分割方法，其特征在于，步骤2
‑
3包含以下步骤：步骤2
‑3‑
1，使用最远点采样算法提取点云关键点索引集合I
S
；步骤2
‑3‑
2，根据点云关键点索引集合I
S
从园林点云提取园林点云的关键点P
key
＝P[I
S
]；根据点云关键点索引集合I
S
从点云多尺度空间上下文信息f
mssca
提取园林点云的关键点描述子f
key
＝f
mssca
[I
S
]。6.根据权利要求5所述的一种上下文驱动的大规模园林场景点云语义分割方法，其特征在于，步骤2
‑
4全局特征f
glb
的计算步骤如下：步骤2
‑4‑
1，键
‑
值
‑
查询对生成，将关键点描述子f
key
输入键网络F
k
得到键得到键将关键点描述子f
key
输入值网络F
v
得到值将关键点描述子f
key
输入查询网络生成查询步骤2
‑4‑
2，注意力计算，根据键K
ey
、查询Q
eury...

【专利技术属性】
技术研发人员：孙正兴，孙蕴瀚，骆守桐，王一，
申请(专利权)人：南京大学，
类型：发明
国别省市：