基于多尺度聚类和掩码打分的三维点云实例分割方法技术

本发明专利技术公布了一种基于多尺度聚类和掩码的三维点云实例分割方法，基于深度网络模型预测三维点云的语义和物体中心，通过采用多尺度聚类算法得到聚类实例，再基于掩码和打分网络细化，得到最终的三维点云实例分割结果，从而有效分割多种物体。本发明专利技术能够解决单阈值聚类中不能有效分割多种间隔的物体和三维点云实例聚类中存在的噪声点的技术问题，提高三维点云实例分割的精度，提升实例分割效果。提升实例分割效果。提升实例分割效果。

【技术实现步骤摘要】
基于多尺度聚类和掩码打分的三维点云实例分割方法


[0001]本专利技术属于三维点云数据处理
，涉及基于深度学习的三维点云实例分割技术，具体涉及一种基于多尺度聚类和掩码打分的三维点云实例分割方法。

技术介绍

[0002]在三维点云数据处理领域的现有技术中，通过三维点云实例分割技术区分场景中各类别的各种物体个体。其中，Li Jiang等人提出三维点云实例分割方法PointGroup(Li Jiang, Hengshuang Zhao,Shaoshuai Shi,Shu Liu,ChiWing Fu,and Jiaya Jia.Pointgroup: Dual
‑
set point grouping for 3d instance segmentation.In CVPR,2020.)，该方法使用深度学习方法估计出三维空间中的物体中心点，再通过单一聚类阈值的聚类算法来得到初步的实例聚类，然后通过打分判断聚类得到的实例的好坏，从而实现对三维点云实例的分割。
[0003]但是，由于三维空间点云中的不同实例之间存在多种多样的空间间隔(如图1所示)，很难使用单一的聚类阈值对三维点云空间中的物体/实例进行有效聚类，而且聚类出来的点云实例可能会存在一些错误的噪声点。因此，现有的三维点云实例分割技术存在单一聚类阈值和聚类噪声点的问题，不能有效分割三维空间点云中多种间隔的物体，三维空间点云实例分割精度不高，三维点云实例分割的效果不佳。

技术实现思路

[0004]本专利技术的目的是提供一种基于多尺度聚类和掩码的三维点云实例分割方法，用以解决单阈值聚类中不能有效分割多种间隔的物体，以及三维点云实例聚类中存在的噪声点的技术问题，提高三维点云实例分割的精度，提升实例分割效果。
[0005]本专利技术的技术方案是：
[0006]一种基于多尺度聚类和掩码的三维点云实例分割方法，基于深度网络预测三维点云的语义和物体中心，通过采用多尺度聚类算法得到聚类实例，再基于掩码和打分网络细化，得到最终的三维点云实例分割结果，从而有效分割多种物体；本专利技术的方法包括如下步骤：
[0007]A.基于深度网络预测点云语义和物体中心，具体包括如下步骤：
[0008]A1.建立点云特征提取网络，输入为三维点的点云，输出为点云特征；
[0009]建立用于提取点云特征的深度神经网络Φ(
·
)，该点云特征提取网络以包含N个三维点的点云为输入，其中k0是输入三维点p
i
的特征维度，输入点云的特征一般是三维点p
i
坐标μ
i
＝(x
i
,y
i
,z
i
)和颜色q
i
＝(r
i
,g
i
,b
i
)。Φ(
·
)输出点云特征F＝Φ(P)，其中其中f
i
是每个输入三维点对应的提取特征，k1是提取特征的维度。
[0010]A2.建立用于生成点云语义的神经网络层，以点云特征F为输入，输出点云语义概率；
[0011]建立用于生成点云语义的神经网络层该网络层以点云特征F为输入，输出点云语义概率其中c
i
是每个三维点的语义概率，L是语义类别数。取最大概率对应的类别得到预测的语义标签s
i
为每个三维点的预测语义标签。在网络训练阶段，根据训练数据集中给定的真值语义标签其中为每个三维点的真值语义标签，以及所述网络预测的语义概率C，得到以下语义优化函数
[0012][0013]其中，是交叉熵函数，N为点云中三维点的个数，c
i
是每个三维点的语义概率，为每个三维点的真值语义标签。
[0014]A3.建立用于生成点云中心的神经网络层，以点云特征F为输入，输出点云的中心偏移量；
[0015]建立用于生成点云中心的神经网络层ψ(
·
)，该网络层以点云特征F为输入，输出中心偏移量其中是每个三维点在三个坐标轴方向上的偏移量。将预测的偏移量和原坐标相加，得到预测的点云中心其中o
i
＝μ
i
+d
i
是每个三维点的中心坐标位置。在网络训练阶段，根据训练数据集合中得到的真值偏移量偏移量其中是每个三维点在三个坐标轴方向上的真值偏移量，以及所述网络预测的偏移量D，得到以下偏移量优化函数：
[0016][0017]其中，I是真值实例，|I|是真值实例的个数，N
j
是真值实例I
j
中点的数量。
[0018]B.根据上述网络预测的点云语义标签S和点云中心O，进行多尺度聚类，得到初始候选实例；多尺度聚类具体包括如下步骤：
[0019]B1.设定聚类次数为H；
[0020]B2.在其中的第h次聚类中，给定一个聚类阈值T
h
，将具有相同点云语义标签且与点云中心的距离小于T
h
的个三维点p
j
聚类成一个实例将本次聚类得到的|G
h
|个实例组成一组实例
[0021]更具体地，在包含N个三维点的点云中，每个三维点p
i
都对应有一个网络预测的语义标签s
i
和预测的中心o
i
。遍历每个三维点，如果三维点p
i
和p
j
的语义相同，即s
i
＝s
j
，且||o
i
‑
o
j
||<T
h
，那么将p
i
和p
j
放入同一个实例中。
[0022]B3.给定一个比T
h
更大的聚类阈值T
h+1
，将具有相同的点云语义标签且与点云中心的距离小于T
h+1
的实例进行聚类，得到一组更大的实例
[0023]B4.重复B3聚类H次，将H次聚类得到的不同的聚类实例收集起来，作为初始候选实例|G|为初始候选实例中元素的数目；最终得到的|G|个候选实例中，每个候选实例由属于该候选实例的|G
i
|个三维点p
j
构成，|G
i
|为每个候选实例中三维点的数目；记|G|个候选实例总共包含个点。。
[0024]C.根据上述聚类得到的初始候选实例G，采用掩码打分的网络结构来对初始候选实例G进行细化并打分，得到的分数用于步骤D的非极大值抑制算法中；具体包括如下步骤：
[0025]C1.根据候选实例从点云特征中选出对应的实例的特征U。
[0026]更具体地，在包含N个三维点的点云中，每个三维点p
i
都对应有一个点云特征提取网络Φ(
·
)提取的特征f
i
，同时，每个候选实例都由一系列三维点构成，将其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度聚类和掩码的三维点云实例分割方法，基于深度网络模型预测三维点云的语义和物体中心，通过采用多尺度聚类算法得到聚类实例，再基于掩码和打分网络细化，得到最终的三维点云实例分割结果，从而有效分割多种物体；包括如下步骤：A.基于深度网络预测点云语义和物体中心，具体包括如下步骤：A1.建立点云特征提取网络，输入为三维点的点云，输出为点云特征；建立用于提取点云特征的深度神经网络Φ(
·
)，为点云特征提取网络；对于包含N个三维点的点云其中k0是输入三维点p
i
的特征维度，N为点云中三维点的个数；该点云特征提取网络输入点云特征为点云坐标μ
i
＝(x
i
，y
i
，z
i
)和颜色q
i
＝(r
i
，g
i
，b
i
)；输出为点云特征F＝Φ(P)，其中f
i
是每个输入三维点p
i
对应的提取特征，k1是提取特征的维度；A2.建立用于生成点云语义的神经网络层，以点云特征F为输入，输出点云语义概率；建立用于生成点云语义的神经网络层该神经网络层以点云特征F为输入，输出点云语义概率其中c
i
是每个三维点的语义概率，L是语义类别数；获取最大语义概率对应的类别，得到预测的语义标签s
i
为每个三维点的预测语义标签；在网络训练阶段，根据训练数据集中给定的真值语义标签和点云语义概率C，得到语义优化函数表示为：其中，是交叉熵函数，为每个三维点的真值语义标签；A3.建立用于生成点云中心的神经网络层，以点云特征F为输入，输出点云的中心偏移量；建立用于生成点云中心的神经网络层ψ(
·
)，该网络层以点云特征F为输入，输出中心偏移量其中是每个三维点在三个坐标轴方向上的偏移量；将预测的偏移量和原坐标相加，得到预测的点云中心其中o
i
＝μ
i
+d
i
是每个三维点的中心坐标位置；在网络训练阶段，根据训练数据集合中得到的真值偏移量以及网络预测的偏移量D，得到偏移量优化函数表示为：其中，I是真值实例，|I|是真值实例的个数，N
j
是真值实例I
j
中点的数量；是每个三维点在三个坐标轴方向上的真值偏移量；B.根据网络预测的点云语义标签S和点云中心O进行多尺度聚类，得到初始候选实例得到初始候选实例每个候选实例由属于该候选实例的|G
i
|个三维点p
j
构成；记为|G|个候选实例总共包含个点；
C.采用掩码打分的网络结构对初始候选实例G进行细化并打分得到分数；包括如下步骤：C1.根据候选实例从点云特征中选出对应的实例的特征U；C2.建立用于生成实例掩码的网络层η(
·
)，以U为该网络层的输入，输出实例掩码概率输出实例掩码概率C3.通过网络预测得到的掩码概率得到掩码其中m
i
是每个三维点的掩码值；b
i
是每个三维点的掩码概率；C4.在网络训练阶段，根据训练数据集得到的真值掩码和网络预测得到的掩码概率B，得到掩码优化函数表示为：其中，|G|为候选实例的个数；N
g
是第g个候选实例中三维点的个数；是每个三维点的掩码值；C5.建立提取实例打分特征的网络层ω(
·
)，该网络层以U为输入，输出实例打分的特征E
g
＝η(U)，其中其中是每个实例对应的打分特征；k2是输出实例特征的维度；C6.根据上述得到的掩码M，通过掩码池化层对E
g
进行掩码池化，池化的方向是每个实例中的每个点，得到掩码的打分...

【专利技术属性】
技术研发人员：钟敏，曾钢，
申请(专利权)人：北京大学，
类型：发明
国别省市：