一种基于稀疏实例提议和聚合的点云全景分割方法技术

本发明专利技术涉及3D视觉技术领域，提出了一种基于稀疏实例提议和聚合的点云全景分割方法，基于“采样

【技术实现步骤摘要】
一种基于稀疏实例提议和聚合的点云全景分割方法


[0001]本专利技术涉及3D视觉
，具体是涉及一种基于稀疏实例提议和聚合的点云全景分割方法。

技术介绍

[0002]LiDAR全景分割(LPS)在使用点云进行3D场景理解中发挥着重要作用，这是许多机器人应用(如自动驾驶)的基本任务。LPS将语义分割和实例分割结合在一个框架中，为场景中的点提供语义标签和属于实例(物体)的点的实例ID。随着大规模点云基准的出现，例如SemanticKITTI和nuScenes，LPS已经取得了快速进展。然而，由于点云的稀疏、无序和非均匀采样特性，进行可靠的全景分割仍然具有极高的挑战性。
[0003]现有的LPS方法主要可以分为基于检测的方法和基于聚类的方法。前者利用3D目标检测网络来发现实例，但通常受到检测精度的限制。后者通过中心回归和聚类算法实现实例分割。对于基于聚类的方法，聚类性能很容易受到回归中心点分布的影响。我们发现，大多数现有方法都严重依赖可学习偏移分支来为中心回归提供几何偏移量。然而，由于LiDAR点云的稀疏性、非均匀密度以及各种形状/大小的实例，很难预测理想的几何偏移量。最近，DSNet设计了一个可学习动态偏移(DS)模块来迭代地将回归中心点进一步移动到聚类中心点，但是移动后的中心点可能与真实实例中心不匹配，这种不一致可能会降低DSNet模块的学习效果。

技术实现思路

[0004]针对上述问题，本专利技术提出了一种非学习的稀疏实例提议(SIP)模块，可以直接从物体的原始点中高效地聚类实例。本专利技术采用“采样
‑
移动
‑
聚类”方案设计了SIP模块。具体来说，为了避免由于移动和聚类所有物体点而导致的显著计算负担和内存开销，本专利技术引入了平衡点采样(BPS)策略，所提出的BPS生成稀疏种子点，并在距离范围内更均匀地分布，同时实现点采样和分配，提高了效率。此外，本专利技术设计了一种简单但有效的移动模块“气泡收缩”(BS)，可以迭代地将种子点高效而精确地移动到聚类中心；最后，本专利技术通过连通组分标记(CCL)算法将移动后的点聚类成实例，该算法可以通过高效的深度优先搜索来实现。由于BPS、BS和基于CCL的分组的级联设计，本专利技术的非学习的SIP模块是有效且高效的，并且可以轻松地以即插即用方式扩展到其他骨干网络和数据集中。
[0005]然而，由于LiDAR点云的稀疏性，聚类算法(包括本专利技术的SIP模块)在分组大型物体(如卡车和公共汽车)时可能会生成碎片化/过度分割的实例。为了提高实例分割的完整性，本专利技术提出了一个实例聚合(IA)模块来进一步整合潜在的碎片化实例。具体而言，本专利技术应用KNN
‑
Transformer来增强实例提议之间的交互，并通过实例相似度将属于同一实例ID的实例提议合并。本专利技术的IA模块可以补充SIP模块，进一步提高大型物体的分割性能。
[0006]为了实现上述目的，本专利技术提供一种基于稀疏实例提议和聚合的点云全景分割方法，包括以下步骤：
[0007]S1、基于“采样
‑
移动
‑
聚类”的方式构建稀疏实例提议模块，输出实例提议；
[0008]S2、基于KNN
‑
Transformer构建实例聚合模块对所述稀疏实例提议模块产生的潜在的碎片化的实例进行聚合，输出精确完整的实例分割结果；
[0009]S3、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于稀疏实例提议和聚合的点云全景分割方法；
[0010]S4、利用所述基于稀疏实例提议和聚合的点云全景分割方法对新的点云进行全景分割。
[0011]优选的，所述步骤S1具体包括以下步骤：
[0012]S11、构建平衡点采样策略，对前景点进行稀疏采样，获得稀疏种子点X∈
M
×3，以降低计算负担和内存消耗；
[0013]S12、构建“气泡收缩”移动模块，将所述稀疏种子点X∈
M
×3往实例中心迭代式地移动，使得属于不同实例的种子点分离而属于相同实例的种子点聚合；
[0014]S13、使用基于深度优先搜索的连通组分标记算法对移动后的所述稀疏种子点进行聚类，并将其他未采样点分配到对应种子点所属的簇，得到最终实例提议点簇N为点簇数，P
i
为第i个点簇中的点的集合。
[0015]优选的，所述平衡点采样策略具体为：使用体素化操作将输入的点云分成体素块，然后将同一体素中的点求平均值作为该体素中所有点所对应的种子点；该种子点支配所在体素中的所有点，包括语义类别和实例ID；所述体素化操作具体为：
[0016]给定点云P中一点p
i
＝(x
i
，y
i
，z
i
)，它的体素索引其中s为体素化的分辨率，为向下取整操作；具有相同体素索引的所有点在同一体素块内；
[0017]所述“气泡收缩”移动模块具体为：首先经验性地给出各类别实例的最小半径r
c
，将所有种子点作为顶点建立一个连接图，如果两个顶点属于同一个类别c且它们之间的距离小于最小半径r
c
，则它们相连；然后为每个种子点分配一个气泡，该气泡包含连接到这个种子点的所有点，气泡根据其中的点会迭代式地进行收缩，以达到属于相同实例的种子点聚集而属于不同实例的种子点分离的效果；收缩过程如下所示：
[0018]D＝diag(K1)，X＝X
T
[0019]for i
←
to L do
[0020]X＝XD
‑
1K
[0021]end
[0022]X
′
＝X
T
[0023]其中，K为构建的连接图的连接矩阵，L为迭代次数，默认为4；
[0024]所述连通组分标记算法具体为：以平移后的种子点为顶点建立连通图，如果两个顶点属于同一个类别且他们之间的距离小于该类别对应的最小半径，则他们相连，然后用连通组分标记算法找出各个簇；连通组分标记中的最小半径设置为所述“气泡收缩”移动模块中的r
c
的一半。
[0025]优选的，所述步骤S2具体包括以下步骤：
[0026]S21、根据所述稀疏实例提议模块输出的实例提议点簇和点云特征，提取对应的实例特征
[0027]S22、使用KNN
‑
Transformer对所述实例特征之间的依赖进行建模，输出增强后的实例特征
[0028]S23、使用轻量级多层感知机，根据两两实例之间的特征和中心点位置计算相似度，若相似度大于一定阈值，则将这两个实例进行合并。
[0029]优选的，所述步骤S21的具体过程为：
[0030]g
i
＝MaxPool(MLP([F
i
,P
i
])
[0031]其中，MLP为多层感知机，MaxPool为最大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，包括以下步骤：S1、基于“采样
‑
移动
‑
聚类”的方式构建稀疏实例提议模块，输出实例提议；S2、基于KNN
‑
Transformer构建实例聚合模块对所述稀疏实例提议模块产生的潜在的碎片化的实例进行聚合，输出精确完整的实例分割结果；S3、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于稀疏实例提议和聚合的点云全景分割方法；S4、利用所述基于稀疏实例提议和聚合的点云全景分割方法对新的点云进行全景分割。2.根据权利要求1所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤S1具体包括以下步骤：S11、构建平衡点采样策略，对前景点进行稀疏采样，获得稀疏种子点以降低计算负担和内存消耗；S12、构建“气泡收缩”移动模块，将所述稀疏种子点往实例中心迭代式地移动，使得属于不同实例的种子点分离而属于相同实例的种子点聚合；S13、使用基于深度优先搜索的连通组分标记算法对移动后的所述稀疏种子点进行聚类，并将其他未采样点分配到对应种子点所属的簇，得到最终实例提议点簇N为点簇数，P
i
为第i个点簇中的点的集合。3.根据权利要求2所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述平衡点采样策略具体为：使用体素化操作将输入的点云分成体素块，然后将同一体素中的点求平均值作为该体素中所有点所对应的种子点；该种子点支配所在体素中的所有点，包括语义类别和实例ID；所述体素化操作具体为：给定点云P中一点p
i
＝(x
i
,y
i
,z
i
)，它的体素索引其中s为体素化的分辨率，为向下取整操作；具有相同体素索引的所有点在同一体素块内；所述“气泡收缩”移动模块具体为：首先经验性地给出各类别实例的最小半径r
c
，将所有种子点作为顶点建立一个连接图，如果两个顶点属于同一个类别c且它们之间的距离小于最小半径r
c
，则它们相连；然后为每个种子点分配一个气泡，该气泡包含连接到这个种子点的所有点，气泡根据其中的点会迭代式地进行收缩，以达到属于相同实例的种子点聚集而属于不同实例的种子点分离的效果；收缩过程如下所示：D＝diag(K1),X＝X
T
fori
←
to L doX＝XD
‑1KendX
′
＝X
T
其中，K为构建的连接图的连接矩阵，L为迭代次数，默认为4；所述连通组分标记算法具体为：以平移后的种子点为顶点建立连通图，如果两个顶点属于同一个类别且他们之间的距离小于该类别对应的最小半径，则他们相连，然后用连通组分标记算法找出各个簇；连通组分标记中的最小半径设置为所述“气泡收缩”移动模块中的r
c
的一半。
4.根据权利要求3所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤S2具体包括以下步骤：S21、根据所述稀疏实例提议模块输出的实例提议点簇和点云特征，提取对应的实例特征S22、使用KNN
‑
Transformer对所述实例特征之间的依赖进行建模，输出增强后的实例特征S23、使用轻量级多层感知机，根据两两实例之间的特征和中心点位置计算相似度，若相似度大于一定阈值，则将这两个实例进行合并。5.根据权利要求4所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤S21的具体过程为：g
i
＝MaxPool(MLP([F
i
,P
i
])其中，MLP为多层感知机，MaxPool为最大池化函数，F
i
,P
i
分别为点簇的特征和坐标集合；所提取的实例特征的特征维...

【专利技术属性】
技术研发人员：刘勇，梅剑标，
申请(专利权)人：浙江大学，
类型：发明
国别省市：