一种基于动态滤波和逐点相关的点云实例语义分割方法技术

本发明专利技术涉及一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。更加准确的点云实例语义分割结果。更加准确的点云实例语义分割结果。

【技术实现步骤摘要】
一种基于动态滤波和逐点相关的点云实例语义分割方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于动态滤波和逐点相关的点云实例语义分割方法。

技术介绍

[0002]点云实例语义联合分割的主要思想是利用语义特征和实例嵌入特征的优势相互促进，提高语义分割和实例分割的结果。这是因为语义分割和实例分割在某些方面是有共同之处的，例如：属于不同语义类别的点一定是属于不同的实例，属于同一个实例的点也一定属于同一个语义类别。下面将从点云实例语义分割和点云上下文信息建模两个方面对相关
技术介绍
进行介绍。
[0003]近年来，基于深度学习的方法已经被广泛应用到点云的处理中。Pham等人提出了一种基于多任务的逐点网络来分别预测点云的语义类别和实例嵌入向量，然后使用一个多值条件随机场作为后处理来生成实例对象。然而，将条件随机场作为卷积神经网络的后处理，很难去探索这两者组合的性能是怎样的，并且该方法也没有对语义分割和实例分割能否相互促进进行研究。同期，Wang等人也提出了一种在点云中联合分割实例和语义的方法。该方法通过全连接层将语义特征转换到实例特征空间和实例特征融合，同时通过K近邻将实例特征聚合到语义特征空间和语义特征进行融合。然而，该方法在训练过程中会生成一个高阶的稀疏矩阵，带来巨大的显存消耗。Liu等人借用半监督的思想将点云样本划分到两个子集中，在给定其中一个子集的标签的情况下使用标签传播算法来预测另一个子集的标签。然而，该方法需要构建稠密图来实现标签从一个子集到另一个子集的传播，当点云中点的数量以及特征维度较大时，构建的稠密图将会变得非常复杂，不利于存储和计算。He等人提出一种记忆增强网络来解决点云分割任务中的类别不平衡和模式不平衡问题，该方法通过学习和记忆具有代表性的覆盖广泛的不同样本的原型来解决所提到的两个不平衡问题。然而，该方法需要存储和记忆大量的不同实例样本的原型，需要消耗更多的显存。
[0004]此前的大多数方法仅考虑了中心点及其邻居点的关系，并以此来建模点云中的局部上下文信息。Zhao等人通过使用MLP(Multilayer Perceptron，多层感知机)对局部邻域中所有的点对的边进行加权来建模点云的局部相关性。然而，该方法仅对点云中的局部相关性进行了建模。此外，在计算过程中需要所有的点对的边，带来了巨大的存储和计算开销。Wang等人提出一种基于图的注意卷积来捕捉点云中的结构特征。进一步的，Han等人通过构造一个局部和非局部邻接矩阵来分别对对应区域中的每个节点进行加权，从而实现对点云的局部和全局相关进行建模。然而，该方法仅考虑了空间的逐点相关，而忽略了通道特征上的逐点相关建模。

技术实现思路

[0005]本专利技术针对现有技术中存在的技术问题，提供一种基于动态滤波和逐点相关的点云实例语义分割方法，采用动态滤波提取点云特征；二是对点云的进行逐点相关建模，并利
用语义特征和实例嵌入特征的优势进行互补，进一步提高点云分割的准确率。
[0006]根据本专利技术的第一方面，提供了一种基于动态滤波和逐点相关的点云实例语义分割方法，包括：步骤1，对输入的点云进行预处理和采样得到输入点云；
[0007]步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器；
[0008]步骤3，提取点云的实例嵌入特征和语义特征；
[0009]步骤4，利用所述语义特征和实例嵌入特征对点云进行逐点相关建模；
[0010]步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。
[0011]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0012]可选的，所述步骤1中对输入的点云进行预处理的过程包括：
[0013]对点云的坐标进行归一化处理；
[0014]对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，所述设定步长小于所述设定大小；
[0015]对每个所述重叠块进行随机采样得到设定数量的点云作为输入点云。
[0016]可选的，所述步骤2中计算点云密度信息的过程包括：
[0017]采用球半径查询每个点在球内的近邻点，使用核密度估计方法估计得到该点的密度；
[0018]得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。
[0019]可选的，所述步骤2中根据点云的几何信息和密度信息生成所述滤波器的过程包括：
[0020]获取点云的空间几何坐标信息N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻N
i
＝{N
ij
|j＝1,2,
…
K,andK≤N}，计算每个近邻点的相对位移N
ij
‑
P
i
，对所述相对位移N
ij
‑
P
i
应用MLP生成几何信息的滤波器mlp(N
ij
‑
P
i
)；
[0021]对点云的密度信息应用MLP生成密度信息的滤波器mlp(S
ij
)；
[0022]将两种滤波器相加融合得到所述滤波器f
ij
＝mlp(N
ij
‑
P
i
)+mlp(S
ij
)。
[0023]可选的，所述步骤3中提取点云的实例特征和语义特征的过程包括：
[0024]步骤301，通过特征编码器对点云的特征进行变换，利用所述滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取；
[0025]步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。
[0026]可选的，所述步骤301中所述特征编码器对点云的特征进行变换的过程包括：对点云的特征查找近邻特征H
i
＝{H
ij
|j＝1,2,
…
,KandK≤N}，并对所述近邻特征H
i
使用MLP进行变换得到mlp(H
ij
)；
[0027]所述步骤301中对点云的特征进行提取表示为：
⊙
表示深度分离卷积；
[0028]所述步骤302中，所述特征解码器使用基于三近邻的逆距离平方加权来实现点云的上采样后，使用MLP进一步对点云的特征进行抽象。
[0029]可选的，所述步骤4中对点云逐点相关建模的过程包括：分别从全局和局部去建模
点云的空间相关和通道特征相关，并利用所述语义特征和实例嵌入特征的优势相互融合促进。
[0030]可选的，所述步骤4中进行点云局部相关建模的过程包括：
[0031]以点云中每个点为中心，计算所述步骤4中提取的语义特征的K近邻特征C表示特征维度；
[0032]使用MLP变换特征维度到两个低维空间和和α设置为8：
[0033][0034]对空间相关权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态滤波和逐点相关的点云实例语义分割方法，其特征在于，所述语义分割方法包括：步骤1，对输入的点云进行预处理和采样得到输入点云；步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器；步骤3，提取点云的实例嵌入特征和语义特征；步骤4，利用所述语义特征和实例嵌入特征对点云进行逐点相关建模；步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。2.根据权利要求1所述的语义分割方法，其特征在于，所述步骤1中对输入的点云进行预处理的过程包括：对点云的坐标进行归一化处理；对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，所述设定步长小于所述设定大小；对每个所述重叠块进行随机采样得到设定数量的点云作为输入点云。3.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2中计算点云密度信息的过程包括：采用球半径查询每个点在球内的近邻点，使用核密度估计方法估计得到该点的密度；得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。4.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2中根据点云的几何信息和密度信息生成所述滤波器的过程包括：获取点云的空间几何坐标信息N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻N
i
＝{N
ij
|j＝1，2，...K，and K≤N}，计算每个近邻点的相对位移N
ij
‑
P
i
，对所述相对位移N
ij
‑
P
i
应用MLP生成几何信息的滤波器mlp(N
ij
‑
P
i
)；对点云的密度信息应用MLP生成密度信息的滤波器mlp(S
ij
)；将两种滤波器相加融合得到所述滤波器f
ij
＝mlp(N
ij
‑
P
i
)+mlp(S
ij
)。5.根据权利要求1所述的语义分割方法，其特征在于，所述步骤3中提取点云的实例特征和语义特征的过程包括：步骤301，通过特征编码器对点云的特征进行变换，利用所述滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取；步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。6.根据权利要求5所述的语义分割方法，其特征在于，所述步骤3...

【专利技术属性】
技术研发人员：陶文兵，赵蔺，刘李漫，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：