一种基于实例中心编码的点云全景分割系统及方法技术方案

本发明专利技术提出一种基于实例中心编码的点云全景分割系统，包括：骨干网络，用于提取点云数据的点云特征；语义预测分支，用于语义预测；实例中心提议网络，基于点云数据和点云特征计算生成3D实例中心和实例中心特征编码；Transformer模块，收集实例中心点周围和实例中心点之间的上下文信息，输出增强后的实例中心编码特征；动态卷积网络，用于生成实例掩码预测结果；掩码融合模块，用于融合语义预测结果和实例掩码预测结果，得到最终的点云全景分割结果；本发明专利技术提出了一种新的无检测和无聚类的LiDAR全景分割系统，通过中心来定位和分割实例，蕴含了位置和实例特征，可以用于表示并区分不同实例，用于实际全景分割时，性能优异。性能优异。性能优异。

【技术实现步骤摘要】
一种基于实例中心编码的点云全景分割系统及方法


[0001]本专利技术涉及3D视觉的
，具体涉及一种基于实例中心编码的点云全景分割系统及方法。

技术介绍

[0002]激光雷达(LiDAR)是自动驾驶和机器人技术中感知和感知的关键工具，提供了环境的高精度3D点云数据。通常，LiDAR分割旨在预测点级分割，以更全面地理解3D场景。LiDAR全景分割(LPS)，是一个广泛存在的3D场景理解问题。LPS将语义分割和实例分割任务统一起来，为LiDAR点云中的每个点分配语义类别和实例ID。它需要解析物体(例如道路、建筑物和植被)并识别物体(例如汽车、骑车人和行人)。LiDAR点云可能稀疏、嘈杂和遮挡，这使得提供准确的分割和区分不同实例变得困难。尽管存在这些挑战，深度学习的最新进展在LPS方面取得了显著进展。为了获得可靠的LiDAR全景分割，一个关键问题是准确定位和分割实例。
[0003]关于实例分割的实现，大多数现有方法有两个方向，即基于检测和基于聚类的方法，来解决这些挑战。基于检测的方法采用自上而下的策略，依赖于目标检测作为独立分支来预测区域提议，并根据提议进行实例分割。然而，这些方法严重依赖于检测器的性能，并且用于目标定位的区域提议生成过程涉及大量的计算开销。另一方面，基于聚类的方法利用偏移分支预测的几何偏移隐式定位实例，并采用启发式聚类算法以自下而上的方式对实例进行分组。然而，启发式实例分组的过程通常耗时，并且这些方法通常引入许多手工调整的超参数，这些超参数很敏感，限制了鲁棒性，并可能导致实践中的过分割问题。<br/>
技术实现思路

[0004]针对上述问题，本专利技术提出了一种基于实例中心编码的点云全景分割系统及方法，提出一种新的无检测和无聚类的LiDAR全景分割框架(CenterLPS)，通过中心来定位和分割实例，以解决上述问题。
[0005]为了本专利技术的目的，本专利技术通过以下技术方案实现：
[0006]一种基于实例中心编码的点云全景分割系统，包括：
[0007]骨干网络，用于提取点云数据的点云特征；
[0008]语义预测分支，用于对点云特征进行语义预测得到语义预测结果；
[0009]实例中心提议网络，基于点云数据和点云特征计算生成3D实例中心和实例中心特征编码；
[0010]Transformer模块，基于3D实例中心和实例中心特征编码收集实例中心点周围和实例中心点之间的上下文信息，输出增强后的实例中心编码特征；优选的，Transformer模块为具有中心感知的Transformer模块；
[0011]动态卷积网络，基于增强后的实例中心编码特征生成实例掩码预测结果；
[0012]掩码融合模块，用于融合语义预测结果和实例掩码预测结果，得到最终的点云全
景分割结果。
[0013]作为优选的，实例中心提议网络包括：
[0014]偏移头，用于预测前景点和该前景点所属实例中心之间的位置偏移量；优选的，偏移头由两层全连接层组成；
[0015]2D伪热图，由偏移后的前景点划分柱体后投影到BEV平面生成，用于生成3D实例中心和实例中心特征编码。
[0016]作为优选的，Transformer模块包括编码块，优选的，Transformer模块包括2个串联的编码块，编码块包括串联的多头自注意力模块、多头交叉注意力模块和前馈神经网络；
[0017]多头自注意力模块对输入的3D实例中心和实例中心特征编码进行全局建模，建立实例中心点之间的关联，输出实例特征；
[0018]多头交叉注意力模块以多头自注意力机制输出的实例特征作为输入，使用局部机制，使每个实例中心点能够和该实例中心点周围的点的特征进行交互，对实例内点之间局部关系建模；
[0019]前馈神经网络将多头交叉注意力模块的多个头的输出结果进行融合，输出增强后的实例中心编码特征；
[0020]作为优选的，动态卷积网络包括：
[0021]动态核分支，基于增强后的实例中心编码特征，为每个实例生成动态参数；
[0022]掩码分支，用于提取点云特征的掩码特征；优选的，掩码分支由两层线性层组成；
[0023]浅层卷积网络，基于动态核分支生成的动态参数进行初始化，用于对掩码分支提取的掩码特征进行卷积，得到实例掩码预测结果；优选的，浅层卷积网络由两层1
×
1卷积层组成；
[0024]一种基于实例中心编码的点云全景分割方法，其特征在于，包括以下步骤：
[0025]步骤S1：使用骨干网络从点云数据中提取点云特征，将点云特征输入语义预测分支进行语义预测得到语义预测结果；
[0026]步骤S2：将点云数据和点云特征一起输入到实例中心提议网络进行计算，得到3D实例中心和实例中心特征编码；
[0027]步骤S3：将3D实例中心和实例中心特征编码输入Transformer模块，收集实例中心点周围和实例中心点之间的上下文信息，得到增强的实例中心编码特征；优选的，Transformer模块为具有中心感知的Transformer模块；
[0028]步骤S4：基于增强后的实例中心编码特征，使用动态卷积网络生成实例掩码预测结果；
[0029]步骤S5：使用掩码融合模块融合语义预测结果和实例掩码预测结果，得到最终的点云全景分割结果。
[0030]作为优选的，步骤S1具体包括以下步骤：
[0031]步骤S11：将点云数据P输入到骨干网络，先进行体素化后得到体素特征，然后输入到多阶段3D稀疏卷积网络中提取多尺度3D特征；
[0032]步骤S12：将体素特征和多尺度3D特征反投影，得到蕴含多尺度和丰富上下文信息的点云特征；反投影为对于待分割的点云数据中的一点p
i
，根据它的体素索引V
i
可对体素特征进行索引，得到该点对应的特征f
p
。
[0033]步骤S13：将蕴含多尺度和丰富上下文信息的点云特征沿通道维度进行拼接，并使用全连接网络融合这些特征，得到最终编码的点云特征F
p
；
[0034]步骤S14：将最终编码的点云特征F
p
输入到由两层全连接层组成的语义预测分支进行语义预测，得到语义预测结果。
[0035]作为优选的，步骤S2具体包括以下步骤：
[0036]步骤S21：将点云数据和点云特征输入到实例中心提议网络，点云特征和点云数据先输入到由两层全连接层组成的偏移头，通过偏移头预测前景点和所属实例中心之间的位置偏移量O；作为优选的，训练时使用如下损失来优化预测：
[0037][0038]其中，M＝(m1,
…
,m
N
)是表示是否为前景点的二进制掩码，若点p
i
为前景点则m
i
为1否则为0；为点p
i
所属实例中心；
[0039]步骤S22：根据位置偏移量O将前景点往实例中心偏移，使属于同一实例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例中心编码的点云全景分割系统，其特征在于，包括：骨干网络，用于提取点云数据的点云特征；语义预测分支，用于对所述点云特征进行语义预测得到语义预测结果；实例中心提议网络，基于点云数据和所述点云特征计算生成3D实例中心和实例中心特征编码；Transformer模块，基于3D实例中心和实例中心特征编码收集实例中心点周围和实例中心点之间的上下文信息，输出增强后的实例中心编码特征；动态卷积网络，基于增强后的实例中心编码特征生成实例掩码预测结果；掩码融合模块，用于融合所述语义预测结果和所述实例掩码预测结果，得到最终的点云全景分割结果。2.根据权利要求1所述的一种基于实例中心编码的点云全景分割系统，其特征在于，所述实例中心提议网络包括：偏移头，用于预测前景点和该前景点所属实例中心之间的位置偏移量；2D伪热图，由偏移后的前景点划分柱体后投影到BEV平面生成，用于生成3D实例中心和实例中心特征编码。3.根据权利要求1所述的一种基于实例中心编码的点云全景分割系统，其特征在于，所述Transformer模块包括编码块，所述编码块包括串联的多头自注意力模块、多头交叉注意力模块和前馈神经网络；所述多头自注意力模块对输入的3D实例中心和实例中心特征编码进行全局建模，建立实例中心点之间的关联，输出实例特征；所述多头交叉注意力模块以多头自注意力机制输出的实例特征作为输入，使用局部机制，使每个实例中心点能够和该实例中心点周围的点的特征进行交互，对实例内点之间局部关系建模；所述前馈神经网络将多头交叉注意力模块的多个头的输出结果进行融合，输出增强后的实例中心编码特征。4.根据权利要求1所述的一种基于实例中心编码的点云全景分割系统，其特征在于，所述动态卷积网络包括：动态核分支，基于增强后的实例中心编码特征，为每个实例生成动态参数；掩码分支，用于提取点云特征的掩码特征；浅层卷积网络，基于所述动态核分支生成的动态参数进行初始化，用于对所述掩码分支提取的掩码特征进行卷积，得到实例掩码预测结果。5.一种基于实例中心编码的点云全景分割方法，其特征在于，包括以下步骤：步骤S1：使用骨干网络从点云数据中提取点云特征，将所述点云特征输入语义预测分支进行语义预测得到语义预测结果；步骤S2：将点云数据和所述点云特征一起输入到实例中心提议网络进行计算，得到3D实例中心和实例中心特征编码；步骤S3：将所述3D实例中心和实例中心特征编码输入Transformer模块，收集实例中心点周围和实例中心点之间的上下文信息，得到增强的实例中心编码特征；步骤S4：基于增强后的实例中心编码特征，使用动态卷积网络生成实例掩码预测结果；
步骤S5：使用掩码融合模块融合所述语义预测结果和所述实例掩码预测结果，得到最终的点云全景分割结果。6.根据权利要求5所述的一种基于实例中心编码的点云全景分割方法，其特征在于，所述步骤S1包括以下步骤：步骤S11：将点云数据P输入到骨干网络，先进行体素化后得到体素特征，然后输入到多阶段3D稀疏卷积网络中提取多尺度3D特征；步骤S12：将所述体素特征和所述多尺度3D特征反投影，得到蕴含多尺度和丰富上下文信息的点云特征；所述反投影为对于待分割的点云数据中的一点p
i
，根据它的体素索引V
i
可对体素特征进行索引，得到该点对应的特征f
p
；步骤S13：将所述蕴含多尺度和丰富上下文信息的点云特征沿通道维度进行拼接，并使用全连接网络融合这些特征，得到最终编码的点云特征F
p
；步骤S14：将所述最终编码的点云特征F
p
输入到由两层全连接层组成的语义预测分支进行语义预测，得到语义预测结果。7.根据权利要求5所述的一种基于实例中心编码的点云全景分割方法，其特征在于，所述步骤S2包括以下步骤：步骤S21：将点云数据和所述点云特征输入到实例中心提议网络，所述点云特征和点云数据先输入到由两层全连接层组成的偏移头，通过所述偏移头预测前景点和所属实例中心之间的位置偏移量O；步骤S22：根据所述位置偏移量O将前景点往实例中心偏移，使属于同一实例的点...

【专利技术属性】
技术研发人员：刘勇，梅剑标，
申请(专利权)人：浙江大学，
类型：发明
国别省市：