一种跨场景对比学习的弱监督点云语义分割方法技术

一种跨场景对比学习的弱监督点云语义分割方法，涉及三维点云处理领域。1)对弱监督数据集中每个场景的点云数据进行预训练，初始化网络参数，得到模型输出的特征向量和类别预测分布；2)利用现有的网络为无标签样本推理生成其相应的伪标签，并使用动态阈值窗的方法选取一部分可信赖的伪标签；3)利用跨场景的对比约束更新网络参数：添加跨场景对比正则化约束，以更新网络的参数；4)迭代地进行步骤2)和3)，直至模型收敛。在要求不同场景点云相同类别的类别原型具有紧凑性的同时要求不同类别的类别原型之间具有分散性。不需要精心设计数据增加方法，有效降低噪声伪标签对于模型性能的影响。可用于自动驾驶，增强现实设备等。增强现实设备等。增强现实设备等。

【技术实现步骤摘要】
一种跨场景对比学习的弱监督点云语义分割方法


[0001]本专利技术涉及三维点云处理领域，尤其涉及一种跨场景对比学习的弱监督点云语义分割方法。

技术介绍

[0002]三维点云语义分割因为其应用前景以及实际应用价值，近年来受到广泛的关注，并涌现出许多优秀的方法。这些方法大致分为三大类：基于体素的方法、基于二维投影的方法和基于点的方法。相比于前两种方法，基于点的方法可以直接处理原始的具有无序性和不规则性的三维点云数据，而不需要进行耗时的和容易造成上下文信息损失的数据预处理和后处理，因此其受到更为广泛的关注。现有的方法通常依赖于密集注释的点级别语义标签为网络训练提供监督。比如中国专利CN111242208A公开一种基于图卷积和通道注意力机制的点云分类、分割的方法，所述方法包括：通过KNN图卷积模块捕获点云数据的局部特征，增加特征空间中领域内点云与点云之间的关联；通过通道注意力模块增加点云数据的通道注意力，增加特征通道之间的相互依赖关系，加强点云的全局特征表示，从而提高利用深度网络进行三维点云的分类和/或分割的预测准确度。但是这类方法对于包含数十亿个点的大尺度的现实场景，为每一个点都进行标注是费时费力不切实际的。
[0003]弱标注是降低标注成本的有效方法，近年来只标注一小部分点或者语义类别的弱监督学习受到广泛的关注。弱监督学习是利用大量的未标注样本和一小部分标注样本来训练网络，它可以大致分为两类：基于扰动一致性正则化的方法和基于伪标签的方法。
[0004]基于扰动一致性正则化方法的主要目标是获得扰动/增强不变的输出分布，其利用数据增加的技术，使得相同的未标注样本的不同扰动版本之间有着相同的模型预测输出。但是这类方法需要精心设计适合的数据增加方法，限制其在实际中的进一步应用。基于伪标签方法是利用已训练的网络为未标注的样本生成人工的伪标签，并将它们添加到训练数据集中，参与到后续的训练中。然而可能会有太多错误的伪标签被选择，这导致后续训练变为噪声学习，从而降低模型的性能。

技术实现思路

[0005]本专利技术的目的在于针对现有的弱监督点云语义分割方法没有考虑伪标签的不可靠性，并且无法有效处理伪标签存在的噪声在模型优化中所带来的不利影响等问题，提供可实现利用少量的标注信息，在不用设计复杂的数据增加方法的同时，可以减少噪声伪标签对模型训练的不利影响得到每个点的具有判别性的语义特征的一种跨场景对比学习的弱监督点云语义分割方法。
[0006]本专利技术包括以下步骤：
[0007]1)模型初始化：对弱监督数据集中每个场景的点云数据进行预训练，初始化网络参数，得到模型输出的特征向量和类别预测分布；
[0008]2)生成并选取伪标签：利用现有的网络为无标签样本推理生成其相应的伪标签，
并使用动态阈值窗的方法选取一部分可信赖的伪标签；
[0009]3)利用跨场景的对比约束更新网络参数：添加跨场景对比正则化约束，以更新网络的参数；
[0010]4)判断模型是否收敛，是则结束，否则重复步骤2)和3)，直至模型收敛。
[0011]在步骤1)中，所述每个场景的点云数据包含有标签点集合(X
l
,Y)和无标签点集合其中，分别表示每个场景包含N
l
个有标签点和N
u
个无标签点(N
l
＜＜N
l
)，是有标签点所对应的标签；
[0012]所述预训练可采用网格采样的预处理方法，每个批次选取8个不同的点云，每个点云采样40960个点作为当前批次的网络输入；利用有标签点对网络进行初始化，使用MLPs
‑
2输出的有标签点的类别预测分布与其对应的标签做交叉熵，得到分割损失L
seg
，以此来训练网络；在预训练阶段只使用分割损失L
seg
对模型的优化过程进行约束，且只对有标签点计算损失。
[0013]所述得到模型输出的特征向量和类别预测分布的具体步骤可为：
[0014](1)将一个批次的点云数据均分为两部分，即将8个点云组成4个点云对，将它们输入到主干网络中(Backbone)，再经过一个MLP层(MLPs
‑
1)并用Relu函数激活后，将点云数据映射到一个共享的特征空间中，得到每个点对应的128维度的特征向量；
[0015](2)将特征向量输入到MLP层(MLPs
‑
2)并用softmax函数激活后得到每个点对应的C维度的类别预测分布，其中，C表示数据集共包含C个类别。
[0016]在步骤2)中，所述生成并选取伪标签，先从一个场景的点云中根据不同的局部几何结构和上下文下采样出多个重叠度高的子云集合，并对预测进行平滑，得到每个点最终的预测结果；再利用动态阈值窗方法来选取一些可信赖的伪标签，并在一定程度上缓解样本的类别不平衡；具体步骤可为：
[0017](1)采样
‑
移动
‑
平滑方法生成无标签点的伪标签：利用主干网络对于点的空间位置编码受到邻域信息影响的性质，对每个场景采样互相具有较大的重叠度的t个子云，通过一个MLP层MLPs
‑
2得到每个子云对应的预测其中，N'是每个子云中点的个数；进一步在没有采样到的点的对应位置添加0向量，使得扩展到空间，其中，N是整个点云的总点数，并使得点的顺序在所有的中是一致的，则采样
‑
移动
‑
平滑方法公式化为：
[0018][0019]其中，τ是平滑系数，每个点云最终的预测结果通过归一化的每一行获得；由于不同子云中的点包含不同的局部几何结构和上下文，采样
‑
移动平滑操作消除不同子云在预测中的波动，有效减少错误预测；
[0020](2)动态阈值窗选取可信赖的伪标签：为减小样本类别不平衡的问题，采用动态阈值窗的方法来过滤伪标签；对于类别k，令该类对应的动态阈值δ
k
为：其中，δ
len
表示阈值窗的宽度，在应用中取值为0.2，δ
d
为阈值的下界，在应用中取值为0.5；对于每个样本x
(i)
，生成其对应的预选择伪标签其
中，1[
·
]是指示函数；然后通过有标签点的标签和预选择伪标签来更新得到每个点的伪标签：
[0021][0022]在步骤3)中，所述跨场景对比正则化约束，包括：1)使用跨场景的对比约束，以使网络更加关注不同场景之间相同类别的共性特征；2)利用每个点云各个类别的类别原型来做对比约束，以减少个别不正确伪标签对网络训练所造成的不良影响。对于每个点云对，借助一个MLP层MLPs
‑
1得到的每个点云的特征向量，计算得出每个场景点云每个类别的类别原型；令每个点云对中的两个不同场景点云之间相同类别的类别原型具有紧凑性的同时不同类别的类别原型具有分散性，即相同类别的类别原型在特征空间中相互靠近，不同类别的类别原型相互远离；在测试时利用一个MLP层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨场景对比学习的弱监督点云语义分割方法，其特征在于包括以下步骤：1)模型初始化：对弱监督数据集中每个场景的点云数据进行预训练，初始化网络参数，得到模型输出的特征向量和类别预测分布；2)生成并选取伪标签：利用现有的网络为无标签样本推理生成其相应的伪标签，并使用动态阈值窗的方法选取一部分可信赖的伪标签；3)利用跨场景的对比约束更新网络参数：添加跨场景对比正则化约束，以更新网络的参数；4)判断模型是否收敛，是则结束，否则重复步骤2)和3)，直至模型收敛。2.如权利要求1所述一种跨场景对比学习的弱监督点云语义分割方法，其特征在于在步骤1)中，所述每个场景的点云数据包含有标签点集合(X
l
,Y)和无标签点集合其中，分别表示每个场景包含N
l
个有标签点和N
u
个无标签点(N
l
＜＜N
l
)，是有标签点所对应的标签。3.如权利要求1所述一种跨场景对比学习的弱监督点云语义分割方法，其特征在于在步骤1)中，所述预训练采用网格采样的预处理方法，每个批次选取8个不同的点云，每个点云采样40960个点作为当前批次的网络输入；利用有标签点对网络进行初始化，使用MLPs
‑
2输出的有标签点的类别预测分布与其对应的标签做交叉熵，得到分割损失L
seg
，以此来训练网络；在预训练阶段只使用分割损失L
seg
对模型的优化过程进行约束，且只对有标签点计算损失。4.如权利要求1所述一种跨场景对比学习的弱监督点云语义分割方法，其特征在于在步骤1)中，所述得到模型输出的特征向量和类别预测分布的具体步骤为：(1)将一个批次的点云数据均分为两部分，即将8个点云组成4个点云对，将它们输入到主干网络中，再经过一个MLP层MLPs
‑
1并用Relu函数激活后，将点云数据映射到一个共享的特征空间中，得到每个点对应的128维度的特征向量；(2)将特征向量输入到MLP层MLPs
‑
2并用softmax函数激活后得到每个点对应的C维度的类别预测分布，其中，C表示数据集共包含C个类别。5.如权利要求1所述一种跨场景对比学习的弱监督点云语义分割方法，其特征在于在步骤2)中，所述生成并选取伪标签，先从一个场景的点云中根据不同的局部几何结构和上下文下采样出多个重叠度高的子云集合，并对预测进行平滑，得到每个点最终的预测结果；再利用动态阈值窗方法来选取一些可信赖的伪标签，以缓解样本的类别不平衡。6.如权利要求1所述一种跨场景对比学习的弱监督点云语义分割方法，其特征在于在步骤2)中，所述生成并选取伪标签的具体步骤为：(1)采样
‑
移动
‑
平滑方法生成无标签点的伪标签：利用主干网络对于点的空间位置编码受到邻域信息影响的性质，对每个场景采样互相具有较大的重叠度的t个子云，通过一个MLP层MLPs
‑
2得到每个子云对应的预测其中，N'是每个子云中点的个数；进一步在没有采样到的点的对应位置添加0向量，使得扩展到空间，其中，N是整个点云的总点数，并使得点的顺序在所有的中是一致的，则采样
‑
移动
‑
平滑方法公式化为：
其中，τ是平滑系数，每个点云最终的预测结果通过归一化的每一行获得；由于不同子云中的点包含不同的局部几何结构和上下文，采样
‑
移动平滑操作消除不同子云在预测中的波动，以减少错误预测；(2)动态阈值窗选取可信赖的伪标签：为减小样本类别不平衡的问题，采用动态阈值窗的方法来过滤伪标签；对于类别k，令该类对应的动态阈值δ...

【专利技术属性】
技术研发人员：曲延云，蓝宇翔，张亚超，
申请(专利权)人：厦门大学，
类型：发明
国别省市：