【技术实现步骤摘要】
本专利技术涉及云分割中伪实例理解的，尤其涉及一种面向点云分割的伪实例对比学习实现方法、装置及介质。
技术介绍
1、随着廉价激光雷达传感器和深度相机的普及，基于三维环境的场景理解，包括点云语义分割、目标检测和实例分割，成为自动驾驶和机器人导航的基础，成为视觉界的研究热点。在众多的3d场景理解任务中，点云语义分割是最基本的任务之一，它通过逐点分类来提供细粒度的场景信息。为了提供令人满意的性能，研究人员使用密集注释的数据集设计和训练三维分割模型，这些数据集提供逐点标记，然而，这非常耗时且标签密集。
2、近年来，为了减少对密集标注的依赖，语义分割的研究主要集中如何从稀疏标签中学习。其核心挑战是从非常有限的标注部分和很大比例的未标记部分组成的数据中学习。对于有标注部分，直接采用标准交叉熵损失即可。难点是如何从未标注的部分学习。一种直接的方法是利用在有限标签上训练的模型预测未标注点的伪标签来进一步训练模型。然而，在一小部分数据上训练的模型容易过度拟合并输出不准确的伪标签。为了避免这种风险，现有的方法通常采用多阶段方法或多分支方法来强制同一点云数据的两个不同增强(或扰动)版本之间的特征一致性。多阶段方法简单但耗时，而多分支方法将许多组件(如点云增强器，学生-教师模型和一致性损失设计)注入到全监督的方法中，使得整个框架难以实现，难以分析，最重要的是难以训练。
技术实现思路
1、为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种面向点云分割的伪实例对比学习实现
2、本专利技术所采用的技术方案是：
3、一种面向点云分割的伪实例对比学习实现方法，包括以下步骤：
4、获取原始点云数据，所述原始点云数据包含有少量的标注数据；
5、对所述原始点云进行增强操作，获得增强后的点云数据；
6、建立点云分割模型，根据所述增强后点云数据和所述点云分割模型生成逐点分类概率；
7、根据所述点分类概率，对所述标注数据中的每一个标注点进行伪实例特征获取操作，得到伪实例特征，将标注点的标签作为伪实例标签；
8、根据所述逐点分类概率和所述标注数据生成交叉熵损失；
9、根据所述伪实例特征和所述伪实例标签生成有监督对比学习损失；
10、根据所述交叉熵损失和有监督对比学习损失训练所述点云分割模型。
11、进一步地，所述根据所述点分类概率，对所述标注数据中的每一个标注点进行伪实例特征获取操作，得到伪实例特征，包括：
12、根据所述逐点分类概率，计算所述标注数据中的每一个标注点与所述点云数据中其他点的欧几里得距离；
13、根据计算获得的欧几里得距离，取出距离最近的前m个点作为伪实例特征候选点集；
14、根据所述伪实例特征候选点集中的逐点分类概率，计算逐点的预测类别；
15、根据所述伪实例特征候选点集中的逐点预测类别，选定与标注点对应标签相同的点，得到伪实例特征点集；
16、对所述伪实例特征点集中的特征进行平均操作，得到伪实例特征。
17、进一步地，通过以下公式计算伪实例特征候选点集：
18、
19、式中，topk(·，·)为选取值对应最大索引的操作，q[j]＝y[j]用于约束伪实例对应标签和真实标签一致，以减少噪声数据的影响；为有标注点索引；
20、所述伪实例特征的计算公式为：
21、
22、式中，avg(·)操作表示对多个向量进行平均操作。
23、进一步地，所述获取原始点云数据，包括：
24、对原始点云数据进行获取，其中点云数据是由n个点p＝{p1，p2，...，pn}组成的集合，每个点pn包括坐标位置和rgb信息，即pn＝p[n]＝(xn，yn，zn，rn，gn，bn)；
25、其中，所述标注数据占原始点云数据的比值小于或等于0.2％。
26、进一步地，所述建立点云分割模型，包括：
27、确定由θ参数化的分割模型fθ(·)，该分割模型fθ(·)用于产生逐点分类概率z＝softmax(fθ(pa))，其中z[n]∈(0，1)，argmax(z[n])∈c且是具有c类的预定义类别集，代表类别索引集合。
28、进一步地，所述交叉熵损失的计算公式如下：
29、
30、式中，ce(·，·)表示交叉熵损失函数，表示标记的索引集合，z为增强后的点云数据的逐点分类概率，y为标注，s表示标记的索引集合内的有标注的点。
31、进一步地，所述根据所述伪实例特征和所述伪实例标签生成有监督对比学习损失，包括：
32、根据所述伪实例特征，获取伪实例对应的正样本集合和负样本集合，随后进行有监督对比学习损失的计算；
33、其中，对于伪实例特征vs，其正样本索引集合和负样本索引集合计算方式如下：
34、
35、
36、式中，表示标记的索引集合，y为标注，s表示标记的索引集合内的有标注的点。
37、进一步地，所述有监督对比学习损失的计算公式如下：
38、
39、式中，s表示第s个伪实例；表示第s个伪实例对应的正样本索引集合，即具有相同伪实例标签的索引集合；表示第s个伪实例对应的负样本索引集合，即具有不同伪实例标签索引的集合；v*代表伪实例特征；τ表示对比学习中的温度系数。
40、本专利技术所采用的另一技术方案是：
41、一种面向点云分割的伪实例对比学习实现装置，包括：
42、至少一个处理器；
43、至少一个存储器，用于存储至少一个程序；
44、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述方法。
45、本专利技术所采用的另一技术方案是：
46、一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
47、本专利技术的有益效果是：本专利技术对有标注点邻域的点进行伪实例特征聚合操作，实现有效的上下文信息整合；通过有监督对比学习损失，去学习伪实例之间的语义信息，提升模型对于点云数据的上下文理解，最终实现点云分割模型在弱标注场景下，语义分割的性能。本专利技术有效解决了标注十分稀疏、点云结构十分复杂场景下的点云语义分割问题，可广泛运用于大规模3d视觉理解的应用场景。
本文档来自技高网...【技术保护点】
1.一种面向点云分割的伪实例对比学习实现方法，其特征在于，包括以下步骤：
2.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述根据所述点分类概率，对所述标注数据中的每一个标注点进行伪实例特征获取操作，得到伪实例特征，包括：
3.根据权利要求2所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，通过以下公式计算伪实例特征候选点集：
4.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述获取原始点云数据，包括：
5.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述建立点云分割模型，包括：
6.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述交叉熵损失的计算公式如下：
7.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述根据所述伪实例特征和所述伪实例标签生成有监督对比学习损失，包括：
8.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，
9.一种面向点云分割的伪实例对比学习实现装置，其特征在于，包括：
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。
...【技术特征摘要】
1.一种面向点云分割的伪实例对比学习实现方法，其特征在于，包括以下步骤：
2.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述根据所述点分类概率，对所述标注数据中的每一个标注点进行伪实例特征获取操作，得到伪实例特征，包括：
3.根据权利要求2所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，通过以下公式计算伪实例特征候选点集：
4.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述获取原始点云数据，包括：
5.根据权利要求l所述的一种面向点云分割的伪实例对比学习实现方法，其特征在于，所述建立点云分割模型，包括：
【专利技术属性】
技术研发人员：谭明奎，刘立钊，庄壮伟，黄尚昕，肖勋龙，向添航，杜卿，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。