一种基于主动学习和半监督的三维点云语义分割标注方法技术

本发明专利技术公开了一种基于主动学习和半监督的三维点云语义分割标注方法，该方法首先利用构造的点云匹配评分函数，挑选出一个具有代表性的子集。然后利用两种无监督算法，将一帧点云分割成若干个小的区域。在每次主动学习循环中，先计算每个小区域的点云强度信息值和信息熵，再从中选出二者和值中较大的若干个区域进行人工标记。为了有效利用未标注数据，借助无监督学习方法，选择相对当前模型而言置信度较高小区域赋以伪标签。最后将伪标签数据和人工标记数据一起输入给深度语义分割模型进行网络训练。由此能够极大地提升标注效率，减少人工标注成本。工标注成本。工标注成本。

【技术实现步骤摘要】
一种基于主动学习和半监督的三维点云语义分割标注方法


[0001]本专利技术涉及自动驾驶
，具体涉及一种基于主动学习和半监督的三维点云语义分割标注方法。

技术介绍

[0002]近年来，随着计算机视觉、人工智能以及遥感测绘等技术的发展，三维目标检测、同时定位和建图、三维重建、语义分割等技术日渐成熟，点云的数据量增长迅速，人们对于点云数据高级语义理解方面的需求也与日俱增。点云语义分割Point Cloud Semantic Segmentation(PCSS)作为点云数据处理和分析的关键基础技术，在机器人、遥感以及自动驾驶领域有着广泛的应用。近年来，借助深度学习技术，点云语义分割任务取得了重大突破，并成为研究热点。特别是在过去五年，一些公开的点云语义分割数据集也被发布，例如ScanNet，S3DIS，SemanticKITTI，许多基于深度学习框架的新奇点云语义分割方法被提出，这些方法在数据集上表现出优异的性能，使得点云分割精度的榜首一次又一次被刷新。
[0003]为了确保模型拥有优异的性能，深度学习通常需要从大量标注的数据中提取知识，优化大量的参数。但是，相比标注数据的规模，模型的性能还没有饱和。而且，标注数据大量数据会花费巨大人力和时间，且有时只能相关专业人士才能标注数据。另外标注成本也会根据不同目标任务变化巨大。例如在标注过程中，在2D图像上选择一个封闭的多边形区域，获得语义标注的操作是相对低成本的，但是逐点标注3D点集数据花费的成本较大。更重要的是，3D点云数据通常是无序且稀疏的，且一帧点云通常包含点数不低于10万个，增加了点云标注的困难性。因此如何进行高效、低成本地标注点云是当前运用人工智能进行点云数据处理和分析地关键。

技术实现思路

[0004]鉴于上述，本专利技术提供了一种基于主动学习和半监督的三维点云语义分割标注方法和装置，该方法利用点云独特的三维几何信息与帧间时序关系，将主动学习与传统建图、定位方法相结合，对点云进行挑选和标注。具体而言，在本专利技术中，分别对代表性、多样性和不确定性这三个主动学习中被广泛关注的因素进行考虑，结合点云这种数据模态的特殊性质，提出了一种多粒度的样本挑选和标注方案。
[0005]本专利技术提供的一种基于主动学习和半监督的三维点云语义分割标注方法，其包括如下步骤：
[0006]S1：利用构造的点云匹配评分函数，从原始点云数据集中获得一个代表性子集；
[0007]S2：将代表性子集中的每帧点云分割成若干个小的区域，生成分割区域；
[0008]S3：计算分割区域信息度，即利用softmax信息熵和点云强度，计算分割区域的信息度；
[0009]S4：根据计算出的每块区域信息度，筛选出信息度高的K个区域(Top
‑
K)进行人工标注；得到标记子集D
L
和未标注子集D
U
；
[0010]S5：利用标记子集D
L
对神经网络进行多轮训练；在所需的训练轮次，利用训练后的神经网络对未标注子集D
U
中的分割区域块进行预测，根据预测得到的分割区域块在两个分类类别之间的概率差值S
mar
判断是否将该分割区域块赋以伪标签，将赋以伪标签的分割区域D
pseudo
从未标记子集D
U
中拿出并添加到标记子集D
L
，并进行下一轮训练。
[0011]作为本专利技术的优选方案，所述的S1为：
[0012]S11：给定一个包含n帧点云的序列S＝{s1，s2，
…
，s
n
}，将s1作为当前目标帧，s2作为当前输入帧；
[0013]S12：利用NDT算法计算目标帧和输入帧的匹配分数score
match
；
[0014]如果score
match
小于某设定阈值δ
match
，就将当前输入帧从序列中删除，接着将序列中的下一帧作为当前输入帧，重复S12；
[0015]如果score
match
不小于某设定阈值δ
match
，则在序列中保留当前输入帧，并以当前输入帧作为下一次匹配的目标帧，接着将序列中的下一帧作为下一次匹配的输入帧，重复S12进行下一次匹配；
[0016]S13：序列内所有帧点云完成匹配后，结束S12，得到代表性子集S＝{s
′1，s
′2，
…
，s
′
m
}。
[0017]作为本专利技术的优选方案，所述的S2为：
[0018]S21：使用VCCS算法对代表性子集中的每帧点云进行处理，生成几何约束的超体素；
[0019]S22：利用LCCP算法对超体素邻接图进行分割，通过CC准则(Convexity Criterion)和SC准则(Sanity Criterion)判断两个超体素之间的凹凸连接关系；当两个准则判定两个超体素的关系都为凸时，才将两个超体素间的关系判定为凸连接；根据判定结果，将具有凸连接关系的超体素归为同一个类别；这些归属为同一凸连接关系的超体素通过区域增长算法聚合成更大的分割区域；将得到的分割区域，作为基础标注查询单位。
[0020]作为本专利技术的优选方案，所述的S3为：
[0021]S31：从未标注数据集D
U
中随机选出一定比例的数据进行标注，构成初始的标注数据集D
L
，然后利用此初始标注数据集训练神经网络；
[0022]S32：利用训练的神经网络预测未标注数据集D
U
中的数据，由此可获得未标注数据集D
U
中每个点x
i
属于第j类别的概率：p(y
i
＝j|x
i
)；接着计算第n块分割区域R
n
的区域信息熵E
n
，
[0023][0024]其中，分割区域R
n
包含N个点，Θ表示神经网络参数；
[0025]S33：计算第n块分割区域R
n
的区域强度值I
n
，即通过平均计算分割区域R
n
内每个点的强度值获得，
[0026][0027]其中ρ
i
是一个点的强度值；
[0028]S34：在得到每个分割区域的softmax信息熵值E
n
和强度值I
n
后，通过线性组合可以
获得第n块分割区域的信息度值σ
n
[0029]σ
n
＝αE
n
+βI
n
[0030]其中α和β权重参数；
[0031]S35：得到所有分块区域的降序排列值列表σ：
[0032]σ＝(σ1，σ2…
，σ
n
)。
[0033]作为本专利技术的优选方案，所述的S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，包括如下步骤：S1：利用构造的点云匹配评分函数，从原始点云数据集中获得一个代表性子集；S2：将代表性子集中的每帧点云分割成若干个小的区域，生成分割区域；S3：计算分割区域信息度，即利用softmax信息熵和点云强度，计算分割区域的信息度；S4：根据计算出的每块区域信息度，筛选出信息度高的K个区域(Top
‑
K)进行人工标注；得到标记子集D
L
和未标注子集D
U
；S5：利用标记子集D
L
对神经网络进行多轮训练；在所需的训练轮次，利用训练后的神经网络对未标注子集D
U
中的分割区域块进行预测，根据预测得到的分割区域块在两个分类类别之间的概率差值S
mar
判断是否将该分割区域块赋以伪标签，将赋以伪标签的分割区域D
pseudo
从未标记子集D
U
中拿出并添加到标记子集D
L
，并进行下一轮训练。2.根据权利要求1所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述的S1为：S11：给定一个包含n帧点云的序列S＝{s1，s2，
…
，s
n
}，将s1作为当前目标帧，s2作为当前输入帧；S12：利用NDT算法计算目标帧和输入帧的匹配分数score
match
；如果score
match
小于某设定阈值δ
match
，就将当前输入帧从序列中删除，接着将序列中的下一帧作为当前输入帧，重复S12；如果score
match
不小于某设定阈值δ
match
，则在序列中保留当前输入帧，并以当前输入帧作为下一次匹配的目标帧，接着将序列中的下一帧作为下一次匹配的输入帧，重复S12进行下一次匹配；S13：序列内所有帧点云完成匹配后，结束S12，得到代表性子集S＝{s
′1，s
′2，
…
，s
′
m
}。3.根据权利要求2所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述匹配分数score
match
公式如下：其中，x
′
i
表示输入点云帧中的点x
i
根据位姿变换矩阵转换到目标帧点云坐标系的坐标；和q
i
分别代表点x
′
i
在正态分布下的协方差矩阵的逆和均值，t为向量的转置。4.根据权利要求1所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述的S2为：S21：使用VCCS算法对代表性子集中的每帧点云进行处理，生成几何约束的超体素；S22：利用LCCP算法对超体素邻接图进行分割，通过...

【专利技术属性】
技术研发人员：叶山顶，傅永健，潘之杰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：