本公开提出了一种语义标签传播、模型训练方法、装置和无人车，涉及无人车技术领域。其中，语义标签传播方法包括：确定当前训练批次的点云数据的特征表示，其中，所述当前训练批次的点云数据包括携带语义标签的点云点和不携带语义标签的点云点；根据所述携带语义标签的点云点的特征表示、和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心；确定所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心的相似度；根据所述相似度，确定所述不携带语义标签的点云点的伪标签。通过以上方法，能够为未标注点生成密集且有语义意义的伪标签，进而优化模型训练效果。进而优化模型训练效果。进而优化模型训练效果。
【技术实现步骤摘要】
语义标签传播、模型训练方法、装置和无人车
[0001]本公开涉及计算机视觉
，尤其涉及无人驾驶领域，特别涉及一种语义标签传播、模型训练方法、装置和无人车。
技术介绍
[0002]目前，无人驾驶设备用于将人或者物从一个位置自动运送到另一个位置，无人驾驶设备通过设备上的传感器采集环境信息并完成自动运送。基于无人驾驶技术控制的无人配送车进行物流运输极大地提高了生产生活的便捷性，节约了人力成本。
[0003]三维点云语义分割是理解现实世界环境的一项基本任务，对于包括自动驾驶、无人机和增强现实在内的各种应用都很重要。它旨在为每个点云点分配一个语义类别。近年来，我们见证了三维点云语义分割的显著性能改进。我们发现，当前的高性能方法通常严重依赖于带有逐点标注的大规模三维数据，而获取大型数据集则需要非常耗时的逐点人工标注。因此，弱监督点云分割成为一种很有前途的替代方案。
[0004]弱监督点云分割的研究仍处于探索阶段，主要有以下几个场景：稀疏标签、粗粒度标签和涂鸦标签。目前主流工作都集中在稀疏标签场景。在稀疏标签场景下，用来训练模型的点云数据中，只有部分点具有标签信息，另一部分点无标签信息。
技术实现思路
[0005]本公开要解决的一个技术问题是，提供一种语义标签传播、模型训练方法、装置和无人车。
[0006]根据本公开的第一方面，提出了一种语义标签传播方法，包括：确定当前训练批次的点云数据的特征表示，其中，所述当前训练批次的点云数据包括携带语义标签的点云点和不携带语义标签的点云点；根据所述携带语义标签的点云点的特征表示、和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心；确定所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心的相似度；根据所述相似度，确定所述不携带语义标签的点云点的伪标签。
[0007]在一些实施例中，根据所述携带语义标签的点云点的特征表示、和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心包括：根据携带每一类语义标签的点云点的特征表示，确定当前训练批次下每一类语义标签的局部类质心；根据当前训练批次下每一类语义标签的局部类质心，和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心。
[0008]在一些实施例中，根据携带每一类语义标签的点云点的特征表示，确定当前训练批次下每一类语义标签的局部类质心包括：对携带每一类语义标签的点云点的特征表示分别求取平均值，并将所述平均值作为该类语义标签的局部类质心。
[0009]在一些实施例中，根据当前训练批次下每一类语义标签的局部类质心、和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质
心包括：对当前训练批次下每一类语义标签的局部类质心与其在上一训练批次的全局类质心进行加权结合，并将加权求和结果作为其在当前训练批次下的全局类质心。
[0010]在一些实施例中，确定当前训练批次的点云数据的特征表示包括：将当前训练批次的点云数据输入语义分割主干网络，以得到点云数据的中间特征表示，其中，所述中间特征表示用于确定点云数据的语义类别预测概率；将所述点云数据的中间特征表示输入投影网络，以得到所述当前训练批次的点云数据的特征表示。
[0011]在一些实施例中，根据所述相似度，确定所述不携带语义标签的点云点的伪标签包括：根据所述相似度，确定所述不携带语义标签的点云点中的每一个的伪标签。
[0012]在一些实施例中，确定所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心的相似度包括：确定所述不携带语义标签的点云点到当前训练批次下每一类语义标签的全局类质心的距离；根据所述距离，计算所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心的类似然度，并将所述类似然度作为所述相似度。
[0013]在一些实施例中，基于余弦距离函数确定所述不携带语义标签的点云点到当前训练批次下每一类语义标签的全局类质心的距离。
[0014]在一些实施例中，根据所述相似度，确定所述不携带语义标签的点云点的伪标签包括：将所述类似然度作为所述不携带语义标签的点云点的伪标签。
[0015]在一些实施例中，在当前训练批次为第一个训练批次的情况下，所述上一训练批次下每一类语义标签的全局类质心为预设值。
[0016]在一些实施例中，所述预设值为零向量。
[0017]在一些实施例中，根据所述相似度，确定所述不携带语义标签的点云点中的每一个的伪标签包括：将所述相似度作为所述不携带语义标签的点云点的伪标签。
[0018]根据本公开的第二方面，提出一种模型训练方法，包括：根据如上所述的语义标签传播方法，确定当前训练批次中不携带语义标签的点云点的伪标签；根据当前训练批次携带的语义标签和所述伪标签，对语义分割模型进行训练。
[0019]在一些实施例中，根据当前训练批次携带的语义标签和所述伪标签，对语义分割模型进行训练包括：根据当前训练批次中携带语义标签的点云点的语义类别预测概率和所述语义标签，确定第一损失函数的值；根据当前训练批次中不携带语义标签的点云点的语义类别预测概率和所述伪标签，确定第二损失函数的值；根据所述第一损失函数的值和所述第二损失函数的值，确定整体的损失函数值；根据所述整体的损失函数值，对所述语义分割模型进行更新。
[0020]根据本公开的第三方面，提出一种语义分割方法，包括：基于如上所述的模型训练方法训练得到的语义分割模型，对待处理点云数据进行语义分割。
[0021]根据本公开的第四方面，提出一种装置，包括：用于执行如上所述的语义标签传播方法的模块，或者，用于执行如上所述的模型训练方法的模块，或者，用于执行如上所述的语义分割方法的模块。
[0022]根据本公开的第五方面，提出一种电子设备，包括：存储器；以及，耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如上述的语义标签传播方法，或如上述的模型训练方法，或如上述的语义分割方法。
[0023]根据本公开的第六方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如上述的语义标签传播方法，或如上述的模型训练方法，或如上述的语义分割方法。
[0024]根据本公开的第七方面，还提出一种无人车，包括如上述的装置或电子设备。
[0025]通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
[0026]构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
[0027]参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
[0028]图1为根据本公开一些实施例的语义标签传播方法的流程示意图；
[0029]图2为根据本公开一些实施例的确定点云点的特征表示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种语义标签传播方法，包括：确定当前训练批次的点云数据的特征表示，其中，所述当前训练批次的点云数据包括携带语义标签的点云点和不携带语义标签的点云点；根据所述携带语义标签的点云点的特征表示、和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心；确定所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心的相似度；根据所述相似度，确定所述不携带语义标签的点云点的伪标签。2.根据权利要求1所述的语义标签传播方法，其中，根据所述携带语义标签的点云点的特征表示、和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心包括：根据携带每一类语义标签的点云点的特征表示，确定当前训练批次下每一类语义标签的局部类质心；根据当前训练批次下每一类语义标签的局部类质心，和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心。3.根据权利要求2所述的语义标签传播方法，其中，根据携带每一类语义标签的点云点的特征表示，确定当前训练批次下每一类语义标签的局部类质心包括：对携带每一类语义标签的点云点的特征表示分别求取平均值，并将所述平均值作为该类语义标签的局部类质心。4.根据权利要求2所述的语义标签传播方法，其中，根据当前训练批次下每一类语义标签的局部类质心、和上一训练批次下每一类语义标签的全局类质心，确定当前训练批次下每一类语义标签的全局类质心包括：对当前训练批次下每一类语义标签的局部类质心与其在上一训练批次的全局类质心进行加权结合，并将加权求和结果作为其在当前训练批次下的全局类质心。5.根据权利要求1至4任一所述的语义标签传播方法，其中，确定当前训练批次的点云数据的特征表示包括：将当前训练批次的点云数据输入语义分割主干网络，以得到点云数据的中间特征表示，其中，所述中间特征表示用于确定点云数据的语义类别预测概率；将所述点云数据的中间特征表示输入投影网络，以得到所述当前训练批次的点云数据的特征表示。6.根据权利要求1至4任一所述的语义标签传播方法，其中，根据所述相似度，确定所述不携带语义标签的点云点的伪标签包括：根据所述相似度，确定所述不携带语义标签的点云点中的每一个的伪标签。7.根据权利要求1至4任一所述的语义标签传播方法，其中，确定所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心的相似度包括：确定所述不携带语义标签的点云点到当前训练批次下每一类语义标签的全局类质心的距离；根据所述距离，计算所述不携带语义标签的点云点与当前训练批次下每一类语义标签的全局类质心的类似然度，并将所述类似然度作为所述相似度。
【专利技术属性】
技术研发人员：赵杉杉，汤力遥，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。