点云语义分割网络训练方法、点云语义分割方法及装置制造方法及图纸

本公开提供了一种点云语义分割网络训练方法、点云语义分割方法、装置、电子设备和存储介质，可以应用于人工智能技术领域。该方法包括：将多组点云数据分别映射到初始视图中，得到多个环视投影图；基于预设尺寸，分别对第一环视投影图和第二环视投影图进行分区处理，得到多个第一分区图和多个第二分区图；从多个第一分区图中确定多个第一目标分区图；利用多个第一目标分区图中的每个第一目标分区图分别对第二环视投影图中的第二目标分区图进行替换，得到混合投影图；以及将第一环视投影图和混合投影图作为训练样本来对初始网络进行训练，得到点云语义分割网络。得到点云语义分割网络。得到点云语义分割网络。

【技术实现步骤摘要】
点云语义分割网络训练方法、点云语义分割方法及装置


[0001]本公开涉及人工智能
，更具体地，涉及一种点云语义分割网络训练方法、点云语义分割方法、装置、电子设备和存储介质。

技术介绍

[0002]随着三维传感技术的发展，点云数据被广泛应用于自动驾驶、机器人抓取等诸多领域。深度学习技术作为点云数据分析的主流解决方案，在点云数据处理方面表现出了良好的性能。由于通过各式传感器收集到的点云数据通常为无标注数据，且人工标注数据的成本较高，因此，相关技术中通常利用半监督训练的方式来构建深度神经网络。
[0003]在相关技术中，半监督训练算法提升语义分割任务的研究主要集中在二维图像领域，将该方法直接应用与三维点云的分割任务时会产生三维形状失真的问题，从而间接导致点云数据的语义分割效果较差。

技术实现思路

[0004]有鉴于此，本公开提供了一种点云语义分割网络训练方法、点云语义分割方法、装置、电子设备、可读存储介质和计算机程序产品。
[0005]本公开的一个方面提供了一种点云语义分割网络训练方法，包括：将多组点云数据分别映射到初始视图中，得到多个环视投影图；基于预设尺寸，分别对第一环视投影图和第二环视投影图进行分区处理，得到多个第一分区图和多个第二分区图，其中，上述第一环视投影图和上述第二环视投影图属于多个上述环视投影图；从多个上述第一分区图中确定多个第一目标分区图；利用多个上述第一目标分区图中的每个上述第一目标分区图分别对上述第二环视投影图中的第二目标分区图进行替换，得到混合投影图，其中，上述第二目标分区图属于多个上述第二分区图，上述第一目标分区图与上述第二目标分区图的位置相同；以及将上述第一环视投影图和上述混合投影图作为训练样本来对初始网络进行训练，得到点云语义分割网络。
[0006]根据本公开的实施例，上述将上述第一环视投影图和上述混合投影图作为训练样本来对初始网络进行训练，得到点云语义分割网络，包括：分别将上述第一环视投影图和上述混合投影图输入上述初始网络中，得到与上述第一环视投影图对应的第一特征图谱和第一分割结果，以及与上述混合投影图对应的第二特征图谱和第二分割结果；计算上述第一特征图谱和上述第二特征图谱之间的信息熵损失，得到第一损失值；计算上述第一分割结果和上述第二分割结果之间的交叉熵损失，得到第二损失值；以及利用上述第一损失值和第二损失值来调整上述初始网络的模型参数，以最终得到上述点云数据语义分割网络。
[0007]根据本公开的实施例，上述计算上述第一特征图谱和上述第二特征图谱之间的信息熵损失，得到第一损失值，包括：从上述第一特征图谱中确定与多个上述第一目标分区图相关的第一子特征图谱；将上述第二特征图谱拆分为与多个上述第一目标分区图相关的第二子特征图谱和与多个上述第一目标分区图无关的第三子特征图谱；以及在上述第一子特
征图谱的置信概率大于预设阈值的情况下，以上述第一子特征图谱和上述第二子特征图谱作为正样本对，以上述第一子特征图谱和上述第三子特征图谱作为负样本对，计算上述正样本对和上述负样本对之间的信息熵损失，得到上述第一损失值。
[0008]根据本公开的实施例，上述计算上述第一分割结果和上述第二分割结果之间的交叉熵损失，得到第二损失值，包括：从上述第一分割结果中确定与多个上述第一目标分区图相关的第一子分割结果；从上述第二分割结果中确定与多个上述第一目标分区图相关的第二子分割结果；基于上述第一子分割结果的置信概率和上述第二子分割结果的置信概率，确定预测值和标签值；以及计算上述预测值和上述标签值之间的交叉熵损失，得到上述第二损失值。
[0009]根据本公开的实施例，上述基于上述第一子分割结果的置信概率和上述第二子分割结果的置信概率，确定预测值和标签值，包括：在上述第一子分割结果的置信概率大于上述第二子分割结果的置信概率的情况下，确定上述第一子分割结果为上述标签值，上述第二子分割结果为上述预测值；以及在上述第一子分割结果的置信概率小于上述第二子分割结果的置信概率的情况下，确定上述第一子分割结果为上述预测值，上述第二子分割结果为上述标签值。
[0010]根据本公开的实施例，多个上述第一目标分区图中包括第三目标分区图，上述第三目标分区图具有真实标签；其中，上述计算上述第一分割结果和上述第二分割结果之间的交叉熵损失，得到第二损失值，包括：从上述第一分割结果中确定与上述第三目标分区图相关的第三子分割结果，和与上述第三目标分区图无关且与多个上述第一目标分区图相关的第四子分割结果；从上述第二分割结果中确定与上述第三目标分区图相关的第五子分割结果，和与上述第三目标分区图无关且与多个上述第一目标分区图相关的第六子分割结果；计算上述第三子分割结果和上述真实标签之间的交叉熵损失，得到第三损失值；计算上述第四子分割结果和上述第六子分割结果之间的交叉熵损失，得到第四损失值；以及基于上述第三损失值和上述第四损失值，确定上述第二损失值。
[0011]根据本公开的实施例，上述初始网络包括编码器和解码器；其中，上述分别将上述第一环视投影图和上述混合投影图输入上述初始网络中，得到与上述第一环视投影图对应的第一特征图谱和第一分割结果，以及与上述混合投影图对应的第二特征图谱和第二分割结果，包括：分别将上述第一环视投影图和上述混合投影图输入上述编码器，得到与上述第一环视投影图对应的第一图像特征和与上述混合投影图对应的第二图像特征；以及分别将上述第一图像特征和上述第二图像特征输入上述解码器，得到与上述第一环视投影图对应的上述第一特征图谱和上述第一分割结果，以及与上述混合投影图对应的上述第二特征图谱和上述第二分割结果。
[0012]根据本公开的实施例，上述将多组点云数据分别映射到初始视图中，得到多个环视投影图，包括：对于每组上述点云数据，分别对上述点云数据中每个点的三维坐标数据进行极坐标转换，以得到上述点云数据中每个点的极坐标数据；基于上述点云数据中每个点的极坐标数据，将上述点云数据中的多个点分别映射到上述初始视图的多个栅格中；对于上述初始视图的每个栅格，基于上述栅格中的点的三维坐标数据和极坐标数据，确定上述栅格的特征数据；以及基于多个上述栅格的特征数据，构建得到上述环视投影图。
[0013]本公开的另一个方面提供了一种点云语义分割方法，包括：将目标点云数据映射
到初始视图中，得到环视投影图；以及将上述环视投影图输入点云语义分割网络中，得到上述目标点云数据的语义分割特征图谱；其中，上述点云语义分割网络包括利用如上所述的点云语义分割网络训练方法训练得到。
[0014]本公开的另一个方面提供了一种点云语义分割网络训练装置，包括：第一映射模块，用于将多组点云数据分别映射到初始视图中，得到多个环视投影图；第一处理模块，用于基于预设尺寸，分别对第一环视投影图和第二环视投影图进行分区处理，得到多个第一分区图和多个第二分区图，其中，上述第一环视投影图和上述第二环视投影图属于多个上述环视投影图；确定模块，用于从多个上述第一分区图中确定多个第一目标分区图；第二处理模块，用于利用多个上述第一目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云语义分割网络训练方法，包括：将多组点云数据分别映射到初始视图中，得到多个环视投影图；基于预设尺寸，分别对第一环视投影图和第二环视投影图进行分区处理，得到多个第一分区图和多个第二分区图，其中，所述第一环视投影图和所述第二环视投影图属于多个所述环视投影图；从多个所述第一分区图中确定多个第一目标分区图；利用多个所述第一目标分区图中的每个所述第一目标分区图分别对所述第二环视投影图中的第二目标分区图进行替换，得到混合投影图，其中，所述第二目标分区图属于多个所述第二分区图，所述第一目标分区图与所述第二目标分区图的位置相同；以及将所述第一环视投影图和所述混合投影图作为训练样本来对初始网络进行训练，得到点云语义分割网络。2.根据权利要求1所述的方法，其中，所述将所述第一环视投影图和所述混合投影图作为训练样本来对初始网络进行训练，得到点云语义分割网络，包括：分别将所述第一环视投影图和所述混合投影图输入所述初始网络中，得到与所述第一环视投影图对应的第一特征图谱和第一分割结果，以及与所述混合投影图对应的第二特征图谱和第二分割结果；计算所述第一特征图谱和所述第二特征图谱之间的信息熵损失，得到第一损失值；计算所述第一分割结果和所述第二分割结果之间的交叉熵损失，得到第二损失值；以及利用所述第一损失值和第二损失值来调整所述初始网络的模型参数，以最终得到所述点云数据语义分割网络。3.根据权利要求2所述的方法，其中，所述计算所述第一特征图谱和所述第二特征图谱之间的信息熵损失，得到第一损失值，包括：从所述第一特征图谱中确定与多个所述第一目标分区图相关的第一子特征图谱；将所述第二特征图谱拆分为与多个所述第一目标分区图相关的第二子特征图谱和与多个所述第一目标分区图无关的第三子特征图谱；以及在所述第一子特征图谱的置信概率大于预设阈值的情况下，以所述第一子特征图谱和所述第二子特征图谱作为正样本对，以所述第一子特征图谱和所述第三子特征图谱作为负样本对，计算所述正样本对和所述负样本对之间的信息熵损失，得到所述第一损失值。4.根据权利要求2所述的方法，其中，所述计算所述第一分割结果和所述第二分割结果之间的交叉熵损失，得到第二损失值，包括：从所述第一分割结果中确定与多个所述第一目标分区图相关的第一子分割结果；从所述第二分割结果中确定与多个所述第一目标分区图相关的第二子分割结果；基于所述第一子分割结果的置信概率和所述第二子分割结果的置信概率，确定预测值和标签值；以及计算所述预测值和所述标签值之间的交叉熵损失，得到所述第二损失值。5.根据权利要求4所述的方法，其中，所述基于所述第一子分割结果的置信概率和所述第二子分割结果的置信概率，确定预测值和标签值，包括：在所述第一子分割结果的置信概率大于所述第二子分割结果的置信概率的情况下，确
定所述第一子分割结果为所述标签值，所述第二子分割结果为所述预测值；以及在所述第一子分割结果的置信概率小于所述第二子分割结果的置信概率的情况下，确定所述第一子分割结果为所述预测值，所述第二子分割结果为所述标签值。6.根据权利要求2所述的方法，其中，多个所述第一目标分区图中包括第三目标分区图，所述第三目标分区图具有真实标签；其中，所述计算所述第一分割结果和所述第二分割结果之间的交叉熵损失，得到第二损失值，包括：从所述第一分割结果中确定与所述第三目标分区图相关的第三子分割结果，和与所述第三目标分区图无关且与多个所述第一目标分区图相关的第四子分割结果；从所述第二分割结果中确定与所述第三目标分区图相关的第五子分割结果，和与所述第三目标分区图无关且与多个所述第一目标分区图相关的第六子分...

【专利技术属性】
技术研发人员：温欣，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：