三维点云处理模型和语义分割模型的训练方法和相关设备技术

本发明专利技术公开了一种三维点云处理模型和语义分割模型的训练方法和相关设备，涉及三维点云技术领域。三维点云处理模型的训练方法包括：利用三维点云处理模型对三维点云数据进行处理，以获取三维点云数据中点的信息；获取二维图像数据中像素的信息，其中，二维图像数据和三维点云数据覆盖相同的区域；利用点的信息以及像素的信息，确定三维点云数据和二维图像数据的对齐约束损失；利用三维点云处理模型预测的、三维点云数据中点的分类信息以及预先标记的场景分类信息，确定三维点云处理模型的分类损失；利用对齐约束损失和分类损失，训练三维点云处理模型。本发明专利技术的实施例实现了二维图像对三维点云的跨模态引导，提升了模型训练的准确性。准确性。准确性。

【技术实现步骤摘要】
三维点云处理模型和语义分割模型的训练方法和相关设备


[0001]本专利技术涉及三维点云
，特别涉及一种三维点云处理模型和语义分割模型的训练方法和相关设备。

技术介绍

[0002]三维点云是指由激光雷达、深度相机等扫描设备获取的空间三维点信息，一般包含空间三维位置信息、颜色信息和强度信息等。三维点云语义分割是指对点云中的每个点都赋予特定的语义标签，是场景理解的关键步骤，在机器人、增强现实和自动驾驶等许多领域都有广泛的应用。因此，三维点云语义分割一直是计算机视觉领域的研究热点。
[0003]在相关技术中，基于场景分类监督信号的弱监督点云语义分割方法通常采用点云类别激活图的思想来生成每个点的伪标签，这种方式根据点云数据生成伪标签。

技术实现思路

[0004]经过分析后发现，基于点云类别激活图生成伪标签的方式仅考虑了点云数据这一个模态，而生成的伪标签不准确又会使得三维点云的语义分割结果不准确。
[0005]本专利技术实施例所要解决的一个技术问题是：如何提高三维点云数据的标注准确性。
[0006]根据本专利技术一些实施例的第一个方面，提供一种三维点云处理模型的训练方法，包括：利用三维点云处理模型对三维点云数据进行处理，以获取三维点云数据中点的信息；获取二维图像数据中像素的信息，其中，二维图像数据和三维点云数据覆盖相同的区域；利用点的信息以及像素的信息，确定三维点云数据和二维图像数据的对齐约束损失；利用三维点云处理模型预测的、三维点云数据中点的分类信息以及预先标记的场景分类信息，确定三维点云处理模型的分类损失；利用对齐约束损失和分类损失，训练三维点云处理模型。
[0007]在一些实施例中，点的信息包括点的分类信息、特征信息中的至少一种；像素的信息包括像素的分类信息、特征信息中的至少一种。
[0008]在一些实施例中，利用点的信息以及像素的信息，确定三维点云数据和二维图像数据的对齐约束损失包括：利用点的信息以及像素的信息，确定三维点云数据和二维图像数据的匹配程度；根据匹配程度，确定对齐约束损失。
[0009]在一些实施例中，匹配程度包括：点与像素的特征匹配程度、三维点云数据与二维图像数据的全局特征匹配程度、点与像素的语义匹配程度中的至少一种。
[0010]在一些实施例中，点与像素的特征匹配程度根据点和相应像素之间的相似度确定。
[0011]在一些实施例中，在匹配程度包括点与像素的特征匹配程度的情况下，根据匹配程度，确定对齐约束损失包括：将点的特征、和像素的特征映射到同一维度，分别获得每个点的第一点云特征和每个像素的第一像素特征；随机获取第一数量的点以及相应的像素；对于第一数量的点中的每一个，利用点的第一点云特征与相应像素的第一像素特征的相似
度、以及点的第一点云特征与每个像素的第一像素特征的相似度的总和，确定点与相应像素的对比学习损失；根据第一数量的点中的每一个的对比学习损失的总和，确定对齐约束损失。
[0012]在一些实施例中，对于第一数量的点中的每一个：点与相应像素的对比学习损失，和点的第一点云特征与相应像素的第一像素特征的相似度成负相关关系、和点的第一点云特征与每个像素的第一像素特征的相似度的总和成正相关关系。
[0013]在一些实施例中，全局特征匹配程度根据三维点云数据中任意两个点之间的相似度、以及二维图像数据中任意两个像素之间的相似度确定。
[0014]在一些实施例中，在匹配程度包括全局特征匹配程度的情况下，根据匹配程度，确定对齐约束损失包括：将点的特征、和像素的特征映射到同一维度，分别获得每个点的第二点云特征和每个像素的第二像素特征；随机获取第二数量的点以及相应的像素；对于第二数量的点中的任意两个点，确定两个点的第二点云特征之间的第一相似性信息、以及第二数量的像素中两个相应像素的第二像素特征之间的第二相似性信息，并根据第一相似性信息和第二相似性信息之间的差距确定两个点对应的相似性损失；根据三维点云数据中的点的相似性损失的总和，确定对齐约束损失。
[0015]在一些实施例中，第一相似性信息和第二相似性信息为相似度矩阵。
[0016]在一些实施例中，语义匹配程度根据每个点的第一分类信息、以及每个像素的第二分类信息确定。
[0017]在一些实施例中，其中，第二分类信息通过利用二维图像处理模型对每个像素进行处理获得，并且在匹配程度包括语义匹配程度的情况下，根据匹配程度，确定对齐约束损失包括：将三维点云数据映射到与二维图像数据相同的维度；利用二维图像处理模型，对映射后的三维点云数据进行处理，获得每个点的第三分类信息；利用第二分类信息和第三分类信息确定语义匹配损失，并根据语义匹配损失确定对齐约束损失。
[0018]在一些实施例中，对齐约束损失与第二分类信息成正相关关系、与第三分类信息成负相关关系。
[0019]在一些实施例中，获取二维图像数据的信息包括：利用二维图像处理模型对二维图像数据进行处理，获得二维图像数据的信息。
[0020]在一些实施例中，利用三维点云处理模型预测的、三维点云数据中点的分类信息以及预先标记的场景分类信息，确定三维点云处理模型的分类损失包括：根据三维点云处理模型预测的、三维点云数据中点的分类信息以及预先标记的场景分类信息，确定第一分类损失；根据二维图像处理模型预测的、二维图像数据中像素的分类信息以及场景分类信息，确定第二分类损失；根据第一分类损失和第二分类损失，确定三维点云处理模型的分类损失。
[0021]在一些实施例中，根据三维点云处理模型预测的、三维点云数据的分类信息的池化处理结果以及场景分类信息，确定第一分类损失；根据二维图像处理模型预测的、二维图像数据中像素的分类信息以及场景分类信息，确定第二分类损失。
[0022]在一些实施例中，利用对齐约束损失和分类损失的加权结果，训练三维点云处理模型。
[0023]在一些实施例中，三维点云处理模型利用三维残差网络实现。
[0024]在一些实施例中，二维图像处理模型利用二维残差网络实现。
[0025]根据本专利技术一些实施例的第二个方面，提供一种语义分割模型的训练方法，包括：利用三维点云处理模型预测待处理的三维点云数据中的分类信息，其中，三维点云处理模型是利用前述任意一种三维点云处理模型的训练方法训练的；根据分类信息生成待处理的三维点云数据中的点的伪标签；利用伪标签，训练三维点云的语义分割模型。
[0026]根据本专利技术一些实施例的第三个方面，提供一种三维点云处理模型的训练装置，包括：第一信息获取模块，被配置为利用三维点云处理模型对三维点云数据进行处理，以获取三维点云数据中点的信息；第二信息获取模块，被配置为获取二维图像数据中像素的信息，其中，二维图像数据和三维点云数据覆盖相同的区域；对齐约束损失确定模块，被配置为利用点的信息以及像素的信息，确定三维点云数据和二维图像数据的对齐约束损失；分类损失确定模块，被配置为利用三维点云处理模型预测的、三维点云数据中点的分类信息以及预先标记的场景分类信息，确定三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维点云处理模型的训练方法，包括：利用三维点云处理模型对所述三维点云数据进行处理，以获取所述三维点云数据中点的信息；获取二维图像数据中像素的信息，其中，所述二维图像数据和所述三维点云数据覆盖相同的区域；利用所述点的信息以及所述像素的信息，确定所述三维点云数据和所述二维图像数据的对齐约束损失；利用所述三维点云处理模型预测的、所述三维点云数据中点的分类信息以及预先标记的场景分类信息，确定所述三维点云处理模型的分类损失；利用所述对齐约束损失和所述分类损失，训练所述三维点云处理模型。2.根据权利要求1所述的训练方法，其中：所述点的信息包括所述点的分类信息、特征信息中的至少一种；所述像素的信息包括所述像素的分类信息、特征信息中的至少一种。3.根据权利要求1或2所述的训练方法，其中，所述利用所述点的信息以及所述像素的信息，确定所述三维点云数据和所述二维图像数据的对齐约束损失包括：利用所述点的信息以及所述像素的信息，确定所述三维点云数据和所述二维图像数据的匹配程度；根据所述匹配程度，确定所述对齐约束损失。4.根据权利要求3所述的训练方法，其中，所述匹配程度包括：所述点与所述像素的特征匹配程度、所述三维点云数据与所述二维图像数据的全局特征匹配程度、所述点与所述像素的语义匹配程度中的至少一种。5.根据权利要求4所述的训练方法，其中，所述点与所述像素的特征匹配程度根据点和相应像素之间的相似度确定。6.根据权利要求5所述的训练方法，其中，在所述匹配程度包括所述点与所述像素的特征匹配程度的情况下，所述根据所述匹配程度，确定所述对齐约束损失包括：将所述点的特征、和所述像素的特征映射到同一维度，分别获得每个点的第一点云特征和每个像素的第一像素特征；随机获取第一数量的点以及相应的像素；对于第一数量的点中的每一个，利用所述点的第一点云特征与相应像素的第一像素特征的相似度、以及所述点的第一点云特征与每个像素的第一像素特征的相似度的总和，确定所述点与相应像素的对比学习损失；根据第一数量的点中的每一个的对比学习损失的总和，确定所述对齐约束损失。7.根据权利要求6所述的训练方法，其中，对于第一数量的点中的每一个：所述点与相应像素的对比学习损失，和所述点的第一点云特征与相应像素的第一像素特征的相似度成负相关关系、和所述点的第一点云特征与每个像素的第一像素特征的相似度的总和成正相关关系。8.根据权利要求4所述的训练方法，其中，所述全局特征匹配程度根据所述三维点云数据中任意两个点之间的相似度、以及所述二维图像数据中任意两个像素之间的相似度确定。
9.根据权利要求8所述的训练方法，其中，在所述匹配程度包括所述全局特征匹配程度的情况下，所述根据所述匹配程度，确定所述对齐约束损失包括：将所述点的特征、和所述像素的特征映射到同一维度，分别获得每个点的第二点云特征和每个像素的第二像素特征；随机获取第二数量的点以及相应的像素；对于第二数量的点中的任意两个点，确定所述两个点的第二点云特征之间的第一相似性信息、以及第二数量的像素中两个相应像素的第二像素特征之间的第二相似性信息，并根据所述第一相似性信息和所述第二相似性信息之间的差距确定所述两个点对应的相似性损失；根据所述三维点云数据中的点的相似性损失的总和，确定所述对齐约束损失。10.根据权利要求9所述的训练方法，其中，所述第一相似性信息和第二相似性信息为相似度矩阵。11.根据权利要求4所述的训练方法，其中，所述语义匹配程度根据每个点的第一分类信息、以及每个像素的第二分类信息确定。12.根据权利要求11所述的训练方法，其中，所述第二分类信息通过利用二维图像处理模型对每个像素进行处理获得，并且在所述匹配程度包括所述语义匹配程度的情况下，所述根据所述匹配程度，确定所述对齐约束损...

【专利技术属性】
技术研发人员：赵杉杉，段伦豪，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：