一种激光雷达点云预训练方法技术

本发明专利技术涉及自动驾驶技术领域，具体涉及一种激光雷达点云预训练方法，包括：向点云空间输入点云；将点云空间划分为若干体素；确定点云空间中的非空体素；对非空体素进行采样，得到非掩码体素和掩码体素；对掩码体素进行位置掩码或形状掩码；将掩码体素和非掩码体素输入至体素编码器，输出代表每一个体素的特征向量；将每个体素的特征向量输入至骨干中提取特征，输出每一个体素的特征数据；根据每个掩码体素的特征数据将该掩码体素被掩码的信息恢复；将经过上述预训练后的体素编码器和骨干的权重保留迁移到下游任务中使用。其能显著降低检测网络对带标注数据的依赖，使得网络在使用有限标注数据训练的情况下也能将性能显著提高。高。高。

【技术实现步骤摘要】
一种激光雷达点云预训练方法


[0001]本专利技术涉及自动驾驶
，具体而言，涉及一种激光雷达点云预训练方法。

技术介绍

[0002]激光雷达点云检测是从激光雷达扫描得到的场景点云中检测物体，输出物体的三维包围盒以及类别，往往应用在室外车辆自动驾驶场景。
[0003]现有激光雷达点云检测网络需要大量带标注的数据进行训练检测网络对带标注的数据具有非常高的依赖性，网络在有限的标注数据下性能很难提高。
[0004]有鉴于此，特提出本申请。

技术实现思路

[0005]本专利技术的目的在于提供一种激光雷达点云预训练方法，其能够对检测网络的体素编码器和骨干进行预训练，从而显著降低检测网络对带标注数据的依赖，使得网络在使用有限标注数据训练的情况下也能将性能显著提高。
[0006]本专利技术的实施例是这样实现的：
[0007]一种激光雷达点云预训练方法，其包括如下步骤：
[0008]S1：划定点云空间，向点云空间中输入整个场景的点云；
[0009]S2：将点云空间划分为大小相等的若干体素，将位于同一体素内的点云归为一组；
[0010]S3：确定点云空间中的非空体素；
[0011]S4：对非空体素进行采样，采样出来的非空体素作为非掩码体素，没有被采样到的非空体素作为掩码体素；
[0012]S5：对掩码体素进行位置掩码或形状掩码，并将需要进行掩码的信息替换成可学习的特征信息；其中，一个掩码体素采用一种掩码形式；
[0013]S6：将掩码体素和非掩码体素输入至体素编码器，输出代表每一个体素的特征向量；
[0014]S7：将每个体素的特征向量输入至Transformer骨干中提取特征，输出每一个体素的特征数据；
[0015]S8：根据每个掩码体素的特征数据将该掩码体素被掩码的信息恢复；以及
[0016]S9：将经过步骤S1～S8预训练后的体素编码器和Transformer骨干的权重保留迁移到下游任务中使用。
[0017]进一步的，在步骤S4中，采用最远点采样按照预设的采样比例对非空体素进行采样。
[0018]进一步的，在步骤S4中，重复执行采样过程用以得到分别用于位置掩码和形状掩码的体素。
[0019]进一步的，每个非空体素中的点均具有在点云空间中的三维坐标、相对于体素中心的第一偏移坐标、和相对于体素内点的聚类中心的第二偏移坐标；
[0020]在步骤S5中，位置掩码包括：将掩码体素内所有点的三维坐标进行掩码，同时保留第一偏移坐标和第二偏移坐标；
[0021]形状掩码包括：在掩码体素内，在属于同一组的点中选定一个点作为参考点，将同一组内除参考点外的全部点的三维坐标、第一偏移坐标和第二偏移坐标进行掩码，参考点用于提供位置信息。
[0022]进一步的，在步骤S8中，在恢复掩码体素被掩码的信息时，恢复位置掩码包括：在分类头输入位置掩码体素的特征数据，输出该体素的位置索引。
[0023]进一步的，通过输出的位置索引与真值计算交叉熵损失函数来衡量恢复掩码信息的效果。
[0024]进一步的，在步骤S8中，在恢复掩码体素被掩码的信息时，恢复形状掩码包括：在重建头输入形状掩码体素的特征数据，输出该体素内的点的第一偏移坐标。
[0025]进一步的，利用输出的第一偏移坐标与该体素内所有点相对于体素中心的真实偏移计算二范数倒角距离来衡量恢复掩码信息的效果。
[0026]本专利技术实施例的技术方案的有益效果包括：
[0027]本专利技术实施例提供的激光雷达点云预训练方法利用点云空间中场景、体素、点云的层次关系联合建模场景中体素的分布和体素中点云的分布。建模场景内体素分布时，本方法将体素的位置信息掩码，保留体素的几何结构信息，构造一个拼图任务让神经网络恢复体素的位置。建模体素内点云的分布时，本方法将体素的几何结构信息掩码，保留体素的位置信息，让神经网路恢复出体素内的点云几何结构。
[0028]激光雷达点云预训练方法既能建模体素内的点的结构，也能建模体素之间的位置关系，同时考虑了激光雷达点云的分布特点。
[0029]激光雷达点云预训练方法不需要如对比学习的方法构造对应关系，避免了训练的歧义与不稳定性。同时能够联合建模体素的分布与体素内点的分布，能更好地用于建模激光雷达点云检测的关键信息。其提出的两种掩码方式统一在点云数据上进行，实现更加统一简洁，能够更好地适应激光雷达点云分布不均、近密远疏的特点。本方法能够大幅度提高检测器性能。
[0030]总体而言，本专利技术实施例提供的激光雷达点云预训练方法能够对检测网络的体素编码器和骨干进行预训练，从而显著降低检测网络对带标注数据的依赖，使得网络在使用有限标注数据训练的情况下也能将性能显著提高。
附图说明
[0031]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0032]图1为本专利技术实施例提供的激光雷达点云预训练方法的流程示意图。
具体实施方式
[0033]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例
中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0034]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0036]术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0037]如本说明书和权利要求书中所示，除非上下文明确提出示例外情形，“一”、“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0038]本说明书中使用的流程图用来说明根据本说明书的实施例的系统所执行的操作。可以理解，各步骤的操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0039]实施例
[0040]请参照图1，本实施例提供一种激光雷达点云预训练方法，激光雷达点云预训练方法包括如下步骤：
[0041本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达点云预训练方法，其特征在于，包括如下步骤：S1：划定点云空间，向所述点云空间中输入整个场景的点云；S2：将所述点云空间划分为大小相等的若干体素，将位于同一体素内的点云归为一组；S3：确定所述点云空间中的非空体素；S4：对非空体素进行采样，采样出来的非空体素作为非掩码体素，没有被采样到的非空体素作为掩码体素；S5：对掩码体素进行位置掩码或形状掩码，并将需要进行掩码的信息替换成可学习的特征信息；其中，一个掩码体素采用一种掩码形式；S6：将掩码体素和非掩码体素输入至体素编码器，输出代表每一个体素的特征向量；S7：将每个体素的特征向量输入至Transformer骨干中提取特征，输出每一个体素的特征数据；S8：根据每个掩码体素的特征数据将该掩码体素被掩码的信息恢复；以及S9：将经过步骤S1～S8预训练后的体素编码器和Transformer骨干的权重保留迁移到下游任务中使用。2.根据权利要求1所述的激光雷达点云预训练方法，其特征在于，在所述步骤S4中，采用最远点采样按照预设的采样比例对非空体素进行采样。3.根据权利要求1所述的激光雷达点云预训练方法，其特征在于，在所述步骤S4中，重复执行采样过程用以得到分别用于位置掩码和形状掩码的体素。4.根据权利要求1所述的激光雷达点云预训练方法，其特征在于，每个非空...

【专利技术属性】
技术研发人员：徐润森，王泰，张文蔚，陈润健，曹金坤，庞江淼，林达华，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：