使用基于伪元素的数据扩增来训练点云处理神经网络制造技术

方法、计算机系统和装置包括编码在计算机存储媒体上的计算机程序，用于执行神经网络的训练，神经网络被配置为处理包括点云的网络输入以生成点云处理任务的网络输出。系统获得一组标记训练示例和未标记点云的集合，对每个未标记点云生成相应的伪标记，基于未标记点云的相应伪标记生成多个伪元素，通过使用对未标记点云生成的伪元素扩增标记训练示例来生成扩增的训练数据，以及在扩增的训练数据上训练神经网络。经网络。

【技术实现步骤摘要】
使用基于伪元素的数据扩增来训练点云处理神经网络
[0001]对相关申请的交叉引用
[0002]本申请要求于2020年11月16日提交的美国临时专利申请第63/114,508号的优先权，其公开通过引用被整体合并于此。


[0003]本说明书涉及训练在点云上运行的神经网络。

技术介绍

[0004]神经网络是机器学习模型，其采用一层或多层非线性单元来预测接收输入的输出。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层、即下一个隐藏层或输出层的输入。网络的每一层根据相应参数集的当前值从接收的输入生成输出。

技术实现思路

[0005]本说明书描述了一种在一个或多个位置的一台或多台计算机上被实现为计算机程序的系统，该系统训练点云处理神经网络，该点云处理神经网络被配置为对标记训练示例(labeled training example)和未标记点云(unlabeled point cloud)二者执行点云处理任务。
[0006]换句话说，被训练的神经网络被配置为处理包括点云的网络输入，以生成点云处理任务的网络输出。
[0007]点云处理任务能够是需要神经网络处理点云的任何适当的任务。这种任务的一个示例是对象检测，其中网络输出标识被预测与对象相对应的点云区域。这种任务的另一个示例是轨迹预测，其中网络输出预测由点云表征的一个或多个代理的未来轨迹。这种任务的再一个示例是点云分割，其中网络输出将点云中的每个点分配给相应的类别，例如，将图像分割成背景类别和前景类别，或将点云分割成与不同对象类型相对应的类别。
[0008]每个标记训练示例包括(i)点云和(ii)点云的相应标记，该标记指定要由神经网络通过处理点云而生成的(点云处理任务的)目标网络输出。
[0009]未标记点云是系统在训练神经网络时其标记不可用的点云。
[0010]系统能够通过为每个未标记点云生成相应的伪标记(pseudo label)来将未标记点云合并到训练中，伪标记是未标记点云的标记的预测。在一些情况下，这是通过使用预先训练的神经网络处理未标记点云来完成的。在其他情况下，系统在训练过程的执行期间在不同的训练迭代中重复生成伪标记集以训练神经网络。在这些情况下，系统能够使用神经网络的一个或多个实例作为当前训练迭代的一个或多个实例或者作为更早训练迭代的一个或多个实例来生成伪标记。
[0011]对于集合中的每个未标记点云，系统基于未标记点云的相应伪标记生成多个伪元素。每个伪元素是点云中点的相应真子集。作为特定示例，伪元素能够包括伪背景元素，该
伪背景元素包括由点云的伪标记指示为背景的一部分的点。作为另一特定示例，伪元素能够包括伪边界框元素，每个伪边界框元素包括点云中已经由点云的伪标记指示为对象的测量的区域中的点。
[0012]系统通过使用对未标记点云生成的伪元素扩增标记训练示例来生成扩增的训练数据。具体地，对于一些或所有标记训练示例，系统能够将一个或多个伪元素插入到标记训练示例中的点云中，以生成扩增的点云。
[0013]然后，系统在扩增的训练数据上训练神经网络。
[0014]系统能够将上述技术并入到基于群体的训练框架中，在该框架中，系统在多代训练上训练训练候选群体。在每一代(generation)中，系统能够使用性能最好的训练候选的真子集来生成伪标记。然后，系统能够使用如上所述的用于训练代的伪标记为每个候选生成训练数据。可选地，基于元素的扩增的超参数能够是作为基于群体的训练过程的一部分而学习的训练过程的超参数的一部分。
[0015]能够在特定实施例中实施在本说明书中描述的主题，以便实现以下优点中的一个或多个。
[0016]被设计为处理例如LiDAR点云数据的点云数据以自动检测环境中的对象和/或将其自动分类的机器学习模型(例如，神经网络)在许多应用中都是至关重要的，诸如在机器人控制中和在自主车辆运动规划中。训练和测试这样的机器学习模型需要具有对应对象标记传感器点云数据的大量训练示例。虽然收集LiDAR点云数据不需要显著的额外成本，但是对点云数据手动贴标记可能是费时且昂贵的。
[0017]本说明书提供了一种包括数据扩增和半监督学习的自动机器学习框架，数据扩增和半监督学习用于训练执行诸如根据点云的对象检测和分类的神经网络。
[0018]在一个方面中，所描述的技术通过将伪标记点云分解为元素并利用伪元素进行数据扩增来隐式地利用对象检测任务的属性。这种方法增加了灵活性并提高了数据扩增的效率，因为它使得能够选择单个伪元素来扩增训练数据，而不是选择或拒绝作为整体的伪标记点云。
[0019]在另一方面中，所描述的技术的一些实施方式使用可学习超参数来执行扩增操作，以平衡标记数据和未标记数据，并控制伪标记点云的质量。
[0020]在另一方面中，所描述的技术的一些实施方式将贴伪标记和数据扩增合并到基于群体的训练框架中，该训练框架搜索用于调整训练数据扩增的超参数并生成伪标记的时间表。基于群体的训练框架有助于选择最优的超参数，从而提高训练效率。
[0021]在另一方面中，所提供的技术被实现为数据扩增，因此与待训练的神经网络的架构无关，这使其是广泛适用的。
[0022]总体而言，所提供的技术提高了执行点云处理任务——诸如检测和/或分类点云数据中的对象——的各种神经网络的训练效率和质量。与现有方法相比，当标记数据量有限时，使用所提供的技术训练的神经网络具有更好的性能，例如，在执行点云处理任务时提供提高的对象检测精度。
[0023]在附图和以下描述中阐述本说明书的主题的一个或多个实施方式的细节。从说明书、附图和权利要求书中，主题的其他特征、方面和优点将变得显而易见。
附图说明
[0024]图1A示出示例性神经网络训练系统。
[0025]图1B示出数据扩增的示例。
[0026]图2A是示出用于神经网络训练的示例过程的流程图。
[0027]图2B是示出用于执行数据扩增的示例过程的流程图。
[0028]图3是示出用于神经网络训练的示例过程的流程图。
[0029]各个附图中类似的参考数字和名称指示类似的元素。
具体实施方式
[0030]图1A示出神经网络训练系统100的示例。系统100是在一个或多个位置的一台或多台计算机上被实现为计算机程序的系统的示例，其中可以实现下面描述的系统、组件和技术。
[0031]一般而言，系统100训练被配置为处理点云的神经网络，以生成用于执行点云处理任务的网络输出。点云处理任务可以是在输入点云中识别点云中一个或多个区域的任务。在特定示例中，点云处理任务是在点云中生成与对象的测量相对应的区域的对象检测任务。在另一个示例中，点云处理任务是将点云中的点分割为两个或多个类的点云分割任务。
[0032]系统100基于标记训练示例110的数据集和未标记点云120的数据集来训练神经网络。
[0033]每个标记训练示例110包括(i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由一台或多台计算机执行的用于训练神经网络的方法，所述神经网络被配置为处理包括点云的网络输入以生成点云处理任务的网络输出，所述方法包括：获得一组标记训练示例，每个标记训练示例包括(i)点云和(ii)点云的相应标记，所述标记指定要由神经网络通过处理点云生成的目标网络输出；获得未标记点云的集合；对每个未标记点云生成相应的伪标记，该伪标记是对未标记点云的标记的预测；对集合中的每个未标记点云，基于未标记点云的相应伪标记生成多个伪元素，其中，每个伪元素是点云中的点的相应真子集；通过使用对未标记点云生成的伪元素扩增标记训练示例来生成扩增的训练数据；以及在扩增的训练数据上训练神经网络。2.根据权利要求1所述的方法，所述点云处理任务是标识网络输入中的点云中的一个或多个区域的任务。3.根据权利要求2所述的方法，其中，生成所述多个伪元素包括:根据伪标记生成伪背景元素，伪背景元素包括属于点云的背景的点；以及根据伪标记生成一个或多个伪边界框元素，每个伪边界框元素包括与相应对象的测量相对应的点。4.根据权利要求3所述的方法，其中，通过使用对未标记点云生成的伪元素扩增标记训练示例来生成扩增的训练数据包括，对一个或多个标记训练示例中的每一个：确定是否扩增标记训练示例中的点云的背景；响应于确定扩增点云的背景：选择伪背景元素中的一个；以及根据点云的标记，在点云中用所选择的伪背景元素替换包括属于点云的背景的点的背景元素。5.根据权利要求4所述的方法，其中，确定是否扩增标记训练示例中的点云的背景包括：确定扩增背景的概率为p并且确定不扩增背景的概率为1
‑
p。6.根据权利要求3所述的方法，其中，通过使用对未标记点云生成的伪元素扩增标记训练示例来生成扩增的训练数据包括，对一个或多个标记训练示例中的每一个：确定是否扩增标记训练示例中的点云的前景；响应于确定扩增点云的前景：选择一个或多个伪边界框元素；以及将一个或多个所选择的伪边界框元素中的每一个添加到点云。7.根据权利要求6所述的方法，其中，确定是否扩增标记训练示例中的点云的前景包括：确定扩增前景的概率为f并且确定不扩增前景的概率为1
‑
f。8.根据权利要求6所述的方法，其中，将一个或多个所选择的伪边界框元素中的每一个添加到点云包括：在将一个或多个所选择的伪边界框元素中的每一个添加到点云之前，旋转一个或多个所选择的伪边界框元素中的每一个，以将伪边界框元素与点云的地平面对齐。
9.根据权利要求6所述的方法，其中，将一个或多个所选择的伪边界框元素中的每一个添加到点云包括：根据点云的标记，从点云中移除(i)与一个或多个所选择的伪边界框元素中的任何一个相冲突并且(ii)在点云的背景中的任何点。10.根据权利要求6所述的方法，其中，选择一个或多个伪边界框元素包括：根据点云的标记，仅选择不与现有边界框元素冲突的伪边界框元素。11.根据权利要求6所述的方法，其中，所述伪标记将每个伪边界框元素与置信度分数相关联，置信度分数表示伪边界框元素与实际对象相对应的可能性，并且其中，选择一个或多个伪边界框元素包括：仅选择具有高于指定阈值的置信度分数的伪边界框元素。12.一种由一台或多台计算机执行的用于训练具有多个网络参数的神经网络的方法，该神经网络被配置为根据网络参数处理包括点云的网络输入，以生成点云处理任务的网络输出，所述方法包括:维护指定训练候选的群体的数据，所维护的数据对每个训练候选指定：(i)网络参数的值，(ii)训练候选在点云处理任务上的性能度量，和(iii)训练过程的一组超参数的值；以及在多个训练代的每一代：获得一组标记训练示例，每个标记训练示例包括点云和点云的标记，该标记指定要由神经网络通过处理包括点云的网络输入生成的目标网络输出；获得未标记点云的集合；基于每个训练候选的相应性能度量，选择具有最佳性能度量的一个或多个训练候选；使用一个或多个所选择的训练候选，对每个未标记点云生成相应的伪标记，该伪标记是对未标记点云的标记的预测；基于未标记点云的相应伪标记生成多个伪元素，其中每个伪元素是点云中的点的相应真子集；对群体中的每个...

【专利技术属性】
技术研发人员：Z冷，S程，W王，X张，D安格洛夫，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：