使用具有不同维度的传感器数据的实例分割制造技术

本文描述了使用诸如由LiDAR捕获的3D点云数据作为地面真实数据来训练实例分割深度学习模型的系统、方法和非暂时性计算机可读介质。由LiDAR捕获的3D点云数据可投影到由相机捕获的2D图像上，并作为输入提供给2D实例分割模型。可以从具有投影的3D数据点的所述2D图像中生成2D稀疏实例分割掩模。这些2D稀疏掩模可用于在所述模型的训练期间传播损耗。生成和使用具有所述投影的3D数据点的所述2D图像数据以及所述2D稀疏实例分割掩模来用于训练所述实例分割模型消除了生成和使用实际实例分割数据来用于训练的需要，从而提供了改进技术来用于训练实例分割模型。用于训练实例分割模型。用于训练实例分割模型。

【技术实现步骤摘要】
使用具有不同维度的传感器数据的实例分割


[0001]本专利技术一般涉及实例分割，以及更具体地，在一些实施例中，涉及使用具有不同维度的传感器数据的实例分割。

技术介绍

[0002]车辆(诸如自主车辆)中的车载传感器通过提供从车辆的周围环境捕获的连续传感器数据流来补充和增强车辆的视野(FOV)。传感器数据与各种基于车辆的应用(包括例如，盲点检测、车道变换辅助、用于碰撞警告或避免碰撞的后端雷达、停车辅助、交叉车流监控、制动辅助、紧急制动和自动距离控制)结合使用。
[0003]车载传感器可以包括，例如相机、基于光检测和测距(LiDAR)的系统、基于雷达的系统、全球定位系统(GPS)系统、基于声纳的传感器、超声传感器、惯性测量单元(IMU)、加速度计、陀螺仪、磁力计和远红外(FIR)传感器。传感器数据可以包括图像数据、反射的激光数据等。通常，由车载传感器捕获的图像利用三维坐标系来确定图像中的相对于彼此并且相对于车辆的对象的距离和角度。具体地，使用遍布车辆的各种车载传感器在车辆附近获取这种实时空间信息，然后，可以对实时空间信息进行处理以计算各种车辆参数并确定该车辆的安全行驶操作。
[0004]为了成功驾驶自主车辆，它们必须了解其周围的环境。为此，自主车辆可以利用深度学习技术来训练神经网络或其他机器学习模型，以执行各种任务，诸如对象检测、语义分割和实例分割等。训练机器学习模型来执行机器学习任务需要向模型提供训练数据作为输入。训练数据通常是从各种传感器收集的数据，这些数据已经通过艰辛的手动过程以各种方式进行了注释。本文讨论的技术解决方案通过提供更有效的技术来生成用于训练机器学习模型以执行机器学习任务的输入数据，从而解决了与传统机器学习模型训练相关联的技术问题。

技术实现思路

[0005]在示例实施例中，公开了一种计算机实现的方法，其使用具有不同维度的传感器数据来训练实例分割模型。该方法包括使用第一传感器捕获具有第一维度的第一传感器数据并使用第二传感器捕获具有第二维度的第二传感器数据，以及将第一组标签分配给第一传感器数据以获得标记的第一传感器数据和将第二组标签分配给第二传感器数据以获得标记的第二传感器数据。该方法还包括将第一传感器数据投影到第二传感器数据上以获得训练数据，并将训练数据作为输入提供给实例分割模型。该方法附加地包括至少部分地基于训练数据和第一组标签生成具有第二维度的一组稀疏实例分割掩模，并利用该组稀疏实例分割掩模在实例分割模型的训练期间执行损耗传播。
[0006]在示例实施例中，第一传感器数据是三维(3D)点云数据，以及第二传感器数据是二维(2D)图像数据。
[0007]在示例实施例中，将第一组标签分配给第一传感器数据包括将3D边界框应用于3D
点云数据，以及将第二组标签分配给第二传感器数据包括将2D边界框应用于2D图像数据。
[0008]在示例实施例中，第一传感器是LiDAR传感器而第二传感器是相机，并且将第一传感器数据投影到第二传感器数据上以获得训练数据包括确定在与相机捕获2D图像数据的2D图像相同的帧期间、由LiDAR捕获的一组3D点云数据点，确定相机的FOV内的3D点云数据点的至少一个子组，以及将3D点云数据点的至少一个子组投影到2D图像上，以获得训练数据的至少一部分。
[0009]在示例实施例中，用于训练实例分割模型的方法附加地包括确定LiDAR和相机之间的一组外参，该组外参包括LiDAR的位置和相机的位置之间的旋转信息和平移信息。
[0010]在示例实施例中，确定相机的FOV内的3D点云数据点的至少一个子组包括至少部分地基于一组外参来确定3D点云数据点的至少一个子组。
[0011]在示例实施例中，用于训练实例分割模型的方法附加地包括识别与投影的3D点云数据点相关联的LiDAR特定元数据，并将LiDAR特定元数据与训练数据相关联。
[0012]在示例实施例中，提供训练数据作为实例分割模型的输入包括提供具有与训练数据相关联的LiDAR特定元数据的训练数据作为实例分割模型的输入。
[0013]在示例实施例中，LiDAR特定元数据包括与一个或多个投影的3D点云数据点中的每一个相关联的深度值、强度值或高度值中的相应至少一个。
[0014]在示例实施例中，该组稀疏实例分割掩模是一组2D稀疏实例分割掩模，并且确定该组2D稀疏实例分割掩模包括：选择第一投影的3D点云数据点；确定第一投影的3D点云数据点与第一组标签的第一3D标签相关联；确定对应于第一3D标签的第一对象；确定正在生成的特定2D稀疏实例分割掩模对应于第一对象；以及将相应的正值与在包含第一投影3D点云数据点的2D图像内的一个或多个像素中的每一个相关联。
[0015]在示例实施例中，用于训练实例分割模型的方法附加地包括选择第二投影的3D点云数据点；确定第二投影的3D点云数据点不与第一组标签中的3D标签相关联，或者确定第二投影的3D点云数据点与第一组标签中的第二3D标签相关联，第二3D标签对应于第二对象，第二对象不对应于正在生成的特定2D稀疏实例分割掩模；以及将相应的负值与在包含第二投影3D点云数据点的2D图像内的一个或多个像素中的每一个相关联。
[0016]在示例实施例中，3D点云数据是第一3D点云数据，以及2D图像数据是第一2D图像数据，并且用于训练实例分割模型的方法附加地包括：将训练的2D实例分割模型应用于第二2D图像数据，以获得成组的一个或多个建议的2D实例分割掩模；将与第二2D图像数据的相同帧相关联的第二3D点云数据投影到第二2D图像数据上；利用成组的一个或多个建议的2D实例分割掩模来确定与第二3D点云数据的每个投影3D数据点对应的相应3D对象；以及基于相应的对应3D对象，将相应的3D分割标签分配给每个投影的3D数据点。
[0017]在示例实施例中，公开了一种系统，其使用具有不同维度的传感器数据来训练实例分割模型。该系统包括至少一个处理器和存储计算机可执行指令的至少一个存储器。至少一个处理器配置成访问至少一个存储器并执行计算机可执行指令以执行一组操作，该组操作包括：使用第一传感器捕获具有第一维度的第一传感器数据并使用第二传感器捕获具有第二维度的第二传感器数据，以及将第一组标签分配给第一传感器数据以获得标记的第一传感器数据和将第二组标签分配给第二传感器数据以获得标记的第二传感器数据。该组操作还包括将第一传感器数据投影到第二传感器数据上以获得训练数据，并将训练数据作
为输入提供给实例分割模型。该组操作附加地包括至少部分地基于训练数据和第一组标签来生成具有第二维度的一组稀疏实例分割掩模，并利用该组稀疏实例分割掩模在实例分割模型的训练期间执行损耗传播。
[0018]上述系统还配置成执行操作/功能中的任一个，并且可以包括以上关于本专利技术的示例计算机实现方法描述的本专利技术的示例实施例的附加特征/方面中的任一个。
[0019]在示例实施例中，公开了一种计算机程序产品，其使用具有不同维度的传感器数据来训练实例分割模型。该计算机程序产品包括存储计算机可执行程序指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用具有不同维度的传感器数据来训练实例分割模型的计算机实现的方法，所述方法包括：使用第一传感器捕获具有第一维度的第一传感器数据，并使用第二传感器捕获具有第二维度的第二传感器数据；将第一组标签分配给所述第一传感器数据以获得标记的第一传感器数据，并将第二组标签分配给所述第二传感器数据以获得标记的第二传感器数据；将所述第一传感器数据投影到所述第二传感器数据上以获得训练数据；提供所述训练数据作为所述实例分割模型的输入；至少部分地基于所述训练数据和所述第一组标签来生成具有所述第二维度的一组稀疏实例分割掩模；以及在所述实例分割模型的训练期间，利用该组稀疏实例分割掩模来执行损耗传播。2.根据权利要求1所述的计算机实现的方法，其中，所述第一传感器数据是三维(3D)点云数据，以及所述第二传感器数据是二维(2D)图像数据。3.根据权利要求2所述的计算机实现的方法，其中，将所述第一组标签分配给所述第一传感器数据包括将3D边界框应用于所述3D点云数据，并且其中，将所述第二组标签分配给所述第二传感器数据包括将2D边界框应用于所述2D图像数据。4.根据权利要求2所述的计算机实现的方法，其中，所述第一传感器是光检测和测距(LiDAR)传感器并且所述第二传感器是相机，并且其中，将所述第一传感器数据投影到所述第二传感器数据上以获得所述训练数据包括：确定在与所述相机捕获所述2D图像数据的2D图像相同的帧期间、由所述LiDAR捕获的一组3D点云数据点；确定所述相机的视场(FOV)内的所述3D点云数据点的至少一个子组；以及将所述3D点云数据点的所述至少一个子组投影到所述2D图像上，以获得所述训练数据的至少一部分。5.根据权利要求4所述的计算机实现方法，其还包括：确定所述LiDAR和所述相机之间的一组外参，该组外参包括所述LiDAR的位置和所述相机的位置之间的旋转信息和平移信息，其中，确定所述相机的所述FOV内的所述3D点云数据点的所述至少一个子组包括至少部分地基于该组外参来确定所述3D点云数据点的所述至少一个子组。6.根据权利要求4所述的计算机实现方法，其还包括：识别与投影的3D点云数据点相关联的LiDAR特定元数据；以及将所述LiDAR特定元数据与所述训练数据相关联，其中，提供所述训练数据作为所述实例分割模型的输入包括提供具有与所述训练数据相关联的所述LiDAR特定元数据的所述训练数据作为所述实例分割模型的输入。7.根据权利要求6所述的计算机实现的方法，其中，所述LiDAR特定元数据包括与一个或多个所述投影的3D点云数据点中的每一个相关联的深度值、强度值或高度值中的相应至少一个。8.根据权利要求4所述的计算机实现的方法，其中，该组稀疏实例分割掩模是一组2D稀疏实例分割掩模，并且其中，确定该组2D稀疏实例分割掩模包括：
选择第一投影的3D点云数据点；确定所述第一投影的3D点云数据点与所述第一组标签的第一3D标签相关联；确定对应于所述第一3D标签的第一对象；确定正在生成的特定2D稀疏实例分割掩模对应于所述第一对象；以及将相应的正值与在包含所述第一投影3D点云数据点的所述2D图像内的一个或多个像素中的每一个相关联。9.根据权利要求8所述的计算机实现方法，其还包括：选择第二投影的3D点云数据点；确定所述第二投影的3D点云数据点不与所述第一组标签中的3D标签相关联，或者确定所述第二投影的3D点云数据点与所述第一组标签中的第二3D标签相关联，所述第二3D标签对应于第二对象，所述第二对象不对应于正在生成的所述特定2D稀疏实例分割掩模；以及将相应的负值与在包含所述第二投影的3D点云数据点的所述2D图像内的一个或多个像素中的每一个相关联。10.根据权利要求2所述的计算机实现的方法，其中，所述3D点云数据是第一3D点云数据，并且所述2D图像数据是第一2D图像数据，所述方法还包括：将训练的2D实例分割模型应用于第二2D图像数据，以获得成组的一个或多个建议的2D实例分割掩模；将与所述第二2D图像数据的相同帧相关联的第二3D点云数据投影到所述第二2D图像数据上；利用所述成组的一个或多个建议的2D实例分割掩模来确定与所述第二3D点云数据的每个投影的3D数据点对应的相应3D对象；以及基于所述相应的对应3D对象，为每个投影的3D数据点分配相应的3D分割标签。11.一种使用具有不同维度的传感器数据来训练实例分割模型的系统，所述系统包括：至少一个处理器；以及至少一个存储器，所述至少一个存储器存储计算机可执行指令，其中，所述至少一个处理器配置成访问所述至少一个存储器并执行所述计算机可执行指令以便：使用第一传感器捕获具有第一维度的第一传感器数据，并使用第二传感器捕获具有第二维度的...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：小马智行，
类型：发明
国别省市：