传感器数据标记验证制造技术

方法、系统和装置，包括在计算机存储介质上编码的计算机程序，其验证与环境中的场景的传感器测量相关联的标记。方法之一包括接收由一个或多个传感器生成的表示环境中的场景的传感器测量的数据。传感器测量可以与一个或多个标记相关联，并且每个标记可以识别已被分类为测量环境中的对象的传感器测量的部分。对于每个标记，可以确定该标记是否满足每个验证标准。每个验证准则可以测量标记的一个或多个特性是否与环境中的真实世界对象的一个或多个特性一致。响应于确定一个或多个标记中的特定标记不满足一个或多个验证标准，可以生成指示该特定标记对于环境的场景中的任何真实世界对象不是有效标记的通知。对象不是有效标记的通知。对象不是有效标记的通知。

【技术实现步骤摘要】
传感器数据标记验证


[0001]本说明书涉及标记传感器数据。

技术介绍

[0002]自主载具包括自驾驶小汽车、船只和飞行器。自主载具使用各种机载传感器和计算机系统来检测附近的对象，以及使用经训练的机器学习模型来做出控制和导航决策。为了确保这些机器学习模型的正确操作，用于训练机器学习模型的数据中的对象必须被正确标记。

技术实现思路

[0003]本说明书描述了在一个或多个位置中的一个或多个计算机上的实现为计算机程序的系统，该系统验证与环境中的场景的传感器测量相关联的标记。
[0004]可以实施本说明书中描述的主题的特定实施例，以实现以下优势中的一个或多个。
[0005]标记验证系统可以提高对大型传感器数据集进行标记的准确度，其中大型可以被定义为数千个或更多个图像。这导致提高了使用大型传感器数据集的标记进行训练的机器学习模型的准确度。例如，机载部署在自主载具上的机器学习模型的准确度可以由于标记质量提高而提高。
[0006]标记验证系统还可以向执行标记任务的人类提供即时反馈，通知标记者不正确的操作，从而减少人类标记者重复做出类似错误的可能性。
[0007]标记验证系统还可以对照新创建的标记标准验证先前输入的标记。例如，如果在先前已经标记了数万个传感器测量集合之后改变了标记策略，现在只有其中一些违反了新策略，则标记验证系统可以只识别不符合新的标记策略的传感器数据子集，从而减少使标记符合新标记策略所要求的精力。
[0008]标记验证系统还可以响应于接收的反馈调整验证标准。例如，如果标记验证系统指示标记确实满足验证标准，并且随后接收来自人类的标记确实满足所有验证标准的确认，则标记验证系统可以调整验证标准。这样的调整可以导致提高的准确度，也就是说，在更少的情况下，标记被错误地识别为未达到验证标准。
[0009]所描述的技术允许在所描述的技术执行标记验证时更快地生成准确的标记，因此，部署在自主载具上的机器学习模型可以更快地更新，以考虑新收集的训练数据，从而提高自主载具的性能。
[0010]一方面的特征在于接收由一个或多个传感器生成的表示环境中的场景的传感器测量的数据。传感器测量可以与一个或多个标记相关联，并且每个标记可以识别已被分类为测量环境中的对象的传感器测量的部分。对于每个标记，可以确定标记是否满足每个验证标准。每个验证准则可以测量标记的一个或多个特性是否与环境中的真实世界对象的一个或多个特性一致。响应于确定一个或多个标记中的特定标记不满足一个或多个验证标
准，可以生成指示该特定标记对于环境的场景中的任何真实世界对象不是有效标记的通知。
[0011]可以包括一个或多个以下特征。可以将通知提供给用户设备以呈现给用户。用户设备可以接收为由特定标记识别的传感器测量的部分指定更新标记的更新标记数据，并且更新标记可以被包括在用于传感器测量的验证标记集中。在将更新标记数据包括在验证标记数据集中之前，可以确定更新标记满足所有的验证标准。机器学习模型可以在训练数据上进行训练，该训练数据包括用于传感器测量的验证标记集。可以接收特定标记对环境的场景中的至少一个真实世界对象有效的指示，并且响应于接收该指示，可以修改至少一个验证准则。可以接收对特定标记的纠正的指示，并且响应于接收该指示，可以修改特定标记。该指示可以包括与标记不同的第二标记，并且修改特定标记可以包括用第二标记替换标记。表示传感器测量的数据可以表示至少一个道路附近的至少一个对象。
[0012]本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得清晰。
附图说明
[0013]图1示出了验证与和环境中的场景相关的传感器数据相关联的标记的示例系统。
[0014]图2是表示场景的传感器数据的图示。
[0015]图3是用于验证标记的示例过程的流程图。
[0016]图4是显示来自验证过程的结果的用户界面的示例。
[0017]不同附图中相同的附图标记和指定指示相同的元素。
具体实施方式
[0018]本说明书描述了系统可以如何验证与环境中的场景相关联的标记。标记用于训练指导自主载具的操作的机器学习模型，并且对场景内的对象的准确标记对于准确训练机器学习模型是重要的。准确的训练进而允许自主载具的正确导航，自主载具在穿越环境时必须避开障碍物。如果对象被错误标记，则机器学习模型可能被不准确地训练，并且载具的操作可能被影响。例如，如果邻近道路的杆子或树木被标记为行人，则机器学习模型可能会错误地识别这样的对象，从而导致自主载具停止以允许“行人”穿过道路。由于杆子和树木实际上并不穿过道路，因此载具可能没有正当原因地停止前进。同样，如果训练数据中的标记放置不正确，则机器学习模型可能被不准确地训练，并且自主载具内的识别系统可能无法正确理解环境中的对象。
[0019]描述场景的数据可以在自主载具穿越环境时生成。载具上的传感器(诸如Lidar(激光雷达)和相机)可以收集在各个时间点和各个空间点的传感器测量。场景是环境内的区域，通常紧密接近自主载具，传感器可以在某时间点收集用于自主载具的测量数据。
[0020]在真实世界的示例中，场景通常包含许多对象，诸如道路标志、灯柱、行人、道路锥等。载具上的传感器可以收集关于对象的测量数据。然而，为了自主载具正确操作，载具的机载系统必须将原始测量数据转换(translate)为识别的对象。例如，特定的Lidar散射模式可能表示灯柱，并且自主载具应该避开灯柱。道路标志同样必须被避开，但也可能包括在自主载具规划其路线时应考虑的信息。灯柱不包含这样的信息，但在大小和形状上可能与
道路标志相似。因此，虽然用于道路标志和灯柱的测量数据可能看起来相似，但将它们识别为不同的对象类型是重要的。
[0021]自主载具上的或远程但耦合到自主载具的对象识别系统将传感器数据转换为检测的对象。对象检测系统通常采用机器学习技术，更具体地，采用在标记的场景数据上训练的机器学习模型。
[0022]标记可以识别以下各项中的一个或多个：(i)对象所属的对象类别(例如，像载具、行人、骑自行车的人、道路标志等)，或(ii)“边界框”或识别与检测的对象对应的传感器测量的部分的其他区域。标记可以由用户创建或由配置为自动创建用于场景的标记的系统创建。
[0023]如果用于训练机器学习模型的场景数据被不准确地标记，例如将道路标志标记为灯柱，则机器学习模型可能产生不准确的对象检测。因此，自主载具的正确操作至少部分依赖于对场景数据的准确标记。
[0024]由于准确训练机器学习模型可能要求大量数据集，通常有数百万个实例，因此标记这些数据集(通常由人类执行)要求大量工作。此外，由于人类容易犯错，尤其是在执行大量任务时，因此出现标记错误是不可避免的。
[0025]此外，对象的体系(universe)以及相对应的有效标记可能随着时间而改变。例如，在传统上小汽车一直未超过7英尺宽的情况下，如果对象被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：接收由一个或多个传感器生成的表示环境中的场景的传感器测量的数据，其中，所述传感器测量与一个或多个标记相关联，每个标记识别已被分类为测量环境中的对象的传感器测量的相应部分；对于一个或多个标记中的每个标记，确定所述标记是否满足多个验证标准中的每个验证标准，其中，每个验证准则测量标记的一个或多个特性是否与环境中的真实世界对象的一个或多个特性一致；以及响应于确定一个或多个标记中的特定标记不满足一个或多个验证标准，生成指示所述特定标记对于环境的场景中的任何真实世界对象不是有效标记的通知。2.如权利要求1所述的方法，还包括：将通知提供给用户设备以呈现给用户。3.如权利要求2所述的方法，还包括：从用户设备接收为由特定标记识别的传感器测量的部分指定更新标记的更新标记数据；以及将更新标记包括在用于传感器测量的验证标记集中。4.如权利要求3所述的方法，还包括：在将更新标记数据包括在验证标记数据集中之前，确定更新标记满足所有的验证标准。5.如权利要求3所述的方法，还包括：在包括用于传感器测量的验证标记集的训练数据上训练机器学习模型。6.如权利要求1所述的计算机实现的方法，还包括：接收特定标记对环境的场景中的至少一个真实世界对象有效的指示，以及响应于接收指示，修改至少一个验证准则。7.如权利要求1所述的计算机实现的方法，还包括：接收对特定标记的纠正的指示，以及响应于接收所述指示，修改特定标记。8.如权利要求5所述的计算机实现的方法，其中，所述指示包括与标记不同的第二标记，并且修改特定标记包括用第二标记替换标记。9.如权利要求1所述的计算机实现的方法，其中，表示传感器测量的数据表示至少一个道路附近的至少一个对象。10.一种或多种存储指令的非暂时性计算机可读存储介质，指令在由一个或多个计算机执行时，使一个或多个计算机执行包括以下各项的操作：接收由一个或多个传感器生成的表示环境中的场景的传感器测量的数据，其中，所述传感器测量与一个或多个标记相关联，每个标记识别已被分类为测量环境中的对象的传感器测量的相应部分；对于一个或多个标记中的每个标记，确定所述标记是否满足多个验证标准中的每个验证标准，其中，每个验证准则测量标记的一个或多个特性是否与环境中的真实世界对象的一个或多个特性一致；以及响应于确定一个或多个标记中的特定标记不满足一个或多个验证...

【专利技术属性】
技术研发人员：LP崔，A米尼克，M范韦利，N巴鲁阿，D安格洛夫，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：