带有对象的行人制造技术

描述了检测带有对象的行人(推婴儿车、手推车、开门、携带雨伞等)。在示例中，车辆的感知组件可以从与车辆相关联的传感器接收传感器数据。感知组件可以通过模型确定与传感器数据相关联的观测，其中观测包括第一对象(例如，行人)。感知组件可以确定第一对象是否与第二对象(例如，行人对象)相关联，其中，第一对象和第二对象与复合对象(例如，行人/行人对象系统)相关联。感知组件可以将第一对象的指示或复合对象的指示提供给车辆的预测组件或规划组件中的至少一个，以用于控制车辆。以用于控制车辆。以用于控制车辆。

【技术实现步骤摘要】
【国外来华专利技术】带有对象的行人
[0001]相关申请的交叉引用
[0002]本专利申请要求于2019年12月23日提交的标题为“PEDESTRIANS WITH OBJECTS”的美国专利申请第16/726,042号的优先权，以及于2019年12月23日提交的标题为“PEDESTRIAN OBJECT DETECTION TRAINING”的美国专利申请第16/726,097号的优先权，其全部内容通过引用并入本申请。

技术介绍

[0003]自主车辆可以使用传感器来捕获环境数据。为了高效地在环境中导航，自主车辆使用传感器数据来检测环境中的对象以避免碰撞。例如，感知系统允许自主车辆识别环境中的对象，以便自主车辆可以规划一条穿过环境的安全路线。在一个示例中，分割技术可以用于将传感器数据与对象相关联。自主车辆的安全操作至少部分取决于感知系统在检测、分类和预测传感器数据中检测到的对象的运动时提供的信息。因此，由对象的这种检测、分类和/或预测提供的不准确和/或不完整的信息会降低自主车辆可以操作的安全性。
附图说明
[0004]参考附图来描述详细描述。在附图中，附图标记最左边的数字标识附图标记首次出现的图。在不同的图中使用相同的附图标记表示相似或相同的组件或特征。
[0005]图1示出了如本文描述的其中可以检测行人对象的示例环境。
[0006]图2示出了如本文描述的用于训练用于检测行人对象的模型的示例过程。
[0007]图3示出了如本文描述的用于检测行人对象并确定与其相关联的运动的示例过程。
[0008]图4是示出用于执行本文描述的技术的示例系统的框图。
[0009]图5示出了如本文描述的用于训练用于检测行人对象的模型的示例过程。
[0010]图6示出了如本文描述的用于检测行人对象的示例过程。
[0011]图7示出了如本文描述的用于确定行人对象是否与行人相关联的示例过程。
[0012]图8示出了如本文描述的用于确定行人对象是否与行人相关联的示例过程。
具体实施方式
[0013]本文描述的技术涉及训练用于检测与行人相关联的对象的模型，并由车辆(诸如自主车辆)使用该模型。在示例中，此类模型可以用于检测与车辆环境内的行人相关联的对象，并且基于检测到此类对象，车辆可以确定如何处理此类行人和相关联的对象。在一个示例中，行人可以与诸如手提箱、婴儿车、雨伞或其他对象之类的对象相关联。这样的对象可以导致行人的姿态和/或位置的扩展，但是对象的运动可以由行人控制，并且在一些示例中，可以限制行人的运动(例如，行人在携带手提箱时可能无法快速移动，可能无法使婴儿车在路缘上下移动，或者可能会受到横向加速度方面的限制)。因此，该行人可以比没有对象的行人更大(例如，占据更多空间)和/或可以与没有对象的行人不同地移动。本文描述的
技术使得能够检测与行人相关联的对象，例如经由被训练以检测对象的模型和/或被训练以确定行人和相关联的对象如何移动的模型，以便例如自主车辆车载的计算设备可以确定如何控制这种自主车辆。
[0014]在一个示例中，可以训练模型以检测与行人相关联的对象的存在。出于本次讨论的目的，此类对象可以称为“行人对象”。行人对象是附接到行人的对象，其(i)修改行人的几何形状(例如，从没有对象的行人的几何形状)以及(ii)具有由行人控制的运动轨迹。行人对象的非限制性示例包括婴儿车、手提箱、雨伞、大箱子、儿童(例如，被携带的)、摩托车、手推车、轮椅等。诸如拴在皮带上的动物之类的对象可能不被视为行人对象，因为该动物的运动轨迹不受行人控制(例如，动物可以在皮带的限制内以它想要的任何轨迹行走)。同样，与成年行人手牵手的儿童可能不被视为行人对象。
[0015]在一个示例中，该模型可以是使用“自上而下分割(top
‑
down segmentation)”算法的神经网络，如于2018年4月26日提交的美国专利申请第15/963,833号中所描述的，其全部内容通过引用并入本文。可以使用机器学习技术训练这样的模型，以检测与行人相关联的行人对象。在至少一个示例中，诸如边界区域的指示可以与行人、行人对象以及行人和行人对象的组合(本文称为行人/行人对象系统)相关联。也即，行人和行人对象可以各自是包括行人和行人对象的复合对象的组成部分。在至少一个示例中，可以将边界区域提供给预测组件和/或规划组件，如下文描述的，以生成自主车辆的轨迹，自主车辆使用该轨迹穿越环境。也即，可以将边界区域提供给自主车辆的下游组件以控制自主车辆。在一些情况下，与检测到的对象相关联的数据可以提供给其他分割算法和/或分类算法以进行进一步处理。这些和其他操作可以作为本文描述的技术的一部分。
[0016]现有的分类技术可以充分分类诸如汽车、行人、自行车等的对象。然而，现有的分类技术可能会错误分类，或者可能无法被训练以对驾驶时不常见的稀有对象进行分类。然而，这些稀有对象对于自主车辆如何感知它们行驶的环境状态并确定如何在这些环境中导航非常重要。这种稀有对象的示例是带有对象的行人。本文描述的技术使得能够检测这样的行人对象，使得本文描述的技术保持和/或提高确定和检测环境中的对象的准确性，从而提高计算设备的运行能力。可以理解，保持和/或提高确定和检测对象的准确性可以改进安全结果，尤其是在车辆和自主车辆的上下文中。因此，本文描述的技术可以改进计算设备的运行能力以及改进安全结果。
[0017]虽然上述技术针对检测行人和与其相关联的对象(例如，行人对象)，但本文描述的技术可以应用于任何数量类型的对象和相关联的对象，这些相关联的对象被附接到相应的对象(例如，其他相应的对象控制相关联的对象的运动)和/或修改其他相应的对象的几何形状。例如，本文描述的技术可以适用于检测车辆的打开的门、附接到自行车的儿童携带者等。也即，本文描述的技术不应被解释为限于检测行人和行人对象。
[0018]本文描述的技术可以以多种方式实现。下面参考以下附图提供示例实施方式。在自主车辆的上下文中讨论了示例实施方式；然而，本文描述的方法、装置和组件可以应用于各种组件(例如，传感器组件或机器人平台)，并且不限于自主车辆。在一个示例中，本文描述的技术可以用于驾驶员控制的车辆中，其中这种组件可以向车辆的驾驶员提供执行各种操纵是否安全的指示。在另一个示例中，这些技术可以在航空或航海上下文中使用，或者在涉及可能与组件未知的行为相关联的对象或实体的任何组件中使用。在一些示例中，这些
技术可以在自主车辆和/或感知组件之外的上下文中使用。也即，在一些示例中，本文描述的技术可以适用于天气数据、金融数据等。此外，本文描述的技术可以与真实数据(例如，使用传感器捕获的)、模拟数据(例如，由模拟器生成的)，或两者的任意组合一起使用。
[0019]图1示出了其中可以检测行人对象的示例环境100。提供图1作为本文描述的技术的概述。图2和图3提供了与训练用于检测行人对象的模型(例如，图2)和使用这样的模型(例如，图3)相关的附加细节。下面参考图4描述与本文描述的系统相关联的附加细节。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：一个或多个处理器；以及一种或多种非暂时性计算机可读介质，其存储指令，所述指令当由所述一个或多个处理器执行时，使所述系统执行操作，所述操作包括：从与车辆相关联的一个或多个传感器接收数据；确定与所述数据相关联的观测，其中，所述观测与第一对象相关联；确定所述第一对象是否与第二对象相关联，其中，所述第一对象和所述第二对象包括复合对象；以及将所述第一对象的指示或所述复合对象的指示提供给所述车辆的预测组件或规划组件中的至少一个，以用于控制所述车辆。2.根据权利要求1所述的系统，所述操作还包括：至少部分地基于所述第一对象与所述第二对象的关联，将运动学模型与所述第二对象相关联；确定所述第二对象的语义分类；以及至少部分地基于所述语义分类，确定与所述第二对象相关联的所述运动学模型，其中，在随时间接收的新数据中将所述第一对象与所述第二对象相关联是至少部分地基于所述运动学模型的。3.根据权利要求1或2所述的系统，所述操作还包括：至少部分地基于指示检测到的对象是否与对应于所述第二对象的分类相关联的分数，确定将所述第一对象与所述第二对象相关联。4.根据权利要求3所述的系统，所述操作还包括：分析随时间的所述数据的一个或多个部分；以及每次检测到的对象在所述第一对象的阈值距离内时增加所述分数。5.根据权利要求3或4所述的系统，所述操作还包括：确定所述分数大于或等于第一阈值；以及至少部分地基于以下各项中的一项或多项来确定所述第一对象与所述第二对象相关联：(i)确定所述分数大于或等于所述第一阈值，(ii)面积交叉率，(iii)所述检测到的对象是否与所述第一对象重叠的指示，或(iv)所述检测到的对象是否被分类为与所述第一对象相同的类别的指示。6.根据权利要求1至5中任一项所述的系统，所述操作还包括：确定与所述第二对象相关联的至少一个位置，其中，所述至少一个位置包括：所述第二对象的输出位置，其中，所述输出位置由被训练以检测至少所述第一对象和所述第二对象的模型输出；或者所述第二对象的估计位置，其中，所述估计位置包括所述输出位置；以及将所述至少一个位置与所述复合对象的指示相关联。7.根据权利要求1至6中任一项所述的系统，其中，所述复合对象包括带有对象的行人，所述第一对象包括行人，并且所述第二对象包括行人对象，并且其中，所述行人对象包括婴儿车、手提箱、雨伞、大箱子、儿童、摩托车、手推车或轮椅。8.根据权利要求1至7中任一项所述的系统，所述操作还包括：
将与所述第一对象相关联的第一边界区域和与所述第二对象相关联的第二边界区域相关联；以及将所述第一边界区域和所述第二边界区域与第三边界区域相关联，其中，所述第三边界区域包围所述第一边界区域和所述第二边界区域；其中，将所述第一对象的指示或所述复合对象的指示提供给所述车辆的预测组件或规划组件中的至少一个包括将所述第一边界区域、所述第二边界区域和所述第...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：祖克斯有限公司，
类型：发明
国别省市：