使用锚定轨迹的代理轨迹预测制造技术

用于使用锚定轨迹进行代理轨迹预测的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。的计算机程序。的计算机程序。

【技术实现步骤摘要】
【国外来华专利技术】使用锚定轨迹的代理轨迹预测

技术介绍

[0001]本说明书涉及预测环境中的代理(agent)的未来轨迹。
[0002]环境可以是真实世界环境，并且代理可以是例如环境中的车辆。预测代理的未来轨迹是(例如，由自主车辆进行的)运动规划所需的任务。
[0003]自主车辆包括自动驾驶汽车、船只和飞机。自主车辆使用各种车载传感器和计算机系统来检测附近的对象，并且使用这种检测来做出控制和导航决策。
[0004]一些自主车辆具有实施用于各种预测任务(例如，图像内的对象分类)的神经网络、其他类型的机器学习模型或两者的车载计算机系统。例如，可以使用神经网络来确定车载相机所捕获的图像很可能是附近汽车的图像。神经网络(或者为简洁起见，网络)是采用多层操作从一个或多个输入中预测一个或多个输出的机器学习模型。神经网络通常包括位于输入层与输出层之间的一个或多个隐藏层。每一层的输出用作网络中另一层(例如，下一个隐藏层或输出层)的输入。
[0005]神经网络的每一层都指定了要对该层的输入执行的一个或多个变换操作。一些神经网络层具有被称为神经元的操作。每个神经元接收一个或多个输入，并且生成由另一神经网络层接收的输出。通常，每个神经元从其他神经元接收输入，并且每个神经元向一个或多个其他神经元提供输出。
[0006]神经网络的架构规定了什么层被包括在网络中及其属性，以及网络的每一层的神经元是如何连接的。换句话说，该架构指定了哪些层将其输出作为输入提供给哪些其他层，以及如何提供输出。
[0007]每一层的变换操作由安装有实施变换操作的软件模块的计算机来执行。因此，被描述为执行操作的层意味着实施该层的变换操作的计算机执行这些操作。
[0008]每一层使用该层的参数集的当前值生成一个或多个输出。因此，训练神经网络涉及连续地对输入执行前向传递、计算梯度值以及使用计算的梯度值(例如，使用梯度下降)更新每一层的参数集的当前值。一旦神经网络被训练，最终的参数值集合可以用于在生产系统中进行预测。

技术实现思路

[0009]本说明书总体上描述了一种被实施为在一个或多个位置的一个或多个计算机上的计算机程序的、预测环境中的代理的未来轨迹的系统。
[0010]根据第一方面，提供了一种用于预测环境中的车辆附近的代理的未来轨迹的系统。该系统获得表征该代理的嵌入，并且使用轨迹预测神经网络处理该嵌入，以生成表征在当前时间点之后代理的未来轨迹的轨迹预测输出。轨迹预测输出包括表征代理的未来轨迹与多个锚定轨迹中的每个锚定轨迹的预测相似性的数据。每个锚定轨迹表征代理的可能未来轨迹，并且包括指定环境中多个航点空间位置的序列的数据，每个航点空间位置对应于相应的未来时间点。该系统向车辆的规划系统提供轨迹预测输出，以生成规划车辆的未来轨迹的规划决策。
[0011]本说明书中描述的主题可以在特定实施例中实施，以便实施一个或多个以下优点。
[0012]本说明书中描述的系统可以生成轨迹预测输出，轨迹预测输出表征代理的未来轨迹与多个“锚定”轨迹中的每个“锚定”轨迹的预测相似性。每个锚定轨迹隐含地对应于代理的可能高级意图，例如，执行掉头、改变车道或停车。对于每个锚定轨迹，轨迹预测输出还可以表征代理如何执行与锚定轨迹相对应的意图的不确定性。
[0013]该系统可以使用通过神经网络模型的一次前向传递来有效地生成代理的轨迹预测输出，并且轨迹预测输出可以例如由概率分布参数集来紧凑地表示。相比之下，一些传统的轨迹预测系统生成由一些参数表示的输出，这些参数的数量比表示由本说明书中描述的系统生成的轨迹预测输出所需的参数数量大几个数量级。此外，一些传统的轨迹系统不是生成单个轨迹预测输出，而是重复生成表征代理的多个不同的可能未来轨迹的输出。因此，通过生成单个紧凑的轨迹预测输出，本说明书中描述的系统可以比一些传统的轨迹预测系统消耗更少的计算资源(例如，内存资源)。
[0014]本说明书中描述的系统可以比一些传统的轨迹预测系统更准确地生成表征代理的未来轨迹的轨迹预测输出。例如，通过表征代理的未来轨迹中固有的不确定性，系统可以比预测代理的单个最可能的未来轨迹的一些传统系统更准确地生成轨迹预测输出。作为另一示例，通过基于捕获可能未来轨迹的分布模式的锚定轨迹集合生成轨迹预测输出，系统可以避免一些传统系统所经历的“模式崩溃”。经历模式崩溃的传统系统可以生成代理的多个预测未来轨迹，而这些轨迹与代理的未来轨迹的单个确定性估计相差很小。
[0015]本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据描述、附图和权利要求，本主题的其他特征、方面和优点将变得显而易见。
附图说明
[0016]图1是示例系统的示意图。
[0017]图2是生成代理的轨迹预测的图示。
[0018]图3是用于生成轨迹预测输出的示例过程的流程图。
[0019]图4是用于训练轨迹预测系统的示例过程的流程图。
[0020]不同附图中的相似附图标记和名称表示相似元素。
具体实施方式
[0021]本说明书描述了车辆(例如，自主或半自主车辆)如何使用经训练的机器学习模型(在本说明书中称为“轨迹预测系统”)来为环境中的车辆附近的一个或多个周围代理中的每个代理生成相应的轨迹预测输出。
[0022]在本说明书中，在不失普遍性的情况下，“周围代理”可以是指车辆、自行车、行人、船只、无人机或环境中的任何其他移动对象。
[0023]本说明书还描述了如何使用车辆生成的训练示例来有效地训练轨迹预测系统以准确且可靠地进行预测。
[0024]图1是示例系统100的示意图。系统100包括车载系统110和训练系统120。
[0025]车载系统110位于车辆102上。图1中的车辆102被示出为汽车，但是车载系统102可
以位于任何适当的车辆类型上。车辆102可以是确定并执行全自主驾驶决策以便在环境中导航的全自主车辆。车辆102也可以是使用预测来辅助人类驾驶员的半自主车辆。例如，如果预测指示人类驾驶员即将与另一车辆碰撞，则车辆102可以自主地应用刹车。
[0026]车载系统110包括一个或多个传感器子系统130。传感器子系统130包括接收电磁辐射的反射的组件的组合，例如，检测激光的反射的激光雷达系统、检测无线电波的反射的雷达系统以及检测可见光的反射的相机系统。
[0027]由给定传感器生成的传感器数据通常指示所反射的辐射的距离、方向和强度。例如，传感器可以在特定方向上发送一个或多个电磁辐射脉冲，并且可以测量任何反射的强度以及接收反射的时间。距离可以通过确定脉冲与其相应的反射之间需要多长时间来计算。传感器可以连续地扫描特定空间的角度、方位或两者。例如，扫描方位可以允许传感器沿着相同视线检测多个对象。
[0028]传感器子系统130或车辆102的其他组件也可以将来自一个或多个传感器的一个或多个原始传感器测量值的组分类为另一代理的测量。一组传感器测量值可以用各种方式中的任何一种来表示，这依赖于被捕获的传感器测量值的种类。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个数据处理装置执行的方法，所述方法包括：获得表征直到当前时间点的在环境中的车辆附近的代理的嵌入；使用轨迹预测神经网络处理所述嵌入以生成轨迹预测输出，所述轨迹预测输出表征在所述当前时间点之后所述代理的未来轨迹，其中：所述轨迹预测输出包括表征所述代理的所述未来轨迹与多个锚定轨迹中的每个锚定轨迹的预测相似性的数据；以及每个锚定轨迹表征所述代理的可能未来轨迹，并且包括指定所述环境中的多个航点空间位置的序列的数据，每个航点空间位置对应于所述代理在相应未来时间点的可能位置；以及向所述车辆的规划系统提供所述轨迹预测输出，以生成规划所述车辆的未来轨迹的规划决策。2.根据权利要求1所述的方法，其中，对于所述多个锚定轨迹中的每个锚定轨迹，所述轨迹预测输出还包括：对于所述锚定轨迹的每个航点空间位置，表征依赖于所述航点空间位置的概率分布的数据，所述概率分布定义所述代理将在与所述航点空间位置相对应的未来时间点占据所述航点空间位置附近的相应空间位置的相应可能性。3.根据权利要求2所述的方法，其中，表征依赖于所述航点空间位置的概率分布的数据包括定义依赖于所述航点空间位置的参数概率分布的参数的数据。4.根据权利要求3所述的方法，其中，依赖于所述航点空间位置的所述参数概率分布是正态概率分布，并且定义所述正态概率分布的参数的数据包括(i)指定所述正态概率分布的均值相对于所述航点空间位置的偏移的偏移参数以及(ii)所述正态概率分布的协方差参数。5.根据任一前述权利要求所述的方法，其中，所述轨迹预测神经网络包括一个或多个卷积神经网络层。6.根据任一前述权利要求所述的方法，其中，所述轨迹预测神经网络包括一个或多个循环神经网络层。7.根据任一前述权利要求所述的方法，其中，获得表征直到当前时间点的在环境中的车辆附近的代理的嵌入包括：使用嵌入神经网络来处理表征直到所述当前时间点的在所述环境中的所述代理的先前...

【专利技术属性】
技术研发人员：Y柴，B萨普，M班萨尔，D安格洛夫，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：