用于自主机器应用的未来对象轨迹预测制造技术

在各种示例中，环境中的对象的历史轨迹信息可以由自我车辆追踪并且被编码为状态特征。可以通过使用由自我车辆观察到的每个对象的编码状态特征(例如通过双向长短期记忆(LSTM)网络)来对空间特征进行编码。对象的编码空间特征和编码状态特征可以用于预测对象的横向和/或纵向机动，并且该信息的组合可以用于确定对象的未来位置。未来位置可以由自我车辆用来确定通过环境的路径，或者可以由模拟系统使用以(根据从未来位置确定的轨迹)通过模拟环境来控制虚拟对象。境来控制虚拟对象。境来控制虚拟对象。

【技术实现步骤摘要】
【国外来华专利技术】用于自主机器应用的未来对象轨迹预测

技术介绍

[0001]自主车辆要想有效地导航，就需要对周围环境生成了解，例如，识别附近汽车、行人、交通标志和信号的位置以及道路配置是自主车辆进行安全控制的关键方面。除了环境中对象的当前位置和配置之外，(通过自主车辆的观察)确定随时间推移这些对象可能的未来轨迹可证明有效地充分理解和解释预测的环境中的变化。
[0002]常规系统使用卷积社交池化来利用过去的对象轨迹信息。例如，可以使用长短期记忆(LSTM)网络对环境中的对象运动进行编码，并且可以将每个对象填充在空间网格内。然后可以将空间网格应用于卷积和池化层，以进行社交上下文编码。然后可以使用针对单个对象的社交上下文编码和运动编码来预测单个对象的未来运动。但是，这些常规方法仅限于一次预测单个对象的未来位置——从而限制了信息在自动驾驶应用中的有效性。在为每个对象重复这些常规过程的情况下，由于系统的处理负担，系统的运行时间对于实时部署变得无效。此外，通过使用卷积和池化层进行社交上下文编码，这些常规系统的结果通常会导致对训练数据的过度拟合。

技术实现思路

[0003]本公开的实施例涉及用于自主机器应用的未来对象轨迹预测。公开了关于利用机器学习模型(例如长短期记忆(LSTM)网络)来基于对对象的过去轨迹以及对象之间的空间关系的理解来预测环境中对象的未来轨迹的系统和方法。
[0004]与诸如上述的常规系统相反，本公开的系统利用自我车辆随着时间跟踪环境中的对象。例如，本系统可以预测环境中每个对象的未来轨迹，而仅需要跟踪每个对象轨迹一次。此外，可以并行计算多个对象的轨迹，从而减少了运行时间，并使系统能够针对自主车辆应用准确实时地执行。而且，在一些实施例中，双向LSTM可以用于生成表示环境中的每个对象及其相对于彼此的位置的空间编码。与常规系统相比，使用双向LSTM，通过空间编码可捕获更多上下文，因为对象之间的空间关系是从不同角度进行编码的。另外，由系统预测的对象的未来位置可以用作预测后续未来位置的输入——从而提高了系统尤其是对于未来的预测的准确性。
附图说明
[0005]下面参照附图详细描述用于自主机器应用的未来对象轨迹预测的本系统和方法，其中：
[0006]图1包括根据本公开的一些实施例的用于预测环境中一个或更多个对象的轨迹的过程的示例数据流程图；
[0007]图2A包括根据本公开的一些实施例的轨迹预测模型；
[0008]图2B包括根据本公开的一些实施例的用于生成编码状态特征的示例图示；
[0009]图2C包括根据本公开的一些实施例的用于填充空间布置的示例图示；
[0010]图2D包括根据本公开的一些实施例的用于生成编码空间特征的示例图示；
[0011]图2E包括根据本公开的一些实施例的用于生成编码空间特征的另一示例图示；
[0012]图2F包括根据本公开的一些实施例的用于预测对象的横向机动的示例图示；
[0013]图2G包括根据本公开的一些实施例的用于预测对象的纵向机动的示例图示；
[0014]图2H包括根据本公开的一些实施例的用于预测对象的未来位置的示例图示；
[0015]图2I包括根据本公开的一些实施例的用于使用预测的未来位置来为对象的未来轨迹建模的示例图示；
[0016]图3是示出了根据本公开的一些实施例的用于计算对象机动的方法的流程图；
[0017]图4是示出了根据本公开的一些实施例的用于使用未来预测来计算对象的编码状态特征的方法的流程图；
[0018]图5A是根据本公开的一些实施例的示例自主车辆的图示；
[0019]图5B是根据本公开的一些实施例的用于图5A的示例自主车辆的相机位置和视场的示例；
[0020]图5C是根据本公开的一些实施例的用于图5A的示例自主车辆的示例性系统架构的框图；
[0021]图5D是根据本公开的一些实施例的用于基于云的一个或更多个服务器与图5A的示例自主车辆之间通信的系统图；以及
[0022]图6是适合用于实现本公开的一些实施例的示例计算设备的框图。
具体实施方式
[0023]公开了与用于自主机器应用的未来对象轨迹预测有关的系统和方法。尽管可以关于示例自主车辆500(在本文中可替代地称为“车辆500”，“自我车辆500”或“自主车辆500”)描述本公开，但是其示例相对于图5A
‑
5D进行描述，这并不旨在是限制性的。例如，本文描述的系统和方法可以由但不限于非自主车辆，半自主车辆(例如，在一个或更多个自适应驾驶员辅助系统中(ADAS))，机器人，仓库车辆，越野车辆，飞行器，船只，航天飞机，应急车辆，摩托车，电动或机动自行车，飞机，建筑车辆，水下航行器，无人机和/或其他车辆类型使用。另外，尽管可以相对于自动驾驶或ADAS系统来描述本公开，但这并不是限制性的。例如，本文所述的系统和方法可以在模拟环境(例如，以准确地模拟对象在模拟环境中的运动和控制)中，在机器人、航空系统、划船系统和/或其他
(例如感知，世界模型管理，路径规划，避障和/或其他过程)中使用。
[0024]现在参照图1，图1包括根据本公开的一些实施例的用于预测环境中一个或更多个对象的轨迹的过程100的示例数据流程图。过程100可以包括从车辆500的一个或更多个传感器生成和/或接收传感器数据102。传感器数据102可以被车辆500使用，并且在过程100内，以预测环境中的一个或更多个对象(例如其他车辆，行人等)的未来轨迹。传感器数据102可以包括但不限于来自车辆500(和/或其他车辆或对象，在一些示例中，诸如机器人设备、VR系统、AR系统等)的任何传感器的传感器数据102。例如，并且参照图5A
‑
5C，传感器数据102可以包括但不限于由一个或更多个全球导航卫星系统(GNSS)传感器558(例如，一个或更多个全球定位系统传感器)，一个或更多个雷达(RADAR)传感器560，一个或更多个超声传感器562，一个或更多个激光雷达(LIDAR)传感器564，一个或更多个惯性测量单元(IMU)传感器566(例如，一个或更多个加速度计，一个或更多个陀螺仪，一个或更多个磁罗盘，一
个或更多个磁力计等)，一个或更多个麦克风596，一个或更多个立体照相机568，一个或更多个广角照相机570(例如鱼眼相机)，一个或更多个红外照相机572，一个或更多个环绕照相机574(例如360度照相机)，一个或更多个远程和/或中程照相机598，一个或更多个速度传感器544(例如，用于测量车辆500的速度)和/或其他传感器类型生成的数据。
[0025]在一些示例中，传感器数据102可以包括由一个或更多个前向传感器、侧视传感器和/或后视传感器生成的传感器数据。该传感器数据102可用于识别、检测、分类和/或跟踪环境内车辆500周围的对象的运动。在实施例中，任何数量的传感器可用于合并多个视场(例如，图5B的远程照相机598，前向立体照相机568和/或前向广角照相机570的视场)和/或感觉场(例如，LIDA本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在空间布置中定位一个或更多个编码状态特征，所述一个或更多个编码状态特征中的每个编码状态特征对应于环境中的相应对象，每个编码状态特征被定位在所述空间布置内的位置，所述空间布置内的位置对应于所述环境中的相应对象相对于自我车辆的相对位置；使用长短期记忆(LSTM)网络，通过将表示在第一方向上遍历的所述空间布置的第一数据输入到所述LSTM网络，来计算第一编码空间特征；使用所述LSTM网络或另一个LSTM网络，通过将表示在不同于所述第一方向的第二方向上遍历的所述空间布置的第二数据输入到所述LSTM网络或所述另一个LSTM网络，来计算第二空间矢量；以及对于每个相应对象，至少部分地基于与所述相应对象相对应的所述编码状态特征、所述第一编码空间特征和所述第二编码空间特征，计算与多个对象机动发生的可能性相对应的置信度值。2.根据权利要求1所述的方法，其中，每个编码状态特征是使用机器学习模型并且至少部分地基于与所述编码状态特征相对应的所述相应对象的所述环境内的多个先前位置来计算的。3.根据权利要求1所述的方法，其中，所述多个对象机动包括选自改变到右相邻车道、改变到左相邻车道以及停留在当前车道的横向机动，并且所述多个对象机动还包括选自加速、减速或保持当前速度的纵向机动。4.根据权利要求1所述的方法，还包括：至少部分地基于所述置信度值，从所述多个对象机动中确定一个或更多个对象机动；对于每个相应对象，至少部分地基于与所述相应对象相对应的所述编码状态特征、所述第一编码空间特征、所述第二编码空间特征以及所述一个或更多个对象机动，计算与所述相应对象的未来位置的空间相对应的密度函数。5.根据权利要求4所述的方法，其中，所述密度函数表示未来位置的所述空间内的位置的区域，所述位置的区域使用以下至少一项计算：所述一个或更多个未来位置的标准偏差，所述一个或更多个未来位置的均值或所述一个或更多个未来位置的协方差。6.根据权利要求4所述的方法，还包括：将表示所述环境内的未来位置的第三数据输入到机器学习模型中，所述机器学习模型用于计算所述一个或更多个编码状态特征；以及使用所述机器学习模型，使用所述第三数据计算所述相应对象的更新的编码状态特征。7.根据权利要求6所述的方法，其中，所述更新的编码状态特征被用于计算所述相应对象的所述未来位置之后的另一未来位置。8.根据权利要求1所述的方法，其中，所述环境是模拟环境，并且所述对象机动用于确定所述模拟环境内的所述相应对象的轨迹。9.根据权利要求1所述的方法，其中，使用LSTM网络的相应实例化来计算所述一个或更多个编码状态特征中的每个编码状态特征。10.一种方法，包括：在第一时间实例处，将表示环境中对象的一个或更多个过去位置和当前位置的第一数据输入到长短期记忆(LSTM)网络；使用所述LSTM网络并且至少部分地基于所述第一数据来计算与在所述第一时间实例处的所述对象相对应的第一编码状态特征；在所述第一时间实例处，使用所述第一编码状态特征和与所述环境中的一个或更多个附加对象相对应的一个或更多个附加编码状态特征来计算编码空间特征；使用所述编码空间特征和所述第一编码状态特征预测所述对象在所述环境中的未来位置；在所述第一时间实例之...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：辉达公司，
类型：发明
国别省市：