自主交通工具运动计划中的稀有事件仿真制造技术

公开了识别用于训练自主交通工具运动计划模型的极端情况模拟场景的方法。系统选择包括由一个或多个交通工具在一段时间内捕获的数据的场景。数据包括交通工具的传感器在现实世界环境中在该时间段内感知到的一个或多个动作者。系统选择包括安全阈值违规的场景，并且它识别参与违规的动作者的轨迹。系统生成改变动作者在所选择的场景中的轨迹的模拟场景，选择更可能在现实世界中发生并且可能包括超出原始场景中可能发现的任何安全阈值违反的模拟场景，并使用所选择的模拟场景来训练自主交通工具运动计划模型。交通工具运动计划模型。交通工具运动计划模型。

【技术实现步骤摘要】
【国外来华专利技术】自主交通工具运动计划中的稀有事件仿真
[0001]交叉引用和优先权要求
[0002]本专利文件要求于2021年2月18日提交的美国专利申请号17/178,333的优先权，其全部内容通过引用并入本文。

技术介绍

[0003]自主交通工具(AV)使用运动计划系统来做出关于在环境中移动到何处以及如何移动的决定。运动计划系统依赖于人工智能模型来分析交通工具的传感器可以感知的移动动作者，预测这些动作者可以做什么，并确定交通工具的考虑动作者的可能动作的动作过程。
[0004]为了进行预测并确定动作过程，必须在交通工具在环境中可能遇到的数据上训练交通工具的运动计划模型。用于训练交通工具的运动计划模型的场景越多，模型可以越好地做出运动计划决策。然而，交通工具可能遇到的可能场景的范围是无限的，并且不可能对交通工具进行预训练以识别和处理其在现实世界中可能遇到的每种可能情况。
[0005]例如，一些事件可能很少发生，使得交通工具的感知系统不太可能捕获这种事件。如果事件未被捕获，则该事件将不被输入到交通工具的运动计划模型以用于训练。这种“边缘事件”或“极端情况(corner case)”可以包括动作者交通违规的情况，或者动作者偏离预期行为的情况(例如当交通工具在结冰道路上行进时打滑)。期望在极端情况下训练交通工具的运动计划模型，使得交通工具可以学习如何对它们做出反应，但是在每个可能的极端情况下训练模型既不高效也不实际，特别是那些极不可能发生的极端情况。因此，需要识别和开发一组有效的相对更真实和可能的极端情况，并在这种极端情况下训练交通工具模型的方法。
[0006]本文描述了解决诸如上面讨论的问题的方法和系统。

技术实现思路

[0007]公开了用于识别自主交通工具的极端情况模拟场景的系统和方法。该系统包括包含各种场景的数据存储。每个场景在真实世界环境中的时间窗口期间包括与由自主交通工具感知系统在自主交通工具的行驶期间在时间窗口上感知一个或多个动作者相对应的感知数据。系统的计算元件将从数据存储中选择包括安全阈值违反的场景。系统将在所选择的场景中识别作为安全阈值违反中的参与者的第一动作者。系统将识别第一动作者在动作者行驶的时间窗口的至少一部分上的轨迹。系统将通过在所选择的场景中生成第一动作者的模拟轨迹来生成一组模拟场景。然后，系统将模拟场景中的一个或多个输入到自主交通工具运动计划模型中，以训练自主交通工具运动计划模型。
[0008]可选地，系统还可分析第一动作者的模拟轨迹以识别对应于一个或多个安全阈值违反的任何模拟轨迹。系统还可以识别包括安全阈值违反中的一个或多个的模拟场景的子集，并且它可以过滤掉不包括任何安全阈值违反的模拟场景。然后，当训练自主交通工具运动计划模型时，系统可以利用包括一个或多个安全阈值违反场景的模拟场景而不利用被滤
除的任何模拟场景来这样做。还可选地，当识别包括安全阈值违反中的一个或多个的模拟场景的子集时，系统可以识别对应于一个或多个识别的极端场景的模拟场景的子集。
[0009]在一些实施例中，当在所选择的场景中生成第一动作者的模拟轨迹时，系统可在所选择的场景的时间窗口上改变场景中第一动作者的时间索引属性。例如，系统可以应用随机化函数以随机地改变以下中的一个或多个：第一动作者的速度、第一动作者的移动方向或第一动作者的转向信号状态。
[0010]在一些实施例中，系统可在所选择的场景中识别不是安全阈值违反中的参与者的第二动作者。系统还可以识别第二动作者在时间窗口内的轨迹。然后，当生成该组模拟场景时，系统可以在所选择的场景中生成第二动作者的模拟轨迹。
[0011]可选地，当选择包括安全阈值违反的场景时，系统可以通过访问各种候选场景来选择具有近碰撞场景的场景，并且对于每个候选场景，分析场景上的一个或多个对象的移动以确定每个对象在场景的时间窗口上的时间索引位置。然后，系统可以将任何候选场景期间的任何时间段分类为近碰撞场景，其中对象在来自其感知系统感知到对象的交通工具阈值碰撞时间内到来。
[0012]可选地，当选择包括安全阈值违反的场景时，系统可以通过访问候选场景来选择违反交通法的场景，并且对于每个候选场景，分析模拟轨迹以识别与第一动作者违反交通法相对应的任何模拟轨迹。
[0013]可选地，当在所选择的场景中生成第一动作者的模拟轨迹时，系统可以将一个或多个干扰引入所选择的场景中，然后预测在引入每次干扰之后第一动作者将采取的轨迹。例如，系统可以将遮挡添加到所选择的场景中，改变所选择的场景中的一个或多个对象的大小，或者改变所选择的场景中的交通工具上的转向信号状态。
[0014]任选地，当识别出第一动作者是安全阈值违反中的参与者时，系统还可通过在第一动作者是安全阈值违反中的参与者时满足以下条件中的一个或多个来确定第一动作者与自主交通工具的一个或多个运动计划决策相关：(a)第一动作者在距自主交通工具的阈值距离内；(b)所述第一动作者以阈值速度或高于阈值速度移动；或者(c)第一动作者在朝向自主交通工具的方向上移动。
附图说明
[0015]图1示出了自主交通工具的示例子系统。
[0016]图2示出了识别用于自主交通工具的极端情况模拟场景的示例过程。
[0017]图3A示出了包括安全阈值违反的场景中的动作者的示例轨迹。图3B示出了从图3A的场景生成的模拟场景中的示例改变的轨迹。
[0018]图4A示出了其中检测到多个动作者的示例场景，而图4B示出了从图4A的场景生成的并且其中多个动作者的轨迹变化的示例模拟场景。
[0019]图5示出了自主交通工具的示例系统和部件，具有可以出现在图1的子系统中的元件的附加细节。
[0020]图6是示出了用于安全机器学习训练的系统的框图。
具体实施方式
[0021]如本文件中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另有明确说明。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员通常理解的含义相同的含义。如本文中所使用的，术语“包含”意指“包括但不限于”。与本文相关的附加术语的定义包括在本具体实施方式的末尾。
[0022]本文描述了用于开发自主交通工具(AV)在真实世界环境中驾驶时可能遇到的潜在真实世界事件的模拟场景的方法。所识别的模拟集中在罕见事件上，这些事件有时被称为“极端情况”或“边缘事件”，交通工具不太可能遇到这些事件，但这些事件仍然足够现实以至于交通工具可能遇到这些事件。
[0023]在描述本公开的极端情况模拟过程的细节之前，提供关于自动驾驶交通工具(AV)系统的一些背景信息是有用的。子系统的某些部件可以体现在作为AV的车载计算系统101的一部分的处理器硬件和计算机可读编程指令中，或者体现在其上安装有可以由这种系统执行的计算机可读编程指令的存储器装置中；本文中描述的计算机程序产品实施例包括所有这样的选项。子系统可以包括感知系统102，该感知系统102包括捕获关于存在于交通工具的直接周围环境中的移动动作者和其他对象的信息的传感本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种识别用于自主交通工具的极端情况模拟场景的方法，所述方法包括：通过自主交通工具运动计划系统：维持包含多个场景的数据存储，其中每个场景在真实世界环境中的时间窗口期间包括与在自主交通工具的行驶期间由自主交通工具感知系统在时间窗口上感知的一个或多个动作者相对应的感知数据；从所述数据存储中选择包括安全阈值违反的场景；在所选择的场景中识别作为所述安全阈值违反中的参与者的第一动作者；识别所述第一动作者在所述时间窗口的至少一部分上的轨迹；通过在所述所选择的场景中生成所述第一动作者的模拟轨迹来生成一组模拟场景；以及将所述模拟场景中的一个或多个输入到自主交通工具运动计划模型中，以训练所述自主交通工具运动计划模型。2.根据权利要求1所述的方法，还包括：分析所述第一动作者的所述模拟轨迹以识别对应于一个或多个安全阈值违反的所述模拟轨迹中的任一个；识别包括所述安全阈值违反中的一个或多个的所述模拟场景的子集；过滤掉不包括所述安全阈值违反中的任一个的模拟场景；以及当训练所述自主交通工具运动计划模型时，利用包括所述安全阈值违反场景中的一个或多个的模拟场景而不利用被滤除的任何模拟场景来这样做。3.根据权利要求2所述的方法，其中识别包括所述安全阈值违反中的一个或多个的所述模拟场景的子集包括识别对应于一个或多个识别的极端场景的所述模拟场景的子集。4.根据权利要求1所述的方法，其中，在所述所选择的场景中生成所述第一动作者的所述模拟轨迹包括：在所述所选择的场景的所述时间窗口上改变所述场景中的所述第一动作者时间索引属性。5.根据权利要求4所述的方法，其中，在所述所选择的场景的所述时间窗口上改变所述场景中的所述第一动作者的所述时间索引属性包括应用随机化函数以随机地改变以下中的一个或多个：所述第一动作者的速度、所述第一动作者的移动方向或所述第一动作者的转向信号状态。6.根据权利要求1所述的方法，还包括：在所述所选择的场景中识别不是所述安全阈值违反中的参与者的第二动作者；以及识别所述第二动作者在所述时间窗口内的轨迹，其中，生成所述一组模拟场景还包括在所述所选择的场景中生成所述第二动作者的模拟轨迹。7.根据权利要求1所述的方法，其中，选择包括安全阈值违反的所述场景包括通过以下方式选择具有近碰撞场景的场景：访问多个候选场景；对于所述候选场景中的每一个，分析所述场景上的一个或多个对象的移动，以针对每个对象确定所述对象在所述场景的所述时间窗口上的时间索引位置；以及将所述候选场景中的所述候选场景中的任一个期间的任何时间片段分类为近碰撞场
景，在所述任何时间片段中，对象在来自所述交通工具的感知系统感知到所述对象的交通工具阈值碰撞时间内到来。8.根据权利要求1所述的方法，其中，选择包括安全阈值违反的所述场景包括通过以下方式选择违反交通法的场景：访问多个候选场景；以及对于所述候选场景中的每一个，分析所述模拟轨迹以识别与所述第一动作者违反交通法相对应的任何模拟轨迹。9.根据权利要求1所述的方法，其中，在所述所选择的场景中生成所述第一动作者的所述模拟轨迹包括：将一个或多个干扰引入所述所选择的场景中；以及预测在引入每次干扰之后所述第一动作者将采取的轨迹。10.根据权利要求9所述的方法，其中，将一个或多个干扰引入所述所选择的场景包括以下中的一个或多个：将遮挡添加到所述所选择的场景中；改变所述所选择的场景中的一个或多个对象的大小；或改变所述所选择的场景中的交通工具上的转向信号状态。11.根据权利要求1所述的方法，其中识别作为所述安全阈值违反中的参与者的所述第一动作者还包括通过在所述第一动作者作为所述安全阈值违反中的参与者时满足以下条件中的一个或多个来确定所述第一动作者与所述自主交通工具的一个或多个运动计划决策相关：所述第一动作者在距所述自主交通工具的阈值距离内；所述第一动作者以阈值速度或高于阈值速度移动；或第一动作者在朝向所述自主交通工具的方向上移动。12.一种用于识别自主交通工具的极端情况模拟场景的系统，所述系统包括：处理器；存储器，所述存储器存储包含多个场景的数据存储，其中每个场景在真实世界环境中的时间窗口期间包括与在自主交通工具的行驶期间由自主交通工具感知系统在时间窗口上感知的一个或多个动作者相对应的感知数据；以及存储器，所述存储器存储计算机可读编程...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：埃尔构人工智能有限责任公司，
类型：发明
国别省市：