机器人系统的性能测试技术方案

本文可以使用对自动驾驶车辆或其他机器人系统的运行时堆栈的感知切片进行建模的“感知统计性能模型”(PSPM)，例如，用于安全/性能测试。PSPM被配置为：接收计算的感知地面实况；基于学习参数的集合从感知地面实况确定概率感知不确定性分布，参数是从使用要被建模的感知切片生成的实际感知输出集合学习的。建模的感知切片包括在线误差估计器，且计算机系统被配置成使用PSPM以响应于感知地面实况来获得感知输出的预测的在线误差估计。这认识到，在线感知误差估计本身可能经受误差。线感知误差估计本身可能经受误差。线感知误差估计本身可能经受误差。

【技术实现步骤摘要】
【国外来华专利技术】机器人系统的性能测试


[0001]本公开涉及自动驾驶车辆和其他机器人系统的性能测试。性能测试对于确保此类系统能够以有保证的安全级别运行至关重要。

技术介绍

[0002]据估计，为了使自动驾驶车辆(autonomous vehicle，AV)达到与人类驾驶员相匹配的安全级别，必须在AV的整个运行设计域(Operational Design Domain，ODD)中保证每10^7个自动驾驶决策最多出现1个错误。
[0003]鉴于AV和ODD本身的复杂性，这带来了巨大的挑战。无人驾驶系统(self
‑
driving system)是由交叉依赖和交互的软件和硬件部件(每个部件都容易受到限制或出错)组成的异常复杂的组件。若干个部件使用神经网络进行对象检测(object detection)、类型分类(type classification)、动作预测(action prediction)和其他关键任务。该系统需要在ODD中安全运行。在这种情况下，ODD描述AV可能遇到的所有可能的驾驶场景，因此，它本身具有无限的可能性，其变量包括道路拓扑(road topologies)、用户、外观、照明、天气、行为、季节、速度、随机性和故意行为。
[0004]安全测试的行业标准方法基于实际驾驶测试里程。自动驾驶车队由测试驾驶员驾驶，并且当需要测试驾驶员干预时，决策被定性为不安全。一旦在特定的真实世界驾驶场景中发生了测试驾驶员干预的实例，就可以探究该驾驶场景的情况以隔离导致AV行为不安全的因素并采取适当的缓解动作。

技术实现思路

[0005]模拟已被用于安全测试，但只有在模拟场景足够现实时才有用(如果AV规划器在完全不现实的模拟场景中做出不安全的决策，那么在安全测试背景中的用处远不如现实场景中的不安全行为的实例)。
[0006]一种方法是基于需要测试驾驶员干预的真实场景来运行模拟。收集来自AV的传感器输出，并且传感器输出可用于在模拟器中重建需要测试驾驶员干预的驾驶场景。场景的变量可在规划级别被“模糊化”，以便测试仍然现实的真实场景的变化。通过这种方式，可以获取、分析和使用更多关于不安全行为原因的信息，以改进预测和规划模型。然而，显著的问题出现了，因为随着每个决策的误差数量的减少，为了找到足够数量的不安全行为实例而需要行驶的测试里程数增加。典型的AV规划器可能平均每两秒做出大约1个决策。以每小时20英里的平均速度，这相当于每英里行驶要作出约90个决策。这进而暗示每10^5英里的行驶里程小于一个误差，以便与人类安全级别相匹配。鲁棒的安全测试需要多次测试以跨AV的ODD充分测试AV。随着感知堆栈的发展，这种情况会进一步恶化，因为随着感知堆栈的每次变化，都需要更多的测试里程。由于这些原因，当以接近人类的安全级别下进行测试时，这种方法根本不可行。
[0007]现有的模拟方法还存在其他问题。
[0008]一种方法是规划级别的模拟，但这无法充分考虑感知误差的影响。许多因素会影响感知误差，诸如天气、照明、与另一车辆的距离或另一车辆的速度、遮挡等。
[0009]替代方案将是完全的“真实感”模拟，其中，模拟AV的整个硬件和软件堆栈。然而，这本身就是巨大的挑战。AV感知流水线通常由多个感知部件组成，多个感知部件协同解释AV的传感器输出。
[0010]一个问题是某些感知部件(诸如卷积神经网络(Convolutional Neural Networks，CNN))对模拟数据的质量特别敏感。尽管可以生成高质量的模拟图像数据，但感知中的CNN甚至对与真实数据的微小偏差也极为敏感。因此，这些将需要涵盖AV可能在真实世界中遇到的所有可能的条件(例如，模拟天气条件、照明条件等的不同组合)的异常高质量的模拟图像数据—否则它们在模拟场景中的行为将不会充分反映它们在真实世界中的行为。
[0011]第二个问题是某些类型的传感器数据特别难以建模(模拟)。因此，即使是对输入数据的质量不是特别敏感的感知系统也会给出差的结果，例如，雷达属于极难模拟的传感器数据类别。这是因为雷达的物理特性本质上很难建模。
[0012]第三个首要问题是计算效率问题。基于当前的硬件约束，估计可能尽可能实时地实现真实感的模拟(即使可以克服其他问题)。
[0013]本公开提供了一种使用本文称为“感知统计性能模型”(PSPM)的模型为基于模拟的安全测试的截然不同的方法。本公开中解决的核心问题是以不仅比真实感模拟更鲁棒而且显著更有效的方式模拟现实感知输出—即具有现实误差的感知输出。
[0014]PSPM基于通过被建模的一个或更多个感知部件计算的实际感知输出的鲁棒统计分析，在概率不确定性分布方面对感知误差进行建模。PSPM的独特方面是，在给定感知地面实况(即，将由完美但不现实的感知部件计算的“完美”感知输出)的情况下，PSPM提供概率不确定性分布，概率不确定性分布代表可以由它正在建模的感知部件提供的现实感知部件。例如，给定地面实况3D边界框的情况下，对模拟3D边界框检测器的PSPM建模的PSPM将提供代表现实3D对象检测输出的不确定性分布。甚至当感知系统是确定性的时，它也可以被有效地建模为随机的，以考虑它依赖于实践的许多隐藏变量的认知不确定性。
[0015]当然，感知地面实况在真实世界的AV中不会在运行时可用(这就是需要复杂的感知部件来可靠地解释不完美的传感器输出的原因)。然而，感知地面实况可以直接从在模拟器中运行的模拟场景中导出。例如，在给定存在外部活动者时具有自我车辆(正在测试的模拟AV)的驾驶场景的3D模拟情况下，可以根据外部活动者相对于自我车辆的大小和位姿(位置和方向)从外部活动者的模拟场景中直接计算地面实况3D边界框。然后，PSPM可用于从这些地面实况导出现实的3D边界对象检测输出，而现实的3D边界对象检测输出又可以由剩余的AV堆栈处理，就像它们在运行时一样。
[0016]本文解决的情况是：其中建模的感知系统或子系统本身提供感知误差估计，诸如用于感知输出的协方差估计。这些可以被称为“在线”感知误差估计，以与由PSPM本身的建模区分。这样的在线误差估计是重要的，因为它们可以例如馈送到更高级别的感知部件(诸如以涉及它们的相对误差级别的方式融合感知输出的滤波器或融合部件)以及概率预测/规划。本公开认识到，在线误差估计本身可能经受误差，并且能够以代表性方式对该误差进行建模是有用的。
[0017]本文的第一方面提供了一种用于测试和/或训练机器人系统的运行时堆栈的计算机系统，该计算机系统包括：
[0018]模拟器，该模拟器被配置为运行模拟场景，其中，模拟主体与一个或更多个外部对象交互；
[0019]运行时堆栈的规划器，该运行时堆栈的规划器被配置为根据为模拟场景计算的感知输出的时间序列为每个模拟场景做出自主决策；以及运行时堆栈的控制器，该运行时堆栈的控制器被配置为生成一系列控制信号以使模拟主体随着模拟场景的进展而执行自主决策；
[0020]其中，计算机系统被配置为通过以下操作来计算每个感知输出：本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于测试和/或训练机器人系统的运行时堆栈的计算机系统，所述计算机系统包括：模拟器，所述模拟器被配置为运行模拟场景，其中，模拟主体与一个或更多个外部对象交互；运行时堆栈的规划器，所述运行时堆栈的规划器被配置为根据为所述模拟场景计算的感知输出的时间序列为每个模拟场景做出自主决策；以及运行时堆栈的控制器，所述运行时堆栈的控制器被配置为生成一系列控制信号以使所述模拟主体随着所述模拟场景的进展而执行所述自主决策；其中，所述计算机系统被配置为通过以下操作来计算每个感知输出：基于所述模拟场景的当前状态计算感知地面实况；将感知统计性能模型(PSPM)应用于所述感知地面实况，从而确定概率感知不确定性分布；以及从所述概率感知不确定性分布中采样所述感知输出；其中，PSPM用于对所述运行时堆栈的感知切片进行建模，并且被配置为基于从使用要被建模的感知切片生成的实际感知输出集合学习的参数集合来确定所述概率感知不确定性分布；其中，所述感知切片包括在线误差估计器，且所述计算机系统被配置为使用所述PSPM以响应于所述感知地面实况来获得感知输出的预测的在线误差估计。2.根据权利要求1所述的计算机系统，其中，从所述概率感知不确定性分布采样所述预测的在线误差估计。3.根据权利要求2所述的计算机系统，其中，所述PSPM采取函数逼近器的形式，所述函数逼近器接收感知地面实况t，并且输出概率感知不确定性分布的参数，从所述概率感知不确定性分布采样所述感知输出和预测的在线误差估计。4.根据权利要求3所述的计算机系统，其中，所述PSPM具有神经网络架构。5.根据前述权利要求中任一项所述的计算机系统，其中，所述PSPM被应用于所述感知地面实况以及与所述模拟场景相关联的一个或更多个混杂因素，其中，每个混杂因素是所述PSPM的变量，所述变量的值表征适用于所述模拟场景的物理条件，并且所述概率感知不确定性分布依赖于所述变量，所述预测的在线误差估计依赖于所述混杂因素。6.根据权利要求5所述的计算机系统，其中，所述一个或更多个混杂因素包括以下混杂因素中的一个或更多个，所述混杂因素至少部分地确定从中采样所述感知输出的概率不确定性分布：外部对象中的至少一个的遮挡级别；一个或更多个照明条件；一天中的时间的指示；一种或更多种天气条件；季节的指示；所述外部对象中的至少一个的物理特性；传感器条件，例如，所述外部对象中的至少一个在主体的传感器视场中的位置；所述外部对象的数量或密度；
两个所述外部对象之间的距离；所述外部对象中的至少一个的截断级别；对象中的至少一个的类型，以及关于所述外部对象中的至少一个是否对应于来自所述模拟场景的较早时刻的任何外部对象的指示。7.根据前述权利要求中任一项所述的计算机系统，其中，所述PSPM包括时间依赖模型，使得在预测的在线误差估计处采样的所采样的感知输出取决于以下中的至少一项：在前一时刻采样的所述感知输出中的较早的一个、以及针对前一时刻计算的所述感知地面实况中的较早的一个。8.根据前述权利要求中任一项所述的计算机系统，包括：场景评估部件，所述场景评估部件被配置为通过应用预定规则集合来评估所述外部主体在每个所述模拟场景中的行为。9.根据权利要求8所述的计算机系统，其中，预定规则中的至少一些与安全性有关，并且所述场景评估部件被配置为评估所述主体在每个所述模拟场景中的行为的安全性。10.根据前述权利要求中任一项所述的计算机系统，所述计算机系统被配置为在测试数据库中记录每个模拟场景的细节，其中，所述细节包括规划器做出的决策、那些决策所基于的感知输出以及模拟主体在执行那些决策时的行为。11.根据前述权利要求...

【专利技术属性】
技术研发人员：约翰，
申请(专利权)人：法弗人工智能有限公司，
类型：发明
国别省市：