【技术实现步骤摘要】
【国外来华专利技术】机器人系统的性能测试
[0001]本公开涉及自动驾驶车辆和其他机器人系统的性能测试。性能测试对于确保此类系统能够以有保证的安全级别运行至关重要。
技术介绍
[0002]据估计,为了使自动驾驶车辆(autonomous vehicle,AV)达到与人类驾驶员相匹配的安全级别,必须在AV的整个运行设计域(Operational Design Domain,ODD)中保证每10^7个自动驾驶决策最多出现1个错误。
[0003]鉴于AV和ODD本身的复杂性,这带来了巨大的挑战。无人驾驶系统(self
‑
driving system)是由交叉依赖和交互的软件和硬件部件(每个部件都容易受到限制或出错)组成的异常复杂的组件。若干个部件使用神经网络进行对象检测(object detection)、类型分类(type classification)、动作预测(action prediction)和其他关键任务。该系统需要在ODD中安全运行。在这种情况下,ODD描述AV可能遇到的所有可能的驾驶场景,因此,它本身具有无限的可能性,其变量包括道路拓扑(road topologies)、用户、外观、照明、天气、行为、季节、速度、随机性和故意行为。
[0004]安全测试的行业标准方法基于实际驾驶测试里程。自动驾驶车队由测试驾驶员驾驶,并且当需要测试驾驶员干预时,决策被定性为不安全。一旦在特定的真实世界驾驶场景中发生了测试驾驶员干预的实例,就可以探究该驾驶场景的情况以隔离导致AV行为不安全的因素并采取适当的缓解动 ...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于测试和/或训练机器人系统的运行时堆栈的计算机系统,所述计算机系统包括:模拟器,所述模拟器被配置为运行模拟场景,其中,模拟主体与一个或更多个外部对象交互;运行时堆栈的规划器,所述运行时堆栈的规划器被配置为根据为所述模拟场景计算的感知输出的时间序列为每个模拟场景做出自主决策;以及运行时堆栈的控制器,所述运行时堆栈的控制器被配置为生成一系列控制信号以使所述模拟主体随着所述模拟场景的进展而执行所述自主决策;其中,所述计算机系统被配置为通过以下操作来计算每个感知输出:基于所述模拟场景的当前状态计算当前时刻的感知地面实况;将感知统计性能模型(PSPM)应用于所述感知地面实况,从而确定所述当前时刻的概率感知不确定性分布;以及从所述概率感知不确定性分布中采样所述感知输出;其中,PSPM用于对所述运行时堆栈的感知切片进行建模,并且被配置为基于从使用要被建模的感知切片生成的实际感知输出集合学习的参数集合来确定所述概率感知不确定性分布;其中,所述PSPM包括时间依赖模型,使得在所述当前时刻采样的所述感知输出取决于以下至少一项:在前一时刻采样的感知输出中的较早的一个、以及针对前一时刻计算的感知地面实况中的较早的一个。2.根据权利要求1所述的计算机系统,其中,所述时间依赖模型是隐马尔可夫模型。3.根据权利要求1或2所述的计算机系统,其中,所建模的感知切片包括至少一个滤波部件,所述时间依赖模型用于对所述滤波部件的时间依赖性进行建模。4.根据权利要求1或从属于其的任何权利要求所述的方法,其中,所述PSPM为时间依赖神经网络架构。5.根据权利要求4所述的方法,其中,所述PSPM被配置为接收较早的感知输出和/或较早的感知地面实况作为输入。6.根据权利要求4所述的方法,其中,所述PSPM具有循环神经网络架构。7.根据前述权利要求中任一项所述的方法,其中,所述PSPM被应用于所述感知地面实况以及与所述模拟场景相关联的一个或更多个混杂因素,其中,每个混杂因素是所述PSPM的变量,所述变量的值表征适用于所述模拟场景的物理条件,并且所述概率感知不确定性分布依赖于所述变量。8.根据权利要求7所述的计算机系统,其中,所述一个或更多个混杂因素包括以下混杂因素中的一个或更多个,所述混杂因素至少部分地确定从中采样所述感知输出的概率不确定性分布:外部对象中的至少一个的遮挡级别;一个或更多个照明条件;一天中的时间的指示;一种或更多种天气条件;季节的指示;
所述外部对象中的至少一个的物理特性;传感器条件,例如,所述外部对象中的至少一个在主体的传感器视场中的位置;所述外部对象的数量或密度;两个所述外部对象之间的距离;所述外部对象中的至少一个的截断级别;对象中的至少一个的类型,以及关于所述外部对象中的至少一个是否对应于来自所述模拟场景的较早时刻的任何外部对象的指示。9.根据前述权利要求中任一项所述的计算机系统,包括:场景评估部件,所述场景评估部件被配置为通过应用预定规则集合来评估所述外部主体在每个所述模拟场景中的行为。10.根据权利要求9所述的计算机系统,其中,预定规则中的至少一些与安全性有关,并且所述场景评估部件被配置为评估所述主体在每个所述模拟场景中的行为的安全性。11.根据权利要求10所述的计算机系统,其中,所述场景评估部件被配置为通过所述主体自动地标记不安全行为的实例,用于进一步分析和测试。12.根据权利要求10或11所述的计算机系统,其中,所述计算机系统被配置为基于为重新运行场景确定的感知地面实况的时间序列,重新运行所述主体最初表现出不安全行为的模拟场景,而无需将所述PSPM应用于那些感知地面实况,因此没有感知误差;以及评估所述主体在所述重新运行场景中是否仍然表现出不安全行为。13.根据前述权利要求中任一项所述的计算机系统,其中,来自所述概率感知不确定性分布的采样是不均匀的并且偏向于较低概率的感知输出。14.根据前述权利要求中任一项所述的计算机系统,其中,所述规划器被配置为基于感知输出的第二时间序列做出所述自主决策,其中,所述PSPM是第一PSPM,并且所述计算机系统被配置为使用对所述运行时堆栈的第二感知切片建模的第二PSPM计算所述感知输出的第二时间序列,所述第一PSPM从所述感知切片的第一传感器模态和时间序列的数据中学习,以及所述第二PSPM独立地从所述第二感知切片的第二传感器模态和所述第二时间序列的数据中学习。15.根据权利要求1至14中任一项所述的计算机系统,其中,所述规划器被配置为基于感知输出的第二时间序列做出所述自主决策,所述时间序列和所述第二时间序列分别对应于第一传感器模态和第二传感器模态,其中,所建模的感知切片被配置为处理两个传感器模态的传感器输入,并且通过应用所述PSPM来计算两个时间序列,所述PSPM从两个传感器模态的数据中学习用于对所...
【专利技术属性】
技术研发人员:约翰,
申请(专利权)人:法弗人工智能有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。