【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及用于现实或模拟场景中评估自主车辆系统和轨迹规划器性能的工具和方法以及用于实施该方法的计算机程序和系统。示例应用包括自主驾驶系统(autonomous driving system﹣ads)和高级驾驶辅助系统(advanced driver assistsystem﹣adas)性能测试。
技术介绍
1、自主车辆领域取得了重大而迅速的发展。自主车辆(autonomous vehicle﹣av)是一种配备传感器和控制系统的车辆，能够在无人控制其行为的情况下操作。自主车辆配备支持感知其物理环境的传感器，此类传感器例如包括摄像头、雷达和激光雷达。自主车辆配备适当编程的计算机，能够处理从传感器接收的数据，并根据传感器感知的环境做出安全且可预测的决策。自主车辆可以是全自主型(因设计为至少在某些情况下无人监督或干预地进行操作)或半自主型。半自主系统需要不同程度的人为监督和干预，此类系统包括高级驾驶辅助系统和三级自主驾驶系统。测试特定自主车辆或某类自主车辆上传感器和控制系统的行为涉及不同方面。
2、“五级”车辆是一种在任何情况下都能全自主操作的车辆，因为始终保证满足某种最低安全级别。这种车辆根本不需要手动控制(方向盘、踏板等)。
3、相比之下，三级和四级车辆仅在某些规定情况下才能全自主操作(例如在地理围栏区域内)。三级车辆必须具备自主处理任何需要立即响应的情况(如紧急制动)；然而，情况变化可能会引发“过渡需求”，要求驾驶员在有限的时间内接管车辆控制权。四级车辆也有类似限制；然而，如果驾驶员未在要求的时间帧内做出响
4、随着自主水平的提高以及更多的责任从人转移到机器，安全问题日益严峻。在自主驾驶中，保证安全的重要性广受认可。保证安全并不一定意味着零事故，而是意味着保证规定情况下达到某种最低安全级别。人们普遍认为，自主驾驶的最低安全级别必须远超人类驾驶员的安全级别。
5、根据shalev-shwartz等人所著“on a formal model of safe and scalableself-driving cars(关于安全可扩展自驾汽车的形式模型)”(2017)，arxiv:1708.06374(rss论文)，其全部内容通过引用归并本文，评估人类驾驶会造成每小时发生10-6起严重事故。假设自主驾驶系统需要将其降低至少三个数量级，rss论文总结到最低安全级别需要保证每小时严重事故低至10-9起，并指出每次要更改av系统的软件或硬件时，纯靠数据驾驶的方法都需要收集海量驾驶数据。
6、rss论文提供了一种基于模型的方法来保证安全性。基于规则的责任敏感安全(responsibility-sensitive safety﹣rss)模型是通过形式化少量“常识”驾驶规则来构建：
7、1.切勿后方追尾；
8、2.切勿鲁莽超车；
9、3.切勿抢占路权；
10、4.注意能见度有限区域；
11、5.务必规避事故却不造成其他事故。
12、rss模型是一种可证明安全性的模型，即，若所有主体始终遵守rss模型的规则，就不会发生任何事故。目的是将证明所需安全级别而需要收集的驾驶数据量减少几个数量级。
13、安全模型(如rss)可以用作评估在自主系统(栈)控制下的现实或模拟场景中自我主体规划或实现的轨迹质量的基础。通过将栈暴露于不同的场景并评估所得的自我轨迹是否符合安全模型的规则来测试栈(基于规则的测试)。基于规则的测试方法还可应用于其他性能方面，如舒适度或实现既定目标的进展。
技术实现思路
1、本文描述了允许专家评测av系统的感知误差和驾驶性能的技术。通过将av感知系统的感知输出与地面实况感知输出进行比较来评估av感知系统的感知输出，使专家能够评定感知问题对既定av系统整体性能的影响。本文描述的ui在单个可视化中呈现感知误差和驾驶性能，提供感知与驾驶性能之间的相关性并帮助专家确定可能影响整体驾驶性能的感知误差来源。
2、本公开第一方面涉及一种用于测试实时感知系统的计算机系统，该实时感知系统用于部署在配备传感器的车辆中，该计算机系统包括：
3、至少一个输入端，配置为接收供配备传感器的车辆执行的至少一个现实世界驾驶运行的数据，该数据包括：(i)由配备传感器的车辆捕获的传感器数据时间序列，(ii)被测实时感知系统从中提取的至少一个相关运行时感知输出时间序列；
4、渲染组件，配置为生成用于渲染图形用户界面(gui)的渲染数据，该图形用户界面包括感知误差时间线，对于至少一个现实世界驾驶运行的多个时间步中每一个时间步，该感知误差时间线具有该时间步发生任何感知误差的视觉指示；
5、地面实况流水线，配置为处理如下至少一项：(i)传感器数据时间序列，(ii)运行时感知输出时间序列，其中通过对此应用至少一个非实时和/或非因果感知算法来提取至少一个地面实况感知输出时间序列(“伪地面实况(pseudo-ground truth)”)，以便与运行时感知输出进行比较；
6、感知预言机，配置为将运行时感知输出时间序列与地面实况感知输出时间序列进行比较，从而标识一个或多个时间间隔内发生的任何感知误差，以便生成感知误差时间线。
7、各实施例中，标识感知误差可以是通过计算运行时感知输出时间序列与地面实况感知输出时间序列之间的误差数值并将误差数值与至少一个感知误差阈值进行比较。
8、例如，如果误差数值超过误差阈值，则误差数值可以仅标识为感知误差。
9、误差阈值可以是固定阈值或可变阈值。例如，不同的感知误差阈值可以应用于不同的活动者(actor)/主体(agent)或其不同类型(例如，车辆与行人阈值不同等)。
10、误差阈值可以是可调整误差或其他可配置误差，例如经由gui或经由提供给感知预言机的规则定义指令(例如用领域特定语言(domain-specific language﹣dsl)编码)。可以提供规则编辑器来采取感知误差规范形式对dsl规则定义指令进行编码。后一种方法提供了本文所称的“感知误差框架”。
11、误差阈值还可以随驾驶运行的一个或多个场景变量(运行变量，例如误差阈值适用对象的变量)而变化。例如，对于既定对象(例如主体或静态对象)，随着该对象与自我主体之间的距离增加，该对象的感知误差阈值可以增加(基于更小的感知误差对于附近对象更为重要)。使用固定阈值但使用根据场景变量加权(例如，通过反距离加权)的误差数值可以实现相同的效果。本文中，言及“本文档来自技高网...
【技术保护点】
1.一种用于测试实时感知系统的计算机系统，所述实时感知系统用于部署在配备传感器的车辆中，该计算机系统包括：
2.根据权利要求1所述的计算机系统，其中，所述感知预言机标识感知误差，其中通过计算所述运行时感知输出时间序列与所述地面实况感知输出时间序列之间的误差数值并将所述误差数值与至少一个感知误差阈值进行比较。
3.根据权利要求2所述的计算机系统，其中，如果所述误差数值超过所述至少一个感知误差阈值中一个或多个阈值，则所述误差数值标识为感知误差。
4.根据权利要求2或3所述的计算机系统，其中，所述至少一个感知误差阈值为固定阈值。
5.根据权利要求2或3所述的计算机系统，其中，所述至少一个感知误差阈值能根据一个或多个场景变量而变化。
6.根据权利要求2至5中任一项所述的计算机系统，其中，所述误差阈值能够经由图形用户界面来调整。
7.根据权利要求2至6中任一项所述的计算机系统，其中，所述误差阈值能经由提供给所述感知预言机的规则定义指令来调整。
8.根据权利要求7所述的计算机系统，其中，使用规则编辑器来定义感
9.根据权利要求5所述的计算机系统，其中，所述一个或多个场景变量包括感知对象与自我主体之间的距离，并且所述变量阈值随着所述感知对象与所述自我主体之间的距离增长而增大。
10.根据权利要求4所述的计算机系统，其中，所述误差数值根据一个或多个场景变量来加权。
11.根据权利要求2至10中任一项所述的计算机系统，其中，所述误差数值归一化到预定范围。
12.根据权利要求2至11中任一项所述的计算机系统，其中，除了所标识的感知误差之外，还能经由所述GUI访问所述误差数值。
13.根据任一项上述权利要求所述的计算机系统，其中，所述感知误差包括下列至少一项：
14.根据任一项上述权利要求所述的计算机系统，其中，所述感知误差包括跨多个对象和/或传感器和/或传感器模态和/或时间窗计算的聚合误差。
15.根据权利要求14所述的计算机系统，其中，定义多个低级感知误差时间线，并且通过将预定规则应用于所述低级感知误差时间线来填充顶级聚合感知误差时间线。
16.根据权利要求15所述的计算机系统，其中，所述顶级时间线能扩展为查看所述低级时间线。
17.根据任一项上述权利要求所述的计算机系统，其中，所述感知预言机配置为过滤掉所述驾驶运行的至少一个时间间隔，其中，从所述感知误差时间线中省略该时间间隔，其中，基于一个或多个过滤标准来执行过滤：感知误差和/或与所述现实世界驾驶运行相关联的一个或多个标注/标签。
18.根据权利要求17所述的计算机系统，其中，经由所述GUI能访问所述标签。
19.根据任一项上述权利要求所述的计算机系统，其中，在所述GUI上显示所述驾驶运行的示意表示，所述示意表示显示所述驾驶运行在当前时间步的静态快照，其中，所述当前时间步能经由对所述GUI的指令来选择。
20.根据权利要求19所述的计算机系统，其中，视觉指示符改变为在所述感知误差时间线上标记所述当前时间步。
21.根据权利要求19或20所述的计算机系统，其中，在所述GUI上显示所述至少一个驾驶运行的传感器数据。
22.根据任一项上述权利要求所述的计算机系统，其中，所述传感器数据包括如下至少一项：
23.根据权利要求19或其任一项从属权利要求所述的计算机系统，其中，所述地面实况感知输出时间序列用于在所述GUI中渲染所述示意表示。
24.根据权利要求23所述的计算机系统，其中，经由所述GUI显示所述运行时感知输出时间序列，以便与所述地面实况感知输出进行视觉比较。
25.根据权利要求24所述的计算机系统，其中，所述运行时感知输出时间序列叠加在所述示意表示上。
26.根据任一项上述权利要求所述的计算机系统，其中，所述地面实况感知输出时间序列采取每个主体的行迹的形式，行迹包括所述主体的空间与运动状态时间序列。
27.根据任一项上述权利要求所述的计算机系统，还包括对所述地面实况感知输出应用驾驶性能评测的测试预言机，其中，在同样显示在所述GUI上的第二性能时间线中传达所述驾驶性能评测的结果。
28.根据任一项上述权利要求所述的计算机系统，其中，所述传感器数据包括来自两种以上传感器模态的数据，并且至少一种传感器模态用于为至少一种其他传感器模态提供地面实况。
29.根据任一项上述权利要求所述的计算机系统，其中，所述系统内使用...
【技术特征摘要】
【国外来华专利技术】
1.一种用于测试实时感知系统的计算机系统，所述实时感知系统用于部署在配备传感器的车辆中，该计算机系统包括：
2.根据权利要求1所述的计算机系统，其中，所述感知预言机标识感知误差，其中通过计算所述运行时感知输出时间序列与所述地面实况感知输出时间序列之间的误差数值并将所述误差数值与至少一个感知误差阈值进行比较。
3.根据权利要求2所述的计算机系统，其中，如果所述误差数值超过所述至少一个感知误差阈值中一个或多个阈值，则所述误差数值标识为感知误差。
4.根据权利要求2或3所述的计算机系统，其中，所述至少一个感知误差阈值为固定阈值。
5.根据权利要求2或3所述的计算机系统，其中，所述至少一个感知误差阈值能根据一个或多个场景变量而变化。
6.根据权利要求2至5中任一项所述的计算机系统，其中，所述误差阈值能够经由图形用户界面来调整。
7.根据权利要求2至6中任一项所述的计算机系统，其中，所述误差阈值能经由提供给所述感知预言机的规则定义指令来调整。
8.根据权利要求7所述的计算机系统，其中，使用规则编辑器来定义感知误差规范，包括以领域特定语言编码的规则定义指令。
9.根据权利要求5所述的计算机系统，其中，所述一个或多个场景变量包括感知对象与自我主体之间的距离，并且所述变量阈值随着所述感知对象与所述自我主体之间的距离增长而增大。
10.根据权利要求4所述的计算机系统，其中，所述误差数值根据一个或多个场景变量来加权。
11.根据权利要求2至10中任一项所述的计算机系统，其中，所述误差数值归一化到预定范围。
12.根据权利要求2至11中任一项所述的计算机系统，其中，除了所标识的感知误差之外，还能经由所述gui访问所述误差数值。
13.根据任一项上述权利要求所述的计算机系统，其中，所述感知误差包括下列至少一项：
14.根据任一项上述权利要求所述的计算机系统，其中，所述感知误差包括跨多个对象和/或传感器和/或传感器模态和/或时间窗计算的聚合误差。
15.根据权利要求14所述的计算机系统，其中，定义多个低级感知误差时间线，并且通过将预定规则应用于所述低级感知误差时间线来填充顶级聚合感知误差时间线。
16.根据权利要求15所述的计算机系统，其中，所述顶级时间线能扩展为查看所述低级时间线。
17.根据任一项上述权利要求所述的计算机系统，其中，所述感知预言机配置为过滤掉所述驾驶运行的至少一个时间间隔，其中，从所述感知误差时间线中省略该时间间隔，其中，基于一个或多个过滤标准来执行过滤：感知误差和/或与所...
【专利技术属性】
技术研发人员：罗伯特·钱德勒，莫里吉奥·莫里耶洛，
申请(专利权)人：法弗人工智能有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。