用于自主系统性能和评级的方法和装置制造方法及图纸

本申请主要涉及一种用于评估和分配对驾驶场景的驾驶员响应的性能度量的方法和装置。更具体地，该申请教导了一种方法和装置以用于将场景分解为特征、为每个特征分配评级并响应于所述评级的加权组合产生总评级。

Methods and devices for performance and rating of autonomous systems

The present application mainly relates to a method and device for evaluating and allocating performance metrics for driver response to driving scenes. More specifically, the application teaches a method and apparatus for decomposing scenarios into features, assigning ratings to each feature, and generating a total rating in response to the weighted combination of the ratings.

【技术实现步骤摘要】
用于自主系统性能和评级的方法和装置
本申请主要涉及一种车辆控制系统和自主车辆。更具体地，该申请教导了一种用于评估和量化穿过模拟环境的任何被驱动的、半自主的或自主的车辆的性能的方法和装置，以作为用于评估和随后训练自主驾驶的认知模型的量度。
技术介绍
通常，自主车辆是能够通过车辆传感器监控外部信息、响应于所述外部信息来识别道路状况以及车辆的操纵的车辆。通过针对各种测试场景运行软件来测试、评估和改进自主车辆软件以确定软件的性能以及成功和失败的频率。期望通过一般评级算法来量化不同自主驾驶系统和子系统的性能，以在框架中为自主车辆控制系统提供驾驶训练数据的正面和负面评估，从而区分最佳自主驾驶系统。这将为不同自主驾驶系统的性能提供具体启示，以便在将来为决策制定提供信息。在该
技术介绍
部分中公开的上述信息仅用于增强对本专利技术背景的理解，因此其可能包含不构成本国本领域普通技术人员已知的现有技术的信息。
技术实现思路
根据本专利技术的实施例提供了许多优点。例如，根据本专利技术的实施例可以仅通过周期性的人为干预来快速地测试自主车辆软件、子系统等。该系统可以进一步用于测试其他控制系统软件，并且不限于自主车辆。根据本专利技术的一个方面，一种装置包括：传感器接口，所述传感器接口用于产生用于耦合到车辆控制系统的传感器数据；控制系统接口，其用于从车辆控制系统接收控制数据；存储器，其用于存储场景，其中第一场景划分为第一特征和第二特征；以及处理器，其用于将控制数据与第一特征进行比较以产生第一评级，并将控制数据与第二特征进行比较以产生第二评级，对第一评级进行加权以产生第一加权评级并加权第二评级以产生第二加权评级，并响应于第一加权评级和第二加权评级产生性能度量。根据本专利技术的另一方面，一种方法包括：接收指示驾驶员表现的控制数据；将控制数据与驾驶场景进行比较，其中驾驶场景具有第一特征和第二特征；将第一评级分配给第一特征并将第二评级分配给第二特征；对第一评级进行加权以产生第一加权评级并对第二评级进行加权以产生第二加权评级，并且响应于第一加权评级和第二加权产生性能度量。根据本专利技术的另一方面，一种用于为驱动系统产生性能度量的方法，其包括：产生用于耦合到车辆控制系统的传感器数据；接收指示对驾驶场景的驾驶员响应的控制数据，其中驾驶场景具有第一特征和第二特征；比较对第一特征的驾驶员响应以产生第一评级并将驾驶员响应与第二特征进行比较以产生第二评级；响应于第一评级和第二评级产生总评级；并且响应于总评级产生指示对驾驶场景的驾驶员响应的性能度量。从以下结合附图对优选实施例的详细描述中，本专利技术的上述优点和其他优点和特征将变得显而易见。附图说明通过参考下面结合附图对本专利技术实施例的描述，本专利技术的上述和其它特征和优点以及实现它们的方式将变得更加明显，并且将更好地理解本专利技术，其中：图1是根据实施例的示例性左转弯场景。图2是根据实施例的用于实现用于自主系统性能和评级的方法的示例性装置。图3是根据实施例的用于自主系统性能和评级的示例性方法。本文给出的示例说明了本专利技术的优选实施例，并且这些示例不应被解释为以任何方式限制本专利技术的范围。具体实施方式以下详细描述本质上仅是示例性的，并不旨在限制本专利技术或其应用和用途。此外，无意受前述
技术介绍
或以下详细描述中提出的任何理论的约束。例如，本专利技术的算法、软件和系统具有在车辆上使用的特定应用。然而，如本领域技术人员将理解的，本专利技术可以具有其他应用。期望具有评级算法以便量化和评估穿过模拟环境的任何驱动的、半自主的或完全自主的汽车的性能。开发了一种评级算法，其具有用于计算每个驾驶试验结束时的评级的特征，其源自诸如停止速度、距理想路径的速度加权平均距离、距理想路径的速度加权最大距离，交通速度的左转弯后匹配、距其他车辆的平均距离、惊吓和关键误差等特征。同样关键的是，对这些特征进行加权的过程大致为计算用于训练机器学习系统以及评估和基准试验车辆控制系统的性能的评级。该方法和系统可操作以用于量化模拟中的任何驾驶试验的实例的性能，从而提供反馈以训练自主驾驶控制系统并且将自主驾驶系统的子系统与包括人在环的驾驶和基于规则的自主驾驶的备选方案进行比较和调整。这将允许对任何具有明确正面和负面的实例的自主驾驶系统进行全面训练。此外，这还允许在不同驾驶系统之间进行比较的无偏和一致的基础，其将最终证明哪个系统是最有效的。该系统还提供了一个框架以识别和减轻传统的基于规则的驾驶系统的基本问题。虽然现代系统未能对其没有规则的新驾驶情况进行充分评级和量化，但示例性框架包括在驾驶试验期间的连续评级，其允许离散驾驶评级特征与显式事件的链接。最后，使用评级算法可以在给定的驾驶情况下量化固有安全水平或安全元件的需要。所提出的系统使用回归模型来采用特征加权来基于人评级分数来确定评级算法特征系数。使用评级作为诸如人在环的和认知模型的不同驾驶系统之间的比较的基础，并且评级分数和复杂性分数之间的相互作用通过将驾驶试验分为在评级算法中创建粒度并启用对自动产生的训练数据集的监督的时间解析的子任务来创建自主系统性能的完整表示。当前公开的方法和系统的未来应用包括：利用评级分数数据趋势来集中传感器、相机和其他新技术的改进努力，使用评级算法来识别道路的不安全驾驶子部分，以及非自主驾驶员的匿名评级以提供车辆使用信息。随着自主驾驶技术变得越来越重要，该评级算法的未来应用可用于精确定位研究和开发工作以及情况安全评估。关键误差的概念用于识别未能实现其目标或未能实现安全驾驶的试验。上述示例中的关键故障可能包括未能在停止标志处完全停止、涉及自主车辆的碰撞，和/或汽车未能完成左转弯。如果发生任何这些事件，则可以给出零分，以便表明未实现该场景的关键目标。示例性关键误差因素可以是用于乘以所产生的性能度量的二元分数。这些关键误差的识别还使得可以在不仅是不期望的、而是应不惜一切代价避免的负驱动实例的子集上训练认知模型。为了确保当前的评级系统有意义，引入了复杂性的概念。复杂性度量的引入允许在离散时间点期间或在整个自主驾驶任务期间计算复杂性值。通过获取产生的数据并提取复杂性的量度，自主车辆系统可以基于具有类似复杂性分数的先前情况来确定用于场景比较的基础以及用于采取行动的基础。然后，自主系统的注意要求可以基于复杂性。复杂性量度最终和评级分数一起提供给认知模型，以指导训练期间的决策制定。复杂性计算和评级评分进一步用于分析所有自主系统的性能。复杂性可以分为子类别，例如关键性、备选方案、感知复杂性、决策速度和意图预测。通过将来自模拟的输出映射到这五个复杂性类别，可以估计复杂性的量度。现在转向图1，示出了示例性左转弯场景。为了产生准确且有意义的复杂性度量，该场景被划分为子任务。示出了T形接合道路表面110，其中车辆从下部道路S1接近并且在一条交通车道上导航左转弯。复杂性度量的引入允许在自主驾驶任务期间在子任务水平计算复杂性值。通过获取在模拟期间产生的数据并提取复杂性的量度，自主车辆基于具有类似复杂性分数的先前情况来创建用于场景比较的基础以及用于采取行动的基础。然后，自主系统的注意要求可以基于复杂性。复杂性量度最终会与评级分数一起提供给认知模型，以指导决策制定。在该示例性实施例中，在左转弯场景下执行评估。在这种场景下，可以基于例如交通密度、行人数量、天气本文档来自技高网...

【技术保护点】
1.一种装置，包括：‑传感器接口，其用于产生用于耦合到车辆控制系统的传感器数据；‑控制系统接口，其用于从所述车辆控制系统接收控制数据；‑存储器，其用于存储其中第一场景被划分为第一特征和第二特征的场景；以及‑处理器，其用于：将所述控制数据与所述第一特征进行比较以产生第一评级并将所述控制数据与所述第二特征进行比较以产生第二评级，对所述第一评级进行加权以产生第一加权评级并对所述第二评级进行加权以产生第二加权评级，并响应于所述第一加权评级和所述第二加权评级产生性能度量。

【技术特征摘要】
2017.11.14 US 15/8118461.一种装置，包括：-传感器接口，其用于产生用于耦合到车辆控制系统的传感器数据；-控制系统接口，其用于从所述车辆控制系统接收控制数据；-存储器，其用于存储其中第一场景被划分为第一特征和第二特征的场景；以及-处理器，其用于：将所述控制数据与所述第一特征进行比较以产生第一评级并将所述控制数据与所述第二特征进行比较以产生第二评级，对所述第一评级进行加权以产生第一加权评级并对所述第二评级进行加权以产生第二加权评级，并响应于所述第一加权评级和所述第二加权评级产生性能度量。2.根据权利要求1所述的装置，其中所述性能度量指示与所述场景的最佳性能相比的驾驶员表现。3.根据权利要求1所述的装置，其中，所述第一特征是停止速度、距理想路径的速度加权平均距离、交通速度的左转弯后匹配、距其他车辆的平均距离、惊吓和关键误差中的至少一个。4.根据权利要求1所述的装置，其中，所述控制数据由自主驾驶控制系统产生。5.根据权利要求4所述的装置，其中，所述性能度量被发送到所述自主驾驶控制系统。6.根据权利要求1所述的装置，其中，所述第一特征具有第一复杂性，并且所述第二特征具有第二复杂性，并且其...

【专利技术属性】
技术研发人员：M·E·菲利普斯，N·托尔，D·T·贝格斯泰特，J·克洛伊，M·J·戴利，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US