归纳用于自动车辆行为预测的安全驾驶经验的技术制造技术

本公开涉及归纳用于自动车辆行为预测的安全驾驶经验的技术。系统、装置和方法可以提供如下技术，该技术经由诸如网格网络之类的第一神经网络基于当前车辆位置和车辆速度来生成第一向量，该第一向量表示自主车辆的未来行为的预测。该技术还可以经由诸如障碍物网络之类的第二神经网络基于当前障碍物位置和障碍物速度来生成第二向量，该第二向量表示外部障碍物的未来行为的预测，并且经由诸如地点网络之类的第三神经网络基于第一向量和第二向量来确定车辆的未来轨迹，该未来轨迹表示针对该车辆规划的未来行为的序列。该技术还可以基于该车辆的未来轨迹发出致动命令以导航自主车辆。辆。辆。

【技术实现步骤摘要】
归纳用于自动车辆行为预测的安全驾驶经验的技术


[0001]实施例总体上涉及自动控制系统。更具体而言，实施例涉及用于自动车辆控制系统的技术，其将安全驾驶知识编码到认知空间中并且对照先前学习的驾驶知识来评估当前驾驶场景。

技术介绍

[0002]自动控制系统可以用于各种环境中，例如自主车辆环境。然而，自主车辆环境提出了困难的挑战。虽然人类驾驶员通常善于评估未预见的驾驶情况并做出正确的安全性判断以维持安全性和效用之间的良好平衡，但是自动驾驶系统不能像人类一样处理这样的任务。控制这些决策的系统逻辑，被称为驾驶策略，通常难以推广到所有驾驶情况。做出决策取决于所考虑的所感知环境因素以及一些内在化的驾驶规则，这些驾驶规则可以用逻辑表达或通过示例学习。因此，一些驾驶策略方法利用规则集来避免碰撞、并进行路径跟随以及交通信号约束。其它方法基于统计学习，以从原始数据构建内部表示，来作为对在各种各样的和有噪声的条件下从传感器输入到控制命令的映射的函数近似。然而，这些方法中有许多，例如深度学习，常常与数据不良的问题斗争，其中底层结构由稀疏但复杂的关系来表征。此外，基于运动学导出公式执行安全检查并对共同驾驶规则进行编码的一些方法可以推广到多种道路几何形状和驾驶情形，但如果特定驾驶环境不同于关于行为所做的假设，那么那些行为将根本上不同于周围车辆的行为，从而在最佳情况下产生过度谨慎的行为或在其它情况下产生危险侵略性的行为。

技术实现思路

[0003]根据本公开的一方面，提供了一种车辆计算系统。该车辆计算系统包括：传感器接口，用于获得车辆的数据和一个或多个外部障碍物的数据；以及耦合到传感器接口的处理器，处理器包括一个或多个衬底和耦合到一个或多个衬底的逻辑，其中，逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于：经由第一神经网络基于当前车辆位置和车辆速度来生成第一向量，该第一向量表示车辆的未来行为的预测；经由第二神经网络基于当前障碍物位置和障碍物速度来生成第二向量，该第二向量表示外部障碍物的未来行为的预测；并且经由第三神经网络基于第一向量和第二向量来确定车辆的未来轨迹，未来轨迹表示针对车辆规划的未来行为的序列。
[0004]根据本公开的另一方面，提供了一种半导体装置。该半导体装置包括：一个或多个衬底；以及耦合到一个或多个衬底的逻辑，其中，逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于：经由第一神经网络基于当前车辆位置和车辆速度来生成第一向量，该第一向量表示车辆的未来行为的预测；经由第二神经网络基于当前障碍物位置和障碍物速度来生成第二向量，该第二向量表示外部障碍物的未来行为的预测；并且经由第三神经网络基于第一向量和第二向量来确定车辆的未来轨迹，未来轨迹表示针对车辆规划的未来行为的序列。
[0005]根据本公开的另一方面，提供了一种计算设备。该计算设备包括：用于经由第一神经网络基于当前车辆位置和车辆速度来生成第一向量的装置，该第一向量表示车辆的未来行为的预测；用于经由第二神经网络基于当前障碍物位置和障碍物速度来生成第二向量的装置，该第二向量表示外部障碍物的未来行为的预测；以及用于经由第三神经网络基于第一向量和第二向量来确定车辆的未来轨迹的装置，未来轨迹表示针对车辆规划的未来行为的序列。
[0006]根据本公开的另一方面，提供了一种操作自主车辆的方法。该方法包括：经由第一神经网络基于当前车辆位置和车辆速度来生成第一向量，该第一向量表示车辆的未来行为的预测；经由第二神经网络基于当前障碍物位置和障碍物速度来生成第二向量，该第二向量表示外部障碍物的未来行为的预测；并且经由第三神经网络基于第一向量和第二向量来确定车辆的未来轨迹，未来轨迹表示针对车辆规划的未来行为的序列。
附图说明
[0007]通过阅读以下说明书和所附权利要求书，并且通过参考以下附图，实施例的各种优点对于本领域技术人员将变得清晰可见，其中：
[0008]图1是示出地点单元和网格单元在海马区(hippocampus)中的分布的2维表示以及车辆位置和运动的映射的图示；
[0009]图2是示出根据一个或多个实施例的自主车辆系统的示例的组件的图示；
[0010]图3是进一步示出根据一个或多个实施例的自主车辆系统的示例的各方面的图示；
[0011]图4是根据一个或多个实施例的用于自主车辆系统的驾驶策略架构的示例的框图；
[0012]图5是示出根据一个或多个实施例的用于驾驶策略架构的网格网络的示例的图示；
[0013]图6是示出根据一个或多个实施例的用于驾驶策略架构的障碍物网络的示例的图示；
[0014]图7是示出根据一个或多个实施例的用于驾驶策略架构的地点网络的示例的图示；
[0015]图8是示出根据一个或多个实施例的提供给驾驶策略架构的有限任务的子集的示例的图示；
[0016]图9是示出根据一个或多个实施例的未预见的障碍物行为和系统响应的示例的图示；
[0017]图10A
‑
图10C提供了示出根据一个或多个实施例的用于自主车辆的驾驶策略架构的示例的操作的流程图；
[0018]图11是示出根据一个或多个实施例的性能增强的计算系统的示例的框图；
[0019]图12是示出根据一个或多个实施例的示例半导体装置的框图；
[0020]图13是示出根据一个或多个实施例的处理器的示例的框图；以及
[0021]图14是示出根据一个或多个实施例的基于多处理器的计算系统的示例的框图。
具体实施方式
[0022]一般而言，实施例提供了用于自主车辆系统的驾驶策略架构(即，子系统)，其归纳自动车辆的驾驶行为知识以安全地处理先前未见的驾驶状况。实施例还提供在驾驶策略的学习阶段将安全驾驶知识编码到认知空间中。此外，实施例包括通过测量触发回忆经验的网格单元中的激活时间来确定当前情况和先前经验之间的相似性分数的技术，其中，可以根据位置、参加者(agent)相似性和外部条件来向所回忆的经验分配权重。
[0023]具体而言，实施例使用多网络结构，其中，基于从网格单元状网络和/或障碍物状网络接收的输入来训练地点单元状网络。可以对基于地点网络的输出的安全性测量来提供奖励功能(例如，经由安全性监督器)。在运行时，网格网络预测本车(ego vehicle)的行为，而一个或多个障碍物网络预测本车附近的其他车辆的行为。地点网络基于外部输入以及来自网格和障碍物网络的响应来确定本车的轨迹。
[0024]海马区中的学习导航任务：认知空间
[0025]在实施例中，驾驶策略及其架构可以类似于人脑中的海马区来起作用。海马结构是大脑中对于记忆和空间导航至关重要的区域。已经提出海马
‑
内嗅系统中的地点单元和网格单元形成认知图的表示，作为记忆不同抽象特征之间的几何关系的方式。参见Bellmund,J.L.、P.、Moser,E.I.与Doeller,C.F的Navigatin本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆计算系统，包括：传感器接口，用于获得车辆的数据和一个或多个外部障碍物的数据；以及耦合到所述传感器接口的处理器，所述处理器包括一个或多个衬底和耦合到所述一个或多个衬底的逻辑，其中，所述逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到所述一个或多个衬底的所述逻辑用于：经由第一神经网络基于当前车辆位置和车辆速度来生成第一向量，所述第一向量表示车辆的未来行为的预测；经由第二神经网络基于当前障碍物位置和障碍物速度来生成第二向量，所述第二向量表示外部障碍物的未来行为的预测；并且经由第三神经网络基于所述第一向量和所述第二向量来确定所述车辆的未来轨迹，所述未来轨迹表示针对所述车辆规划的未来行为的序列。2.根据权利要求1所述的系统，其中，所述第一神经网络包括用于为所述车辆产生预测的地点单元激活的长短期LSTM网络，并且所述第一向量表示车辆地点占用的概率，其中，所述第二神经网络包括用于为所述外部障碍物产生预测的地点单元激活的LSTM网络，并且所述第二向量表示障碍物地点占用的概率，以及其中，所述第三神经网络包括用于为所述车辆产生未来动作序列的LSTM网络。3.根据权利要求2所述的系统，其中，生成所述第一向量还基于道路几何形状和环境状态，其中，生成所述第二向量还基于所述道路几何形状和所述环境状态，并且其中，为所述车辆确定所述未来轨迹还基于所述道路几何形状、所述环境状态、由安全性监视器提供的安全性反馈、以及由车辆路线规划器提供的目的地目标。4.根据权利要求3所述的系统，其中，所述逻辑还用于基于所述车辆的所述未来轨迹发出用于对所述车辆进行导航的致动命令。5.根据权利要求4所述的系统，其中，所述逻辑还包括安全性组件，所述安全性组件用于：监视所述用于对所述车辆进行导航的所述致动命令；限制所述致动命令中的一个或多个以缓解不安全状况；并且提供用于所述安全性反馈的信息。6.根据权利要求1到5中任一项所述的系统，其中，道路几何形状的有限集合或最小距离安全性度量的集合中的一者或多者被用来训练所述系统。7.一种半导体装置，包括：一个或多个衬底；以及耦合到所述一个或多个衬底的逻辑，其中，所述逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到所述一个或多个衬底的所述逻辑用于：经由第一神经网络基于当前车辆位置和车辆速度来生成第一向量，所述第一向量表示车辆的未来行为的预测；经由第二神经网络基于当前障碍物位置和障碍物速度来生成第二向量，所述第二向量表示外部障碍物的未来行为的预测；并且经由第三神经网络基于所述第一向量和所述第二向量来确定所述车辆的未来轨迹，所述未来轨迹表示针对所述车辆规划的未来行为的序列。
8.根据权利要求7所述的半导体装置，其中，所述第一神经网络包括用于为所述车辆产生预测的地点单元激活的长短期LSTM网络，并且所述第一向量表示车辆地点占用的概率，其中，所述第二神经网络包括用于为所述外部障碍物产生预测的地点单元激活的LSTM网络，并且所述第二向量表示障碍物地点占用的概率，以及其中，所述第三神经网络包括用于为所述车辆产生未来动作序列的LSTM网络。9.根据权利要求8所述的半导体装置，其中，生成所述第一向量还基于道路几何形状和环境状态，其中，生成所述第二向量还基于所述道路几何形状和所述环境状态，并且其中，为所述车辆确定所述未来轨迹还基于所述道路几何形状、所述环境状态、由安全性监视器提供的安全性反馈、以及由车辆路线规划器提供的目的地目标。10.根据权利要求9所述的半导体装置，其中，所述逻辑还用于基于所述车辆的所述未来轨迹发出用于对所述车辆进行导航的致动命令。11.根据权利要求10所述的半导体装置，其中，所述逻辑还包括安全性组件，所述安全性组件用于：监视所述用于对所述车辆进行导航的所述致动命令；限制所述致动命令中的一个或多个以缓解不安全状况；并且提供用于所述安全性反馈的信息。12.根据权利要求7到11中任一项所述的半导体装置，其中，道路几何形状的有限集合或最小距离安全性度量的...

【专利技术属性】
技术研发人员：伊格纳西奥，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：