用于基于神经网络的自动驾驶的系统和方法技术方案

提供了一种用于车辆的自动驾驶的系统和相应的方法。系统包括生成被用于控制自动驾驶的至少一个输出的至少一个神经网络NN。系统还包括将整批传感器数据路由到至少一个NN的主数据路径，和相对于主数据路径具有减少的时延的低时延数据路径。低时延数据路径将有限传感器数据路由到至少一个NN，至少一个NN被配置为依次采用有限传感器数据以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出。改善至少一个NN对整批传感器数据的处理的性能使得系统能够例如较快地标识安全危害，使得自动驾驶能够转向车辆以及避免接触安全危害。安全危害。安全危害。

【技术实现步骤摘要】
用于基于神经网络的自动驾驶的系统和方法

技术介绍

[0001]自动车辆是能够感知自身环境以及利用很少或没有用户输入导航的车辆。自动车辆使用传感器设备检测自身环境，诸如相机，范围(例如，雷达，激光雷达等)传感器，等等。自动车辆也可以使用定位系统的信息(诸如，但不限于，全球定位系统(GPS)、导航系统、车辆到车辆通信、车辆基础设施技术和/或无线系统)以导航车辆，即，执行自动驾驶。
[0002]自动驾驶从科幻小说的领域快速移动到成为可达成的现实。高级驾驶辅助系统(“ADAS”)存在以尝试自动化，适应以及增强车辆以用于安全以及更好的驾驶。车辆越来越多地假设驾驶功能的控制，诸如转向，加速以及制动，以及这种自动车辆监视显示周围环境以及驾驶条件以响应事件，诸如，通过所需改变车道或加速/减速以躲避交通，横穿马路的行人，动物，等等。

技术实现思路

[0003]根据示例实施例，用于自动驾驶的系统包括至少一个神经网络(NN)，被配置为生成用于控制自动驾驶的至少一个输出，系统还包括主数据路径，被配置为将整批传感器数据路由到至少一个NN以及低时延数据路径，低时延数据路径具有相对主数据路径的减少的时延。低时延数据路径被配置为将有限传感器数据路由到至少一个NN，至少一个NN被配置为依次采用有限传感器数据以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出。
[0004]有限传感器数据相对于整批传感器数据的数量较少，相对于整批传感器数据更粗糙，或其组合。
[0005]相对于在不处理经由在整批传感器数据之前的低时延数据路径接收的有限传感器数据的情况下，基于处理整批传感器数据，生成至少一个输出，有限传感器数据使得至少一个NN能够更快地或者以改善的准确性生成至少一个输出。
[0006]有限传感器数据包括由至少一个传感器提供的并且与车辆的环境相关的，无线电检测和测距(雷达)数据、光检测和测距(激光雷达)数据、图像数据、音频数据、触觉数据或其组合，车辆由自动驾驶控制。可以理解，然而，有限传感器数据不限于包括雷达数据、激光雷达数据、图像数据、音频数据、触觉数据或其组合
[0007]整批传感器数据、有限传感器数据或者其组合的至少一部分由以下各项提供：雷达传感器、激光雷达传感器、声音导航以及测距(声呐)传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器，定位系统(诸如全球定位系统(GPS)，但不限于此)、加速度计、速度传感器、麦克风或其组合。可以理解，然而，整批传感器数据、有限传感器数据或者其组合的至少一部分不限于由上述提及的传感器或其组合提供。
[0008]系统还可以包括推断引擎以及决策做出引擎。推断引擎可以包括至少一个NN。至少一个输出可以是从推断引擎至决策引擎的至少一个NN输出的。
[0009]决策做出引擎可以被配置为基于生成的至少一个输出，做出用于控制自动驾驶的
至少一个决策。
[0010]主数据路径可以包括至少一个动态随机读取存储器(DRAM)，被配置为在整批传感器数据被路由到至少一个NN之前，存储整批传感器数据。
[0011]主数据路径还可以包括至少一个处理电路，被配置为在整批传感器数据被存储在至少一个DRAM中之前，处理整批传感器数据。
[0012]至少一个处理电路是至少一个第一处理电路，其中主数据路径还包括至少一个第二处理电路，至少一个第二处理电路布置在至少一个DRAM和至少一个NN之间，至少一个第二处理电路被配置为在整批传感器数据从至少一个DRAM被路由到至少一个NN之前，处理整批传感器数据、滤波整批传感器数据，或其组合。
[0013]低时延数据路径包括至少一个静态随机存取存储器SRAM，被配置为在有限传感器数据被路由到至少一个NN之前，存储有限传感器数据。可以理解至少一个SRAM不限于是(多个)SRAM芯片以及可以被实现于各种方式。例如，根据非限制性示例实施例，至少一个SRAM可以经由在专用集成电路(ASIC)上的、与至少一个NN一起集成的多个触发器或(多个)其他SRAM逻辑/电路来实现。
[0014]至少一个NN可以包括至少一个第一NN和至少一个第二NN，其中主数据路径被配置为将整批传感器数据路由到至少一个第一NN，并且其中低时延数据路径被配置为将有限传感器数据路由到至少一个第二NN。
[0015]至少一个第二NN小于至少一个第一NN，并且相对于至少一个第一NN执行得更快。
[0016]低时延数据路径包括至少一个SRAM，被配置为在有限传感器数据被路由到至少一个第二NN之前，存储有限传感器数据。
[0017]至少一个第二NN的输出层被耦合到至少一个第一NN的输入层以提供从至少一个第二NN的输出层到至少一个第一NN的输入层的处理反馈。
[0018]至少一个输出包括至少一个第一输出和至少一个第二输出，至少一个第一NN被配置为生成至少一个第一输出，至少一个第二NN被配置为生成至少一个第二输出，至少一个第二输出被用于控制自动驾驶，或者引起对控制提供整批传感器数据的至少一部分的至少一个传感器至少一个参数的改变。
[0019]根据另一示例性实施例，用于自动驾驶的方法包括由至少一个神经网络NN生成被用于控制自动驾驶的至少一个输出，方法还包括采用经由低时延数据路径接收的有限传感器数据，以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出，整批传感器数据经由主数据路径被路由到至少一个NN，有限传感器数据经由相对于主数据路径具有减少的时延的低时延路径被路由到至少一个NN。
[0020]结合示例系统实施例，备选的方法实施例与这些上述的实施例并行。
[0021]根据另一示例实施例，用于自动驾驶的非瞬态计算机可读介质可以具有在其上编码的指令序列，指令序列在由至少一个处理器加载以及执行时，使至少一个处理器实现至少一个神经网络NN，NN被配置为：生成被用于控制自动驾驶的至少一个输出；以及至少一个NN被配置为：采用经由低时延数据路径接收的有限传感器数据，以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出，整批传感器数据经由主数据路径被路由到至少一个NN，有限传感器数据经由相对于主数据路径具有减少的时延的低时延路径被路由到至少一个NN。
[0022]结合示例系统实施例，备选的非瞬态计算机可读介质实施例和与这些上述的实施例并行。
[0023]根据又一示例性实施例，用于自动驾驶的系统包括用于执行生成用于控制自动驾驶的至少一个输出的神经网络处理的部件，以及用于针对神经网络处理路由整批传感器数据的部件，以及用于路由有限传感器数据的部件，其中有限传感器数据具有相对于整批传感器数据的路由的减少的时延，执行包括采用有限传感器数据以改善神经网络对整批传感器数据的处理的性能，以用于生成至少一个输出。
[0024]可以理解，在本文中公开的示例实施例可以以方法、装置、系统，或在其上具有程序代码的计算机可读介质的形式实现。
附图说明
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自动驾驶的系统，所述系统包括：至少一个神经网络NN，被配置为生成被用于控制所述自动驾驶的至少一个输出；主数据路径，被配置为将整批传感器数据路由到所述至少一个NN；以及具有相对于所述主数据路径的减少的时延的低时延数据路径，所述低时延数据路径被配置为将有限传感器数据路由到所述至少一个NN，所述至少一个NN被配置为依次采用所述有限传感器数据以改善所述至少一个NN对所述整批传感器数据的处理的性能，以用于生成所述至少一个输出。2.根据权利要求1所述的系统，其中所述有限传感器数据相对于所述整批传感器数据的数量较少，相对于所述整批传感器数据更粗糙，或其组合。3.根据权利要求1所述的系统，其中相对于在不处理经由在所述整批传感器数据之前的所述低时延数据路径接收的所述有限传感器数据的情况下，基于处理所述整批传感器数据，生成所述至少一个输出，所述有限传感器数据使得所述至少一个NN能够更快地或者以改善的准确性生成所述至少一个输出。4.根据权利要求1所述的系统，其中所述有限传感器数据包括由至少一个传感器提供的并且与车辆的环境相关的，无线电检测和测距(雷达)数据、光检测和测距(激光雷达)数据、图像数据、音频数据、触觉数据或其组合，所述车辆由所述自动驾驶控制。5.根据权利要求1所述的系统，其中所述整批传感器数据、有限传感器数据或者其组合的至少一部分由以下各项提供：雷达传感器、激光雷达传感器、声音导航以及测距(声呐)传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器，定位系统、加速度计、速度传感器、麦克风或其组合。6.根据权利要求1所述的系统，其中所述系统还包括：推断引擎和决策引擎，其中所述推断引擎包括所述至少一个NN，并且其中所述至少一个输出是从所述推断引擎至所述决策引擎的所述至少一个NN的输出的。7.根据权利要求6所述的系统，其中所述决策引擎被配置为基于生成的所述至少一个输出，做出用于控制所述自动驾驶的至少一个决策。8.根据权利要求1所述的系统，其中所述主数据路径包括至少一个动态随机存取存储器DRAM，被配置为在所述整批传感器数据被路由到所述至少一个NN之前，存储所述整批传感器数据。9.根据权利要求8所述的系统，其中所述主数据路径还包括至少一个处理电路，被配置为在所述整批传感器数据被存储在至少一个DRAM中之前，处理所述整批传感器数据。10.根据权利要求9所述的系统，其中所述至少一个处理电路是至少一个第一处理电路，其中所述主数据路径还包括至少一个第二处理电路，所述至少一个第二处理电路布置在所述至少一个DRAM和所述至少一个NN之间，所述至少一个第二处理电路被配置为在所述整批传感器数据从所述至少一个DRAM被路由到所述至少一个NN之前，处理所述整批传感器数据、滤波所述整批传感器数据，或其组合。11.根据权利要求1所述的系统，其中所述低时延数据路径包括至少一个静态随机存取存储器SRAM，被配置为在所述有限传感器数据被路由到所述至少一个NN之前，存储所述有限传感器数据。12.根据权利要求1所述的系统，其中所述至少一个NN包括至少一个第一NN和至少一个
第二NN，其中所述主数据路径被配置为将所述整批传感器数据路由到所述至少一个第一NN，并且其中所述低时延数据路径被配置为将所述有限传感器数据路由到所述至少一个第二NN。13.根据权利要求12所述的系统，其中所述至少一个第二NN小于所述至少一个第一NN，并且相对于所述至少一个第一NN执行得更快。14.根据权利要求12所述的系统，其中所述低时延数据路径包括至少一个SRAM，被配置为在所述有限传感器数据被路由到所述至少一个第二NN之前，存储所述有限传感器数据。15.根据权利要求12所述的系统，其中所述至少一个第二NN的输出层被耦合到所述至少一个第一NN的输入层以提供从所述至少一个第二NN的所述输出层到所述至少一个第一NN的所述输入层的处理反馈。16.根据权利要求12所述的系统，其中所述至少一个输出包括至少一个第一输出和至少一个第二输出，所述至少一个第一NN被配置为生成所述至少一个第一输出，所述至少一个第二NN被配置为生成所述至少一个第二输出，所述至少一个第二输出被用于控制所述自动驾驶，或者引起对控制提供所述整批传感器数据的至少一部分的至少一个传感器至少一个参数的改变。17.一种用于自动驾驶的方法，所述方法包括：由至少一个神经网络NN生成被用于控制所述自动驾驶的至少一个输出；以及采用经由低时延数据路径接收的有限传感器数据，以改善所述至少一个NN对整批传感器数据的处理的性能，以用于生成所述至少一个输出，所述整批传感器数据经由主数据路径被路由到所述至少一个NN，所述有限传感器数据经由相对于所述主数据路径具有减少的时延的所述低时延路径被路由到所述至少一个NN。18.根据权利要求17所述的方法，其中所述有限传感器数据相对于所述整批传感器数据的数量较少，相对于所述整批传感器数据更粗糙，或其组合。19.根据权利要求17所述的方法...

【专利技术属性】
技术研发人员：W，
申请(专利权)人：马维尔亚洲私人有限公司，
类型：发明
国别省市：