用于自动车辆的控制命令的端对端学习的方法及系统技术方案

提供了用于控制自主车辆的命令的端对端学习的系统及方法。预处理器对由传感器以当前时间步长(CTS)获取的图像数据进行预处理以生成与附加输入(例如，分割图和/或光流图)级联的经预处理的图像数据以生成动态场景输出。卷积神经网络(CNN)处理所述动态场景输出以生成特征图，所述特征图包括与车辆运动学级联的提取空间特征以生成空间上下文特征向量。LSTM网络在所述(CTS)期间处理所述(CTS)的所述空间上下文特征向量和相应的先前时间步长的一个或多个先前LSTM输出，以生成所述(CTS)的编码后时间上下文向量。完全连接层处理所述编码后时间上下文向量以学习控制命令(例如，转向角、加速率和/或制动速率控制命令)。

【技术实现步骤摘要】
用于自动车辆的控制命令的端对端学习的方法及系统引言本专利技术总体上涉及自主车辆，并且更具体地涉及用于控制自主车辆的自主车辆控制器、自主车辆控制系统的系统及相关方法。更具体地，本专利技术涉及对用于控制自主车辆的控制命令的端对端学习的方法及系统。自主车辆是能够感测其环境并且以很少或不用用户输入导航的车辆。自主车辆包括智能地控制自主车辆的自主驾驶系统(ADS)。传感器系统使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。ADS还可以处理来自全球定位系统(GPS)技术、导航系统、车对车通信、车辆对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。车辆自动化已经被分类为从零(对应于全人为控制的非自动化)到五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及停放辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。目前，有许多不同的自主车辆控制方法，但是都存在缺点。公路导航系统是用于实现全自主车辆的关键组成部分。尽管感知和控制一直是自主驾驶行业中单独研究的两个挑战，但是深度学习的最新进展已经引入了端对端学习作为学习自主车辆驾驶政策的新方法。与将车辆控制系统划分为单独的感知和控制模块的传统方法不同，端对端学习系统通常直接学习使用单个深度卷积神经网络来从感知(例如，来自由车载相机获取的图像的原始像素)映射到控制(例如，控制控制车辆的致动器的控制命令)。例如，在一种方法中，已经提出了一种端对端系统，其使用一个卷积神经网络来直接从原始像素学习转向控制命令。这些端对端学习系统具有直接优化的优势，无需手动定义规则，这可以产生更好的性能和更少的人工工程工作量。尽管此类端对端学习系统简化了建模，但是它们有许多缺点。一个缺点是此类端对端学习系统不进一步考虑其他因素，这阻碍了此类端对端学习系统学习更复杂的驾驶行为。例如，此类端对端学习系统丢失了针对特定驾驶任务的许多详细动态信息。如速度、地图信息和车辆力学等因素全部都是驾驶任务的重要组成部分。另一个缺点是此类端对端学习系统没有利用现有知识。例如，人们在驾驶时遵守许多基本假设，如交通规则，而当前的端对端学习系统中的神经网络有望从零学习。另外，此类端对端学习系统仅考虑用于决策的当前感知信息。相比之下，当人们在驾驶时，他们依赖于他们所学习使用所述系统的过去信息以及他们当前的感知信息以做出决策。因此，期望提供能够学习用于控制自主车辆的控制命令的学习系统及方法。此外，期望提供利用先验知识、利用学习系统已经学习的过去信息并且能够学习更复杂的驾驶行为同时还可靠、易于训练并易于验证的学习系统及方法。另外，从以下结合附图和前面的
及
技术介绍
进行的详细描述和所附权利要求书中将更清楚地明白本专利技术的其他期望特征和特性。本文提供的背景描述的目的在于总体地呈现本专利技术的背景。当前署名的专利技术人的工作就其在该背景部分中所描述的以及在提交时可以不另外被作为是现有技术的多个方面的描述(诸如确定或现有方法)而言既不明确地也不隐含地被认可为是本专利技术的现有技术。
技术实现思路
在一个实施例中，提供了一种用于控制自主车辆的命令的端对端学习的端对端学习方法。预处理器对由传感器以当前时间步长(T)从环境获取的图像数据进行预处理以生成经预处理的图像数据。在一个实施例中，所述预处理器包括：裁剪模块，其裁剪所述图像数据以移除无关元素并生成裁剪后图像数据；上采样模块，其对所述裁剪后图像数据进行上采样以生成上采样图像数据；亮度改变模块，其施加亮度改变以使所述上采样图像数据增亮以生成增亮的上采样图像数据；以及翻转模块，其翻转所述增亮的上采样图像数据以获得水平方向上的镜像以生成所述经预处理的图像数据。将所述经预处理的图像数据与至少一个附加输入级联以生成动态场景输出，所述动态场景输出是所述经预处理的图像数据和所述至少一个附加输入的级联。例如，在一个实施例中，在分割神经网络中对所述经预处理的图像数据进行预处理以生成分割图，其中已经为所述经预处理的图像数据的每个像素分配了标签，并且所述经预处理的图像数据与所述分割图级联以生成所述动态场景输出，所述动态场景输出是增强分割图。在另一个实施例中，在光流神经网络中处理所述经预处理的图像数据以生成估计光流的光流图，并且将所述经预处理的图像数据与所述光流图级联以生成所述动态场景输出。在一个实施例中，在分割神经网络中对所述经预处理的图像数据进行预处理以生成分割图，其中已经为所述经预处理的图像数据的每个像素分配了标签，并且还在光流神经网络中处理所述所述经预处理的图像数据以生成估计光流的光流图。将所述经预处理的图像数据与所述分割图和所述光流图级联以生成所述动态场景输出，所述动态场景输出是增强分割图。无论实施方案如何，卷积神经网络(CNN)都会处理所述动态场景输出以生成包括提取空间特征的特征图。在一个实施例中，所述CNN是预训练CNN，其已经使用来自图像数据库的图像数据集进行了预训练。例如，在处理所述增强分割图的步骤之前设定所述预训练CNN的初始权重以生成特征图，然后在训练期间进行微调。然后将车辆运动学与来自所述特征图的所述提取空间特征级联以生成空间上下文特征向量，所述空间上下文特征向量包括描述当前时间步长(T)的当前上下文的上下文特征。所述车辆运动学可以包括以下一个或多个：车辆加速率、车速、车辆航向、车辆到道路边界的横向距离、车辆先前转向角和车辆转向扭矩。包括长短期记忆(LSTM)单元的LSTM网络然后可以在所述当前时间步长(T)期间处理所述当前时间步长(T)的所述空间上下文特征向量和一个或多个相应的先前时间步长的一个或多个先前LSTM输出，以生成所述当前时间步长(T)的编码后时间上下文向量。在一个实施例中，所述一个或多个先前LSTM输出中的每一者是来自特定先前时间步长的上下文特征向量。在一个实施例中，由窗口大小(w)指定一个或多个先前LSTM输出的数量，所述窗口大小定义要由所述LSTM网络处理的所述一个或多个先前LSTM输出的数量以及所述空间上下文特征向量以生成所述当前时间步长(T)的所述编码后时间上下文向量。然后，完全连接层可以处理所述编码后时间上下文向量以学习一个或多个控制命令。每个控制命令包括以下至少一个：转向角控制命令、加速率控制命令或制动率控制命令。在一个实施例中，实施所述端对端学习的端对端学习系统部署在由控制器控制的自主车辆内。所述控制器可以在每个时间步长基于当前观察到的环境执行由所述端对端学习系统生成的所述控制命令中的一者。提供了一种用于控制自主车辆的命令的端对端学习的端对端学习系统。所述系统可以包括预处理器、第一级联单元、卷积神经网络(CNN)、第二级联单元、长短期记忆(LSTM)网络和完全连接层。所述预处理器对由传感器以当前时间步长(T)从环境获取的图像数据进行预处理以生成经预处理的图像数据。例如，在一个实施例中，所述预处理器包括：裁剪模块，其裁剪图像数据以移除无关元素以生成裁剪后图像数据；上采样模块，其对所述裁剪后图像数据进行上采样以生成上采样图像数据；亮度改变本文档来自技高网...

【技术保护点】
1.一种用于控制自主车辆的命令的端对端学习的方法，所述方法包括：/n在预处理器中对由传感器以当前时间步长(T)从环境获取的图像数据进行预处理以生成经预处理的图像数据；/n将所述经预处理的图像数据与至少一个附加输入级联以生成动态场景输出，所述动态场景输出是所述经预处理的图像数据和所述至少一个附加输入的级联；/n在卷积神经网络(CNN)中处理所述动态场景输出以生成包括提取空间特征的特征图；/n将车辆运动学与来自所述特征图的所述提取空间特征级联以生成空间上下文特征向量，所述空间上下文特征向量包括描述当前时间步长(T)的当前上下文的上下文特征；/n在包括长短期记忆(LSTM)单元的网络的LSTM网络中在所述当前时间步长(T)期间处理所述当前时间步长(T)的所述空间上下文特征向量和一个或多个相应的先前时间步长的一个或多个先前LSTM输出，以生成所述当前时间步长(T)的编码后时间上下文向量；以及/n在完全连接层中处理所述编码后时间上下文向量以学习一个或多个控制命令，其中每个控制命令包括以下至少一个：转向角控制命令、加速率控制命令或制动率控制命令。/n

【技术特征摘要】
20181105 US 16/1808491.一种用于控制自主车辆的命令的端对端学习的方法，所述方法包括：
在预处理器中对由传感器以当前时间步长(T)从环境获取的图像数据进行预处理以生成经预处理的图像数据；
将所述经预处理的图像数据与至少一个附加输入级联以生成动态场景输出，所述动态场景输出是所述经预处理的图像数据和所述至少一个附加输入的级联；
在卷积神经网络(CNN)中处理所述动态场景输出以生成包括提取空间特征的特征图；
将车辆运动学与来自所述特征图的所述提取空间特征级联以生成空间上下文特征向量，所述空间上下文特征向量包括描述当前时间步长(T)的当前上下文的上下文特征；
在包括长短期记忆(LSTM)单元的网络的LSTM网络中在所述当前时间步长(T)期间处理所述当前时间步长(T)的所述空间上下文特征向量和一个或多个相应的先前时间步长的一个或多个先前LSTM输出，以生成所述当前时间步长(T)的编码后时间上下文向量；以及
在完全连接层中处理所述编码后时间上下文向量以学习一个或多个控制命令，其中每个控制命令包括以下至少一个：转向角控制命令、加速率控制命令或制动率控制命令。


2.根据权利要求1所述的方法，其还包括：
在分割神经网络中分割所述经预处理的图像数据以生成分割图，其中已经为所述经预处理的图像数据的每个像素分配了标签；并且
其中将所述经预处理的图像数据与所述至少一个附加输入级联以生成所述动态场景输出包括：
将所述经预处理的图像数据与所述分割图级联以生成所述动态场景输出，其中所述动态场景输出包括增强分割图。


3.根据权利要求1所述的方法，其还包括：
在光流神经网络中处理所述经预处理的图像数据以生成估计光流的光流图；并且
其中将所述经预处理的图像数据与所述至少一个附加输入级联以生成所述动态场景输出包括：
将所述经预处理的图像数据与所述光流图级联以生成所述动态场景输出。


4.根据权利要求1所述的方法，其还包括：
在分割神经网络中分割所述经预处理的图像数据以生成分割图，其中已经为所述经预处理的图像数据的每个像素分配了标签；以及
在光流神经网络中处理所述经预处理的图像数据以生成估计光流的光流图，其中在所述光流神经网络中处理所述经预处理的图像数据与在所述分割神经网络中分割所述经预处理的图像数据并行发生；并且
其中将所述经预处理的图像数据与所述至少一个附加输入级联以生成所述动态场景输出包括：
将所述经预处理的图像数据与所述分割图和所述光流图级联以生成所述动态场景输出，其中所述动态场景输出包括增强分割图。


5.根据权利要求1所述的方法，其中所述一个...

【专利技术属性】
技术研发人员：P·帕拉尼萨梅，U·P·穆达里格，陈逸伦，J·M·多兰，K·米林，
申请(专利权)人：通用汽车环球科技运作有限责任公司，卡内基梅隆大学，
类型：发明
国别省市：美国;US