一种端到端自动驾驶方法及其系统、车辆技术方案

本发明专利技术涉及一种端到端自动驾驶方法及其系统、车辆，所述方法包括如下步骤：获取当前车辆前方图像以及方向盘转角序列，所述方向盘转角序列包括多帧历史车辆前方图像对应的多个方向盘转角值；提取所述车辆前方图像的图像特征，对所述方向盘转角序列进行编码得到方向盘转角特征；将所述图像特征和所述方向盘转角特征进行衔接处理得到多维特征；利用预先训练的深度学习模型对所述多维特征进行处理得到驾驶指令；控制车辆的执行机构执行所述驾驶指令。所述系统用于实现所述方法，所述车辆包括所述系统。相对于传统CNN+LSTM系统，本发明专利技术实施例在数据处理及训练和预测时更加简单便捷。

【技术实现步骤摘要】
一种端到端自动驾驶方法及其系统、车辆
本专利技术涉及自动驾驶
，具体涉及一种端到端自动驾驶方法及其系统、车辆。
技术介绍
在传统的自动驾驶中，都是采用基于规则系统的模块化方法，一般分为感知、融合、决策和控制几大模块。其优点是各模块的任务明确，系统出现问题时可进行快速排查，系统的可靠性较高。然而，这种方案依赖于各个模块的精细设计，而人为设计的系统往往覆盖不了驾驶的各种场景，因此其处理复杂路况的能力有限。并且这种方案的感知模块往往需要大量的标注数据进行模块化的深度神经网络训练，由此需要耗费大量人力物力进行数据标注。而通过采用端到端深度神经网络模仿驾驶行为的方案是当前自动驾驶领域中最可靠有效的方法，通过直接输入原始图像数据获取车辆控制信号，不需要对各个模块进行复杂精细的设计，训练数据可以直接通过车载摄像头和车载CAN中获取到。目前基于规则信息的自动驾驶需要大量的人工标注及大量的人为规则，而只用卷积神经网络(CNN)，车辆行驶有偶然的驶出车道，若引入递归神经网络(LSTM)改善，则其在数据处理和应用上都比较复杂。
技术实现思路
本专利技术的目的在于提出一种基于方向盘转向角序列的端到端自动驾驶方法及其系统、车辆，将历史帧的方向盘转向角信息作为神经网络模型的输入，以改善车辆行驶的稳定效果。为了实现本专利技术目的，根据本专利技术第一方面，本专利技术实施例提供一种端到端自动驾驶方法，所述方法包括如下步骤：获取当前车辆前方图像以及方向盘转角序列，所述方向盘转角序列包括多帧历史车辆前方图像对应的多个方向盘转角值；提取所述车辆前方图像的图像特征，对所述方向盘转角序列进行编码得到方向盘转角特征；将所述图像特征和所述方向盘转角特征进行衔接处理得到多维特征；利用预先训练的深度学习模型对所述多维特征进行处理得到驾驶指令；控制车辆的执行机构执行所述驾驶指令。优选地，所述提取所述车辆前方图像的图像特征包括：对所述车辆前方图像进行归一化处理得到归一化图像；使用预先训练的卷积神经网络对所述归一化图像进行卷积处理；使用第一全连接层对卷积处理结果进行全连接变换得到其图像特征。优选地，所述对所述方向盘转角序列进行编码得到方向盘转角特征包括：将所述方向盘转角序列的多个方向盘转角值采用独热编码(one-hot)形式表示，进而衔接起来构成一维数组；使用第二全连接层对所述一维数组进行全连接变换得到其方向盘转角特征。优选地，所述深度学习模型的预先训练采用如下损失函数：其中，为深度学习模型的输出结果，θt表示当前t时刻预测的方向盘转角，θlt表示当前t时刻的方向盘转角真值，St表示当前t时刻预测的速度，Sl(t+5)表示t时刻向后5帧图像对应的速度真值，和分别代表方向盘转角损失函数和速度损失函数，表示车辆前方图像中非车道道路面积占整个背景画面比重。优选地，所述和均采用均方误差损失函数，所述均方误差损失函数如下公式所示：其中，yk为深度学习模型训练时样本数据组(batch)中第k个数据真值，其对应于θlt和Sl(t+5)；yk′为预测的值，其对应于θt和St。优选地，其中，其中，w和h分别表示图像宽和高，表示车辆前方图像中车道道路面积所占比重，σ(i，j)表示在车辆前方图像的二值图中非0的值，i和j分别表示图像中的像素点的横纵坐标值。优选地，所述车辆前方图像包括左侧前方图像、正前方图像和右侧前方图像。优选地，所述驾驶指令包括方向盘转角和车速。根据本专利技术第二方面，本专利技术实施例提供一种端到端自动驾驶系统，其用于实现所述端到端自动驾驶方法，所述系统包括：信息获取单元，用于获取当前车辆前方图像以及方向盘转角序列，所述方向盘转角序列包括多帧历史车辆前方图像对应的多个方向盘转角值；图像特征提取单元，用于提取所述车辆前方图像的图像特征；方向盘转角特征提取单元，用于对所述方向盘转角序列进行编码得到方向盘转角特征；多维特征衔接单元，用于将所述图像特征和所述方向盘转角特征进行衔接处理得到多维特征；预先训练的深度学习模型，用于对所述多维特征进行处理得到驾驶指令；控制单元，用于控制车辆的执行机构执行所述驾驶指令。根据本专利技术第三方面，本专利技术实施例提供一种车辆，包括所述端到端自动驾驶系统。本专利技术实施例具有如下有益效果：本专利技术实施例提出一种端到端自动驾驶方法及其系统、车辆，该方法在传统图像特征提取网络和深度学习网络的基础上，增加了三个连接层，以当前车辆前方图像以及历史多帧车辆前方图像对应的方向盘转向角序列作为深度学习网络的输入，第一全连接层将特征提取网络提取的图像特征进行全连接变换后输出至第三全连接层，第二全连接层将对方向盘转向角序列进行编码得到的一维数组进行全连接变换得到方向盘转向角特征并输出至第三全连接层，第三全连接层对图像特征和方向盘转向角特征进行衔接得到多维特征；该多维特征进一步输入至深度学习网络进行预测得到方向盘转向角和速度。此外，本专利技术实施例还对深度学习网络的训练损失函数进行了改进。相对于传统CNN+LSTM系统，本专利技术实施例仅增加了若干全连接层进行多维特征的提取，而节省了LSTM网络结构，但可以达到与CNN+LSTM系统相同的预测效果，在数据处理及训练和预测时更加简单便捷。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一的一种端到端自动驾驶方法流程图。图2为本专利技术实施例一的步骤S1-S3的原理图。图3为本专利技术实施例一的实验过程中GTAV的场景鸟瞰图。图4为本专利技术实施例一的实验过程中多个方法在训练上的loss值对比分析示意图。图5为本专利技术实施例一的实验过程中车辆传感器位置装置图示。图6为本专利技术实施例一的实验过程中实车测试效果图。图7为本专利技术实施例二的一种端到端自动驾驶系统结构示意图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记为功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。另外，为了更好的说明本专利技术，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本专利技术同样可以实施。在一些实例中，对于本领域技术人员熟知的手段、元件和电路未作详细描述，以便于凸显本专利技术的主旨。如图1所示，本专利技术实施例提供一种端到端自动驾驶方法，所述方法包括如下步骤：步骤S1、获取当前车辆前方图像以及方向盘转角序列，所述方向盘转角序列包括多帧历史车辆前方图像对应的多个方向盘转本文档来自技高网...

【技术保护点】
1.一种端到端自动驾驶方法，其特征在于，所述方法包括如下步骤：/n获取当前车辆前方图像以及方向盘转角序列，所述方向盘转角序列包括多帧历史车辆前方图像对应的多个方向盘转角值；/n提取所述车辆前方图像的图像特征，对所述方向盘转角序列进行编码得到方向盘转角特征；/n将所述图像特征和所述方向盘转角特征进行衔接处理得到多维特征；/n利用预先训练的深度学习模型对所述多维特征进行处理得到驾驶指令；/n控制车辆的执行机构执行所述驾驶指令。/n

【技术特征摘要】
1.一种端到端自动驾驶方法，其特征在于，所述方法包括如下步骤：
获取当前车辆前方图像以及方向盘转角序列，所述方向盘转角序列包括多帧历史车辆前方图像对应的多个方向盘转角值；
提取所述车辆前方图像的图像特征，对所述方向盘转角序列进行编码得到方向盘转角特征；
将所述图像特征和所述方向盘转角特征进行衔接处理得到多维特征；
利用预先训练的深度学习模型对所述多维特征进行处理得到驾驶指令；
控制车辆的执行机构执行所述驾驶指令。


2.如权利要求1所述自动驾驶方法，其特征在于，所述提取所述车辆前方图像的图像特征包括：
对所述车辆前方图像进行归一化处理得到归一化图像；
使用预先训练的卷积神经网络对所述归一化图像进行卷积处理；
使用第一全连接层对卷积处理结果进行全连接变换得到其图像特征。


3.如权利要求2所述自动驾驶方法，其特征在于，所述对所述方向盘转角序列进行编码得到方向盘转角特征包括：
将所述方向盘转角序列的多个方向盘转角值采用独热编码形式表示，进而衔接起来构成一维数组；
使用第二全连接层对所述一维数组进行全连接变换得到其方向盘转角特征。


4.如权利要求3所述自动驾驶方法，其特征在于，所述深度学习模型的预先训练采用如下损失函数：



其中，为深度学习模型的输出结果，θt表示当前t时刻预测的方向盘转角，θlt表示当前t时刻的方向盘转角真值，St表示当前t时刻预测的速度，Sl(t+5)表示t时刻向后5帧图像对应的速度真值，和分别代表方向盘转角损失函数和速度损失函数，表示车辆前方图像中非车道道路面积占整个背景画面比重。


5.如权利要求4所述自...

【专利技术属性】
技术研发人员：闫春香，王玉龙，裴锋，王丹，温俊杰，尹苍穹，
申请(专利权)人：广州汽车集团股份有限公司，
类型：发明
国别省市：广东;44