一种端到端自动驾驶的方法及系统技术方案

本发明专利技术公开了一种端到端自动驾驶的方法及系统，其中方法包括步骤：获取道路环境的RGB图像信息、获取三轴的加速度计信息；对RGB图像平移、拉伸、旋转、归一化处理，得到的图像为三维矩阵；构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型，并对其进行训练；将图像输入5个卷积操作块，输出第一向量；将加速度计信息输入2个第一全连接层，输出二向量；将第一向量与第二向量通过向量拼接层进行拼接，得到第三向量：将第三向量输入3个第二全连接层，得到第四向量、神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；将方向盘的输出角度、汽车油门的大小作为汽车控制信息。

An end-to-end automatic driving method and system

【技术实现步骤摘要】
一种端到端自动驾驶的方法及系统
本专利技术涉及自动驾驶
，更具体的，涉及一种端到端自动驾驶的方法及系统。
技术介绍
现今自动驾驶方案主要分为两大主流方案：基于规则(rulebasedsolution)的方案以及端到端(end-to-end)的方案。基于规则方案的主体需要人工去搭建，从车辆开始是一个闭环：从车辆到车上的传感器(radar、LiDAR以及camera等)，综合在一起获取信息，这些信息经过感知层、经过特殊的处理(包括深度学习网络)，最终会提取出道路、行人和车辆等各种信息。在感知到的信息基础之上，再加入高精地图等一些静态信息，当动态和静态信息结合在一起后，就会形成一个比较完备的世界模型(WodelModel)——对外部环境的完备描述。在此基础之上，我们就进入到决策模块，考虑到驾驶舒适性，这一步主要是演绎推理(reasoning)的一些过程，最终会产生一些决策，决策再往下就到了车厂比较擅长的领域——车辆控制，需要给车辆一些控制信号。在这样一个基于规则的方案系统里面，其实有一个非常复杂的架构，如此庞大的系统，容易衍生出各种问题：(1)系统复杂性。这样一个系统，需要人工设计上千个模块，从0到1是非常艰难的，其系统的复杂度不亚于一个操作系统。(2)高精地图的成本很高。在构建世界模型的时候，需要高精地图的辅助，而高精地图本身的广铺、更新都是极其大的成本。(3)车载硬件计算能力要求非常高。在这样一个系统里面，有不同的感知、决策模块，每一个模块都会使用深度学习的优化手段。一个综合的复杂系统里面，可能需要几个甚至是十几个深度学习的神经网络，每一个的计算成本都极其巨大。从输入端(传感器的原始数据)直接映射到输出端(控制信号)，在这个过程中，没有高精地图、没有人工设计的专家规则、没有复杂的传感器，能够在从未见过的道路上做训练。通常，端到端驾驶模型使用一个深度神经网络来完成这种映射，网络的所有参数为联合训练而得。传统的端到端自动驾驶系统一般利用汽车前视摄像头所拍摄到的实时图像，传送到端到端模型，即神经网络模型进行训练或直接推理，所带来的不足包括部分自动驾驶汽车所使用的前视摄像头信息单一，导致神经网络模型只能依赖单一信息进行预测计算，系统鲁棒性较低。
技术实现思路
本专利技术为了解决目前自动驾驶汽车使用前视摄像头信息单一，导致神经网络模型只能依赖单一信息进行预测计算，系统鲁棒性较低的问题，提出一种端到端自动驾驶的方法及系统，其能在控制端到端自动驾驶系统的成本的前提下，弥补前视摄像头所带来的视野不足的问题，从而提高行车安全性。为实现上述本专利技术目的，采用的技术方案如下：一种端到端自动驾驶的方法，所述的方法包括步骤如下：S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；S4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度的第二向量；S5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到第三向量；S6：将第三向量输入3个第二全连接层，得到一个维度的第四向量、一个维度的神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；S7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。优选地，步骤S3，所述的卷积操作块依次包括3×3卷积层、最大池化层、非线性激活层。进一步地，步骤S3，使用keras框架进行搭建与训练，使用Adam优化器进行优化，学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，模糊因子为1e-08，decay为200；每次进行100个epoch的训练，将图像、加速度计信息的80％作为训练集，剩余的20％作为验证集，mini-batchsize为5，由于分类类别数为15，所以采用的损失函数计算方法为softmaxcrossentropy，训练对所有卷积层以及全连接层的权重进行更新。基于上述所述的端到端自动驾驶的方法，本专利技术还提供了一种端到端自动驾驶的系统，包括用于获取驾驶室正前方道路环境RGB图像信息的摄像头；用于获取获取三轴加速度计信息的6轴运动处理组件；分别与摄像头、6轴运动处理组件通过串口通讯连接的中央控制单元；所述的中央控制单元包括图像处理模块、端到端神经网络模块；所述的图像处理模块用于对得到的RGB图像进行平移、拉伸、旋转、归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间；所述的端到端神经网络模块包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层；汽车电子控制单元，所述端到端神经网络模块将得到汽车方向盘的输出角度、拟合汽车油门的大小信息输入到汽车电子控制单元，作为汽车控制信号实现对汽车控制。优选地，所述的摄像头设置在汽车的前挡风玻璃后；所述的6轴运动处理组件水平固定于汽车后轴的中间位置；所述的中央控制单元设置在汽车后备箱。进一步地，所述的6轴运动处理组件采用MPU6050。本专利技术的有益效果如下：本专利技术利用端到端神经网络融合摄像头图像数据以及加速度计X、Y、Z轴数据进行端到端自动驾驶，增加了端到端神经网络输入信息的维度，丰富了自动驾驶系统的感知信息，有效增加端到端自动驾驶系统的鲁棒性，挺高系统表现性能。附图说明图1是实施例1所述自动驾驶方法的步骤流程图。图2是实施例1所述端到端神经网络模型图。图3是实施例2所述的自动驾驶的系统框图。具体实施方式下面结合附图和具体实施方式对本专利技术做详细描述。实施例1如图1所示，一种端到端自动驾驶的方法，所述的方法包括步骤如下：S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵，形状为(3,480,640)，即通道数为3,图像高为480,长为640；S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型，如图2所示，并对端到端神经网络模型进行训练；S本文档来自技高网...

【技术保护点】
1.一种端到端自动驾驶的方法，其特征在于：所述的方法包括步骤如下：/nS1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；/nS2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；/nS3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；/nS4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度的第二向量；/nS5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到第三向量；/nS6：将第三向量输入3个第二全连接层，得到一个维度的第四向量、一个维度的神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；/nS7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。/n...

【技术特征摘要】
1.一种端到端自动驾驶的方法，其特征在于：所述的方法包括步骤如下：
S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；
S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；
S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；
S4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度的第二向量；
S5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到第三向量；
S6：将第三向量输入3个第二全连接层，得到一个维度的第四向量、一个维度的神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；
S7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。


2.根据权利要求1所述的端到端自动驾驶的方法，其特征在于：步骤S3，所述的卷积操作块依次包括3×3卷积层、最大池化层、非线性激活层。


3.根据权利要求2所述的端到端自动驾驶的方法，其特征在于：使用keras框架进行搭建与训练，使用Adam优化器进行优化，学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数...

【专利技术属性】
技术研发人员：李子聪，欧秉坤，吴元清，鲁仁全，叶燕燕，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44