一种端到端自动驾驶的方法及系统技术方案

本发明专利技术公开了一种端到端自动驾驶的方法及系统，其中方法包括步骤：获取道路环境的RGB图像信息、获取三轴的加速度计信息；对RGB图像平移、拉伸、旋转、归一化处理，得到的图像为三维矩阵；构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型，并对其进行训练；将图像输入5个卷积操作块，输出第一向量；将加速度计信息输入2个第一全连接层，输出二向量；将第一向量与第二向量通过向量拼接层进行拼接，得到第三向量：将第三向量输入3个第二全连接层，得到第四向量、神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；将方向盘的输出角度、汽车油门的大小作为汽车控制信息。

An end-to-end automatic driving method and system

【技术实现步骤摘要】
一种端到端自动驾驶的方法及系统
本专利技术涉及自动驾驶
，更具体的，涉及一种端到端自动驾驶的方法及系统。
技术介绍
现今自动驾驶方案主要分为两大主流方案：基于规则(rulebasedsolution)的方案以及端到端(end-to-end)的方案。基于规则方案的主体需要人工去搭建，从车辆开始是一个闭环：从车辆到车上的传感器(radar、LiDAR以及camera等)，综合在一起获取信息，这些信息经过感知层、经过特殊的处理(包括深度学习网络)，最终会提取出道路、行人和车辆等各种信息。在感知到的信息基础之上，再加入高精地图等一些静态信息，当动态和静态信息结合在一起后，就会形成一个比较完备的世界模型(WodelModel)——对外部环境的完备描述。在此基础之上，我们就进入到决策模块，考虑到驾驶舒适性，这一步主要是演绎推理(reasoning)的一些过程，最终会产生一些决策，决策再往下就到了车厂比较擅长的领域——车辆控制，需要给车辆一些控制信号。在这样一个基于规则的方案系统里面，其实有一个非常复杂的架构，如此庞大的系统，容本文档来自技高网...

【技术保护点】
1.一种端到端自动驾驶的方法，其特征在于：所述的方法包括步骤如下：/nS1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；/nS2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；/nS3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；/nS4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度...

【技术特征摘要】
1.一种端到端自动驾驶的方法，其特征在于：所述的方法包括步骤如下：
S1：获取驾驶室正前方的道路环境的RGB图像信息、并获取三轴的加速度计信息；
S2：对得到的RGB图像进行平移、拉伸、旋转处理，之后再经过归一化处理，将图像所有像素点除以最大像素值，使得图像每个像素点的值控制在0～1之间，经过处理之后的图像为三维矩阵；
S3：构建包括5个卷积操作块、2个第一全连接层、向量拼接层、3个第二全连接层、softmax层的端到端神经网络模型；并对端到端神经网络模型进行训练；
S4：将处理后的图像、加速度计信息输入训练完成后的端到端神经网络模型，具体将处理后的图像输入5个卷积操作块，输出一个维度的第一向量；将加速度计信息输入2个第一全连接层，输出一个维度的第二向量；
S5：将第一向量与第二向量通过向量拼接层实现在第二维度上进行拼接，得到第三向量；
S6：将第三向量输入3个第二全连接层，得到一个维度的第四向量、一个维度的神经元；将第四向量输入softmax层进行分类，得出汽车方向盘的输出角度；所述神经元的输出拟合汽车油门的大小；
S7：将汽车方向盘的输出角度、拟合汽车油门的大小信息作为汽车控制信息，实现对汽车控制。


2.根据权利要求1所述的端到端自动驾驶的方法，其特征在于：步骤S3，所述的卷积操作块依次包括3×3卷积层、最大池化层、非线性激活层。


3.根据权利要求2所述的端到端自动驾驶的方法，其特征在于：使用keras框架进行搭建与训练，使用Adam优化器进行优化，学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数...

【专利技术属性】
技术研发人员：李子聪，欧秉坤，吴元清，鲁仁全，叶燕燕，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44