一种基于开关式深度学习网络模型的自动驾驶决策方法及系统技术方案

本发明专利技术公开了一种基于开关式深度学习网络模型的自动驾驶决策方法，其包括：通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据；步骤S11，将所述采集的行车环境数据，与实时的导航指令作为输入导入经预先训练优化好的自动驾驶决策模块中，所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；步骤S12，所述自动驾驶决策模块根据所输入的行车环境数据与实时的导航指令的类型输出方向盘转角和车辆期望行驶速度，以控制车辆实现自动驾驶。本发明专利技术还公开了相应的系统。本发明专利技术可以根据不同的驾驶指令选择激活不同的特征开关，能实现复杂路况下的自动驾驶。

【技术实现步骤摘要】
一种基于开关式深度学习网络模型的自动驾驶决策方法及系统
本专利技术属于汽车自动驾驶领域，涉及一种基于开关式深度学习网络模型的自动驾驶决策方法及系统。
技术介绍
采用深度学习来实现对车辆进行自动驾驶的方法是当前行业内前沿的自动驾驶算法模型。其一般的思路是，设计深度学习网络，然后将传感器采集的原始图像作为深度学习网络的输入，然后通过网络输出刹车、加速和转向等操作作为输出，然后对深度学习网络进行训练。其优势是模型可以直接对传感输入做出回应，不需要人类编写规则进行干预。这种深度学习自动驾驶技术意味着，只要人们提供足够多的训练数据，系统就能自动学会驾驶技术。但是在一些场景下，例如车辆到达路口时，其接下来的决策需要由导航指令给出，包括左转、右转、直行或者停车。而目前基于深度学习的端到端自动驾驶决策系统无法根据相应的驾驶指令进行自动驾驶。例如在现有的一种深度学习网络中，通过车辆前端左中右3个摄像头采集车辆行驶环境数据，同时通过数据采集设备采集驾驶员驾驶行为数据(方向盘转角)，以采集的图像数据作为输入，以采集的驾驶员驾驶行为数据作为输出本文档来自技高网...

【技术保护点】
1.一种基于开关式深度学习网络模型的自动驾驶决策方法，其特征在于，包括如下步骤：/n步骤S10，通过至少一个摄像头实时采集各导航指令下车辆行驶中的行车环境数据，同时采集导航指令；/n步骤S11，将所述采集的行车环境数据以及导航指令作为输入导入经预先训练优化好的自动驾驶决策模块中，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；/n步骤S12，根据自动驾驶决策模块输出的方向盘转角和车辆期望行驶速...

【技术特征摘要】
1.一种基于开关式深度学习网络模型的自动驾驶决策方法，其特征在于，包括如下步骤：
步骤S10，通过至少一个摄像头实时采集各导航指令下车辆行驶中的行车环境数据，同时采集导航指令；
步骤S11，将所述采集的行车环境数据以及导航指令作为输入导入经预先训练优化好的自动驾驶决策模块中，根据所述导航指令的类型并结合所述行车环境数据进行决策，输出方向盘转角和车辆期望行驶速度；所述自动驾驶决策模块采用开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；
步骤S12，根据自动驾驶决策模块输出的方向盘转角和车辆期望行驶速度，控制车辆实现自动驾驶。


2.如权利要求1所述的方法，其特征在于，进一步包括预先确定开关式深度学习网络模型并进行训练优化，形成自动驾驶决策模块的步骤，所述步骤包括：
步骤S20，通过多个摄像头采集各导航指令下车辆行驶中的行车环境数据，同时通过车辆传感器采集驾驶员的驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度数据；每一行车环境数据与其对应的驾驶行为数据通过时间标签进行关联；
步骤S21对所述采集的行车环境数据以及驾驶行为数据进行筛选形成对应于不同导航指令的训练数据，其中，行车环境数据作为输入数据，驾驶行为数据作为输出数据；
步骤S22，构建开关式深度学习网络模型，所述开关式深度学习网络模型包括多级卷积神经网络(CNN)层、特征选择层、长短期记忆神经网络(LSTM)层以及输出层；
步骤S23，将各导航指令对应的训练数据导入所述开关式深度学习网络模型中，根据预定的优化算法以及网络损失函数进行训练优化，其中，每一导航指令均对应有一网络损失函数；
步骤S24，对所述开关式深度学习网络模型进行实车的推理计算，获得训练好的自动驾驶决策模块。


3.如权利要求2所述的方法，其特征在于，所述步骤S20具体包括：
通过安装在车辆前端的左中右三个摄像头进行行车环境数据采集，其中，中间摄像头安装位置为车辆纵向对称轴线且接近挡风玻璃上边缘，采用第一视场角和第一采集频率进行采集；左右两侧摄像头位于车辆左右后视镜下边缘，采用第二视场角以及第二采集频率进行采集；
车载传感器采集驾驶员驾驶行为数据，包括车辆方向盘转角、油门开度、刹车力度、速度、车辆横摆角速度，采用第三采集频率进行采集；
其中，行车环境数据和驾驶员行为数据采用统一的时间标签进行记录。


4.如权利要求3所述的方法，其特征在于，在所述步骤S21具体包括：
将所述摄像头所采集的原始图像进行下采样以及缩放处理，同时对所述图像对应的驾驶行为数据进行归一化处理；
根据处理后的图像以及驾驶行为数据获得每一导航指令下的训练数据；其中，所述导航指令包括路口左转、路口右转、左转避障、右转避障以及直行指令；所述路口左转指令下的训练数据包括直行与路口左转数据，所述路口右转指令下的训练数据包括直行与路口右转数据，所述左转避障指令下的训练数据包括直行与左换道避障数据，所述右转避障指令下的训练数据包括直行与右换道避障数据；所述直行指令下的训练数据包括直行与路口直行数据；
将每一导航指令下的训练数据分为训练集、验证集和测试集，其中训练集比例为80％，验证集比例为10％，测试集比例为10％。


5.如权利要求1至4任一项所述的方法，其特征在于，所述步骤S22具体包括：
构建多级卷积神经网络(CNN)层，其输入层输入的为车辆左中右三路摄像头采集且经处理后的具有第一图像特征向量的图像数据，所述多级卷积神经网络层为五层，将所述第一图像特征向量处理后输出第二图像特征向量；
构建特征选择层，将多级卷积神经网络层输出的第二图像特征向量展平，并将每帧图像的图像特征平分给五个导航指令；将每张图像所对应的方向盘转角序列和速度序列组成车辆状态特征；将方向盘转角序列和速度序列与每个指令对应的特征维度进行拼接，获得第三图像特征向量；
构建长短期记忆神经网络(LSTM)层，将所述特征选择层中每一个指令对应的第三图像特征向量变换为第四图像特征向量；
构建输出层，用于对所述第四图像特征向量进行处理，所述输出层包括二个分支，所述两个分支均包含三个全连接(FC)层，每一层的单元数量依次减少，最终输出层为一个单元；第一分支的激活函数为反正切函数，输出的数值为车辆方向盘转角；第二分支的激活函数为sigmoid函数，输出的数值为车辆期望行驶速度。


6.如权利要求5所述的方法，其特征在于，步骤S23具体包括：
步骤S230，为每一导航指令所对应的训练数据根据下述公式确定相应的损失函数：



其中，ws表示不同驾驶指令共享的网络参数，wi表示不同驾驶指令下独立的网络参数，i＝1,2,3,4,5，分别表示左转、右转、直行、左转道和右换道，每一个驾驶指令都对应一个损失函数；α表示方向盘偏差的权重系数，β表示速度偏差的权重系数，γ为正则化权重系数；I表示图像输入，f表示网络的表达式，yspeed和ysteer表示图像对应的速度和方向盘转角；
步骤S231，将每一导航指令下的训练数据输入至所述开关式深度学习网络模型中，根据所述损失函数以及预定的优化算法进行训练优化，其中，训练时采用adam优化算法，训练步数为预先确定的步数，学习率采用指数衰减法，按下述公式随着训练步数的增加逐渐减少学习率：


...

【专利技术属性】
技术研发人员：王玉龙，裴锋，王丹，温俊杰，闵欢，刘文如，
申请(专利权)人：广州汽车集团股份有限公司，
类型：发明
国别省市：广东;44