一种面向高速公路场景的智能车端到端决策方法及系统技术方案

本发明专利技术公开了一种面向高速公路场景的智能车端到端决策方法及系统，具体包括以下几个模块，预训练决策模块、智能车端到端决策系统框架模块和智能车端到端决策系统测试模块，利用训练样本集训练初始训练网络模型，获得预训练初始化模型，在端到端决策系统里面加载训练好的决策模型计算出方向盘转角值，该系统有较强的稳定性，预测的方向盘转角值比较平稳，保证智能车在实际高速公路上能够平稳行驶，在智能车拐弯时能很好地拟合基准曲线，不会像卷积网络那样出现较大偏差；预训练好的时空特征融合网络已经具备一定的预测方向盘转角的能力，通过模型迁移法该决策网络直接迁移到高速公路场景下可以节省很多时间，不用再从头开始训练网络模型。

An End-to-End Decision-Making Method and System for Intelligent Vehicles Oriented to Highway Scene

The invention discloses an intelligent vehicle end-to-end decision-making method and system for highway scenarios, which includes the following modules: pre-training decision-making module, frame module of intelligent vehicle end-to-end decision-making system and test module of intelligent vehicle end-to-end decision-making system. The training sample set is used to train the initial training network model, and the initialization model of pre-training is obtained, and the end-to-end decision-making system is established. The steering wheel angle value is calculated by the decision model loaded and trained in the system. The system has strong stability, the predicted steering wheel angle value is relatively stable, which guarantees that the intelligent vehicle can run smoothly on the actual highway, and can fit the reference curve well when turning the intelligent vehicle, so that there will be no big deviation like the convolution network; the pre-trained spatio-temporal feature fusion network has been established. With the ability of predicting steering wheel turning angle, the decision network can be directly migrated to the freeway scene by model migration method, which can save a lot of time and no need to train the network model from scratch.

【技术实现步骤摘要】
一种面向高速公路场景的智能车端到端决策方法及系统
本专利技术涉及无人驾驶汽车决策领域，特别涉及一种面向高速公路场景的智能车端到端决策方法及系统。
技术介绍
随着技术的发展，越来越多的智能车研究人员将注意力集中于实际驾驶场景，希望在实际高速公路上实现自动驾驶，著名的DARPA竞赛历届的比赛场景中都有高速公路场景，要求参赛智能车像人类驾驶员一样完成高速公路场景下的避障、超车和换道等决策任务，旨在促进智能车更快地进入实际驾驶场景中，并在实际驾驶场景中帮助人类完成各种驾驶任务。高速公路场景相比城市公路场景，其道路结构比较规范，有清晰的车道线，背景简单，环境的不可预测性因素较少，周围车辆的运动行为基本可预测，环境相对稳定。面向高速公路场景的决策方法必须考虑避免许多由不可预测性因素造成的极端行驶环境，专注于提升智能车驾驶的安全性和舒适性。然而在公共数据库训练的决策模型都是基于公路场景，并不能直接应用到实际高速公路场景中。原因有两点：一是公共数据库中的场景与实际高速公路场景差异巨大，比如国外交通标志与国内的交通标志并不一致，同种车道周边的场景也并不一样，让公共数据库上训练的模型直接预测实际高速公路场景的决策值会产生较大偏差；二是不同车辆的内部属性并不相同，同样的场景不同的车辆所需要转动的方向盘转角值并不一样，直接将公路场景的公共数据库上训练的模型应用在高速公路实际车辆上容易输出极端决策值。为了应用公共数据库上训练的模型，那么就需要应用模型迁移的方法，利用模型迁移方法将公共数据库上训练的模型迁移到实际高速公路场景中，这样就可以让实际车辆根据当前场景输出适合本车的决策量，保持智能车辆安全稳定地决策。高速公路场景下的决策过程主要涉及车道保持、变道、超车和跟车等操作，让智能车安全稳定地行驶。车道保持操作要求智能车尽量在车道中间行驶，当车辆靠近右侧车道线时输出左转方向盘转角值，当车辆靠近左侧车道线时输出右转方向盘转角值。这种情况下的决策网络必须具有让智能车自动回正的能力。变道操作要求智能车在不和其他车辆发生碰撞的基础上安全行驶，其基本条件是当前车道的前方车辆与本车距离低于安全距离，并且左边车道或者右边车道没有车辆。超车操作是在变道操作的基础上进行两次连续的变道操作，该过程需要考虑被超车车辆的车速，跟车操作的行驶条件是当前车道的前方车辆与本车的距离低于安全距离并且左右车道都有车辆，只能让智能车减速然后与前车保持一个安全距离行驶。针对实际高速公路场景下的智能车决策问题，设计出一种面向高速公路场景的智能车端到端决策系统应用在高速公路场景，使得无人驾驶模式的智能车能够实现主动避障、根据前方车辆的运动进行相应的加速和减速操作、当前方障碍物消失时自主启动等自动驾驶功能，那么就能完美地实现高速公路场景下的智能车驾驶。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种面向高速公路场景的智能车端到端决策方法及系统，能让智能车根据高速公路实际场景输出适合本车的决策量，保持智能车辆在无人驾驶过程中安全稳定地决策，实现提升智能车行驶的安全性和舒适性的目的。本专利技术的目的是通过以下技术方案来实现的：一种面向高速公路场景的智能车端到端决策方法，包括以下步骤：S1、采用迁移学习方法中的Finetuning方法重新训练初始训练网络模型，得到决策模型，包含以下分步骤：S11、采集高速公路场景下的熟练驾驶员行驶样本制作成样本标签作为所述初始训练网络模型的训练样本；S12、对已经训练好的初始训练模型进行Finetuning操作，利用所述的训练样本获得高速公路场景下的决策模型；S2、搭建高速公路场景下的智能车端到端决策系统的框架，包含以下分步骤：S21、摄像头采集到即刻拍摄的图像或视频首先传给端到端决策网络，决策网络利用输入的图像或视频计算出方向盘转角值；S22、使用卡尔曼滤波器对所述方向盘转角值进行滤波处理；S23、使用CAN协议将决策量传给车辆控制模块；S3、测试面向高速公路场景的智能车端到端决策系统，包含以下分步骤：S31、使用训练样本集训练初始训练网络模型，获得预训练初始化模型，首先将学习率设为0.0001，优化方法采用Adam，然后使用摄像头采集到即刻的图像或视频Finetuning预训练初始化模型，学习率设为0.00001，优化方法采用Adam，在网络收敛后得到高速公路场景下的端到端决策模型；S32、在端到端决策系统里面加载训练好的决策模型，输入所述高速公路场景即刻拍摄的图像或者视频，计算出方向盘转角值，将所述卡尔曼滤波器中的模型噪声参数设为1，观测噪声参数设为20；S33、利用离线数据测试端到端决策模型的输出，计算其预测的方向盘转角值与基准值之间的均方误差根，评价预测曲线与基准曲线的相似性。进一步地，所述卡尔曼滤波器的状态更新公式为：其中，K为卡尔曼增益，是根据系统状态和噪音计算出来的最优权值，XkΛ为模型预测值。进一步地，所述CAN协议包括控制器和收发器，所述收发器用于收发数据，所述控制器用于判断接收到的数据的有用性。一种面向高速公路场景的智能车端到端决策系统，包括以下功能模块：预训练决策模块，用于将采集到的高速公路场景下的熟练驾驶员行驶样本制作成样本标签新训练初始训练网络模型，进行Finetuning操作得出决策模型；智能车端到端决策系统框架模块，首先利用速公路场景下的摄像头采集到即刻拍摄的图像或视频传输到端到端决策网络算出方向盘转角值，再使用卡尔曼滤波器对所述方向盘转角值进行滤波处理，然后用CAN协议将决策量传给车辆控制模块；智能车端到端决策系统测试模块，利用训练样本集训练初始训练网络模型，获得预训练初始化模型，在端到端决策系统里面加载训练好的决策模型计算出方向盘转角值，利用离线数据测试端到端决策模型的输出算其预测的方向盘转角值与基准值之间的均方误差根。进一步地，所述的能车端到端决策系统框架模块包括以下子功能模块：计算方向盘转角值模块，用于摄像头采集到即刻拍摄的图像或视频首先传给端到端决策网络计算出方向盘转角值得到决策量；卡尔曼滤波模块，用于对方向盘转角值进行滤波处理，使决策量变平滑；CAN协议模块，用于将决策量传给车辆控制模块，包括收发器和控制器，收发器用于收发数据，控制器用于判断接收到的数据的有用性。本专利技术的有益效果是：1)本专利技术设计的端到端决策系统有较强的稳定性，其预测的方向盘转角值比较平稳，不会出现激烈的变化，保证了智能车在实际高速公路上能够平稳行驶，不会出现强烈的震荡；端到端的决策系统在智能车拐弯时也能够很好地拟合基准曲线，不会像卷积网络那样出现较大偏差；预训练好的时空特征融合网络已经具备一定的预测方向盘转角的能力，通过Finetuning方法将该决策网络直接迁移到高速公路场景下可以节省很多时间，不用我们再从头开始训练网络模型。2)采用CAN总线,传输效率高，用时短，并且成本相对较低，具有非常强的抗干扰能力，数据有误时能够迅速检测出来，其独特的双线串行结构有利于其抵抗各种电磁干扰,因为拥有优先级控制功能和仲裁功能，CAN总线可以形成大的局域通信架构。3)现了高速公路场景下无人驾驶模式的自主巡航决策控制,不再需要人为的干预,实现主动避障,根据前方车辆的运动进行相应的加速和减速操作、当前方障碍物消失时自主启动等自动驾驶功能。本文档来自技高网...

【技术保护点】
1.一种面向高速公路场景的智能车端到端决策方法，其特征在于，包括以下步骤：S1、采用迁移学习方法中的Finetuning方法重新训练初始训练网络模型，得到决策模型，包含以下分步骤：S11、采集高速公路场景下的熟练驾驶员行驶样本制作成样本标签作为所述初始训练网络模型的训练样本；S12、对已经训练好的初始训练模型进行Finetuning操作，利用所述的训练样本获得高速公路场景下的决策模型；S2、搭建高速公路场景下的智能车端到端决策系统的框架，包含以下分步骤：S21、摄像头采集到即刻拍摄的图像或视频首先传给端到端决策网络，决策网络利用输入的图像或视频计算出方向盘转角值；S22、使用卡尔曼滤波器对所述方向盘转角值进行滤波处理；S23、使用CAN协议将决策量传给车辆控制模块；S3、测试面向高速公路场景的智能车端到端决策系统，包含以下分步骤：S31、使用训练样本集训练初始训练网络模型，获得预训练初始化模型，首先将学习率设为0.0001，优化方法采用Adam，然后使用摄像头采集到即刻的图像或视频Finetuning预训练初始化模型，学习率设为0.00001，优化方法采用Adam，在网络收敛后得到高速公路场景下的端到端决策模型；S32、在端到端决策系统里面加载训练好的决策模型，输入所述高速公路场景即刻拍摄的图像或者视频，计算出方向盘转角值，将所述卡尔曼滤波器中的模型噪声参数设为1，观测噪声参数设为20；S33、利用离线数据测试端到端决策模型的输出，计算其预测的方向盘转角值与基准值之间的均方误差根，评价预测曲线与基准曲线的相似性。...

【技术特征摘要】
1.一种面向高速公路场景的智能车端到端决策方法，其特征在于，包括以下步骤：S1、采用迁移学习方法中的Finetuning方法重新训练初始训练网络模型，得到决策模型，包含以下分步骤：S11、采集高速公路场景下的熟练驾驶员行驶样本制作成样本标签作为所述初始训练网络模型的训练样本；S12、对已经训练好的初始训练模型进行Finetuning操作，利用所述的训练样本获得高速公路场景下的决策模型；S2、搭建高速公路场景下的智能车端到端决策系统的框架，包含以下分步骤：S21、摄像头采集到即刻拍摄的图像或视频首先传给端到端决策网络，决策网络利用输入的图像或视频计算出方向盘转角值；S22、使用卡尔曼滤波器对所述方向盘转角值进行滤波处理；S23、使用CAN协议将决策量传给车辆控制模块；S3、测试面向高速公路场景的智能车端到端决策系统，包含以下分步骤：S31、使用训练样本集训练初始训练网络模型，获得预训练初始化模型，首先将学习率设为0.0001，优化方法采用Adam，然后使用摄像头采集到即刻的图像或视频Finetuning预训练初始化模型，学习率设为0.00001，优化方法采用Adam，在网络收敛后得到高速公路场景下的端到端决策模型；S32、在端到端决策系统里面加载训练好的决策模型，输入所述高速公路场景即刻拍摄的图像或者视频，计算出方向盘转角值，将所述卡尔曼滤波器中的模型噪声参数设为1，观测噪声参数设为20；S33、利用离线数据测试端到端决策模型的输出，计算其预测的方向盘转角值与基准值之间的均方误差根，评价预测曲线与基准曲线的相似性。2.根据权利要求1所述的面向高速公路场景的智能车端到端决策方法...

【专利技术属性】
技术研发人员：程洪，金凡，梁黄黄，赵洋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51