一种基于Q学习的车辆变道超车路径规划方法技术

本发明专利技术公开了一种基于Q学习的车辆变道超车路径规划方法，通过建立车辆‑道路系统模型实现对车辆驾驶状态的描述，考虑车辆行驶状态、行驶安全以及能否完成目标的因素，设计Q学习算法的奖励惩罚函数，引导车辆能在保证安全的条件下尽快完成超车的驾驶目标；本方法具体包括如下步骤：步骤一、建立车辆‑道路系统模型；步骤二、确定主车与周围环境车辆的安全距离；步骤三、定义Q学习的状态、动作并设计主车行驶过程中的奖励惩罚函数；步骤四、根据步骤三确定的状态、动作和奖励惩罚函数进行仿真训练，生成主车超车最优路径；本方法能够避免主车在行驶过程中与周围环境车辆发生碰撞危险，规划出的路径更符合实际驾驶要求。

【技术实现步骤摘要】
一种基于Q学习的车辆变道超车路径规划方法
本专利技术属于汽车自动控制
，涉及一种基于Q学习的车辆变道超车路径规划方法。
技术介绍
随着驾驶汽车出行的人群增长，交通事故成为了很常见的现象。有研究表明，追尾碰撞是最常见的交通事故，超过90％的追尾碰撞事故是由于驾驶员驾驶汽车未能及时避障导致的。智能车辆作为智能交通系统的重要组成部分可以完成自主避障，提高驾驶安全性。路径规划是其中的关键技术之一，是指根据周围环境信息和车辆自身行驶状态构成一条满足行驶目标的序列点或曲线。目前，利用强化学习进行路径规划是研究的热点问题，但采用强化学习的路径规划大都是通过栅格进行环境建模进行全局路径规划，规划的路径平滑度不足，难以满足车辆运动学和动力学要求。
技术实现思路
本专利技术提供了一种基于Q学习的车辆变道超车路径规划方法，改善了基于栅格法建模的全局路径规划方法的平滑度不足的缺陷，使智能车辆能够平滑的完成避障和超车过程。本专利技术是采用如下技术方案实现的：一种基于Q学习的车辆变道超车路径规划方法，通过建立车辆-道路系统模型实现本文档来自技高网...

【技术保护点】
1.一种基于Q学习的车辆变道超车路径规划方法，通过建立车辆-道路系统模型实现对车辆驾驶状态的描述，考虑车辆行驶状态、行驶安全以及能否完成目标的因素，设计Q学习算法的奖励惩罚函数，引导车辆能在保证安全的条件下尽快完成超车的驾驶目标，其特征在于，具体步骤如下：/n步骤一、建立车辆-道路系统模型/n(1)建立地面坐标系，原点O为主车初始时刻质心o所处的位置，X轴方向为初始时刻主车的正前方向，X轴沿逆时针方向旋转90度的方向为Y轴正方向；/n(2)对道路标线进行描述，本方法中涉及到了变道超车的情况，所以定义了两条车道，宽为W，单位：m；车道边界线分别为f

【技术特征摘要】
1.一种基于Q学习的车辆变道超车路径规划方法，通过建立车辆-道路系统模型实现对车辆驾驶状态的描述，考虑车辆行驶状态、行驶安全以及能否完成目标的因素，设计Q学习算法的奖励惩罚函数，引导车辆能在保证安全的条件下尽快完成超车的驾驶目标，其特征在于，具体步骤如下：
步骤一、建立车辆-道路系统模型
(1)建立地面坐标系，原点O为主车初始时刻质心o所处的位置，X轴方向为初始时刻主车的正前方向，X轴沿逆时针方向旋转90度的方向为Y轴正方向；
(2)对道路标线进行描述，本方法中涉及到了变道超车的情况，所以定义了两条车道，宽为W，单位：m；车道边界线分别为f1(x)、f2(x)和f3(x)，车道中心线
(3)主车运动学建模
本方法的场景是车辆在平坦的道路上行驶，故将车辆运动视为平面运动，根据车辆的运动特性建立车辆运动学模型，并将车辆视为一个刚性体，考虑车辆系统的几何关系，可以得到表征车辆运动学特性的数学模型：



式中，xo是主车质心o的纵向位置坐标，单位：m；yo是主车质心o的侧向位置坐标，单位：m；vo是主车质心o的速度，单位：m/s；ao是主车质心o的加速度，单位：m/s2；是主车车头方向与X轴方向的夹角，单位：rad；ro是主车的横摆角速度，单位：rad/s；
以Ts做为采样时间，采用欧拉映射法，得到离散化的主车运动学模型：



(4)周围车辆运动学建模
为了保证主车能在道路上安全行驶，需要对周围环境车辆进行动态行为预测，建立周围环境车辆的运动学模型；利用车载摄像头、GPS系统和车载雷达得到周围环境车辆的坐标位置和速度信息；
设环境为单向行驶的双车道，周围有两台环境车辆；一台环境车辆为前车f，前车在初始时刻与主车行驶在同一个车道，前车在初始时刻的纵向位置在主车的前方并且与主车有一定的距离；另一台环境车辆为旁车n，旁车在初始时刻行驶在主车左侧的车道，旁车在初始时刻的纵向位置在主车的前方、前车的后方，并且旁车与前车之间的距离可以允许主车进行变道超车动作；假设两台环境车辆匀速行驶，并且只进行车道保持操作，因此两台环境车辆没有侧向和横摆运动，只有纵向运动，两台环境车辆运动方程可表示为：



式中，t是所有车辆从初始状态到当前状态所经历的时间，单位：s；vf是前车质心的速度，单位：m/s；vn是旁车质心的速度，单位：m/s；是前车质心的初始纵向坐标，单位：m；是旁车质心的初始纵向坐标，单位：m；xf(t)是经过时间t后前车质心的纵向坐标，单位：m；xn(t)是经过时间t后旁车质心的纵向坐标，单位：m；
步骤二、确定主车与周围环境车辆的安全距离
当主车前方有低速障碍车辆行驶，且主车的速度大于前车f的速度，主车与前车f有碰撞的危险，此时最小安全距离可表示为：



当主车超车完成后，后方存在障碍车辆旁车n，若旁车n的速度大于主车的速度，主车与旁车n有碰撞危险，此时最小安全距离可表示为：



步骤三、基于强化Q学习的超车行为路径规划
(1)状态和动作的定义
主车的状态要反映出主车的位置、行驶状态和与周围环境之间的关系，本方法中，选取Lr是主车相对于旁车n的纵向位置，单位：m；Lf是主车相对于前车f的纵向位置，单位：m；yo是主车的侧向位置坐标，单位：m；是主车的航向角，单位：rad；vo是主车的行驶速度，单位：m/s；
车辆行驶在道路上一般有几种动作选择，在纵向操作上可以加速、减速和匀速，在横向操作上可以直行，左转和右转；本方法为简化对动作的定义，假设在转向情况下不进行加减速操作，只进行车速保持，故在本方法中主车行驶时的动作共有5种：a1为加速直行、a2为减速直行、a3为匀速直行、a4为匀速左转、a5为匀速右转；
(2)奖励惩罚函数设计
综合考虑主车的行驶状态、行驶安全以及能否完成目标的因素，设计了Q学习算法的奖励惩罚函数：
...

【专利技术属性】
技术研发人员：郭洪艳，赵伟，张永达，赵小明，刘俊，陈虹，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22