【技术实现步骤摘要】
本专利技术涉及一种无人驾驶车辆路径规划方法，尤其是涉及一种考虑动力学约束的路径规划方法。
技术介绍
1、路径规划是无人驾驶车辆中不可缺少的关键一环，为车辆运动控制提供跟踪目标。路径规划是指无人驾驶车辆根据本车的意图、当前的交通状况以及周围车辆的意图，利用一系列方法获取安全高效的未来运动轨迹。当前路径规划方法可以分为局部路径规划和全局路径规划两种。全局路径规划是指对从出发点到终点的全部路径进行规划，而局部路径规划规划则对全局路径规划中的某一小段进行细化。
2、经过检索，中国专利技术专利公开号cn 111273668 b公开了一种针对结构化道路的无人驾驶汽车运动轨迹规划系统及方法，提供一系统包括感知模块、定位模块、变道决策模块、运动规划模块和轨迹追踪模块；所述变道决策模块根据感知模块和定位模块采集的数据输出决策动作:所述运动规划模块根据决策动作输出最优轨迹至轨迹追踪模块，具体包括以下步骤:
3、步骤1，采集实时行驶数据；
4、步骤2，将采集的行驶数据进行坐标转化,将车辆在frenet坐标系下的数据转换为车辆在全局坐标系下的数据；
5、步骤3，确定状态空间、动作空间和动作价值回报函数；
6、步骤4，构建深度强化学习模型。该现有专利存在试错次数高和路径规划慢的问题。
7、如何实现考虑动力学约束的车辆路径规划，成为需要解决的技术问题。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种考虑动力
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的一个方面，提供了一种考虑动力学约束的路径规划方法，该方法包括以下步骤：
4、步骤s1，对标准化优势函数路径规划进行预训练，保存网络参数值；
5、步骤s2，对标准化优势函数路径规划设置动力学约束；
6、步骤s3，对标准化优势函数路径规划进行正式训练，获得策略网络最佳参数；
7、步骤s4，利用训练的策略网络计算结果，得到每次迭代中车辆的最佳规划速度，并按时间顺序进行相连，得到车辆的最佳规划路径。
8、优选地，所述的对标准化优势函数路径规划进行预训练具体为：
9、使用贝尔曼方程迭代估计动作值函数，公式如下：
10、qi+1(s,a)＝es′[r+γmaxqi(s′,a′)|s,a]
11、其中i代表迭代步数，r代表奖励值，γ代表折扣系数，s代表状态，也就是在当前规划步本车周围的交通状况，a代表动作，即本车在当前规划步时沿道路方向以及垂直道路方向的速度，s′代表下一个迭代步的状态，a′代表下一个迭代步的动作，q为增强学习方法所关注的q值，q值越高的动作越优，es′为期望值，qi为第i迭代步的q值，qi+1为第i+1迭代步的q值；
12、标准化优势函数方法使用神经网络q来估计动作值函数，如下式所示：
13、q(s,a；θ)≈q*(s,a)
14、其中θ代表q神经网络的参数，q*为q的最大值；
15、随着迭代步数i的增加，qi逐渐收敛到q值的最大值q*，根据最大值q*获得最优的动作；
16、在预训练过程中，设定车辆速度为恒定值[vx0,vy0]，通过训练网络，最小化如下损失函数：
17、l(θ)＝(vx-vx0)2+(vy-vy0)2
18、其中vx为车辆沿道路方向的速度，vy为车辆沿垂直道路方向的速度，vx0为车辆沿道路方向的初始速度，vy0为车辆沿垂直道路方向的初始速度；
19、到达预训练的终止条件时，记录并保存q网络的参数θ为θp。
20、优选地，所述的动力学约束包括对车辆的速度、加速度以及加加速度的最小和最大值进行限制。
21、优选地，所述的对标准化优势函数路径规划设置动力学约束的过程包括以下步骤：
22、步骤s101，按照设置的速度范围对速度进行约束；
23、步骤s102，使用差分法计算加速度；
24、步骤s103，按照设置的加速度范围对加速度进行约束；
25、步骤s104，按照设置的加加速度范围，随机生成加加速度；
26、步骤s105，计算示范速度。
27、更加优选地，所述的按照设置的速度范围对速度进行约束具体为：
28、根据车辆限速情况以及交通运行状况，将车辆沿道路方向和垂直道路方向的最优速度分别限制在[vx-min，vx-max]和[vy-min，vy-max]，即进行如下操作：
29、vx＝min(vx-max，vx)或max(vx-min，vx)
30、vy＝min(vy-max，vy)或r max(vy-min，vy)
31、其中，vx-min和vx-m分别为车辆沿道路方向最优速度的最小值和最大值，vy-m和vy-ma分别为车辆沿垂直道路方向最优速度的最小值和最大值。
32、更加优选地，所述的使用差分法计算加速度具体为：
33、车辆加速度计算如下：
34、
35、
36、其中，ax,i为第i次迭代中车辆沿道路方向的加速度，ay,i为第i次迭代中车辆沿垂直道路方向的加速度，t代表相邻迭代步之间的时间周期，vx,i-1代表第i-1次迭代中车辆沿道路方向的速度，vx,i代表第i从迭代中车辆沿道路方向的速度；vy,i-1代表第i-1次迭代中车辆沿垂直道路方向的速度，vy,i代表第i次迭代中车辆沿垂直道路方向的速度。
37、更加优选地，所述的按照设置的加速度范围对加速度进行约束具体为：
38、对车辆加速度进行如下约束：
39、ax＝min(ax-max，ax)or max(ax-min，ax)
40、ay＝min(ay-max，ay)or max(ay-min，ay)
41、其中，ax和ay分别为车辆沿道路方向和沿垂直道路方向的加速度，ax-min和ax-m分别为车辆沿道路方向加速度的最小值和最大值，ay-m和ay-m分别为车辆沿垂直道路方向加速度的最小值和最大值。
42、更加优选地，所述的按照设置的加加速度范围，随机生成加加速度具体为：
43、兼顾车辆速度的连续性以及加加速度约束，令每个迭代步的加加速度为：
44、aax＝(rand(0,1)-0.5)/10
45、aay＝(rand(0,1)-0.5)/10
46、其中，aax和aay分别为车辆沿道路方向和沿垂直道路方向的加加速度，rand(0,1)为0～1间的随机数。
47、更加优选地，所述的计算示范速度具体为：
48、对q网络当前输出动作按照下式设置示范动作：
49、vx-e＝vx,i-1+ax,i*t+0.5*aax,i-1*t*t...
【技术保护点】
1.一种考虑动力学约束的路径规划方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的对标准化优势函数路径规划进行预训练具体为：
3.根据权利要求1所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的动力学约束包括对车辆的速度、加速度以及加加速度的最小和最大值进行限制。
4.根据权利要求1所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的对标准化优势函数路径规划设置动力学约束的过程包括以下步骤：
5.根据权利要求4所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的按照设置的速度范围对速度进行约束具体为：
6.根据权利要求4所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的使用差分法计算加速度具体为：
7.根据权利要求4所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的按照设置的加速度范围对加速度进行约束具体为：
8.根据权利要求4所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的按照设置的加
9.根据权利要求4所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的计算示范速度具体为：
10.根据权利要求1所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的对标准化优势函数路径规划进行正式训练，获得目标网络以及策略网络最佳参数具体为：正式训练开始时Q网络参数初始值θ0为预训练结束时Q网络参数值θp，标准化优势函数将当前状态当前动作的Q网络分为策略网络Q和目标网络Q‘，其中策略网络Q为实时训练的网络，目标网络Q‘的参数为策略网络Q的参数历史值；
...【技术特征摘要】
1.一种考虑动力学约束的路径规划方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的对标准化优势函数路径规划进行预训练具体为：
3.根据权利要求1所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的动力学约束包括对车辆的速度、加速度以及加加速度的最小和最大值进行限制。
4.根据权利要求1所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的对标准化优势函数路径规划设置动力学约束的过程包括以下步骤：
5.根据权利要求4所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的按照设置的速度范围对速度进行约束具体为：
6.根据权利要求4所述的一种考虑动力学约束的路径规划方法，其特征在于，所述的使用差分法计算加速度具体为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。