【技术实现步骤摘要】
本专利技术涉及车辆，尤其涉及一种车辆行驶轨迹规划方法、装置、设备及存储介质。
技术介绍
1、在复杂交通场景中，自动驾驶车辆不仅需要感知周边的交通环境，并要能够对环境的变化做出预测，从而避免潜在的碰撞风险，提高行驶的安全性。而且由于不同车辆驾驶员驾驶意图、驾驶习惯的多样性和差异性，车辆行驶轨迹是多种多样的。因此有必要研究一种车辆行驶轨迹规划方法，避免车辆发生碰撞。
技术实现思路
1、本专利技术提供一种车辆行驶轨迹规划方法、装置、设备及存储介质，能够生成合理的车辆行驶轨迹，避免车辆发生碰撞。
2、为实现上述目的，本专利技术实施例提供了一种车辆行驶轨迹规划方法，包括：
3、获取车辆的实车数据，所述实车数据包括感知数据、定位数据、地图数据、车辆控制数据和预测数据；
4、确定预设分层强化学习决策模型；所述预设分层强化学习决策模型包括高层车道策略和低层轨迹策略；其中，所述低层轨迹策略内还设有安全层模型，所述安全层模型用于基于安全跟车时距对所述低层轨迹策略的当前动作进行安全约束，得到当前最优安全动作；
5、根据所述实车数据，通过所述高层车道策略，得到所述车辆的车道决策；
6、根据所述车道决策和所述实车数据，通过所述低层轨迹策略，得到所述车辆的行驶轨迹。
7、作为上述方案的改进，所述高层车道策略的状态空间表示为：
8、
9、式中，s表示当前状态，pi表示第i辆周围的车辆能否被自主车辆观测到，(xi，yi
10、所述高层车道策略的动作空间表示为：直行、左侧变道和右侧变道；
11、所述高层车道策略的奖励函数表示为：rhigh_level＝w1·rcoll+w2·rv+w3·rsce；
12、式中，w1表示第一碰撞风险系数，rcoll表示当前状态是否发生碰撞，若是，则rcoll为第一期望数值，若否，则rcoll为第二期望数值，w2表示第一速度系数，rv表示和期望速度的差值，w3表示车道选择惩罚系数，rsce表示不同行车场景下的期望车道选择惩罚。
13、作为上述方案的改进，所述低层轨迹策略的状态空间为所述高层车道策略的状态空间和对应的车道决策：
14、所述低层轨迹策略的动作空间表示为车辆曲率和车辆纵向加速度：
15、所述低层轨迹策略的奖励函数表示为：rlow_level＝w4·rcoll+w5·rcof+w6·rl+w7·rv+w8·rtreminal；
16、式中，w4表示第二碰撞风险系数，rcoll表示当前状态是否发生碰撞，若是，则rcoll为第一期望数值，若否，则rcoll为第二期望数值，w5表示舒适性系数，rcof表示舒适性，w6表示第一距离系数，rl表示和目标参考线的距离，w7表示第二速度系数，rv表示和期望速度的差值，w8表示第二距离系数，rtreminal表示和预瞄终点的距离。
17、作为上述方案的改进，所述安全层模型通过求解下式进行优化：
18、
19、式中，s表示当前状态，a表示所述低层轨迹策略的当前动作，s′表示下一状态，d表示用于安全层模型训练的数据集，wi表示安全层模型第i个权重，h(s；wi)为安全层模型，表示下一状态s′的第i个的安全信号值，ci(s,a)表示当前状态s和当前动作a下的安全信号值，表示当前状态s的安全信号值，将安全跟车时距作为安全信号值，上标t表示转置。
20、作为上述方案的改进，所述当前最优安全动作表示为：
21、
22、式中，s表示当前状态，a表示所述低层轨迹策略的当前动作，πθ(s)表示所述低层轨迹策略的当前策略，表示最优安全层模型的权重，表示最优拉格朗日参数，为最优安全层模型。
23、作为上述方案的改进，所述确定预设分层强化学习决策模型，包括：
24、获取历史实车数据及对应的历史车道决策和历史行驶轨迹；
25、利用所述历史实车数据及对应的历史车道决策和历史行驶轨迹对预设的模仿学习网络进行训练，得到训练好的模仿学习网络；
26、利用所述训练好的模仿学习网络的网络参数确定预设分层强化学习决策模型。
27、作为上述方案的改进，在所述根据所述车道决策和所述实车数据，通过所述低层轨迹策略，得到所述车辆的行驶轨迹之后，所述车辆行驶轨迹规划方法还包括：
28、利用预设优化器对所述行驶轨迹进行优化，得到所述车辆的最终行驶轨迹。
29、为实现上述目的，本专利技术实施例还提供了一种车辆行驶轨迹规划装置，包括：
30、实车数据获取模块，用于获取车辆的实车数据，所述实车数据包括感知数据、定位数据、地图数据、车辆控制数据和预测数据；
31、模型确定模块，用于确定预设分层强化学习决策模型；所述预设分层强化学习决策模型包括高层车道策略和低层轨迹策略；其中，所述低层轨迹策略内还设有安全层模型，所述安全层模型用于基于安全跟车时距对所述低层轨迹策略的当前动作进行安全约束，得到当前最优安全动作；
32、车道决策获取模块，用于根据所述实车数据，通过所述高层车道策略，得到所述车辆的车道决策；
33、行驶轨迹获取模块，用于根据所述车道决策和所述实车数据，通过所述低层轨迹策略，得到所述车辆的行驶轨迹。
34、为实现上述目的，本专利技术实施例还提供了一种车辆行驶轨迹规划设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述的车辆行驶轨迹规划方法。
35、为实现上述目的，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述的车辆行驶轨迹规划方法。
36、与现有技术相比，本专利技术实施例提供的一种车辆行驶轨迹规划方法、装置、设备及存储介质，通过获取车辆的实车数据，所述实车数据包括感知数据、定位数据、地图数据、车辆控制数据和预测数据；确定预设分层强化学习决策模型；所述预设分层强化学习决策模型包括高层车道策略和低层轨迹策略；其中，所述低层轨迹策略内还设有安全层模型，所述安全层模型用于基于安全跟车时距对所述低层轨迹策略的当前动作进行安全约束，得到当前最优安全动作；根据所述实车数据，通过所述高层车道策略，得到所述车辆的车道决策；根据所述车道决策和所述实车数据，通过所述低层轨迹策略，得到所述车辆的行驶轨迹。由此可见，本专利技术实施例利用分层强化学习算法，将强化学习任务分为高层车道策略及其对应的低层轨迹策略，有利于降低计算复杂性，使得在复杂场景下自动驾驶车辆具备更智能的决策规划能力，能够合理规划行驶轨迹，并且利用安全跟车时距对所述低层轨迹策略的当前动作进行安本文档来自技高网...
【技术保护点】
1.一种车辆行驶轨迹规划方法，其特征在于，包括：
2.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述高层车道策略的状态空间表示为：
3.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述低层轨迹策略的状态空间为所述高层车道策略的状态空间和对应的车道决策：
4.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述安全层模型通过求解下式进行优化：
5.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述当前最优安全动作表示为：
6.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述确定预设分层强化学习决策模型，包括：
7.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，在所述根据所述车道决策和所述实车数据，通过所述低层轨迹策略，得到所述车辆的行驶轨迹之后，所述车辆行驶轨迹规划方法还包括：
8.一种车辆行驶轨迹规划装置，其特征在于，包括：
9.一种车辆行驶轨迹规划设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的车辆行驶轨迹规划方法。
...【技术特征摘要】
1.一种车辆行驶轨迹规划方法，其特征在于，包括：
2.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述高层车道策略的状态空间表示为：
3.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述低层轨迹策略的状态空间为所述高层车道策略的状态空间和对应的车道决策：
4.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述安全层模型通过求解下式进行优化：
5.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述当前最优安全动作表示为：
6.如权利要求1所述的车辆行驶轨迹规划方法，其特征在于，所述确定预设分层强化学习决策模型，包括：
7.如权利要求1所述的车辆行...
【专利技术属性】
技术研发人员：陈晓常，朱为文，
申请(专利权)人：华人运通上海自动驾驶科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。