基于深度强化学习算法的自动泊车路径规划方法及其系统技术方案

本公开涉及一种基于深度强化学习算法的自动泊车路径规划方法及其系统，所述方法包括如下步骤：基于车辆运动学模型，通过深度强化学习算法在泊车库位模型中生成泊车动作数据集，所述深度强化学习算法中的神经网络生成不同泊车动作对应的概率分布；利用深度强化学习算法构建奖励函数，引导车辆的泊车动作和姿态，得到泊车动作质量最佳的数据，保证了泊车的精准姿态和安全性；利用泊车动作质量最佳的数据更新深度强化学习算法中的网络参数，并运用更新后的深度强化学习算法进行下一次的迭代运算，直到泊车动作的策略评估优势函数收敛至最优时，完成泊车策略学习。本公开提高了算法的探索性与学习效率，使泊车更加精准高效，泊车路径更优。泊车路径更优。泊车路径更优。

【技术实现步骤摘要】
基于深度强化学习算法的自动泊车路径规划方法及其系统


[0001]本公开涉及智能泊车
，特别是涉及基于深度强化学习算法的自动泊车路径规划方法及其系统。

技术介绍

[0002]自动泊车系统依靠车载计算机预先设定的数据与算法，根据库位边缘的障碍物信息，泊车点与待入库车辆的起点的相对位置信息生成车辆泊车路线，从而控制自动驾驶车辆准确、安全地驶入指定的泊车库位。评价泊车路径轨迹准确性以及泊车运动安全性的几个重要指标包括：泊车路径长度，泊车所需的挡位切换次数，泊车用时以及泊车运动的加速度大小，而泊车路径的质量决定了自动泊车过程的舒适度，安全性等用户体验。因此，高质量的泊车运动要求泊车路径尽可能短，泊车轨迹尽可能平滑，加速度值较小以及泊车用时尽可能短。如今的低速状态下自动泊车路径规划方法主要分为以规则求解的办法和机器学习的办法。
[0003]以规则求解的算法主要包括直线
‑
圆弧式，复杂曲线模型式以及最优控制问题式算法，该类算法是通过事先将车辆运动学基本模型，车辆起始与终止姿态，车辆行进路线上的障碍物以及车辆与之的相对安全距离等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习算法的自动泊车路径规划方法，其特征在于，包括如下步骤：S10、基于车辆运动学模型，通过深度强化学习算法在泊车库位模型中生成泊车动作数据集，所述深度强化学习算法中的神经网络生成不同泊车动作对应的概率分布；S20、利用深度强化学习算法构建奖励函数，评价泊车动作数据集中泊车动作的质量，得到泊车动作质量最佳的数据；S30、利用泊车动作质量最佳的数据更新深度强化学习算法中的网络参数，并运用更新后的深度强化学习算法进行下一次的迭代运算，直到泊车动作的策略评估优势函数收敛至最优时，完成泊车策略学习。2.如权利要求1所述的基于深度强化学习算法的自动泊车路径规划方法，其特征在于，所述通过深度强化学习算法在泊车库位模型生成泊车动作数据集，包括：将所述泊车库位模型的泊车库位环境信息作为输入信息数据，引入长短期记忆网络进行处理，并将得到的统一维度的泊车库位环境及车辆状态信息输送至所述深度强化学习算法中神经网络的输入端。3.如权利要求2所述的基于深度强化学习算法的自动泊车路径规划方法，其特征在于，在所述深度强化学习算法中神经网络的输入端还引入了随机噪声，可表示为：，其中，ReLU是Noisy_D3QN算法的激活函数，与分别表示高斯分布中的参数标准差与均值，为高斯分布中的随机噪声，W为噪声网络中用于存放随机噪声信息的矩阵参数，x为神经网络输入端的动作信息，b为噪声网络激活函数中的偏置bias。4.如权利要求3所述的基于深度强化学习算法的自动泊车路径规划方法，其特征在于，利用深度强化学习算法构建奖励函数，包括：采用奖励函数引导车辆的泊车姿态与路径，以行驶过程中车辆的转角、每一次碰撞检测点到终点的距离以及每一轮车辆的最终姿态为智能体设置约束性奖励函数，所述奖励函数为，其中，,，；根据车辆距离泊车点的距离而定；用于评定车辆位于泊车库位内最终姿态的奖励值，偏角越大，说明泊车姿态越差，以此设定更大的惩罚项；用于评定车辆泊车运动过程中转向角的奖励值，该值越大，说明车辆行驶过程中曲线越平稳，路径规划曲线越优；、、、和为奖励函数参数；为车辆终止泊车时，车辆坐标与库位坐标的相对位置信息；为车辆终止泊车时，车辆的最终停靠姿态；
为车辆泊车运动过程中的转向角。5.如...

【专利技术属性】
技术研发人员：谭德坤，杨哲，刘旭晖，赵嘉，秦海鸥，付雪峰，李桢桢，周如春，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：