【技术实现步骤摘要】
本专利技术涉及自动泊车，具体是涉及一种基于深度强化学习的智能驾驶车辆自主泊车系统。
技术介绍
1、随着智能网联汽车的发展，自动泊车技术成为重要方向。当前泊车技术主要包括基于视觉的泊车系统和基于人工标定的自动泊车系统。
2、基于视觉的泊车辅助：使用摄像头检测泊车位边线和障碍物，根据图像计算方向并给出提示，仍需要人工操作。例如，特斯拉autopilot提供的泊车辅助功能，可自动打方向盘，但需要人工控制油门刹车完成泊车。
3、基于人工标定的自动泊车：需要手动标定泊车位的位置和尺寸，自动完成路径规划和运动控制。例如大众的park assist自动泊车系统，能够自动将车辆泊入预先标定的车位内。没有实现真正意义上的自动泊车。
4、因此，需要提供一种基于深度强化学习的智能驾驶车辆自主泊车系统，旨在解决上述问题。
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的在于提供一种基于深度强化学习的智能驾驶车辆自主泊车系统，以解决上述
技术介绍
中存在的问题。
2、本专利技术是这样实现的，一种基于深度强化学习的智能驾驶车辆自主泊车系统，所述系统包括：
3、mdp框架，用于定义状态空间s，定义动作空间a，以及定义奖励函数r；
4、策略网络π(a|s;θ)，使用actor-critic框架，策略网络π输出动作a，采用cnn提取特征，全连接层表示策略，π(a|s;θ) = p(at|st;θ)；
5、q网络q(s,a)，用
6、深度强化学习算法模块，使用ppo或者ddpg算法迭代更新网络θ，学习泊车策略，最大化期望回报：j(θ) = e[r1 + γr2 + ... |πθ]；
7、多传感器模块，用于提取泊车位边缘和标识物轮廓作为特征；检测并识别泊车标识物，提供场景图像，基于卷积神经网络进行特征提取。
8、作为本专利技术进一步的方案：所述多传感器模块包括激光雷达和摄像头，所述激光雷达采用32线雷达，水平fov 270°，垂直fov 60°，10hz采样频率，距离精度为10cm，激光雷达用于提取泊车位边缘和标识物轮廓作为特征；所述摄像头采用鱼眼摄像头，1920*1080分辨率，摄像头用于检测并识别泊车标识物，提供场景图像，基于卷积神经网络进行特征提取。
9、作为本专利技术进一步的方案：所述系统会对多传感器模块采集的数据进行融合，具体步骤包括：进行时间戳、坐标系对齐；提取激光雷达点云提供的距离信息，摄像头图像提供的语义信息；进行栅格化映射，标记栅格是否可达；进行层次化贝叶斯优化融合。
10、作为本专利技术进一步的方案：所述系统采用端到端框架：原始传感器数据作为网络输入，网络端到端学习特征表示，直接输出低级控制量，无需独立规划模块；采用端到端控策略学习：网络结构包括卷积层和全连接层，状态输入经网络直接映射到steering、throttle控制量，通过drl迭代学习端到端映射关系，无需单独设计控制器。
11、作为本专利技术进一步的方案：车辆前后各布置传感器组，覆盖全方位，激光雷达安装在车头；摄像头安装在车尾。
12、作为本专利技术进一步的方案：所述系统的网络结构包括卷积神经网络、全连接层以及dueling架构，卷积神经网络用于输入泊车场景图像，通过卷积层提取空间特征，卷积操作：y = w * x + b；全连接层用于连接卷积特征，进行非线性变换，逼近策略函数；dueling架构用于分解状态价值和优势函数，以便学习q值，q(s,a) = v(s) + a(s,a)。
13、作为本专利技术进一步的方案：进行仿真验证时的步骤为：车辆动力学仿真、传感器模拟以及自动驾驶算法仿真。
14、与现有技术相比，本专利技术的有益效果是：
15、本专利技术实现真正意义的无人泊车，系统完全自主作业，无需任何人工干预参与泊车过程。不同于依赖视觉的被动辅助泊车，也不同于需要预先标定的自动泊车系统，本系统可完全自主感知环境并主动规划路径并控制车辆，实现了真正的自动泊车。
本文档来自技高网...【技术保护点】
1.基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述系统包括：
2.根据权利要求1所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述多传感器模块包括激光雷达和摄像头，所述激光雷达采用32线雷达，水平FOV270°，垂直FOV 60°，10Hz采样频率，距离精度为10cm，激光雷达用于提取泊车位边缘和标识物轮廓作为特征；所述摄像头采用鱼眼摄像头，1920*1080分辨率，摄像头用于检测并识别泊车标识物，提供场景图像，基于卷积神经网络进行特征提取。
3.根据权利要求2所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述系统会对多传感器模块采集的数据进行融合，具体步骤包括：进行时间戳、坐标系对齐；提取激光雷达点云提供的距离信息，摄像头图像提供的语义信息；进行栅格化映射，标记栅格是否可达；进行层次化贝叶斯优化融合。
4.根据权利要求1所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述系统采用端到端框架：原始传感器数据作为网络输入，网络端到端学习特征表示，直接输出低级控制量，无需独立规划模块；采用
5.根据权利要求2所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，车辆前后各布置传感器组，覆盖全方位，激光雷达安装在车头；摄像头安装在车尾。
6.根据权利要求4所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述系统的网络结构包括卷积神经网络、全连接层以及Dueling架构，卷积神经网络用于输入泊车场景图像，通过卷积层提取空间特征，卷积操作：Y = W * X + b；全连接层用于连接卷积特征，进行非线性变换，逼近策略函数；Dueling架构用于分解状态价值和优势函数，以便学习Q值，Q(s,a) = V(s) + A(s,a)。
7.根据权利要求1所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，进行仿真验证时的步骤为：车辆动力学仿真、传感器模拟以及自动驾驶算法仿真。
8.根据权利要求7所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述车辆动力学仿真的步骤包括：建立包括驱动力学和制动力学的车辆数学模型；定义模型参数，模型参数来自实车测试采集数据；确定仿真车辆动力学响应特性。
9.根据权利要求7所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，进行传感器模拟的步骤包括：根据真实硬件参数建立激光雷达和摄像头的传感器模型；模拟传感器的误差、噪声以及分辨率特性；生成与实际传感器相匹配的模拟输出。
10.根据权利要求7所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述自动驾驶算法仿真的步骤包括：将自动驾驶算法部署在模拟环境中；进行模拟测试，评估泊车精度和碰撞率指标；迭代优化算法参数，以提升泊车性能。
...【技术特征摘要】
1.基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述系统包括：
2.根据权利要求1所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述多传感器模块包括激光雷达和摄像头，所述激光雷达采用32线雷达，水平fov270°，垂直fov 60°，10hz采样频率，距离精度为10cm，激光雷达用于提取泊车位边缘和标识物轮廓作为特征；所述摄像头采用鱼眼摄像头，1920*1080分辨率，摄像头用于检测并识别泊车标识物，提供场景图像，基于卷积神经网络进行特征提取。
3.根据权利要求2所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述系统会对多传感器模块采集的数据进行融合，具体步骤包括：进行时间戳、坐标系对齐；提取激光雷达点云提供的距离信息，摄像头图像提供的语义信息；进行栅格化映射，标记栅格是否可达；进行层次化贝叶斯优化融合。
4.根据权利要求1所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，所述系统采用端到端框架：原始传感器数据作为网络输入，网络端到端学习特征表示，直接输出低级控制量，无需独立规划模块；采用端到端控策略学习：网络结构包括卷积层和全连接层，状态输入经网络直接映射到steering、throttle控制量，通过drl迭代学习端到端映射关系，无需单独设计控制器。
5.根据权利要求2所述的基于深度强化学习的智能驾驶车辆自主泊车系统，其特征在于，车辆前后各布置传感器组，覆盖全方位，激光雷达安装在车头；摄像...
【专利技术属性】
技术研发人员：曹祥商，李勇，赵威，
申请(专利权)人：东风悦享科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。