一种基于深度强化学习的无人车竞速控制器的设计方法技术

本发明专利技术公开了一种基于深度强化学习的无人车竞速控制器的设计方法。该方法包括：通过预训练的离散变分自编码器对环境的状态信息进行特征提取，降低原始RGB相机图像数据的维度；将GRU融入TQC算法策略网络与价值网络的特征层，提取环境状态信息的时域特征，使算法可以处理因系统延迟导致的部分可观测马尔可夫决策问题；使用循环经验回放为经验序列增加额外的烧录过程，解决不良GRU初始隐藏状态对算法收敛稳定性的影响；使用概率组合优先经验回放为新经验提供额外的回放机制，提升新经验的采样概率，加速无人车竞速算法的收敛。将收敛后算法的策略网络做为无人车竞速控制器，实验结果表明，该控制器可以高效控制无人车进行绕圈竞速。

【技术实现步骤摘要】

本专利技术涉及自动驾驶领域的无人车竞速应用场景，尤其涉及一种基于深度强化学习的无人车竞速控制器的设计方法。

技术介绍

1、在新能源电动汽车迅猛发展的时代背景下，自动驾驶成为了学术研究的热点。无人车竞速是自动驾驶领域中一个颇具挑战性的应用场景，该应用场景要求无人车以极限速度在复杂多变的赛道上做出精确判断和快速响应以追求最快的圈速。对该方向的研究进一步推动了自动驾驶领域感知、规划、控制和协调技术的发展。

2、但是，传统的无人车竟速算法基于“感知-规划-控制”模型，存在研发成本高、算力要求大的问题。深度强化学习凭借强大的环境特征提取与决策能力，为无人车竞速控制器的设计提供了全新的解决方案，文献(chisari e,liniger a,rupenyan a,et al.learningfrom simulation,racing in reality[c]//2021ieee international conference onrobotics and automation(icra).ieee,2021:8046-8052.)将软性演员-评论家算法本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的无人车竞速控制器的设计方法，其特征在于，无人车的控制器由深度强化学习算法的策略网络构成，具体包括以下步骤：

2.根据权利要求1所述的基于深度强化学习的无人车竞速控制器的设计方法，其特征在于，步骤1构建无人车竞速环境的强化学习接口模型，具体为：

3.根据权利要求1所述的基于深度强化学习的无人车竞速控制器的设计方法，其特征在于，步骤2中的离散变分自编码器具体为：

4.根据权利要求1所述的基于深度强化学习的无人车竞速控制器的设计方法，其特征在于，步骤3中设计概率组合优先经验回放，具体为：

5.根据权利要求1所述的基于深度...

【技术特征摘要】

1.一种基于深度强化学习的无人车竞速控制器的设计方法，其特征在于，无人车的控制器由深度强化学习算法的策略网络构成，具体包括以下步骤：

2.根据权利要求1所述的基于深度强化学习的无人车竞速控制器的设计方法，其特征在于，步骤1构建无人车竞速环境的强化学习接口模型，具体为：

3.根据权利要求1所述的基于深度强化学习的无人车竞速控制器的设计方法，其特征在于，步骤2中的离散变分自编码器具体为：

4.根据权...

【专利技术属性】
技术研发人员：高逸达，吕明，张捷，陈尧伟，王瑞，严程，屈红冰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：