一种山路自动驾驶的控制方法及系统技术方案

本申请公开了一种山路自动驾驶的控制方法及系统，涉及自动驾驶领域，方法应用于一山路自动驾驶的控制系统，包括：通过自动驾驶仿真器TORCS建立山路模拟环境，遍历山路模拟环境设计自动驾驶任务集合；将自动驾驶任务集合转换为马尔可夫决策元组；基于python语言，利用PyTorch框架，建立TAD3算法模型；根据马尔可夫决策元组，基于演员

【技术实现步骤摘要】
一种山路自动驾驶的控制方法及系统


[0001]本专利技术涉及自动驾驶相关
，具体涉及一种山路自动驾驶的控制方法及系统。

技术介绍

[0002]随着人工智能、物联网的研究不断深入，汽车行业的自动驾驶朝着电动化、网联化、智能化的方向快速发展，深度学习在自动驾驶领域具有巨大的潜力，在诸多深度学习算法中，深度强化学习可以使智能体不断学习周围的环境状态，进而依据周围实时的环境状态给出当前较佳的行驶控制方案。
[0003]自动驾驶技术在面对简单的道路环境中使用传统的强化学习训练得到的智能体尚能做出相对准确的行驶策略，但是在山区道路中，由于山区弯路、道路不平整、上下坡路、道路窄道等各类场景错综复杂，导致道路场景较为复杂，使用传统的强化学习训练智能体，由于复杂的道路场景，导致训练数据需求较多，且模型难以收敛，导致训练效率低下，学习效果较差。
[0004]综上所述，现有技术中由于传统的强化学习方式无法快速得到适用于山区场景的自动化驾驶控制的智能体，导致存在缺乏可快速训练确定，且对山区道路适应性较强的智能体的技术问题。

技术实现思路

[0005]本申请实施例通过提供了一种山路自动驾驶的控制方法及系统，解决了现有技术中由于传统的强化学习方式无法快速得到适用于山区场景的自动化驾驶控制的智能体，导致存在缺乏可快速训练确定，且对山区道路适应性较强的智能体的技术问题。
[0006]鉴于上述问题，本申请实施例提供了一种山路自动驾驶的控制方法及系统。
[0007]第一方面，本申请实施例提供了一种山路自动驾驶的控制方法，其中，所述方法应用于一山路自动驾驶的控制系统，所述方法包括：通过自动驾驶仿真器TORCS建立山路模拟环境，遍历所述山路模拟环境设计自动驾驶任务集合；将所述自动驾驶任务集合转换为马尔可夫决策元组；基于python语言，利用PyTorch框架，建立TAD3算法模型；根据所述马尔可夫决策元组，基于演员
‑
评论家算法，对所述TAD3算法模型进行训练，生成山路自动驾驶控制智能体。
[0008]另一方面，本申请实施例提供了一种山路自动驾驶的控制系统，其中，所述系统包括：驾驶任务设定模块，用于通过自动驾驶仿真器TORCS建立山路模拟环境，遍历所述山路模拟环境设计自动驾驶任务集合；驾驶任务转换模块，用于将所述自动驾驶任务集合转换为马尔可夫决策元组；TAD3算法模型构建模块，用于基于python语言，利用PyTorch框架，建立TAD3算法模型；智能体训练模块，用于根据所述马尔可夫决策元组，基于演员
‑
评论家算法，对所述TAD3算法模型进行训练，生成山路自动驾驶控制智能体。
[0009]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储
器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
[0010]第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
[0011]本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0012]由于采用了利用自动驾驶仿真器TORCS构建山区道路模拟环境，再依据不同的驾驶场景构建自动驾驶任务集合；将自动驾驶任务集合转为多个表征马尔可夫决策过程的马尔可夫决策元组；再基于python语言，利用PyTorch框架，建立TAD3算法模型，使用演员
‑
评论家算法，结合马尔可夫决策元组，基于不同山区道路场景下的不同驾驶任务对TAD3算法模型进行训练，得到山路自动驾驶控制智能体，便于后步支持山区道路自动驾驶的技术方案，通过使用马尔可夫决策元组以及演员
‑
评论家算法实现不同山区道路在TAD3算法模型上的快速学习，达到了得到可快速训练确定，且对山区道路适应性较强的智能体的技术效果。
[0013]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0014]图1为本申请实施例提供了一种山路自动驾驶的控制方法流程示意图；
[0015]图2为本申请实施例提供了一种山路自动驾驶的控制方法中自动驾驶任务集合确定流程示意图；
[0016]图3为本申请实施例提供了一种山路自动驾驶的控制方法中TAD3算法模型结构示意图；
[0017]图4为本申请实施例提供了一种山路自动驾驶的控制系统结构示意图；
[0018]图5为本申请实施例示例性电子设备的结构示意图。
[0019]附图标记说明：驾驶任务设定模块11，驾驶任务转换模块12，TAD3算法模型构建模块13，智能体训练模块14，电子设备300，存储器301，处理器302，通信接口303，总线架构304。
具体实施方式
[0020]本申请提供的技术方案总体思路如下：
[0021]本申请实施例提供了一种山路自动驾驶的控制方法及系统。由于采用了利用自动驾驶仿真器TORCS构建山区道路模拟环境，再依据不同的驾驶场景构建自动驾驶任务集合；将自动驾驶任务集合转为多个表征马尔可夫决策过程的马尔可夫决策元组；再基于python语言，利用PyTorch框架，建立TAD3算法模型，使用演员
‑
评论家算法，结合马尔可夫决策元组，基于不同山区道路场景下的不同驾驶任务对TAD3算法模型进行训练，得到山路自动驾驶控制智能体，便于后步支持山区道路自动驾驶的技术方案，通过使用马尔可夫决策元组以及演员
‑
评论家算法实现不同山区道路在TAD3算法模型上的快速学习，达到了得到可快速训练确定，且对山区道路适应性较强的智能体的技术效果。
[0022]在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
[0023]实施例一
[0024]如图1所示，本申请实施例提供了一种山路自动驾驶的控制方法，其中，所述方法应用于一山路自动驾驶的控制系统，所述方法包括步骤：
[0025]S100：通过自动驾驶仿真器TORCS建立山路模拟环境，遍历所述山路模拟环境设计自动驾驶任务集合；
[0026]进一步的，如图2所示，所述通过自动驾驶仿真器TORCS建立山路模拟环境，遍历所述山路模拟环境设计自动驾驶任务集合，步骤S100包括步骤：
[0027]S110：通过所述自动驾驶仿真器TORCS建立所述山路模拟环境；
[0028]进一步的，步骤S110还包括步骤S111：
[0029]所述通过所述自动驾驶仿真器TORCS建立所述山路模拟环境，其中，所述山路模拟环境的车辆模型为car1
‑
trb1模型。
[0030]S120：根据所述山路模拟环境，设计第一自动驾驶任务，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种山路自动驾驶的控制方法，其特征在于，所述方法应用于一山路自动驾驶的控制系统，所述方法包括：通过自动驾驶仿真器TORCS建立山路模拟环境，遍历所述山路模拟环境设计自动驾驶任务集合；将所述自动驾驶任务集合转换为马尔可夫决策元组；基于python语言，利用PyTorch框架，建立TAD3算法模型；根据所述马尔可夫决策元组，基于演员
‑
评论家算法，对所述TAD3算法模型进行训练，生成山路自动驾驶控制智能体。2.如权利要求1所述的方法，其特征在于，所述通过自动驾驶仿真器TORCS建立山路模拟环境，遍历所述山路模拟环境设计自动驾驶任务集合，包括：通过所述自动驾驶仿真器TORCS建立所述山路模拟环境；根据所述山路模拟环境，设计第一自动驾驶任务，其中，所述第一自动驾驶任务具有第一评价标准，所述第一评价标准为车道线保持；根据所述山路模拟环境，设计第二自动驾驶任务，其中，所述第一自动驾驶任务具有第二评价标准，所述第二评价标准为圈速；将所述第一自动驾驶任务和所述第一评价标准、所述第二自动驾驶任务和所述第二评价标准，添加进所述自动驾驶任务集合。3.如权利要求2所述的方法，其特征在于，所述通过所述自动驾驶仿真器TORCS建立所述山路模拟环境中的所述山路模拟环境的车辆模型为car1
‑
trb1模型。4.如权利要求2所述的方法，其特征在于，所述将所述自动驾驶任务集合转换为马尔可夫决策元组，包括：遍历所述自动驾驶任务集合提取评价标准集合，设定奖励函数；构建马尔可夫决策元组结构式：<S,A,P,R,γ>,γ∈[0,1]其中，S为车辆状态信息，A为车辆控制动作，R为奖励函数，P为状态转移函数，γ为衰减率；通过所述奖励函数和所述马尔可夫决策元组结构式，遍历所述自动驾驶任务集合转换为所述马尔可夫决策元组。5.如权利要求4所述的方法，其特征在于，所述遍历所述自动驾驶任务集合提取评价标准集合，设定奖励函数，包括：当所述自动驾驶任务的评价标准为所述第一评价标准时，构建第一奖励函数：其中，r
1t
为第一评价标准对应的奖励值，v
x
为车辆在x轴的速度，α为车辆朝向与道路中线的夹角，d为车辆与道路中线的距离；当所述自动驾驶任务的评价标准为所述第二评价标准时，构建第二奖励函数：
其中，r
2t
为第二评价标准的奖励值，v
x
为车辆在x轴的速度，α为车辆朝向与道路中线的夹角，d为车辆与道路中线的距离，λ为平衡奖...

【专利技术属性】
技术研发人员：王广玮，颜宇，赵津，
申请(专利权)人：贵州大学，
类型：发明
国别省市：