适用于环岛场景的无人驾驶控制系统和控制方法技术方案

本发明专利技术公开了适用于环岛场景的无人驾驶控制系统和控制方法，所述控制系统的感知认知模块，用于获得当前车辆以及环境车辆行驶状态信息，并进行信号处理；所述驾驶控制模块，用于学习合适的决策参数值；所述轨迹控制模块，用于得到优化规划后的可行轨迹；其属于自动驾驶技术领域，其涉及的是基于强化学习方法进行驾驶决策方法进行设计，对强化学习的状态和动作依据驾驶决策特性进行特殊的设计，优化了强化学习Actor

【技术实现步骤摘要】
适用于环岛场景的无人驾驶控制系统和控制方法


[0001]本专利技术涉及无人驾驶
，尤其涉及适用于环岛场景的无人驾驶控制系统和控制方法。

技术介绍

[0002]强化学习方法因其交互式的学习方式，被越来越多的应用于无人驾驶车辆的驾驶决策中。研究的适用场景由路况相对简单的高速公路到相对复杂的环岛场景扩展。对于环岛场景，驾驶任务相对复杂，智能车辆需要同时考虑多种因素，去进行更加精细的驾驶决策。内侧车道的驾驶距离更短，具有更高的通行效率，而车辆仅能从最外侧车道驶入或驶出。因此，车辆的驾驶策略需要在环岛内的不同路段，考虑不同的决策策略，在高通行效率与完成驶入驶出驾驶任务之间达到平衡。基于以上实际问题的需求，对于环岛场景下的驾驶决策问题，在使用强化学习算法时，需要对状态和动作依据驾驶决策特性进行特殊的设计，优化了强化学习Actor
‑
Critic框架的Actor的网络框架，使得该决策方法可更好适用于环岛无人驾驶场景驾驶决策问题。

技术实现思路

[0003]本专利技术提出适用于环岛场景的无人驾驶控制系统和控制方法，该方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.适用于环岛场景的无人驾驶控制系统，包括感知认知模块、驾驶控制模块和轨迹控制模块；其特征在于，所述感知认知模块，用于获得当前车辆以及环境车辆行驶状态信息，并进行信号处理；所述驾驶控制模块，用于学习合适的决策参数值；所述轨迹控制模块，用于得到优化规划后的可行轨迹。2.适用于环岛场景的无人驾驶控制方法，其通过权利要求1所述的适用于环岛场景的无人驾驶控制系统实现，其特征在于，包括以下步骤，步骤一，马尔科夫驾驶决策过程状态与动作设计；驾驶决策基于强化学习方法建模为马尔科夫决策过程，包含表征影响智能体驾驶决策因素的状态向量S、可增强智能体决策智能的精细化决策的动作向量A的设计；步骤二，Actor的网络框架设计；在强化学习Actor
‑
Critic框架中，Actor依据状态向量选择动作，即表征驾驶决策；状态向量包含环境表征和任务表征两部分；通过Actor的网络框架的重设计，使得状态向量在不同阶段具有不同的策略，达到平衡环境表征和任务表征不同维数，使得智能车辆在环岛中行驶时可以准确的识别不同情况的驾驶环境并准确完成驾驶任务；步骤三，回报函数设计；智能体在环境中依据状态向量S选择动作A，得到回报信号，并依据回报信号对策略进行更新。3.如权利要求2所述的适用于环岛场景的无人驾驶控制方法，其特征在于，步骤一的马尔科夫驾驶决策过程状态与动作设计中，包括以下步骤，第一步，状态变量设计；状态变量在强化学习算法中用于动作选择以及值函数估计，包括本车与周车相对状态相关的环境表征、以及与本车驾驶任务相关的任务表征两部分的状态变量设计，环境表征用于智能体完成安全决策，任务表征用于智能体完成驾驶任务；第二步，动作变量设计；在决策层考虑多层面的驾驶行为；表征本车的驾驶决策的动作向量A，包含离散的宏观驾驶行为，为终端相对于本车道中心线的侧向偏移T
y
，以及连续的中微观驾驶行为，为加入决策变量期望加速度a
tar
，动作时间t
a
；终端相对于本车道中心线的侧向偏移T
y
∈{
‑
L,0,L}，分别代表左换道，车道保持，右换道；L为相邻两车道的距离；然后通过动作向量A＝(T
y
,a
tar
,t
a
)
T
综合表征驾驶决策，作为输入变量输入下层的轨迹规划层和车辆控制层。4.如权利要求3所述的适用于环岛场景的无人驾驶控制方法，其特征在于，第一步的状态变量设计中；对于环境表征，在环岛中，周车中一部分与本车相邻，为直接接触交互的，并需要注意的车辆；这些车辆的位置是P1,P2,....,P7；k时刻这些位置车辆的相对车道ΔL
n
(k)，相对速度Δv
n
(k)，加速度a
n
(k)，相对距离d
n
(k)，驾驶意图I
n
(k)被考虑在环境表征中，下标n对应的是所处的位置编号P
n
处的车辆信息；这里相对车道ΔL
n
(k)由ΔL
n
(k)＝L
n
(k)
‑
L
h
(k)计算得到，其中L
n
(k),L
h
(k)分别为k时刻P
n
处车辆的车道以及本车车道；相对速度Δv
n
(k)由Δv
n
(k)＝v
n
(k)
‑
v
h
(k)计算得到，其中v
n
(k),v
h
(k)分别为k时刻P
n
处车辆的速度以及本车速度；驾驶意图I
n
(k)∈{
‑
1,0,1}分别表示k时刻P
n
处车辆有左换道，车道保持，和右换道的意图；与此同时，人类驾驶员根据周围车辆的状态做决策，且根据某一车道上的车流信
息，选择一个通畅的车道，减少堵车停顿的概率；近域前后方车流，如位置P8,P9,....,P
12
，作为另一部分的环境表征；位置P8,P9,....,P
12
的状态由k时刻车流的平均相对车速平均车头时距表示。这里k时刻P
n
处的车辆j与前车的车头时距为TH
n,j
(k)＝d
n,j
(k)/v
n,j
(k)，其中d
n,j
(k),v
n,j
(k)分别为k时刻车辆j与前车的相对距离和车辆j的车速；则k时刻，位置P1,P2,....,P7处每个位置P
n
的状态变量表示为式(1)，S
Pn
(k)＝(F
n
(k),ΔL
n
(k),Δv
n
(k),a
n
(k),d
n
(k),I
n
(k))
T
,
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中F
n
∈{1,0}表示相应的位置是否是一个可行的车道；k时刻，位置P8,P9,....,P
12
状态变量处的状态变量表示为式(2)，则k时刻，环境表征表示为式(3)，对于任务表征，在环岛中，所述驾驶控制模块完成路线导航规划中的设定驾驶任务，使得智能车辆从某一入口驶入环岛后从另一出口驶出；则k时刻，本车相对于出口的相对纵向距离Δl
h
(k)以及相对车道ΔL
h
(k)在任务表征中；本车相对于出口的相对纵向距离Δl
h
(k)表示为式(4)，其中Δα
h
(k),D
E
,D
h
(k),α
E
,α
h...

【专利技术属性】
技术研发人员：张羽翔，李鑫，丛岩峰，王玉海，高炳钊，
申请(专利权)人：吉林大学青岛汽车研究院，
类型：发明
国别省市：