一种基于人工势场法和强化学习的局部路径规划方法技术

本发明专利技术公开了一种基于人工势场法和强化学习的局部路径规划方法，包括：构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；基于人工势场训练无人车路径规划强化学习模型；利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点。本发明专利技术改进了传统人工势场法斥力势场函数，引入了自车车速与障碍物车速；改进了道路势场函数，使道路边界处的势场变化更加理想。道路边界处的势场变化更加理想。道路边界处的势场变化更加理想。

【技术实现步骤摘要】
一种基于人工势场法和强化学习的局部路径规划方法


[0001]本专利技术属于自动驾驶
，尤其涉及一种基于人工势场法和强化学习的局部路径规划方法。

技术介绍

[0002]随着智能体和人工智能理论的不断发展，无人驾驶技术日益成熟。无人驾驶汽车的工作过程可以分为感知、决策、控制三个部分，其中决策部分中的路径规划是无人驾驶汽车研究的关键技术之一。
[0003]目前无人驾驶汽车的路径规划技术分为两大类：全局路径规划和局部路径规划；而对局部路径规划方法的研究主要有：遗传算法，缺点是运算时间长，难以实现实时规划；滚动窗口方法，缺点是存在局部极值问题；模糊方法，缺点是模糊规则往往是人们通过经验预先制定的，所以无法学习和灵活性差；人工势场法，人工势场法是路径规划领域比较成熟和实时性较好的规划方法，工作原理是将环境信息抽象为引力场函数和斥力场函数，通过合力场函数来规划出一条从起始点到目标点的无碰撞路径。传统的人工势场法存在局部最优的问题，并且无法考虑车速等信息。
[0004]强化学习主要由智能体、环境、状态、动作、奖励组成；智能体执行了某个动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工势场法和强化学习的局部路径规划方法，其特征在于，步骤如下：(1)构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；(2)基于步骤(1)中的人工势场训练无人车路径规划强化学习模型；(3)利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点。2.根据权利要求1所述的基于人工势场法和强化学习的局部路径规划方法，其特征在于，所述步骤(1)中的人工势场U的计算公式为：U＝U
goal
+U
obs
+U
road
ꢀꢀ
(1)引力势场U
goal
的计算公式为：U
goal
＝
‑
k
goal
(x
‑
x
goal
)
ꢀꢀ
(2)斥力势场U
obs
的计算公式为：道路势场U
road
的计算公式为：式中，R
x
，R
y
分别为自车与障碍物的纵向距离和横向距离，计算公式为：式中，x、y分别为自车的纵向、横向位置坐标；k
goal
、k
obs
、k
road
分别为引力增益系数、斥力增益系数、道路边界增益系数；k1、k2分别为自车速度增益系数和障碍物速度增益系数；x
goal
为目标点的纵向位置坐标；x
obs
、y
obs
分别为障碍物的纵向、横向位置坐标；σ
x
、σ
y
分别为障碍物纵向影响距离和障碍物横向影响距离；v、v
obs
分别为自车速度和障碍物速度；w为道路宽度；θ为道路边界影响范围系数，系数θ前的正负号与自车和车道中心线的横向距离有关，表示车辆在车道左侧或右侧；e为自然常数。3.根据权利要求1所述的基于人工势场法和强化学习的局部路径规划方法，其特征在于，所述步骤(2)中的训练方法具体为：状态空间S＝{s
t
＝(x,y,v)}，其中s
t
为自车在t时刻的状态；动作空间A＝{左，前，右}；状态转移概率为P(s'|s,a)，表示从当前状态s
t
采取动作a到达下一状态s
t+1
的概率；策略为π(a|s)，表示在当前状态下采取动作a的概率；奖励函数r
t
表示从当前状态s
t
采取动作a到达下一状态s
t+1
的奖励，计算公式为：式中，α1、α2、α3、α4、α5分别为车速保持、势能降低、车道中心保持、障碍物距离、目标点距离对应的权重系数；ΔU为s
t
和s
t+1
两个状态之间的势能差；定义长期奖励为G
t
＝γr
t+1
+γ2r
t+2
+
…
+γ
n
r
t+n
，表示从当前状态到结束的所有奖励，其
中γ∈(0，1)，为累计回报折算因子；定义状态价值函数为v
π
(s
t
)＝E(G
t
|s
t
)，表示从状态s
t
采取策略π的期望奖励；定义动作价值函数为Q
π
(s
t
,...

【专利技术属性】
技术研发人员：于博洋，王春燕，赵万忠，张自宇，孟琦康，朱耀鎏，曹铭纯，秦亚娟，刘利锋，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：