【技术实现步骤摘要】
一种基于记忆宫殿的干线协调交通信号灯控制方法
本专利技术属于智能交通控制领域，具体指代一种在强化学习下基于记忆宫殿的干线协调交通信号灯控制方法。
技术介绍
随着城市化进程的推进和居民购车量的提升，全球大都市的交通需求呈稳步上升的态势。庞大的日常交通量给现有的城市交通基础设施带来了压力，导致路网运行时出现频繁的交通拥堵。作为协调交叉口处交通运动的重要手段，智能交通信号控制算法是提高交通运输效率的关键。早期的自适应交通控制算法通过解决优化问题，寻找有效的协调和控制策略，如成功落地的产品SCOOT和SCATS。到了90年代，跨学科技术开始被引入交通控制中，其中，模糊控制、遗传算法和神经网络是这一时期的几种代表性算法。然而，这种模型驱动的方法依赖于启发式的假设和方程式，难以很好地适应于时变的实际交通场景。而强化学习方法无需依靠启发式假设，不断与复杂交通系统交互获得经验，直接学习如何进行下一步的红绿灯调节操作，很好地契合了交通的动态特性。然而，当前基于强化学习的信号控制方法中，存在以下几个问题：1)奖励函数里融...
【技术保护点】
1.一种基于记忆宫殿的干线协调交通信号灯控制方法，其特征在于，包括步骤如下：/n1)定义状态：取干线上的每个交叉口的相位，出口道O每条车道的车辆数c(l
【技术特征摘要】
1.一种基于记忆宫殿的干线协调交通信号灯控制方法，其特征在于，包括步骤如下：
1)定义状态：取干线上的每个交叉口的相位，出口道O每条车道的车辆数c(lO)，lO∈O，每个进口道3个断面的车辆数c(lI)n，lI∈I,n＝1,2,3；
2)定义动作：取四相位动作集合U，时间t时的相位p为其动作值at；
U＝[a1:WE-Straight,a2:NS-Straight,a3:WE-Left,a4:NS-Left]
其中，WE-Straight表示东西直行，NS-Straight表示南北直行，WE-Left表示东西左转，NS-Left表示南北左转；
3)设计奖励函数：第i个交叉口的奖励为ri＝-Di；Di由进出口道车辆密度差的累积和计算得到：其中，cmax(l)为车道l的最大允许过车辆；
最大密度差控制策略：每个时间t，agent选择具有最大密度差的动作作为当前状态s下的最优动作：
4)深度Q值网络学习。
2.根据权利要求1所述的基于记忆宫殿的干线协调交通信号灯控制方法，其特征在于，所述步骤1)具体包括：时间t+1车辆驶进1号断面的车辆移动方程为：
c(lI)1(t+1)＝c(lI)1(t)+c(lI)2(t)
-min{c(lI,lO)·a(lI,lO)(t),c...
【专利技术属性】
技术研发人员：许潇月，程健，郝建根，卢长春，张俊，张继锋，
申请(专利权)人：南京莱斯信息技术股份有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。