基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法技术

基于Actor‑Critic框架深度强化学习算法的交通灯信号控制方法，包括：建立仿真环境，定义深度强化学习模型的状态、动作、奖励值，设定并初始化策略网络、旧策略网络和值函数网络；采集交叉口交通状态信息，基于旧策略网络生成下一信号周期的配时方案；采集训练数据进行广义优势估计，计算策略网络和值函数网络的训练误差，并更新网络参数；将策略网络参数复制给旧策略网络；利用训练好的信号控制模型，基于当前时刻交叉口的交通状态信息，生成下一周期的信号配时方案。本发明专利技术能够显著提升信号控制模型的模型训练效率，明显降低交叉口平均排队长度、平均旅行时间和车辆平均延误等指标，且本发明专利技术生成的信号配时方案具备更高的实用性和安全性。

【技术实现步骤摘要】
基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法
本专利技术涉及智能交通领域道路交叉口交通灯信号控制方法，具体涉及一种基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法。
技术介绍
交通信号控制是在无法实现道路交通流空间分离的地方(主要是指平面道路交叉口)，在时间上给相互冲突的交通流分配通行权的一种交通管理措施。作为城市交通管理的重要手段，交通信号控制地质量水平在很大程度上决定了城市道路网络的运行质量。优质的交通信号控制方法能够有效引导和调度交通流，增加道路交叉口的通行能力、降低交叉口碰撞事故的发生率，提高交通系统的整体效益；而设计不完善的信号控制方法则有可能降低城市道路利用率、增加车辆延误、加重交通拥堵。近几年迅速兴起的人工智能技术，为智能交通信号控制带来了新的发展契机。强化学习作为机器学习的一个重要分支，无需建立环境模型，仅通过与外部环境的交互与试错即可完成智能序贯决策，能够在时变性和随机性较强的城市道路交通系统中实现高效自适应控制，因此成为智能信号控制的研究热点。基于强化学习的交通信号本文档来自技高网...

【技术保护点】
1.基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，包括：/n步骤S10，获取当前交叉口的交通状态信息；/n步骤S20，利用训练好的交通信号控制模型，根据当前交叉口的交通状态生成下一周期的信号配时方案；/n其中，所述交通信号控制模型是基于Actor-Critic框架的深度强化学习方法训练的，具体包含以下步骤：/n步骤B10，配置仿真路口环境和车流数据到交通模拟器，搭建交通仿真环境，定义深度强化学习模型的状态、动作和奖励值函数，设定并初始化策略网络、旧策略网络和值函数网络；/n步骤B20，采集当前交叉口的交通状态信息，基于旧策略网络生成下一信号周期的交通灯配时方案，并由交通...

【技术特征摘要】
1.基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，包括：
步骤S10，获取当前交叉口的交通状态信息；
步骤S20，利用训练好的交通信号控制模型，根据当前交叉口的交通状态生成下一周期的信号配时方案；
其中，所述交通信号控制模型是基于Actor-Critic框架的深度强化学习方法训练的，具体包含以下步骤：
步骤B10，配置仿真路口环境和车流数据到交通模拟器，搭建交通仿真环境，定义深度强化学习模型的状态、动作和奖励值函数，设定并初始化策略网络、旧策略网络和值函数网络；
步骤B20，采集当前交叉口的交通状态信息，基于旧策略网络生成下一信号周期的交通灯配时方案，并由交通模拟器仿真下一个信号周期；
步骤B30，判断仿真步数是否达到第一预设训练次数，若没有达到，则返回步骤B20，否则执行步骤B40；
步骤B40，采集第一预设训练次数的经验，所述经验包括交叉口状态、动作和奖励；进行广义优势估计，计算策略网络和值函数网络的训练误差，并更新网络参数；
步骤B50，判断训练次数是否达到第二预设训练次数，若没有达到，则返回步骤B40，否则执行步骤B60；
步骤B60，将策略网络参数复制给旧策略网络，完成当前回合的训练；
步骤B70，判断训练回合数是否达到第三预设训练次数，若没有达到，则返回步骤B20，开启新一回合的训练；若已达到，则获得训练好的交通信号控制模型。


2.根据权利要求1所述的基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，其特征在于：步骤B10中所述的车流数据为真实道路上采集的车流数据。


3.根据权利要求1所述的基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，其特征在于：步骤B10中所述的“定义深度强化学习模型的状态、动作和奖励值函数”，其方法为：
B101，将状态st定义为交叉口各相位车道内的平均车辆数和车辆平均速度，具体说来，Ni表示相位i中允许通行的车道数量，ni,j和vi,j分别表示相位i下车道j中的车辆数和车辆平均速度，则相位i的平均到达车辆数sn,i和车辆平均速度sv,i分别为：






B102，将动作at定义为对下一个信号周期的调整动作，具体说来，对于包含P个相位的信号控制方案，其可选动作集中共有(2P+1)个动作，记为：



其中表示将下一信号周期中相位i的时长延长w秒，表示将下一信号周期中相位i的时长缩短w秒，a0则表示下一信号周期与当前周期的配时方案保持一致；
生成的信号控制方案的相位顺序是稳定不变的，且每次只在较小的范围内改变某一个相位的时长；
B103，将奖励值函数rt定义为上一回合平均排队长度与当前时间步平均排队长度的差值，记为：



其中T表示每回合的轨迹数，qk(k∈[1,T])是历史平均排队长度，qt是当前时间步的平均排队长度；在每个回合中，奖励值的第一项都是常量，只有第二项是变量，因此虽然貌似增加了奖励值中的变量，但其实并未增加模型的训练难度；在此前提下，这一设计促使智...

【专利技术属性】
技术研发人员：沈国江，申思，孔祥杰，郑建炜，张美玉，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33