基于深度强化学习的交通信号灯配时调控方法及系统技术方案

本发明专利技术涉及交通控制技术领域，具体涉及基于深度强化学习的交通信号灯配时调控方法及系统。本发明专利技术公开了基于深度强化学习的交通信号灯配时调控方法，包括：步骤一，初始化两个相同结构的Q值网络，并将其中一个Q值网络作为动作价值网络、另一个Q值网络作为目标Q值网络；步骤二，将目标道路交叉口作为目标环境，并周期性采集目标环境的状态；步骤三，基于双Q学习对、进行多轮迭代运算，并同步对目标环境中的交通信号灯进行相位控制，直至达到最大迭代轮数N。本发明专利技术采用双Q学习方法，通过引入经验回放、使用目标Q值网络来评估Q值，将选择最优动作的过程和评估最优动作的过程分开，可以更好、更稳定性的学习到最优策略。

【技术实现步骤摘要】

本专利技术涉及交通控制，更具体的，涉及：1、一种基于深度强化学习的交通信号灯配时调控方法，2、一种基于深度强化学习的交通信号灯配时调控系统。

技术介绍

1、信号灯配时对交通有着重要的影响，可以直接影响道路流量、拥堵程度、行车速度、交通事故率和交通效率。

2、目前，传统交通信号灯配时采用固定配时方案，即一个相位中红、黄、绿三色信号灯的时长固定。这显然违背了居民出行产生的交通流具有强周期性的特点——交通流存在日、周、月模式（日模式指在同一天不同时间段交通流有很大区别，而不同日期同一时段交通流往往相仿；周模式指一周内工作日与非工作日交通流有很大区别，而不同周工作日之间、非工作日之间交通流往往相仿；月模式指一年内不同月份的交通流有很大区别，而不同年份相同月份间、交通流往往相仿）。故一年365天内设置同样的信号配时方案显然不是最佳的信号灯配时机制。

3、现今研究中，有部分专家提出根据真实的交通数据人为制定信号灯配时规则。但是，这些规则仍然是由人们的先验经验进行预定义的，不能根据实时流量进行动态调整。

4、基于深度学习和强化学习的迅本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的交通信号灯配时调控方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，步骤二中，目标环境的状态包括5类参数；

3.根据权利要求2所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，步骤3.1中，an的选择方法包括：

4.根据权利要求2所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，步骤3.2中，；

5.根据权利要求4所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，；

6.根据权利要求4所述的基于深度强化学习的交通...

【技术特征摘要】

1.一种基于深度强化学习的交通信号灯配时调控方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，步骤二中，目标环境的状态包括5类参数；

3.根据权利要求2所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，步骤3.1中，an的选择方法包括：

4.根据权利要求2所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，步骤3.2中，；

5.根据权利要求4所述的基于深度强化学习的交通信号灯配时调控方法，其特征在于，；

6.根据权利要求4所述的基于深度强化学习的交通信号灯配...

【专利技术属性】
技术研发人员：郭利泉，邢宏业，王波，李晨，宋文静，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：