一种基于Q学习的改进交通信号控制方法技术

本发明专利技术涉及一种基于Q学习的改进交通信号控制方法，包括以下步骤：1)通过在模拟环境下获取区域内所有路口对应的初始lookup表，所述的初始lookup表包括环境信息state、路口行为action以及对应的Q值；2)在现实交通环境下通过安装在各交通路口的感应器持续检测所有交通路口的环境信息；3)在区域内选择一个本地路口，并根据交通路口的环境信息和初始的lookup表，采用路口信号切换算法判断本地路口是否需要进行信号切换，并根据Q值更新函数对初始lookup表进行更新；4)选择一个其他路口，重复步骤3)，最终完成区域内全部路口的信号控制。与现有技术相比，本发明专利技术具有考虑路口联动性、计算准确方便等优点。

【技术实现步骤摘要】

本专利技术涉及区域交通信号的控制，尤其是涉及一种基于Q学习的改进交通信号控制方法。
技术介绍
21世纪以来，交通问题已经成为制约经济发展的主要瓶颈，交通拥挤及阻塞，给全球的经济带来了巨大的影响，解决交通拥挤与堵塞己经迫在眉睫。在美国，1984年由于交通拥挤及阻塞带来的延误约为12亿车·时(veh·h)，造成的损失约1200亿美元；据2005年估计，每年美国的交通延误将达69亿车·时，道路交通拥堵浪费的燃料将达73亿加仑；2010年，美国由于交通拥堵产生的延误时间上升了57％；因交通拥堵造成额外的燃油消耗就高达90亿美元。在英国，一个约100个平交路口的城市，每年由于交通延误导致的经济损失就达到1400万英镑。在我国，百万人口以上的大城市，每年交通拥堵导致的经济损失约1600亿人民币，到达了我国GDP总值的3.2％。然而，城市交通问题还派生出了一系列其他的城市问题，如环境污染、废气排放、土地资源紧缺等问题。要从根本上解决交通拥堵问题，除了拓展城市道路、改造城市布局、增强人<本文档来自技高网...

【技术保护点】
一种基于Q学习的改进交通信号控制方法，其特征在于，包括以下步骤：1)通过在模拟环境下获取区域内所有路口对应的初始lookup表，所述的初始lookup表包括环境信息state、路口行为action以及对应的Q值；2)在现实交通环境下通过安装在各交通路口的感应器持续检测所有交通路口的环境信息；3)在区域内选择一个本地路口，并根据交通路口的环境信息和初始的lookup表，采用路口信号切换算法判断本地路口是否需要进行信号切换，并根据Q值更新函数对初始lookup表进行更新；4)选择一个其他路口，重复步骤3)，最终完成区域内全部路口的信号控制。

【技术特征摘要】
1.一种基于Q学习的改进交通信号控制方法，其特征在于，包括以下步骤：
1)通过在模拟环境下获取区域内所有路口对应的初始lookup表，所述的初始
lookup表包括环境信息state、路口行为action以及对应的Q值；
2)在现实交通环境下通过安装在各交通路口的感应器持续检测所有交通路口
的环境信息；
3)在区域内选择一个本地路口，并根据交通路口的环境信息和初始的lookup
表，采用路口信号切换算法判断本地路口是否需要进行信号切换，并根据Q值更
新函数对初始lookup表进行更新；
4)选择一个其他路口，重复步骤3)，最终完成区域内全部路口的信号控制。
2.根据权利要求1所述的一种基于Q学习的改进交通信号控制方法，其特征
在于，所述的步骤1)中环境信息state包括本地路口local和全局路口global的当
前信号相位、本路口红灯方向上队列长度和绿灯方向上通行车流量数据，路口行为
action包括保持当前相位和切换当前相位，所述的Q值由路口的拥堵情况决定，所
述的lookup表为：
其中，N为总环境信息数，LV1、LV2、GV1、GV2为对应的Q值。
3.根据权利要求2所述的一种基于Q学习的改进交通信号控制方法，其特征
在于，所述的步骤3)中的路口信号切换算法包括以下步骤：
31)根据检测到的本地路口的环境信息，查询lookup表中对应的本地路口local
和全局路口global不同的路口行为Action对应的Q值，即LV1、LV2、GV1和GV2；
32)当|LV1-LV2…＞＞|GV1-GV2|时，则本地路口进行路口行为对本地路口的影响高

\t于对全局路口的影响，则选择本地路口进行路口行为切换，
当|GV1-GV2|＞＞|LV1-LV2|时，则本地路口进行路口行为对全局路口的影响高于对
本地路口的影响，则选择本地路口进行路口行为保持，
...

【专利技术属性】
技术研发人员：蒋昌俊，喻剑，闫春钢，章昭辉，叶晨，王成，陈德基，毕卓，张辰，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31