基于深度强化学习的交通信号灯防堵塞控制方法和系统技术方案

技术编号:21895180 阅读:16 留言:0更新日期:2019-08-17 15:48
本发明专利技术涉及一种基于深度强化学习的交通信号灯防堵塞控制方法和系统。每个路口的数据由该路口的路口决策控制器处理,路口决策控制器将处理完的结果传输给终端决策器,终端决策器再对得到的数据进一步处理,只有当出现路口的拥堵值或预测拥堵值大于阈值时,终端决策器才接管决策权,对一个区域的信号灯统一控制管理。当拥堵值或预测拥堵值都小于等于阈值时,则各个路口的信号灯还是由该路口的路口决策控制器进行决策并控制。上述方法可大大缩短数据处理时间,同时避免只关注于单个路口的最大通行量而造成相邻路口拥堵的情况。有利于解决交通拥堵问题。

Control Method and System of Traffic Signal Lamp Anti-jamming Based on Deep Reinforcement Learning

【技术实现步骤摘要】
基于深度强化学习的交通信号灯防堵塞控制方法和系统
本专利技术涉及交通信息号灯控制领域,特别是涉及基于深度强化学习的交通信号灯防堵塞控制方法和系统。
技术介绍
城市中,机动车、非机动车保有量大,路口和路段情况纷繁复杂,要处理这样一个规模庞大、动态、具有高度不确定性的分布式系统,进行有效的控制,是一件十分复杂的工作。在不新增交通道路的情况下,通过合理的交通控制,提高道路的利用效率,进而提高交通通行效率是快速解决城市交通问题的一种有效途径。目前我国城市采用的交通信号灯控制模式,随着城市的不断发展,车流量的不断扩大,传统的交通信号灯在调度上出现了问题。一是车辆放行时,十字路口经常出现不同车流量干道放行时间相同,易造成某路段车辆堆积,造成交通堵塞;二是当某十字路口其中一路口车流量很大另一个路口车流相对较少时,不能够改变红绿灯的时间来延长这一路口的通过时间,造成该路口的车辆不能通过由此引发车辆堆积。目前已有的交通信号灯控制系统,大多只关注于单个路口的最大通行量,容易出现由于只考虑该路口通行量最大化,有时不但不会缓解交通,甚至会导致相邻路口出现拥堵的情况。
技术实现思路
基于此,有必要针对传统的信号灯控制方法缓解交通拥堵能力仍然不够理想的问题,提供一种基于深度强化学习的交通信号灯防堵塞控制方法。一种基于深度强化学习的智能交通信号灯防堵塞控制方法,包括:实时获取当前路口路况信息;通过CNN算法处理所述路况信息,获得当前路口的各车道等待车流长度和通过当前路口的车辆数目;建立路口决策模型,所述路口决策模型根据各车道等待车流长度计算获取各车道的拥堵值,并且,所述路口决策模型根据所述拥堵值以及所述通过当前路口的车辆数目,结合DQN算法获得当前路口的路口最优信号灯控制策略,通过当前路口最优信号灯控制策略控制当前路口的信号灯;当某一路口的拥堵值大于阈值,将该路口以及与该路口相连的各个路口组成一个区域,获得该区域所有路口的数据信息,建立终端决策模型,所述终端决策模型依据该区域所有路口的数据信息,通过DQN算法得到该区域的区域最优信号灯控制策略,然后暂停使用该区域的各个路口自身的路口最优信号灯控制策略,采用所述区域最优信号灯控制策略控制该区域各个路口的信号灯。上述方法中,不光考虑单个路口的信号灯控制,当单个路口的拥堵值超过阈值后,可通过终端决策模型获取区域最优信号灯控制策略,通过区域最优信号灯控制策略控制该区域各个路口的信号灯,避免只关注于单个路口的最大通行量而造成相邻路口拥堵的情况。有利于解决交通拥堵问题。在其中一个实施例中,获取相邻路口的数据信息,所述相邻路口的数据信息包括相邻路口的各个车道等待车流长度,拥堵值和所采取的信号灯控制策略,构建预测网络,所述预测网络根据当前路口的数据信息以及相邻路口的数据信息预测出t秒后当前路口的各车道车流长度,并根据预测的各个车道车流长度计算获得预测拥堵值;当某一路口的预测拥堵值或拥堵值大于阈值,将该路口以及与该路口相连的各个路口组成一个区域,获得该区域所有路口的数据信息,建立终端决策模型,所述终端决策模型依据该区域所有路口的数据信息,通过DQN算法得到该区域的区域最优信号灯控制策略,然后暂停使用该区域的各个路口自身的路口最优信号灯控制策略,采用所述区域最优信号灯控制策略控制该区域各个路口的信号灯。在其中一个实施例中,当所述区域各路口的预测拥堵值以及拥堵值都小于阈值,停止使用所述区域最优信号灯控制策略,各个路口采用自身的路口最优信号灯控制策略控制交通信号灯。在其中一个实施例中,所述拥堵值的计算方法为:其中,L11表示路口东侧直行和右转道车流长度,L21表示路口西侧直行和右转道车流长度,L12表示路口东侧左转道车辆长度,L22表示路口西侧左转道车辆长度,L31表示路口南侧直行和右转道车辆长度,L41表示路口北侧直行和右转道车辆长度,L32表示路口南侧左转道车辆长度,L42表示路口北侧左转道车辆长度,L1表示路口东侧单条道路加上西侧单条道路的总长,L2表示路口南侧单条道路加上北侧单条道路的总长,α11和α12表示路口东西方向对应车道的拥堵值,α21和α22表示路口南北方向对应车道的拥堵值。一种基于深度强化学习的智能交通信号灯防堵塞控制系统,所述系统包括:路况信息获取装置,所述路况信息获取装置用于实时获取当前路口路况信息;路口决策控制器,所述路口决策控制器与所述路况信息获取装置相连,所述路口决策控制器通过CNN算法处理所述路况信息,获得当前路口的各车道等待车流长度和通过当前路口的车辆数目,并建立路口决策模型,所述路口决策模型根据各车道等待车流长度计算获取各车道的拥堵值,并且,所述路口决策模型根据所述拥堵值以及所述通过当前路口的车辆数目,结合DQN算法获得当前路口的路口最优信号灯控制策略,通过当前路口最优信号灯控制策略控制当前路口的信号灯;终端决策器,所述终端决策器与所述路口决策控制器相连,用于获取路口决策控制器的数据信息,所述终端决策器实时判断各个路口的拥堵值是否大于阈值,当某一路口的拥堵值大于阈值,终端决策器将该路口以及与该路口连接的各个路口组成一个区域,并接管所述区域的各个路口的决策权,所述终端决策器建立终端决策模型,所述终端决策模型依据该区域所有路口的数据信息,通过DQN算法得到该区域的区域最优信号灯控制策略,采用所述区域最优信号灯控制策略控制该区域各个路口的信号灯。在其中一个实施例中,所述路口决策控制器还用于获取相邻路口的数据信息,所述相邻路口的数据信息包括相邻路口的各个车道等待车流长度,拥堵值和所采取的信号灯控制策略,所述路口决策控制器还用于构建预测网络,所述预测网络根据当前路口的数据信息以及相邻路口的数据信息预测出t秒后当前路口的各车道车流长度,并根据预测的各个车道车流长度计算获得预测拥堵值,所述终端决策器实时判断各个路口的预测拥堵值以及拥堵值是否大于阈值,当某一路口的预测拥堵值或拥堵值大于阈值,终端决策器将该路口以及与该路口连接的各个路口组成一个区域,并接管所述区域的各个路口的决策权,所述终端决策器建立终端决策模型,所述终端决策模型依据该区域所有路口的数据信息,通过DQN算法得到该区域的区域最优信号灯控制策略,采用所述区域最优信号灯控制策略控制该区域各个路口的信号灯。在其中一个实施例中,当所述区域各路口的预测拥堵值以及拥堵值都小于阈值,停止使用所述区域最优信号灯控制策略,所述终端决策处理器将决策权交还给路口决策控制器,各个路口采用自身的路口决策控制器内路口最优信号灯控制策略控制交通信号灯。在其中一个实施例中,所述拥堵值的计算方法为:其中,L11表示路口东侧直行和右转道车流长度,L21表示路口西侧直行和右转道车流长度,L12表示路口东侧左转道车辆长度,L22表示路口西侧左转道车辆长度,L31表示路口南侧直行和右转道车辆长度,L41表示路口北侧直行和右转道车辆长度,L32表示路口南侧左转道车辆长度,L42表示路口北侧左转道车辆长度,L1表示路口东侧单条道路加上西侧单条道路的总长,L2表示路口南侧单条道路加上北侧单条道路的总长,α11和α12表示路口东西方向对应车道的拥堵值,α21和α22表示路口南北方向对应车道的拥堵值。一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的智能交通信号灯防堵塞控制方法,其特征在于,包括:实时获取当前路口路况信息;通过CNN算法处理所述路况信息,获得当前路口的各车道等待车流长度和通过当前路口的车辆数目;建立路口决策模型,所述路口决策模型根据各车道等待车流长度计算获取各车道的拥堵值,并且,所述路口决策模型根据所述拥堵值以及所述通过当前路口的车辆数目,结合DQN算法获得当前路口的路口最优信号灯控制策略,通过当前路口最优信号灯控制策略控制当前路口的信号灯;当某一路口的拥堵值大于阈值,将该路口以及与该路口相连的各个路口组成一个区域,获得该区域所有路口的数据信息,建立终端决策模型,所述终端决策模型依据该区域所有路口的数据信息,通过DQN算法得到该区域的区域最优信号灯控制策略,然后暂停使用该区域的各个路口自身的路口最优信号灯控制策略,采用所述区域最优信号灯控制策略控制该区域各个路口的信号灯。

【技术特征摘要】
1.一种基于深度强化学习的智能交通信号灯防堵塞控制方法,其特征在于,包括:实时获取当前路口路况信息;通过CNN算法处理所述路况信息,获得当前路口的各车道等待车流长度和通过当前路口的车辆数目;建立路口决策模型,所述路口决策模型根据各车道等待车流长度计算获取各车道的拥堵值,并且,所述路口决策模型根据所述拥堵值以及所述通过当前路口的车辆数目,结合DQN算法获得当前路口的路口最优信号灯控制策略,通过当前路口最优信号灯控制策略控制当前路口的信号灯;当某一路口的拥堵值大于阈值,将该路口以及与该路口相连的各个路口组成一个区域,获得该区域所有路口的数据信息,建立终端决策模型,所述终端决策模型依据该区域所有路口的数据信息,通过DQN算法得到该区域的区域最优信号灯控制策略,然后暂停使用该区域的各个路口自身的路口最优信号灯控制策略,采用所述区域最优信号灯控制策略控制该区域各个路口的信号灯。2.根据权利要求1所述的基于深度强化学习的智能交通信号灯防堵塞控制方法,其特征在于,获取相邻路口的数据信息,所述相邻路口的数据信息包括相邻路口的各个车道等待车流长度,拥堵值和所采取的信号灯控制策略,构建预测网络,所述预测网络根据当前路口的数据信息以及相邻路口的数据信息预测出t秒后当前路口的各车道车流长度,并根据预测的各个车道车流长度计算获得预测拥堵值;当某一路口的预测拥堵值或拥堵值大于阈值,将该路口以及与该路口相连的各个路口组成一个区域,获得该区域所有路口的数据信息,建立终端决策模型,所述终端决策模型依据该区域所有路口的数据信息,通过DQN算法得到该区域的区域最优信号灯控制策略,然后暂停使用该区域的各个路口自身的路口最优信号灯控制策略,采用所述区域最优信号灯控制策略控制该区域各个路口的信号灯。3.根据权利要求2所述的基于深度强化学习的智能交通信号灯防堵塞控制方法,其特征在于,当所述区域各路口的预测拥堵值以及拥堵值都小于阈值,停止使用所述区域最优信号灯控制策略,各个路口采用自身的路口最优信号灯控制策略控制交通信号灯。4.根据权利要求1所述的基于深度强化学习的智能交通信号灯防堵塞控制方法,其特征在于,所述拥堵值的计算方法为:其中,L11表示路口东侧直行和右转道车流长度,L21表示路口西侧直行和右转道车流长度,L12表示路口东侧左转道车辆长度,L22表示路口西侧左转道车辆长度,L31表示路口南侧直行和右转道车辆长度,L41表示路口北侧直行和右转道车辆长度,L32表示路口南侧左转道车辆长度,L42表示路口北侧左转道车辆长度,L1表示路口东侧单条道路加上西侧单条道路的总长,L2表示路口南侧单条道路加上北侧单条道路的总长,α11和α12表示路口东西方向对应车道的拥堵值,α21和α22表示路口南北方向对应车道的拥堵值。5.一种基于深度强化学习的智能交通信号灯防堵塞控制系统,其特征在于,所述系统包括:路况信息获取装置,所述路况信息获取装置用于实时获取当前路口路况信息;路口决策控制器,所述路口决策控制器与所述路况信息获取装置相连,所述路口决策控制器通过CNN算法处理所述路况信息,获得当前路口的各车道等待车流长度和通过当前路口的车辆数目,并建立路口决策模型,所述路口决策模型根据各车道等待车流长度计...

【专利技术属性】
技术研发人员:黄泽天傅启明陈建平高振陆悠
申请(专利权)人:苏州科技大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1