基于改进的深度强化学习单交叉口路口交通灯控制方法技术

本发明专利技术涉及基于改进的深度强化学习单交叉口路口交通灯控制方法，获取当前被控制单交叉路口的当前车辆的密度、当前车辆速度以及当前车辆等待时间，并基于当前车辆的密度、当前车辆速度以及当前车辆等待时间定义智能体状态值S，动作空间A，动作选择策略ε和奖励函数r；创建神经网络和目标网络和经验池E，将智能体状态值S，动作空间A，动作选择策略ε和奖励函数r存储于经验池E中，并从中采样一个批次对创建的神经网络进行训练；将训练后的神经网络的参数更新至目标网络；基于训练后的神经网络和参数更新的目标网络对单交叉口路口交通灯进行控制。引入经验回放机制利用过往的经验，提高了样本的利用率，加快了学习速度，让模型更快的收敛。

【技术实现步骤摘要】

本专利技术属于交通信号灯控制，尤其涉及基于改进的深度强化学习单交叉口路口交通灯控制方法。

技术介绍

1、近年来，人工智能技术的快速发展为智能交通系统（intelligenttransportation system，its）的应用提供了契机，能够帮助优化交通流，提高通行效率和安全性，其中，交通流量检测和交通信号控制尤为重要。交通流量检测作为交通控制的信息来源，可以让交通管理者快速了解当前路面的实际情况，从而加快对紧急或复杂事件的处理效率同时也能更好地为驾驶员和乘客提供实时信息和建议。交通信号灯作为交通流控制的核心工具，控制方式正从传统的静态模式向智能化、动态化转变，以适应不断变化的交通需求，缓解城市交通拥堵问题。

2、交通流量检测主要以车流目标检测方法为主，传统方法是通常依赖于相关的硬件设备，例如地磁传感器、红外传感器或者微波雷达灯对车体进行统计分析，具有较高的实时性和一定的准确性。而另一种目前更主流的方式是通过计算机视觉(computer vision，cv)技术对摄像头下的视频进行车辆检测，该方法能够得到实时全面的交通信息且安装维护简易方便本文档来自技高网...

【技术保护点】

1.基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，在步骤S1中定义状态值S的具体过程为：

3.根据权利要求2所述的基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，步骤S112中采用离散交通编码计算并表示当前单元格的车辆密度的具体公式为：

4.根据权利要求1所述的基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，所述动作空间A基于改变信号灯相位的方式表示，所述动作相位包括4种，分别为{0，1，2，3}，其中0表示...

【技术特征摘要】

1.基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，在步骤s1中定义状态值s的具体过程为：

3.根据权利要求2所述的基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，步骤s112中采用离散交通编码计算并表示当前单元格的车辆密度的具体公式为：

4.根据权利要求1所述的基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，所述动作空间a基于改变信号灯相位的方式表示，所述动作相位包括4种，分别为{0，1，2，3}，其中0表示为南北方向直行右转绿灯；1表示为南北方向左转绿灯；2表示为东西方向直行右转绿灯；3表示为东西方向左转绿灯。

5.根据权利要求1所述的基于改进的深度强化学习单交叉口路口交通灯控制方法，其特征在于，采用累积奖励数据来构建所述动作选择策略ε的动作选择策略函数ε(g)，所述动作选择策略函数ε(g)的具体表达式如下：

【专利技术属性】
技术研发人员：刘炳彦，郭宏，杜俊霖，马万里，唐文杰，
申请(专利权)人：中电安世成都科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人