一种基于FR-DDQN的单交叉口信号灯相位控制方法及系统技术方案

本发明专利技术提供的一种基于FR‑DDQN的单交叉口信号灯相位控制方法及系统，涉及信号灯相位控制技术领域，本发明专利技术通过获取交叉口的历史交通数据，构建仿真环境与智能体；然后构建两个结构相同、参数不同的网络；根据估计网络计算当前交叉口状态下每个动作对应的估计Q值，采用ε‑greedy策略选择动作；选择动作后计算奖励函数的奖励值存入经验回放集合；根据目标网络计算下一交叉口状态到终止状态的目标值；采用损失函数与梯度下降法更新网络参数，直到达到最大仿真次数，得到交叉口的信号灯相位控制策略。本发明专利技术不仅可以评估所选动作对环境的短期影响，也可以通过公平性奖励机制控制动作选择策略对环境的长期影响，有效提升交叉口在一段时间内的整体通行效率。

【技术实现步骤摘要】

本专利技术涉及交叉口信号灯相位控制，具体而言，涉及一种基于fr-ddqn的单交叉口信号灯相位控制方法及系统。

技术介绍

1、交通系统是现代城市最重要的基础设施之一，支撑着数百万人的日常通勤和出行，现在社会的正常运转很大程度上依赖于一个高效的交通系统。在现代城市交通结构中，交叉口负责连接和调节相邻道路之间的交通流，因此加强对交叉口的管理和控制可以有效缓解拥堵现象。通过智能化的信号灯控制，可以应对于不同的车流情况，提升路口的通行效率。

2、交通信号灯的控制是一个马尔科夫决策问题，需要根据不同的交通状态选择开放某一相位的绿灯以及绿灯的持续时间，最终使得交叉口的通行效率有所提高。由于强化学习方法并不依赖于先验知识，能够通过与环境的连续交互学习行动策略，在强化学习算法中，智能体的学习目标直接影响着动作决策。现有基于强化学习的交通信号灯控制方法的奖励机制只能评估选择策略的短期影响，而忽略了行动策略对未来时刻的长期影响。如，现有专利文件cn113380054a《一种基于强化学习的交通信号灯控制方法》和cn111243299b《一种基于3dqn_pser算法的本文档来自技高网...

【技术保护点】

1.一种基于FR-DDQN的单交叉口信号灯相位控制方法，其特征在于，包括：

2.根据权利要求1所述的一种基于FR-DDQN的单交叉口信号灯相位控制方法，其特征在于,所述历史交通数据包括：交叉口的入口车道数、交叉口各入口的历史驶入车流量与道路限制的最大速度。

3.根据权利要求2所述的一种基于FR-DDQN的单交叉口信号灯相位控制方法，其特征在于，在构建公平性奖励函数时，分别考虑通行效率和公平性；在通行效率上，考虑每个决策时段和一个信号灯周期内的影响；在决策时段上，选取排队长度的变化情况和相位的绿灯时间利用率来反映当前决策对单位时间内的通行效率的短期影响；在一个信号灯...

【技术特征摘要】

1.一种基于fr-ddqn的单交叉口信号灯相位控制方法，其特征在于，包括：

2.根据权利要求1所述的一种基于fr-ddqn的单交叉口信号灯相位控制方法，其特征在于,所述历史交通数据包括：交叉口的入口车道数、交叉口各入口的历史驶入车流量与道路限制的最大速度。

3.根据权利要求2所述的一种基于fr-ddqn的单交叉口信号灯相位控制方法，其特征在于，在构建公平性奖励函数时，分别考虑通行效率和公平性；在通行效率上，考虑每个决策时段和一个信号灯周期内的影响；在决策时段上，选取排队长度的变化情况和相位的绿灯时间利用率来反映当前决策对单位时间内的通行效率的短期影响；在一个信号灯周期内，选取平均行程时间来评价所选择的动作集对一个周期内通行效率的影响；在公平性上，根据各相位的绿灯持续时间和红灯等待时间以及一个信号灯周期内各车流方向的通行情况建立约束条件并设置惩罚函数；其中，

4.根据权利要求3所述的一种基于fr-ddqn的单交叉口信号灯相位控制方法，其特征在于,所述目标值的计算公式为：

5.根据权利要求1所述的一种基于fr-ddqn的单交叉口信号灯相位控制方法，其特征在于,采用ε-greedy策略选择动作时，通过调节探索率ε来实现强化学习中的探索和利用；其中，ε表示进行随机选择动作的概率，1-...

【专利技术属性】
技术研发人员：王成，方艺鹏，王新艺，蒋金，雷蕾，
申请(专利权)人：华侨大学，
类型：发明
国别省市：