一种自适应交通信号控制方法、系统及可读存储介质技术方案

本申请实施例提供的一种自适应交通信号控制方法、系统及可读存储介质，该方法包括获取预设时段内的交通流量数据，并根据交通流量数据确定道路现场中各交叉路口处的车道通行流量；采用Q学习算法预测各交叉路口的信号配时数据，并根据信号配时数据、车道通行流量，确定各交叉路口处的相对流量；基于各交叉路口处相对流量的比较结果，判断当前状态；根据绿、红灯相位时的相对流量之差，确定当前状态下的奖励；在确定当前状态下的奖励小于0时，生成按照预设的步长增加绿灯时间的第一动作，反之，生成按照预设的步长减少绿灯时间的第二动作；获取当前状态下动作的预估Q值，基于预估Q值收敛性的判断，输出最终预测的绿灯时间。输出最终预测的绿灯时间。输出最终预测的绿灯时间。

【技术实现步骤摘要】
一种自适应交通信号控制方法、系统及可读存储介质


[0001]本申请涉及自动驾驶
，具体而言，涉及一种自适应交通信号控制方法、系统及可读存储介质。

技术介绍

[0002]随着V2X技术的发展，混合交通场景下的交通信号控制受到了广泛关注。然而，由于联网汽车的市场渗透率较低，提高现有算法的学习能力具有挑战性。为了增强自学习能力，强化学习算法被广泛应用于城市十字路口的交通信号控制中，以此进一步改善延迟、排队长度、等待时间和冲突风险。然而现有技术的研究只关注人为因素对混合交通流的影响，而忽略了其（人为因素）对交通控制的影响，存在交通控制精准度不高的问题。

技术实现思路

[0003]本申请实施例的目的在基于提供一种自适应交通信号控制方法、系统及可读存储介质，可以提高交通控制精准度。
[0004]本申请实施例还提供了一种自适应交通信号控制方法，包括以下步骤：S1、获取预设时段内的交通流量数据，并根据所述交通流量数据确定道路现场中各交叉路口处的车道通行流量；S2、采用Q学习算法预测各所述交叉路口的信号配时数据，并根据所述信号配时数据、所述车道通行流量，确定各所述交叉路口处的相对流量；S3、基于各所述交叉路口处相对流量的比较结果，判断当前状态；S4、根据绿灯相位时的相对流量和红灯相位时的相对流量之间的差值，确定当前状态下的奖励；S5、在确定当前状态下的奖励小于0时，生成按照预设的步长增加绿灯时间的第一动作，反之，生成按照预设的步长减少绿灯时间的第二动作；S6、获取当前状态下动作的预估Q值，在确定所述预估Q值未收敛时，返回到步骤2继续执行，并在确定达到预设的循环终止条件时，输出最终预测的绿灯时间。
[0005]第二方面，本申请实施例还提供了一种自适应交通信号控制系统，所述系统包括流量数据获取模块、相对流量计算模块、状态确定模块、奖励确定模块、动作生成模块以及迭代优化模块，其中：所述流量数据获取模块，用于获取预设时段内的交通流量数据，并根据所述交通流量数据确定道路现场中各交叉路口处的车道通行流量；所述相对流量计算模块，用于采用Q学习算法预测各所述交叉路口的信号配时数据，并根据所述信号配时数据、所述车道通行流量，确定各所述交叉路口处的相对流量；所述状态确定模块，用于基于各所述交叉路口处相对流量的比较结果，判断当前状态；所述奖励确定模块，用于根据绿灯相位时的相对流量和红灯相位时的相对流量之
间的差值，确定当前状态下的奖励；所述动作生成模块，用于在确定当前状态下的奖励小于0时，生成按照预设的步长增加绿灯时间的第一动作，反之，生成按照预设的步长减少绿灯时间的第二动作；所述迭代优化模块，用于获取当前状态下动作的预估Q值，在确定所述预估Q值未收敛时，触发所述相对流量计算模块继续执行，并在确定达到预设的循环终止条件时，输出最终预测的绿灯时间。
[0006]第三方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质中包括自适应交通信号控制方法程序，所述自适应交通信号控制方法程序被处理器执行时，实现如上述任一项所述的一种自适应交通信号控制方法的步骤。
[0007]由上可知，本申请实施例提供的一种自适应交通信号控制方法、系统及可读存储介质，由于联网汽车的市场渗透率较低，基于Q学习算法法能够根据每个路口的状态不断地执行动作获取奖励再到下一状态，实现对城市路网交通灯的智能化控制，提高交通控制精准度，进一步降低城市十字路口的交通信号控制过程中的延迟、排队长度过长、等待时间过长和驾驶员冲突等风险，便于城市交通管理，减少城市交通拥堵。
[0008]本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0009]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0010]图1为本申请实施例提供的一种自适应交通信号控制方法的流程图；图2为本申请实施例提供的一种自适应交通信号控制方法的整体实施流程示意图；图3为基于敏感系数进行交通安全性能分析的对比示意图；图4为本申请实施例提供的一种自适应交通信号控制系统的结构示意图。
具体实施方式
[0011]下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0012]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0013]请参照图1，图1是本申请一些实施例中的一种自适应交通信号控制方法的流程图，包括以下步骤：步骤S1，获取预设时段内的交通流量数据，并根据所述交通流量数据确定道路现场中各交叉路口处的车道通行流量。
[0014]步骤S2，采用Q学习算法预测各所述交叉路口的信号配时数据，并根据所述信号配时数据、所述车道通行流量，确定各所述交叉路口处的相对流量。
[0015]需要说明的是，如图2所示，采用Q学习算法预测绿灯时间的过程中，涉及到五个主要因素包括：主体、环境、状态、行为和奖励。其中：（1）在交通流环境中，主体会根据当前状态的奖励选择一个可以产生Q值的动作。而在此过程中，还需要同步进行Q值更新。
[0016]具体在实施的时候，可以通过下述公式进行Q值更新：；其中，，是当选择动作a
t
并且状态为s
t
时产生的Q值，α是学习率，是回报值，γ是折扣率，是动作集，是下一步的Q值。
[0017]（2）状态指的是不同阶段的相对流量，它是由即将到来的流量和每个路口处的绿灯或红灯时间决定的。
[0018]（3）奖励定义为绿灯和红灯相位之间的相对流量差值，其中，奖励在每个循环中都是动态的，其取决于绿灯时长的比例。需要说明的是，若该值取正，则整个交叉口运行平稳，否则，将认为整个交叉口处于交通拥堵状态。
[0019]步骤S3，基于各所述交叉路口处相对流量的比较结果，判断当前状态。
[0020]假设当前共涉及到4个交叉路口，具体在实施的时候，可以通过下述表1确定当前状态：
[0021]其中，D
...

【技术保护点】

【技术特征摘要】
1.一种自适应交通信号控制方法，其特征在于，包括以下步骤：S1、获取预设时段内的交通流量数据，并根据所述交通流量数据确定道路现场中各交叉路口处的车道通行流量；S2、采用Q学习算法预测各所述交叉路口的信号配时数据，并根据所述信号配时数据、所述车道通行流量，确定各所述交叉路口处的相对流量；S3、基于各所述交叉路口处相对流量的比较结果，判断当前状态；S4、根据绿灯相位时的相对流量和红灯相位时的相对流量之间的差值，确定当前状态下的奖励；S5、在确定当前状态下的奖励小于0时，生成按照预设的步长增加绿灯时间的第一动作，反之，生成按照预设的步长减少绿灯时间的第二动作；S6、获取当前状态下动作的预估Q值，在确定所述预估Q值未收敛时，返回到步骤2继续执行，并在确定达到预设的循环终止条件时，输出最终预测的绿灯时间。2.根据权利要求1所述的方法，其特征在于，步骤S1中，所述获取预设时段内的交通流量数据，包括：S11、获取经由地感线圈检测到的预设时段内的交通流量数据，所述地感线圈设置在道路现场的各个交叉路口处，用于检测道路现场的交通流量。3.根据权利要求1所述的方法，其特征在于，步骤S2中，所述根据所述信号配时数据、所述车道通行流量，确定各所述交叉路口处的相对流量，包括：S21、通过下述公式计算各所述交叉路口处的相对流量：；其中，D
li
表示第i个交叉路口处的相对流量，m
i
表示第i个交叉路口处的车道通行流量，t
g
表示绿灯相位的灯控时间，t
r
表示红灯相位的灯控时间，λ(t
r
)表示与车道占用率呈指数关系的惩罚函数。4.根据权利要求3所述的方法，其特征在于，步骤S21中，所述惩罚函数λ(t
r
)的表达形式包括：；其中，l
m
表示第i个交叉路口处涵盖的平均车辆长度，L
i
表示第i个交叉路口的车道长度，n
i
表示第i个交叉路口处涵盖的车道数量。5.根据权利要求1所述的方法，其特征在于，步骤S5中，所述方法还包括：S51、通过CAV检测技术，获取红灯相位时交叉路口附近各车辆的车辆速度以及车辆位置；S52、根据距离停车线最远的目标低速车辆的车辆位置、以...

【专利技术属性】
技术研发人员：曾科，王聪，丁乃侃，
申请(专利权)人：武汉智安交通科技有限公司，
类型：发明
国别省市：