一种用于信号灯控制的通用模型系统及信号灯控制方法技术方案

为减少模型训练的时间，使提高信号灯控制的大规模部署落地的可能性，本发明专利技术提供一种用于信号灯控制的通用模型系统，包括特征提取模块以及动作预测模块。其中特征提取模块用于将交叉路口的交通流信息转换为路口信息特征向量，其中交通流信息包括各个交通流信号下的平均交通流量、K秒内的车道最大占用率、平均占用率、运动方向、包含车道数量、运动的持续时间、持续时间是否是最小绿灯时间、以及当前信号是否为绿灯。动作预测模块用于根据路口信息特征向量预测交叉路口的当前信号灯状态的持续时间。采用“设置当前相位持续时间”作为动作，不仅保留了交通周期的概念，也保障了驾驶员，行人等交通参与者的安全。人等交通参与者的安全。人等交通参与者的安全。

【技术实现步骤摘要】
一种用于信号灯控制的通用模型系统及信号灯控制方法


[0001]本专利技术涉及交通控制
，特别涉及一种用于信号灯控制的通用模型系统及信号灯控制方法。

技术介绍

[0002]交通信号灯的合理控制可以有效地减少路网中的拥塞。然而传统的固定模式的信号灯控制已难以解决日趋复杂的路网状况。随着深度强化学习(DRL)在不同领域的成功，为了能够根据实时路网状况，及时调整信号灯状态，对交通信号灯进行控制，已开始有研究使用DRL方法来控制交通灯，采用这种方法可以显著的减少车辆的平均等待时间。其中，一部分研究使用了基于价值的方法，而一些其他的研究则使用了基于策略的方法。这些研究的动作设计各不相同，诸如包括“选择下一阶段相位”、“保持或切换下一相位”等。
[0003]虽然现有的基于强化学习的方法在信号灯控制领域取得了巨大的进步，但是它们仍需要对具有不同结构的新路口训练新的模型。具体而言，当面对不同结构的路口时，例如不同的形状的路口(十字路口、丁字路口)、不同的车道数和有不同的信号灯相位结构，模型均需要重新设计和从头开始训练。如这就使得需要为大规模城市路网中的每个信号灯进行训练并得到最优策略，进而需要消耗很多时间和计算资源。针对这一问题，目前已有研究工作对训练交通信号灯控制的通用模型进行了一些尝试。例如，陈等人采用了基于FRAP的参数共享方法以适应新的场景，这一方法在数千个红绿灯的规模上表现出了较好的性能。但是，这一方法仍采用“选择下一阶段相位”作为智能体的动作设计，当智能体选择一个动作后，信号相位可以从所有非冲突的组合中选择，从而忽略行人的感受和违反司机的驾驶习惯，因此难以保持原有的交通信号灯的相位结构。又例如部分研究采用了AttendLight算法并结合注意力机制为具有不同结构和交通流量分布的路口训练了一个通用模型。这一通用模型虽然可以保持路口的相位结构，但其动作设计也是“选择下一阶段相位”，这可能使交通信号以随机顺序变化，进而导致驾驶员和行人处于不安全情况。

技术实现思路

[0004]基于现有技术中的部分或全部问题，本专利技术一方面提供一种用于信号灯控制的通用模型系统，其包括：
[0005]特征提取模块，其用于将交叉路口的交通流信息转换为路口信息特征向量，其中所述交通流信息包括各个交通流信号下的平均交通流量、K秒内的车道最大占用率、平均占用率、车道功能、包含车道数量、运动的持续时间、持续时间是否是最小绿灯时间、以及当前信号是否为绿灯；以及
[0006]动作预测模块，其用于根据所述路口信息特征向量预测交叉路口的当前信号灯状态的持续时间。
[0007]进一步地，所述通用模型系统还包括状态价值预测模块，其用于根据所述路口信息特征向量预测每个状态至仿真结束总共获得的奖励，其中所述奖励包括负排队长度。
[0008]进一步地，所述交通流信号包括：北行、北行左转、东行、东行左转、西行、西行左转、南行、以及南行左转。
[0009]进一步地，若交叉路口的实际交通流信号少于八个，则将缺少的交通流信号对应的交通流信息记为0。
[0010]进一步地，所述特征提取模块包括多层结构：
[0011]交通流信息提取层，其用于提取各个交通流的信息；以及
[0012]路口信息提取层，其用于基于所述交通流的信息提取路口信息。
[0013]进一步地，所述交通流信息提取层及路口信息提取层均采用一维卷积层，以及
[0014]所述特征提取模块还包括展平层以及至少一个全连接层。
[0015]进一步地，所述动作预测模块包括至少一个全连接层。
[0016]进一步地，所述状态价值预测模块包括至少一个全连接层。
[0017]进一步地，所述当前信号灯状态的持续时间包括当前绿灯的持续时间，其根据所述路口信息特征向量从预设的时长集合中选择得到。
[0018]进一步地，所述预设的时长集合中各时长的范围为5至70秒。
[0019]进一步地，所述预设的时长集合中任意两个时长的差值不大于5秒。
[0020]基于如前所述的通用模型系统，本专利技术另一方面提供一种信号灯控制方法，包括：
[0021]通过所述特征提取模块提取路口信息特征向量；
[0022]通过所述动作预测模块根据所述路口信息特征向量计算当前路口绿灯的持续时长；以及
[0023]控制信号灯的绿灯在所述持续时长后切换为黄灯或红灯。
[0024]进一步地，所述信号灯控制方法还包括:
[0025]对所述通用模型进行训练，其中训练采用的训练集通过交通转向流乱序进行数据增强。
[0026]进一步地，所述交通转向流乱序包括：
[0027]在获得交叉路口的交通流信息后，将所述交叉路口的交通流信息打乱以获得新的交叉路口的交通流信息。
[0028]进一步地，所述训练以负的排队长度用作奖励。
[0029]本专利技术提供的一种用于信号灯控制的通用模型系统及信号灯控制方法，其为不同结构的交叉路口设计了一个通用模型，进而有效地减少了模型训练的时间，使得信号灯控制的大规模部署有了落地的可能性。同时，所述通用模型及信号灯控制方法采用了“设置当前相位持续时间”作为动作，不仅保留了交通周期的概念，也保障了驾驶员，行人等交通参与者的安全。通过使用城市交通模拟器进行测试发现所述通用模型性能接近于直接在单一环境中训练的模型的性能，而其模型训练时间相较于直接在单一环境中训练的模型可以减少80％以上，因此在有较多路口的时候可以节约大量计算资源，从而有了实际大规模应用的可能。
附图说明
[0030]为进一步阐明本专利技术的各实施例的以上和其它优点和特征，将参考附图来呈现本专利技术的各实施例的更具体的描述。可以理解，这些附图只描绘本专利技术的典型实施例，因此将
不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
[0031]图1示出本专利技术一个实施例的一种用于信号灯控制的通用模型系统的结构示意图；
[0032]图2示出本专利技术一个实施例的一种信号灯控制方法的流程示意图；以及
[0033]图3a
‑
3c分别示出三个测试路口的不同模型累加奖励的变化示意图。
具体实施方式
[0034]以下的描述中，参考各实施例对本专利技术进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构或操作以免模糊本专利技术的专利技术点。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本专利技术的实施例的全面理解。然而，本专利技术并不限于这些特定细节。
[0035]在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本专利技术的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
[0036]需要说明的是，本专利技术的实施例以特定顺序对工方法步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于信号灯控制的通用模型系统，其特征在于，包括：特征提取模块，其被配置为将交叉路口的交通流信息转换为路口信息特征向量，其中所述交通流信息包括各个交通流信号下的平均交通流量、K秒内的车道最大占用率、平均占用率、车道功能、包含车道数量、运动的持续时间、持续时间是否是最小绿灯时间、以及当前信号是否为绿灯；以及动作预测模块，其被配置为根据所述路口信息特征向量预测交叉路口的当前信号灯状态的持续时间。2.如权利要求1所述的通用模型系统，其特征在于，还包括状态价值预测模块，其被配置为根据所述路口信息特征向量预测每个状态至仿真结束总共获得的奖励，其中所述奖励包括负排队长度。3.如权利要求1所述的通用模型系统，其特征在于，所述交通流信号包括：北行、北行左转、东行、东行左转、西行、西行左转、南行、以及南行左转。4.如权利要求3所述的通用模型系统，其特征在于，若交叉路口的实际交通流信号少于八个，则将缺少的交通流信号对应的交通流信息记为0。5.如权利要求1所述的通用模型系统，其特征在于，所述特征提取模块包括多层结构：交通流信息提取层，其被配置为提取各个交通流的信息；以及路口信息提取层，其被配置为基于所述交通流的信息提取路口信息。6.如权利要求5所述的通用模型系统，其特征在于，所述交通流信息提取层及路口信息提取层均采用一维卷积层，以及所述特征提取模块还包括展平层以及至少一个全连接层。7.如权利要求1所述的通用模型系统...

【专利技术属性】
技术研发人员：阚宇衡，王茂南，潘文安，徐承成，林懿伦，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：