一种交通信号灯的控制方法、装置、终端设备和存储介质制造方法及图纸

本申请涉及设备控制技术领域，提出一种交通信号灯的控制方法、装置、终端设备和存储介质。该方法包括：获取交通路口中每个车辆的行驶状态数据，行驶状态数据包括对应车辆在交通路口的未来行驶方向；将行驶状态数据输入至已训练的信号灯控制模型进行处理，通过信号灯控制模型输出的状态动作价值函数，对交通路口的信号灯进行控制；其中，信号灯控制模型为基于深度强化学习算法训练得到的图神经网络，图神经网络的节点为信号灯的各个相位，各个节点的特征数据为对应相位下所有可通行车道的车辆的行驶状态数据，深度强化学习算法的状态为车辆的行驶状态数据，动作为信号灯的各个相位。采用该方法能够提高信号灯配时的准确度，从而提升车辆通行效率。提升车辆通行效率。提升车辆通行效率。

【技术实现步骤摘要】
一种交通信号灯的控制方法、装置、终端设备和存储介质


[0001]本申请涉及设备控制
，尤其涉及一种交通信号灯的控制方法、装置、终端设备和存储介质。

技术介绍

[0002]随着社会生活水平的提高，人们拥有车辆的数量不断增加，导致城市的交通拥堵问题愈发严重。在交通路口，一般使用交通信号灯维持车辆的通行秩序，然而现有的交通信号灯的相位转换次序和相位保持时间一般是提前设置好的，没有考虑到当前实际的交通情况。即便目前部分现有技术已提出基于强化学习的信号灯控制方法，但这些方法基本上只根据交通路口中各个车道的车辆排队长度等静态信息来确定下一时刻的信号灯配时策略，仍然存在配时不准，车辆通行效率较低的问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种交通信号灯的控制方法、装置、终端设备和存储介质，能够提高交通路口信号灯配时的准确度，从而提升车辆通行效率。
[0004]本申请实施例的第一方面提供了一种交通信号灯的控制方法，包括：
[0005]获取交通路口中每个车辆的行驶状态数据，所述行驶状态数据包括对应车辆在所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通信号灯的控制方法，其特征在于，包括：获取交通路口中每个车辆的行驶状态数据，所述行驶状态数据包括对应车辆在所述交通路口的未来行驶方向；将所述行驶状态数据输入至已训练的信号灯控制模型进行处理，通过所述信号灯控制模型输出的状态动作价值函数，对所述交通路口的信号灯进行控制；其中，所述信号灯控制模型为基于深度强化学习算法训练得到的图神经网络，所述图神经网络的节点为信号灯的各个相位，各个所述节点的特征数据为对应相位下所有可通行车道的车辆的行驶状态数据，所述深度强化学习算法的状态为车辆的行驶状态数据，所述深度强化学习算法的动作为信号灯的各个相位。2.如权利要求1所述的控制方法，其特征在于，所述信号灯控制模型通过以下方式训练得到：通过所述深度强化学习算法的智能体从经验池中抽取设定数量的经验记录；其中，每条所述经验记录包含所述智能体与所述交通路口进行交互时得到的状态更新信息、执行动作以及所述交通路口反馈的奖励；以所述设定数量的经验记录作为训练集，对已构建的图神经网络进行优化训练，得到所述信号灯控制模型。3.如权利要求2所述的控制方法，其特征在于，在通过所述深度强化学习算法的智能体从经验池中抽取设定数量的经验记录之前，还包括：构建评估网络和目标网络；其中，所述评估网络和所述目标网络为结构相同的图神经网络；基于所述评估网络，通过所述智能体与所述交通路口交互的方式，生成多条所述经验记录；将多条所述经验记录存入所述经验池；所述以所述设定数量的经验记录作为训练集，对已构建的图神经网络进行优化训练，得到所述信号灯控制模型，包括：以所述设定数量的经验记录作为训练集，利用基于所述评估网络输出的状态动作价值函数和所述目标网络输出的状态动作价值函数构建的损失函数，对所述评估网络进行优化训练，得到所述信号灯控制模型。4.如权利要求3所述的控制方法，其特征在于，所述基于所述评估网络，通过所述智能体与所述交通路口交互的方式，生成多条所述经验记录，包括：获取第一时刻所述交通路口中每个车辆的行驶状态数据；对第一时刻所述交通路口中每个车辆的行驶状态数据进行预处理，得到各个所述节点的第一节点特征数据；将各个所述节点的第一节点特征数据作为第一状态输入所述评估网络进行处理，由所述智能体根据所述评估网络输出的状态动作价值函数从动作空间中选取目标动作；根据所述目标动作控制所述信号灯切换相位；在所述信号灯切换相位后，获取第二时刻所述交通路口中每个车辆的行驶状态数据；对第二时刻所述交通路口中每个车辆的行驶状态数据进行预处理，得到各个所述节点的第二节点特征数据，并将所述第二节点特征数据作为第二状态；
获取所述交通路口反...

【专利技术属性】
技术研发人员：李荦，杨唐涛，王邓江，胡汇泽，
申请(专利权)人：苏州万集车联网技术有限公司，
类型：发明
国别省市：