一种交通信号控制方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种交通信号控制方法、装置、设备和介质，由于该方法中获取在目标交叉口以及相邻的下游交叉口采集的目标特征值，基于预先训练完成的执行器判别器模型，获取到对输入的目标特征值对应输出的动作控制参数的目标概率值，根据目标概率值确定目标交叉口的目标预设动作控制参数，对目标交叉口的交通信号进行控制。由于本发明专利技术中每个交叉口对应的智能体设备在确定自身交叉口的目标预设动作控制参数时，均考虑到了相邻的下游的交叉口的目标特征值，从而降低了每个交叉口的智能体设备间的竞争，提高了交通干线的整体控制效果。提高了交通干线的整体控制效果。提高了交通干线的整体控制效果。

【技术实现步骤摘要】
一种交通信号控制方法、装置、设备和介质


[0001]本专利技术涉及交通信号控制
，尤其涉及一种交通信号控制方法、装置、设备和介质。

技术介绍

[0002]随着人口的增长和城市化进程的加快，城市出行需求急剧增长，现有交通基础设施难以满足日益增长的交通需求，造成城市交通的周期性拥堵和非周期性拥堵。交通信号控制作为城市交通管理与控制的核心，科学合理的信号控制方案可以最大化交叉口的通过量，提高城市路网的运行效率和交叉口的通行能力，降低交通冲突的频率和强度，从而缓解城市交通拥堵问题。
[0003]现有技术中的自适应交通信号控制方案主要是基于固定交通模型的预测、基于预设信号控制方案的选择、或基于交通仿真模型实时预测对交通信号进行控制，其本质上都是仿真模型驱动的，都需要提前根据实际的交通场景进行交通仿真模型参数标定和预定义信号控制方案的设计，但由于实际交通环境具有动态性、随机性和不确定性等特点，自适应交通信号控制方案对动态交通环境的适用性较差。
[0004]现有技术中提供的一种基于深度强化学习的多点交通信号控制大多是将单点信号控制简单移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通信号控制方法，其特征在于，用于交通干线的每个交叉口对应的智能体设备，所述方法包括：获取在目标交叉口以及相邻的下游交叉口采集的目标特征值，其中所述目标特征值为当前时刻之前的预设控制周期内每个相位的第一预设状态特征的特征值，所述第一预设状态特征包括单位时间到达流率以及车辆排队最长时每辆车占用车道长度；将所述目标特征值输入到预先训练完成的执行器判别器模型，获取输出的每个集合的目标概率值；根据所述每个集合的目标概率值，确定所述目标交叉口的目标集合，根据所述目标集合中每个相位的绿灯时长对应的参数值，对所述目标交叉口当前时刻之后的预设时间周期内的每个相位的交通信号灯进行控制。2.根据权利要求1所述的方法，其特征在于，所述根据所述每个集合的目标概率值，确定所述目标交叉口的目标集合包括：基于所述每个集合的目标概率值，进行抽样确定所述目标交叉口的目标集合，其中，集合的目标概率值越大时被抽样到的可能性越高；或，将目标概率值最大的集合确定为所述目标交叉口的目标集合。3.根据权利要求1所述的方法，其特征在于，所述执行器判别器模型的训练过程包括：获取模拟所述目标交叉口以及所述相邻的下游交叉口的模拟器采集的目标第一特征值，其中所述目标第一特征值为预设控制周期内每个相位的第一预设状态特征的第一样本特征值；将所述目标第一特征值输入原始执行器判别器模型，获取所述原始执行器判别器模型输出的每个样本集合的第一概率值，根据所述每个样本集合的第一概率值确定目标样本集合；将所述目标样本集合中每个参数的参数值输入所述模拟器控制所述目标交叉口的交通信号灯的参数值更新，获取所述模拟器采集的所述目标交叉口以及所述相邻的下游交叉口在当前时刻之后的预设控制周期内每个相位的所述第一预设状态特征的第二样本特征值、以及第二预设状态特征的第三样本特征值；将所述第二样本特征值确定为更新后的目标第一特征值，根据所述第三样本特征值确定对所述原始执行器判别器模型的奖励值，并根据所述奖励值更新所述原始执行器判别器模型中的参数值；根据更新后的目标第一特征值，对参数值更新后的原始执行器判别器模型进行训练，基于每一次训练更新后的参数值和更新后的目标第一特征值，计算每一次训练时原始执行器判别器模型输出的每个样本集合的第一概率值，根据所述每个样本集合中每个参数的参数值、以及对应的第一概率值，计算所述原始执行器判别器模型对应的样本集合概率值确定函数的期望值，直到期望值最大时得到训练完成的执行器判别器模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述第三样本特征值确定对所述原始执行器判别器模型的奖励值包括：根据所述第三样本特征值中包含的所述目标交叉口每个相位对应的平均车辆延误时间的第一时间值、以及车辆到达流量的第一数量值，确定每个相位对应的第一时间值与第一数量值的乘积值的第一和值、以及每个相位对应的第一数量值的第二和值，根据所述第
一和值和所述第二和值的比值，得到所述目标交叉口对应的第一奖励值；根据所述第三样本特征值中包含的所述相邻的下游交叉口每个相位对应的平均车辆延误时间的第二时间值、以及车辆到达流量的第二数量值，确定每个相位对应的第二时间值与第二数量值的乘积值的第三和值、以及每个相位对应的第二数量值的第四和值，根据所述第三和值和所述第四和值的比值，得到所述相邻的下游交叉口对应的第二奖励值；根据所述第一奖励值和所述第二奖励值的第五和值，得到对所述原始执行器判别器模型的奖励值。5.一种交通信号控制装置，其特征在于，所述装置包括：获取模块，用于获取在目标交叉口以及相邻的下游交叉口采集的目标特征值，其中所述目标特征值为当前时刻之前的预设控制周期内每个相位的第一预设状态特征的特征值...

【专利技术属性】
技术研发人员：相强强，程兴硕，王泽，伍召举，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：