基于深度增强网络的路网信号控制方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度增强网络的路网信号控制方法及装置，其中，方法包括：建立包含流量通道和智能体通道的深度神经网络模型；在流量通道输入路网流量状态信息；在智能体通道输入当前路口的信号灯相位设置信息，以及距离当前路口预设跳数范围内的相邻路口的信号灯相位设置信息；深度神经网络模型以预设频率输出当前路口信号的切换动作，并以路网运行车辆的平均延误作为回报，与交通仿真软件实时在线交互，以迭代方式逼近动作‑值函数，实现优化控制策略。该方法通过迭代方式逼近动作‑值函数，实现优化控制策略，以对路网信号全局优化控制，提高路网吞吐量，缩短用户出行的平均时间，节约控制成本，实现城市路网交通组织的智能化升级。

Road network signal control method and device based on depth enhancement network

【技术实现步骤摘要】
基于深度增强网络的路网信号控制方法及装置
本专利技术涉及智能交通
，特别涉及一种基于深度增强网络的路网信号控制方法及装置。
技术介绍
城市化进程快速发展，人口激增，交通需求急剧膨胀，对城市交通系统和服务提出前所未有的挑战。城市交通拥堵问题日趋严峻。一旦发生拥堵将使道路通行能力下降、车速降低、通行延误增大、而且随着油耗的增加，还会进一步造成严重的空气污染。交通拥塞己成为困扰全球主要发达城市的焦点问题，能否采取措施对交通拥塞问题进行有效治理，密切关系着经济和社会的发展。在固有路网条件下，对信号的优化控制是缓解拥堵、提高交通效率、确保交通安全的有效手段。通过控制城市交通路口的交通信号状态,对交通信号重新配时并协调城市各个路口的交通信号,可以大幅度减少出行延误,节省能源,有效提高交通通行效率。随着物联网与计算机控制技术的发展，信号控制系统经历了由孤立的单一路口控制向主干线路口控制、区域控制正在向大规模网络控制的方向发展、控制方式的设计也从固定配时、自适应、集中控制演化为分散式协同、智能化控制。最初信号控制器针对的是单路口的固定配时，即将信号变换的时间间隔信息预先输入给控制器，但这种方式过于单一固化，不适用于各种大量随机因素汇集的动态路网，一种改进的方案是多时段信号控制，即根据早晚高峰交流变化的不同时段对信号控制器设置不同的相位、绿信比等参数。另外，还出现了感应式信号控制，该方式利用检测器数据结合一些算法对相位的信号时间进行预测，后来又发展出了自适应的信号控制方法改善了感应式控制在路口流量饱和状态下延误过大的问题，但这些方法割裂了路口间的时空关系，时常出现在一个范围较小的局部网络流量达到优化，却导致在更大范围的区域通行能力下降的问题。然而，空间相近的路口交通流往往具有较强关联性，孤立的考虑单点控制容易引起节点间的冲突,从而导致全局性能下降。因此，专家学者提出了线控方案进一步提高信号优化效率，即采取组合优化策略对位于主要线路的路口进行协同控制，相继提出了相容控制策略、启发式分层控制策略和结合遗传算法的协同优化算法等，达到了一定程度的性能提升，但线控方案并没有摆脱单点控制模式的局限，其可能制约其他非主干线的通行能力，甚至导致这些线路的频繁拥塞，整个路网的吞吐量也随之下降。为此，研究者进一步将控制范围扩展到区域层面或大规模网络。相关技术中，应用于大范围城市路网中的区域协同信号控制系统有TRANSYT(TrafficNetworkStudyTool，交通网络研究工具)，但其采用的固定配时方案，在饱和流量的情况下，容易出现网络延误较大的问题，基于自适应策略的区域信号控制系统有SC00T、SCATS(SydneyCoordinatedAdaptiveTrafficSystem，悉尼自适应交通控制系统)，但其依赖于集中式的控制方式，其数据采集、通信与计算代价都随着网络规模增大成指数增长。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度增强网络的路网信号控制方法，该方法可以全面提高路网的吞吐量，缩短出行者的平均旅行时间，而且节约了交通信号控制的人工成本，实现城市路网调度的全智能化升级。本专利技术的另一个目的在于提出一种基于深度增强网络的路网信号控制装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度增强网络的路网信号控制方法，包括以下步骤：建立流量通道和智能体通道作为深度神经网络的模型输入，其中，所述流量通道包括三模式张量模型，其中，所述三模式张量模型中包含空间维度模式、时间维度模式和流量及速度维度模式；在所述流量通道输入路网流量状态信息；在所述智能体通道输入当前路口的信号灯相位设置信息，以及距离所述当前路口预设跳数范围内的相邻路口的信号灯相位设置信息；控制所述深度神经网络模型以预设频率输出所述当前路口的信号的切换动作，并以路网运行车辆的平均延误作为回报，通过与交通仿真软件实时在线交互，以迭代的方式逼近动作-值函数以实现优化控制策略。本专利技术实施例的基于深度增强网络的路网信号控制方法，可以将流量通道和智能体通道中当前路口和相邻路口的信号灯相位设置信息作为输入，并控制深度神经网络模型以一定频率输出当前路口的信号的切换动作，进而通过与交通仿真软件实时在线交互，以迭代的方式逼近动作-值函数实现优化控制策略，以对路网信号进行全局优化控制，全面提高路网的吞吐量，缩短出行者的平均旅行时间，而且节约了交通信号控制的人工成本，实现城市路网交通组织的智能化升级。另外，根据本专利技术上述实施例的基于深度增强网络的路网信号控制方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述以路网运行车辆的平均延误作为回报，通过与交通仿真软件实时在线交互，以迭代的方式逼近动作-值函数以实现优化控制策略包括：利用交通仿真软件Flowsim对待控的路网区域进行建模；控制所述深度神经网络模型与所述Flowsim进行交互实现策略预学习，以根据学习结果将所述深度神经网络模型收敛；根据所述路段状态信息对路网中各路口信号灯相位设置；读取路网中路段延误信息；根据所述路段延误信息优化所述信号控制策略函数。进一步地，在本专利技术的一个实施例中，所述以迭代的方式逼近动作-值函数以实现优化控制策略包括：通过公式(1)获取所述深度网络模型的网络Q值函数预测值和所述目标网络Q值函数的误差值：其中，所述公式(1)包括：其中，s'和a'为下一个时刻的状态和动作，s和a为当前时刻的状态和动作，r为当前动作的回报，为目标网络Q值函数，Q(s,a,θ)为网络Q值函数；根据公式(2)得到的样例值更新所述网络Q值函数，其中，所述公式(2)包括：进一步地，在本专利技术的一个实施例中，还包括：通过公式(3)获取所述当前时刻t的当前动作的回报r：ci为路口路段的设计通行能力，li为流量大小，为路口排队长度额定值设计时延，di为路口实际排队长度，τ、β和η为常数。进一步地，在本专利技术的一个实施例中，所述模型应用在智能体中，其中，路网的每一个路口设置有所述智能体，每个智能体由一个深度神经网络模型构成，还包括：向所述智能体输入所述路网的交通流状态信息；输入路网中每个路口的信号灯相位设置信息；通过所述深度神经网络模型的前馈计算结果设置信息控制路网信号。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度增强网络的路网信号控制装置，包括：建立模块，用于建立包含流量通道和智能体通道的深度神经网络模型，其中，所述流量通道包括三模式张量模型，其中，所述三模式张量模型中包含空间维度模式、时间维度模式和流量及速度维度模式；第一输入模块，用于在所述流量通道输入路网流量状态信息；第二输入模块，用于在所述智能体通道输入当前路口的信号灯相位设置信息，以及距离所述当前路口预设跳数范围内的相邻路口的信号灯相位设置信息；训练模块，用于控制所述深度神经网络模型以预设频率输出所述当前路口的信号的切换动作，并以路网运行车辆的平均延误作为回报，通过与交通仿真软件实时在线交互，以迭代的方式逼近动作-值函数以实现优化控制策略。本专利技术实施例的基于深度增强网络的路网信号控制装置，可以将流量通道和智能体通道中当前路口和相邻路口的信号灯相位设置信息作为输入，并控制深度神经网络模本文档来自技高网...

【技术保护点】
一种基于深度增强网络的路网信号控制方法，其特征在于，包括以下步骤：建立包含流量通道和智能体通道的深度神经网络模型，其中，所述流量通道包括三模式张量模型，所述三模式张量模型中包含空间维度模式、时间维度模式和流量及速度维度模式；在所述流量通道输入路网流量状态信息；在所述智能体通道输入当前路口的信号灯相位设置信息，以及距离所述当前路口预设跳数范围内的相邻路口的信号灯相位设置信息；以及控制所述深度神经网络模型以预设频率输出所述当前路口的信号灯的相位设置，并以路网运行车辆的平均延误作为回报，通过与交通仿真软件实时在线交互，以迭代的方式逼近Q函数以实现优化控制策略，其中，所述Q函数为动作‑值函数。

【技术特征摘要】
1.一种基于深度增强网络的路网信号控制方法，其特征在于，包括以下步骤：建立包含流量通道和智能体通道的深度神经网络模型，其中，所述流量通道包括三模式张量模型，所述三模式张量模型中包含空间维度模式、时间维度模式和流量及速度维度模式；在所述流量通道输入路网流量状态信息；在所述智能体通道输入当前路口的信号灯相位设置信息，以及距离所述当前路口预设跳数范围内的相邻路口的信号灯相位设置信息；以及控制所述深度神经网络模型以预设频率输出所述当前路口的信号灯的相位设置，并以路网运行车辆的平均延误作为回报，通过与交通仿真软件实时在线交互，以迭代的方式逼近Q函数以实现优化控制策略，其中，所述Q函数为动作-值函数。2.根据权利要求1所述的基于深度增强网络的路网信号控制方法，其特征在于，所述以路网运行车辆的平均延误作为回报，通过与交通仿真软件实时在线交互，以迭代的方式逼近Q函数以实现优化控制策略，包括：利用交通仿真软件Flowsim对待控的路网区域进行建模；控制所述深度神经网络模型与所述Flowsim进行交互实现策略预学习，以根据学习结果将所述深度神经网络模型收敛；根据所述路段状态信息对路网中各路口的信号灯进行相位设置；读取路网中路段延误信息；根据所述路段延误信息优化所述控制策略。3.根据权利要求1所述的基于深度增强网络的路网信号控制方法，其特征在于，所述以迭代的方式逼近Q函数以实现优化控制策略包括：通过公式(1)获取所述深度神经网络模型的Q值函数预测值和目标Q值函数的误差值：其中，所述公式(1)包括：其中，s'和a'为下一个时刻的状态和动作，s和a为当前时刻的状态和动作，r为当前动作的回报，为目标Q值函数，Q(s,a,θ)为Q值函数预测值；根据公式(2)得到的样例值更新所述Q值函数，其中，所述公式(2)包括：4.根据权利要求3所述的基于深度增强网络的路网信号控制方法，其特征在于，还包括：通过公式(3)获取当前时刻t的当前动作的回报r：其中，ci为路口i的设计通行能力，li为流量大小，为路口排队长度额定值，di为路口实际排队长度，τ、β和η为常数。5.根据权利要求1所述的基于深度增强网络的路网信号控制方法，其特征在于，所述模型应用在智能体中，每个智能体由一个所述深度神经网络模型构成，其中，路网的每一个路口设置有所述智能体，包括：向所述智能体输入所述路网的交通流状态信息；输入路网中每个路口的信号灯相位设置信息；通过所述深度神经网络模型的前馈计算结果设置信息控制路网信号。6.一种基于深度增强网络的路网信号控制装置...

【专利技术属性】
技术研发人员：吴建平，许明，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11