一种具有位置感知的路口交通信号灯调控方法技术

本发明专利技术公开了一种具有位置感知的路口交通信号灯调控方法，步骤1、利用强化学习网络模型进行交通信号控制问题的数学建模，包括将交通网络建模为图的形式以及根据交通信号控制问题定义了状态空间、动作空间、奖励；步骤2、进行智能体原始观测值o

【技术实现步骤摘要】
一种具有位置感知的路口交通信号灯调控方法
本专利技术涉及垃圾分类
，特别是涉及一种智能垃圾分类系统及方法。
技术介绍
传统的交通信号灯控制是根据收集到的历史交通数据事先制定控制方案，比如：SCATS交通信号控制系统根据交通检测器的检测数据计算十字路口的类饱和度与流量两个指标，为十字路口从事先制定的方案中选择合适的信号灯控制方案。SMOOTH交通信号控制系统根据采集到的交通数据，采取“短期预测”的策略得到十字路口当前所处的状态，然后根据状态选择对应的策略方案。SCATS和SMOOTH交通信号控制系统事先都要考虑十字路口的多种交通状况，并提出应对策略，这样的解决方案需要人工干预，无法很好地适应动态的交通流量。随着科技的不断进步，交通系统的研究更加趋向于智能化。人们将人工智能和交通系统结合，其中研究者们开始探索深度强化学习方法在交通信号控制系统中的应用。现有技术中，为每个路口设置一个深度强化学习模型，每个模型根据各自观察到的状态进行决策学习，从而实现多个路口的交通信号灯调控。该方法中，每个路口都有一个独立的模型，无法用在大规模的交通网络中，并且独立学习的模型忽略了相邻路口之间相互影响的事实，无法实现对路口之间的协调控制。考虑到每个路口的决策还受其他路口的影响，对于每个路口，将相邻路口的交通状况与自身拼接，作为该路口的交通状况信息。并且所有路口共享网络模型的参数。但是，在大多数情况下，拼接路口信息可能不是融合来自相邻路口的信息的合理方法，其很难确定相邻路口的拼接顺序。此外，还有采用长短期记忆网络(LSTM，LongShort-TermMemory)将历史的交通信息整合到当前的交通状态中。在基于深度强化学习方法提出的交通信号控制方法中，一些方法在状态和奖励设置上进行改进，但是忽略了路口之间的空间关系。也有一些方法考虑了路口之间的空间关系，将交通网络建模为图的形式，采用图神经网络来提取相邻路口的信息，整合到中心路口交通信息中进行决策。但是这些方法只考虑了交通网络的连通性，并且均等地汇总来自相邻路口的交通状况，然而忽略了这些路口的空间位置。而十字路口的空间位置对于协同交通信号灯控制至关重要。综上，本专利技术旨在提出一种
技术实现思路
针对现有技术忽略路口位置信息不足，本专利技术提出一种具有位置感知的路口交通信号灯调控方法，考虑交通网络图中的位置信息，将图神经网络与强化学习结合，实现了交通网络中多个路口的交通信号灯的协调控制。本专利技术的一种具有位置感知的路口交通信号灯调控方法，方法包括以下具体实现过程：步骤1、利用强化学习网络模型进行交通信号控制问题的数学建模：将交通网络建模为图的形式并记为G：G＝(V,E)，V为路口的集合，E为连接两路口的边的集合；将每个路口看为一个智能体，共有N个路口；根据交通信号控制问题定义了状态空间、动作空间、奖励如下：状态空间记为S：st∈S为t时刻的系统状态，由交通信号网络中所有路口的交通状况信息组成；观测空间记为O：为智能体i在t时刻的观测值；由两部分组成：(1)路口当前时刻所处的相位；(2)与路口相连的进入车道上车辆的数量；动作空间记为A：为所有智能体在t时刻的联合动作ai,t的集合；奖励记为R：每个时刻为每个智能体在t时刻的奖励；具体为智能体i所表示路口的进入车道中车辆总数的负值，即为t时刻在进入车道l中的车辆数量；步骤2、进行智能体原始观测值oi的预处理：在t时刻，每个智能体的原始局部观测值为每个车道上的车辆数量和交通信号当前所处的相位的拼接向量，通过多层感知机将智能体i的k维原始观测值映射到m维的隐空间中，输出的隐状态hi,t∈Rm表示第i个路口在t时刻的交通状况，m为维度，公式如下：其中，k为的特征信息维度，Wo∈Rk×m、bo∈Rm分别为多层感知机隐藏层中的权重矩阵和偏置，σ为ReLU激活函数；步骤3、获取智能体之间具有位置感知的边特征：选择目标路口i的k维以内的全部路口作为邻居节点集N(i)，然后计算目标路口i与相邻路口j∈N(i)的欧式距离d(i,j)；基于坐标计算路口i和j之间的欧式距离d(i,j)计算公式如下：d(i,j)＝f距离(i,j；Gw)将d(i,j)映射到在[0，1]范围内的数值pi,j来表示路口之间的相对位置关系，公式如下：最终得到边特征ei,j＝(pi,j,-si,j)表示相邻路口j与目标路口i的相对位置和结构信息；步骤4、实现智能体之间的Pos-Light消息传递模型，进行交通信息的融合，分为以下两个阶段：1)边的特征信息与相邻路口信息的整合对于任意的邻居路口j∈N(i)，N(i)为目标路口i的相邻路口集合ei,j＝(pi,j,-si,j)为i,j的边的特征信息；针对两种类型的边的特征编码邻居路口的交通信息，表达式如下：其中，使用多层感知机保留了相邻路口j相对于目标路口i的空间结构信息si,j∈Rl，l为目标路口的邻居节点个数，Ws∈Rl×m为网络的权重矩阵，bs∈Rm为网络的偏置，汇总邻居路口的交通消息和然后对总信息进行编码以获得相邻路口j的包含位置信息的最终交通消息hi,j，表达式如下：其中，We∈Rm×n为网络的权重矩阵，be∈Rn为网络的偏置，hi.j∈Rn为相邻路口j对于目标路口i的位置信息；2)更新目标路口的交通状况表征：在此阶段，通过聚合目标路口i周边的交通信息来更新每个路口的交通状况表征其中，Wh∈Rn×c为网络的权重矩阵，bh∈Rc为网络偏置，聚合了目标路口i周围交通状况的重要信息，使智能体能够更高效的进行决策；步骤5、实现Q网络的路口交通信号灯调控决策：对于每个智能体(即目标路口i)，将输入Q网络，智能体根据Q网络的输出，使用ε-贪心算法来选择动作，即令ε＝p,p∈[0,1]，在[0,1]范围内生成随机数q，如果q＜ε＝p，则从可选动作中随机选择一个动作，否则选择使Q值最大的动作为当前时刻智能体的动作；在t时刻，每个智能体的Q值为：其中，Wd∈Rc×d为Q网络的权重矩阵，bd∈Rd为Q网络的偏置，d为动作空间的大小，Qi,t∈R|A|，Qi,t(a)为动作a对应的Q值；步骤6、进行基于Q网络的调控目标训练：将每个t时刻的转移序列(st,at,st+1,rt)存储到经验池D中，其中全局观测值联合动作奖励更新模型的损失函数为：其中，T是用于模型更新的时间步总数，N为整个交通网络中的路口总数，算法根据损失函数的更新公式来更新训练网络中的参数每经过g轮迭代后，将预测网络中的参数复制给目标网络中的参数与现有技术相比，本专利技术能够达成以下积极的技术效果：(1)智能体决策更高效，收敛速度更快，最终得到的策略有效缓解了交通拥堵；(2)本专利技术优于当前使用图神经网络解决交通信号灯控制问题的方法，本文档来自技高网...

【技术保护点】
1.一种具有位置感知的路口交通信号灯调控方法，其特征在于，该方法包括以下具体实现过程：/n步骤1、利用强化学习网络模型进行交通信号控制问题的数学建模：/n将交通网络建模为图的形式并记为G：G＝(V,E)，V为路口的集合，E为连接两路口的边的集合；将每个路口看为一个智能体，共有N个路口；/n根据交通信号控制问题定义了状态空间、动作空间、奖励如下：/n状态空间记为S：s

【技术特征摘要】
1.一种具有位置感知的路口交通信号灯调控方法，其特征在于，该方法包括以下具体实现过程：
步骤1、利用强化学习网络模型进行交通信号控制问题的数学建模：
将交通网络建模为图的形式并记为G：G＝(V,E)，V为路口的集合，E为连接两路口的边的集合；将每个路口看为一个智能体，共有N个路口；
根据交通信号控制问题定义了状态空间、动作空间、奖励如下：
状态空间记为S：st∈S为t时刻的系统状态，由交通信号网络中所有路口的交通状况信息组成；
观测空间记为O：为智能体i在t时刻的观测值；由两部分组成：(1)路口当前时刻所处的相位；(2)与路口相连的进入车道上车辆的数量；
动作空间记为A：为所有智能体在t时刻的联合动作ai,t的集合；
奖励记为R：每个时刻rit为每个智能体在t时刻的奖励；具体为智能体i所表示路口的进入车道中车辆总数的负值，即为t时刻在进入车道l中的车辆数量；
步骤2、进行智能体原始观测值oi的预处理：
在t时刻，每个智能体的原始局部观测值为每个车道上的车辆数量和交通信号当前所处的相位的拼接向量，通过多层感知机将智能体i的k维原始观测值映射到m维的隐空间中，输出的隐状态hi,t∈Rm表示第i个路口在t时刻的交通状况，m为维度，公式如下：



其中，k为的特征信息维度，Wo∈Rk×m、bo∈Rm分别为多层感知机隐藏层中的权重矩阵和偏置，σ为ReLU激活函数；
步骤3、获取智能体之间具有位置感知的边特征：
选择目标路口i的k维以内的全部路口作为邻居节点集N(i)，然后计算目标路口i与相邻路口j∈N(i)的欧式距离d(i,j)；基于坐标计算路口i和j之间的欧式距离d(i,j)计算公式如下：
d(i,j)＝f距离(i,j；Gw)
将d(i,j)映射到在[0，1]范围内的数值pi,j来表示路口之间的相对位置关系，公式如下：



最终得到边特征ei,j＝(pi,j,-si,j)表示相邻路口j与目标路口i的相对位置和结构信息；
步骤4、实现智能体之间的Pos-Light消息传递模型，进行交通信息的融合，分为以下两个阶段：
1)边的特征信息与相邻...

【专利技术属性】
技术研发人员：郭健，李克秋，郝建业，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12