一种解决快速道路瓶颈路段拥堵问题的匝道控制方法技术

本发明专利技术公开了一种解决快速道路瓶颈路段拥堵问题的匝道控制方法，包括如下步骤：步骤(1)确定快速道路瓶颈路段，安置线圈检测器；步骤(2)在匝道进出口处设置信号灯，深度强化学习通过接收状态集和动作集，计算出Q值；步骤(3)应用SUMO仿真平台进行仿真路网的搭建：步骤(4)确定深度强化学习的三个指标，状态集、动作集、回报函数，制定控制策略；步骤(5)智能体执行信号灯；步骤(6)利用Python语言调用SUMO仿真平台的TraCI接口启动仿真，随后利用语句实时获取仿真中的数据，提取有用信息，进行控制策略的计算，得出相应的控制策略结果后，再调用TraCI接口设置仿真中的信号灯灯色以实现控制策略的应用。控制策略的应用。控制策略的应用。

【技术实现步骤摘要】
一种解决快速道路瓶颈路段拥堵问题的匝道控制方法


[0001]本专利技术涉及本专利技术属于交通匝道控制和智能交通
，具体涉及一种解 决快速道路瓶颈路段拥堵问题的匝道控制方法。

技术介绍

[0002]在早、晚高峰期间，随着通勤者的加入，城市快速道路的交通流量大幅度增 长，上、下匝道口的驶入、驶出量快速上升，交织区内的车辆换道行为加剧，当 上、下匝道口或交织区路段(简称潜在瓶颈)流量、换道等交通参数上升到某一 特定阈值时(一般为通行能力值)，该潜在瓶颈会出现通行能力下降的情况，形 成交通瓶颈，造成小范围拥堵；随着后续车辆不断到达瓶颈路段，拥堵会逐渐向 上游蔓延，造成大范围的交通拥堵与延误，导致经济与能源的大量浪费。
[0003]随着信息技术的发展，我们已经能够获取高解析度的动态交通运行数据高速 公路交通控制向主动型、智能化方向发展，快速道路常见智能交通控制技术包括： 匝道控制、主线控制、车道管理、通道控制。匝道控制指运用交通信号、交通标 志及自动栏杆等交通控制设备调节进入高速道路主线车辆的数量,让快速道路系 统以最优效率运行,并且改善通过匝道进入主线车辆的汇合安全性。

技术实现思路

[0004]专利技术目的:
[0005]本专利技术主要提出一种解决快速道路瓶颈路段拥堵问题的匝道控制方法，通过 匝道控制来解决快速道路交通拥堵问题，相较于传统控制策略具有着智能、准确、 实时、主动的优点。
[0006]一种解决快速道路瓶颈路段拥堵问题的匝道控制方法，包括如下步骤：
[0007]步骤(1)确定快速道路瓶颈路段，安置线圈检测器；
[0008]步骤(2)在匝道进出口处设置信号灯，深度强化学习通过接收状态集和动 作集，计算出Q值，智能体做出动作即改变信号灯色，控制进入主线的车流，调 节主线及匝道的车流密度；
[0009]步骤(3)应用SUMO仿真平台进行仿真路网的搭建：
[0010]定义路网信息、路网尺寸、交通控制、检测器布设、驾驶模型、交通需求、 仿真时长，或者通过在XML文件中指定点、路段、交叉区域等路网物理属性的坐 标及相应长度，自动生成所需的路网结构；
[0011]步骤(4)确定深度强化学习的三个指标，状态集、动作集、回报函数，制 定控制策略；
[0012]步骤(5)智能体每次执行动作都会使信号灯色持续为绿(红)15秒或30 秒，统计这15秒内或30秒内的流量信息获得相应的回报，并在第16秒或31 秒重新选择动作；
[0013]同时，在每次仿真的低需求情况进行预热，匝道控制策略不启动，智能体不 进行
学习，从高需求开始每30秒或15秒学习一次直至本次仿真结束；
[0014]步骤(6)利用Python语言调用SUMO仿真平台的TraCI接口启动仿真，随 后利用语句实时获取仿真中的数据，提取有用信息，进行控制策略的计算，得出 相应的控制策略结果后，再调用TraCI接口设置仿真中的信号灯灯色以实现控制 策略的应用。
[0015]进一步的，步骤(4)后增加一个步骤：
[0016]增加参与控制的匝道个数减少匝道排队回溢现象，状态集为几个关键位置的 车辆密度；动作集为各个匝道入口的放行流量；回报函数取决于匝道的协同控制 目标：利用多个匝道的协同控制，提高主线的通行效率，并保持各匝道车辆排队 长度的均衡，减小不同匝道上车辆排队时间的差异，回报函数包含两部分别为 R1和R2：
[0017]R1＝(T
NO-T
RM
)/T
NO
[0018][0019]R＝(1-δ)
×
R1+δ
×
R2[0020]式中：TNO为匝道没有实行匝道协同控制的总通行时间；TRM为匝道没有实 行匝道协同控制的总通行时间；Ti为第i个匝道的总等待时间；为各匝道平均 的总等待时间；δ为权重系数。智能体的目标为最大化无限折扣后的累计奖赏值：
[0021][0022]进一步的，步骤(1)中，线圈检测器的安装位置为快速道路瓶颈上游、瓶 颈路段、瓶颈下游以及上匝道、下匝道路段，通过实时检测获取快速道路的交通 流数据信息；
[0023]交通流数据信息包括交通量、速度、占有率数据。
[0024]进一步的，步骤(4)中，状态集为瓶颈密度、瓶颈上游密度、匝道密度以 及匝道信号灯灯色组成；动作集有两个，分别为使信号灯变绿或变红；回报函数 如下：
[0025]R＝q
merge
[0026]其中qmerge为瓶颈路段的流量；
[0027]控制策略分别以15秒或30秒为周期。
[0028]有益效果：
[0029]本专利技术基于实测交通流数据训练智能体掌握不同交通流运行状态下的最优 Q值，据此在匝道瓶颈拥堵路段发布当前交通流状态下的最优信号控制，采集信 号控制后的交通流数据使智能体依据新的交通环境与数据持续学习，由思维参数 进行存储，本方法能有效减少快速道路路段内系统通行时间，提高行车速度，还 能不断依据实际应用后的信号控制与交通流数据持续学习最优策略。
附图说明
[0030]图1为状态集示意图。
[0031]图2为深度Q学习算法。
[0032]图3为30秒控制周期下系统旅行时间随训练次数的变化。
具体实施方式
[0033]下面结合实施例及附图对本专利技术进行详细说明：
[0034]本专利技术提供了一种解决快速道路拥堵问题的匝道控制方法，包括如下步骤：
[0035]步骤(1)：确定快速道路瓶颈路段，安置断面检测器于快速道路瓶颈上游、 瓶颈路段、瓶颈下游以及上匝道、下匝道路段，通过实时检测获取快速道路的交 通流数据信息(包括交通量、速度、占有率数据)；
[0036]断面检测器位置为距路网起点的距离，匝道检测器的位置为距匝道起点的距 离；
[0037]步骤(2)：在匝道进出口处设置信号灯，深度强化学习通过接收状态集和动 作集，由神经网络计算出Q值，智能体做出动作即改变信号灯色，控制进入主线 的车流，调节主线及匝道的车流密度；
[0038]由于交通状态是在变化中的，因此这个最优值也是动态的，没有固定的信号 配时，在需求高时严格限制匝道车流汇入，当需求降低时大量释放匝道车流，同 时能够捕捉到高峰时刻通行能力尚未达到的状态，释放匝道车辆。这一方面是深 度强化学习匝道控制策略和传统匝道控制策略最大的不同，也是它最大的优点。
[0039]步骤(3)：应用SUMO仿真平台进行仿真路网的搭建：
[0040]定义路网信息、路网尺寸、交通控制、检测器布设、驾驶模型、交通需求、 仿真时长，或者通过在XML文件中指定点、路段、交叉区域等路网物理属性的坐 标及相应长度，自动生成所需的路网结构；
[0041]步骤(4)：确定深度强化学习的三个指标，状态集、动作集、回报函数：
[0042]状态集为瓶颈密度、瓶颈上游密度、匝道密度以及匝道信号灯灯色组成；
[0043]因此交通流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解决快速道路瓶颈路段拥堵问题的匝道控制方法，其特征在于，包括如下步骤：步骤(1)确定快速道路瓶颈路段，安置线圈检测器；步骤(2)在匝道进出口处设置信号灯，深度强化学习通过接收状态集和动作集，计算出Q值，智能体做出动作即改变信号灯色，控制进入主线的车流，调节主线及匝道的车流密度；步骤(3)应用SUMO仿真平台进行仿真路网的搭建：定义路网信息、路网尺寸、交通控制、检测器布设、驾驶模型、交通需求、仿真时长，或者通过在XML文件中指定点、路段、交叉区域等路网物理属性的坐标及相应长度，自动生成所需的路网结构；步骤(4)确定深度强化学习的三个指标，状态集、动作集、回报函数，制定控制策略；步骤(5)智能体每次执行动作都会使信号灯色持续为绿(红)15秒或30秒，统计这15秒内或30秒内的流量信息获得相应的回报，并在第16秒或31秒重新选择动作；同时，在每次仿真的低需求情况进行预热，匝道控制策略不启动，智能体不进行学习，从高需求开始每30秒或15秒学习一次直至本次仿真结束；步骤(6)利用Python语言调用SUMO仿真平台的TraCI接口启动仿真，随后利用语句实时获取仿真中的数据，提取有用信息，进行控制策略的计算，得出相应的控制策略结果后，再调用TraCI接口设置仿真中的信号灯灯色以实现控制策略的应用。2.根据权利要求1所述的解决快速道路瓶颈路段拥堵问题的匝道控制方法，其特征在于，步骤(4)后增加一个步骤：增加参与控制的匝道个数减少匝道排队回溢现象，状态集为几个关键位置的车辆密度；动作集为...

【专利技术属性】
技术研发人员：李志斌，
申请(专利权)人：南京东控智能交通研究院有限公司，
类型：发明
国别省市：