【技术实现步骤摘要】
一种基于多智能体强化学习的混行多匝道协作合流控制方法
[0001]本专利技术涉及一种基于多智能体强化学习的混行多匝道协作合流控制方法，在连续入口匝道，通过分别并行控制各合流控制区主线和匝道中智能网联车辆的相互协同实现混行车流的高效汇流，属于智能交通控制领域。
技术介绍
[0002]智能网联汽车，作为新一轮科技革命背景下的新兴产物，融合了自动驾驶技术和车联网技术，通过搭载先进的车载传感器、控制器、执行器等装置，实现更高级的多车协作，不仅可以提高交通流运行效率，还可以消除负面的环境和社会影响，有助于实现更加安全、便捷、舒适和绿色的出行模式。鉴于智能网联车辆联网可控的特点，很多研究提出通过直接控制智能网联车辆的运行来改善交通流的运行，其中，针对高速公路入口匝道区域的合流控制问题是研究热点之一。另，强化学习，作为机器学习领域的一个重要组成部分，要求智能体以“试错”的方式不断强化自己的决策能力，在交通控制领域尤其是匝道控制中得到了广泛的应用。据相关研究预计，到2040年智能网联车辆的市场占有率才能达到50％，可见，未来较长一段过渡期内...
【技术保护点】
【技术特征摘要】
1.一种基于多智能体强化学习的混行多匝道协作合流控制方法，其特征在于，对各入口匝道分别并行实施如下协作合流控制过程：步骤1：在高速公路连续入口匝道路网中，监测各入口匝道合流控制区内主线交通运行状态，若某个入口匝道合流控制区主线内存在交通拥堵，则进行至步骤2，否则继续监测；步骤2：对存在交通拥堵的入口匝道合流控制区，检测合流点上游入口匝道的首车类型，如是智能网联车辆则进行至步骤3，若不是则匝道车辆正常行驶，返回步骤1；步骤3：采集所有实施协作合流控制过程的入口匝道附近的交通状态信息，中央处理器根据训练得到的基于多智能体强化学习的多匝道协作控制模型确定协作控制指令，在发生拥堵的入口匝道处，路侧控制器根据收到的协作控制指令，控制步骤2检测的匝道智能网联头车被赋值等待时间W＝W
RL
，进入步骤4；步骤4：被控智能网联头车在等待时间W内于合流点上游停车等待，直到实际等待时长τ达到W，匝道等待车辆恢复正常行驶，进入步骤5；步骤5：对执行完匝道智能网联车辆协作的入口匝道，检测合流点上游主线最外侧车道首车类型，若是智能网联车辆，则使该车在合流点上游以固定时长W
Z
减速/停车等待让行，使恢复正常行驶的匝道等待车辆能够顺利汇入主线，之后主线等待车辆恢复正常行驶，返回步骤1，对于匝道区域的交通拥堵问题重复步骤1
‑
5的协作控制过程；其中所述基于多智能体强化学习的多匝道协作控制模型通过如下方法训练获得：c1、基于高速公路连续入口匝道的路网结构和交通需求集合，构建混行交通流训练环境；c2、选择恰当的多智能体强化学习算法，设计算法的状态空间、动作空间、奖励函数，最终构建形成多智能体；c3、将多智能体与训练环境相结合，混行交通流训练环境会实时依据智能体中多匝道协作控制模型给出的动作空间进行混行交通流仿真，多智能体会实时采集混行交通流仿真的状态空间输入至多匝道协作控制模型中并计算奖励函数、损失函数以训练多匝道协作控制模型，设置训练参数，随着训练环境中混行交通流的运行，多智能体不断更新多匝道协作控制模型策略，根据设定的收敛条件，确定为模型已收敛，则停止训练，获得基于多智能体强化学习的多匝道协作控制模型。2.根据权利要求1所述的方法，其特征在于，所述各入口匝道合流控制区包括：在各入口匝道处，位于合流点上、下游的高速公路主线部分路段、位于合流点上游的入口匝道部分路段及加速车道全路段。3.根据权利要求1所述的方法，其特征在于，监测各入口匝道合流控制区内主线交通运行状态的路段为合流点下游的加速车道长度一半的主线路段；判断各入口匝道监测路段交通运行状态指标包括：各合流控制区主线的交通量、速度、密度。4.根据权利要求1所述的方法，其特征在于，所述实施协作合流控制过程的入口匝道附近的交通状态信息包括：各入口匝道合流控制区内，主线交通量、速度、密度，入口匝道交通量、密...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。