基于强化学习的车站客流实时推演模型建立方法及系统技术方案

本说明书实施例提供了一种基于强化学习的车站客流实时推演模型建立方法及系统，其中，方法包括：基于系统动力学对车站系统结构及各区域间乘客流动因果关系进行识别和判断，根据识别判断结果构建车站客流演化仿真模型；以实时监控视频数据为基础，以仿真误差最小为目标，利用强化学习算法对乘客选择行为参数值不断进行学习优化，构建乘客选择行为实时修正模型，其中，所述乘客选择行为实时修正模型用于对车站客流演化仿真模型中乘客选择行为参数进行动态调整；将乘客选择行为实时修正模型嵌入车站客流演化仿真模型，建立基于强化学习的车站客流实时推演模型

【技术实现步骤摘要】
基于强化学习的车站客流实时推演模型建立方法及系统


[0001]本文件涉及计算机
，尤其涉及一种基于强化学习的车站客流实时推演模型建立方法及系统
。

技术介绍

[0002]随着我国城市经济的迅速发展和城市人口的不断增加，城市地面交通拥堵问题也更加严峻，不仅阻碍了城市的可持续发展也影响着城市居民的正常出行
。
轨道交通作为城市出行方式中的重要一环，由于其独特的地下运营方式，不易受其他城市交通方式和天气的干扰，运输量更大，效率更高，因而成为了缓解地面交通压力的首选
。
同时，由于其以电力为主的运行方式，具有能效高，排放低的特点，对推动交通强国和智慧城市建设，发展绿色交通，能够发挥巨大作用
。
城市轨道交通能够充分发挥促进我国经济发展
、
方便人民群众生活
、
保障社会安全稳定的重要作用
。
[0003]随着城市轨道交通车站空间不断扩大，功能不断增加，车站内部结构更加立体复杂
、
各设备设施相互衔接协同工作，客流流线复杂交织，形成了一个庞杂的网络系统
。
复杂的车站空间环境增大了车站运营管理的难度，对保障乘客安全和车站的正常运营提出了更高的要求
。
基于历史自动售检票系统
(Automatic Fare Collection
，
AFC)
数据的客流组织方法无法准确揭示和分析轨道交通车站内部网络系统中客流的流动需求和演化机理，拥挤状态传播规律以及控制管理机制
。
因此迫切需要获取新的客流数据来源，对车站内微观网络系统中的客流特征及组织方法进行深入研究，从定量化
、
精细化
、
系统最优化等方面建立一套科学理论与方法，提高预防和应对城市轨道交通车站运营风险的能力
。
[0004]客流的时空分布特征对客流群体行为分析
、
客流组织方式调整
、
运营安全管理等方面具有重要的理论支撑意义
。
针对车站内客流时空分布特征的研究大多基于仿真模型开展，现有的车站客流仿真以调研数据为研究基础，利用微观或宏观等多种仿真模型模拟乘客在车站内的移动，但受人力成本限制，调研数据通常选择一些典型日期和时段获取短时间内车站部分关键区域的客流信息，具有一定局限性
。
由于乘客的行为易受环境
、
时间
、
主观心理等多种因素影响，在不同场景下，乘客的选择和行为会呈现出一定差异，仅依靠历史调研数据进行客流仿真可能会在某些场景下出现偏离真实数据的情况
。
车站为了实时监控部分关键区域的客流状态，通常会设置监控摄像机，以实时获取并传输监控区域的客流信息，该数据多用于辅助工作人员判断该区域的风险等级，数据利用率不高
。

技术实现思路

[0005]本专利技术的目的在于提供一种基于强化学习的车站客流实时推演模型建立方法及系统，旨在解决现有技术中的上述问题
。
[0006]本专利技术提供一种基于强化学习的车站客流实时推演模型建立方法，包括：
[0007]基于系统动力学对车站系统结构及各区域间乘客流动因果关系进行识别和判断，根据识别判断结果构建车站客流演化仿真模型；
[0008]以实时监控视频数据为基础，以仿真误差最小为目标，利用强化学习算法对乘客选择行为参数值不断进行学习优化，构建乘客选择行为实时修正模型，其中，所述乘客选择行为实时修正模型用于对车站客流演化仿真模型中乘客选择行为参数进行动态调整；
[0009]将乘客选择行为实时修正模型嵌入车站客流演化仿真模型，建立基于强化学习的车站客流实时推演模型
。
[0010]本专利技术提供一种基于强化学习的车站客流实时推演模型建立系统，包括：
[0011]第一构建模块，用于基于系统动力学对车站系统结构及各区域间乘客流动因果关系进行识别和判断，根据识别判断结果构建车站客流演化仿真模型；
[0012]第二构建模块，用于以实时监控视频数据为基础，以仿真误差最小为目标，利用强化学习算法对乘客选择行为参数值不断进行学习优化，构建乘客选择行为实时修正模型，其中，所述乘客选择行为实时修正模型用于对车站客流演化仿真模型中乘客选择行为参数进行动态调整；
[0013]建立模块，用于将乘客选择行为实时修正模型嵌入车站客流演化仿真模型，建立基于强化学习的车站客流实时推演模型
。
[0014]本专利技术实施例还提供一种电子设备，包括：存储器
、
处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于强化学习的车站客流实时推演模型建立方法的步骤
。
[0015]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于强化学习的车站客流实时推演模型建立方法的步骤
。
[0016]采用本专利技术实施例可以包括以下有益效果：本专利技术实施例首先对车站系统结构和客流流动形成的因果关系进行分析，并在此基础上构建基于系统动力学的车站客流演化仿真模型，然后利用实时监控视频数据研究乘客选择行为的时变规律，建立乘客选择行为实时修正模型，并嵌入仿真模型中，实现引入实时数据的车站客流实时推演仿真，这有助于获取不同场景下车站客流分布的准确信息，为发现潜在客流风险
、
判断瓶颈节点以及客流组织策略调整提供理论支持
。
附图说明
[0017]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图
。
[0018]图1是本专利技术实施例的基于强化学习的车站客流实时推演模型建立方法流程图；
[0019]图2是本专利技术实施例的车站拓扑结构图；
[0020]图3是本专利技术实施例的站台客流量逻辑分析图；
[0021]图4是本专利技术实施例的站厅客流量逻辑分析图；
[0022]图5是本专利技术实施例的换乘客流量逻辑分析图；
[0023]图6是本专利技术实施例的父子节点关系图；
[0024]图7是本专利技术实施例的乘客选择行为实时修正逻辑流程图；
[0025]图8是本专利技术实施例的车站客流实时推演仿真流程框图；
[0026]图9是本专利技术实施例的非工作日场景下进站口通过客流量仿真结果对比图；
[0027]图
10
是本专利技术实施例的非工作日场景下换乘通道内通过客流量仿真结果对比图；
[0028]图
11
是本专利技术实施例的非工作日场景下站厅内楼梯口通过客流量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于强化学习的车站客流实时推演模型建立方法，其特征在于，包括：基于系统动力学对车站系统结构及各区域间乘客流动因果关系进行识别和判断，根据识别判断结果构建车站客流演化仿真模型；以实时监控视频数据为基础，以仿真误差最小为目标，利用强化学习算法对乘客选择行为参数值不断进行学习优化，构建乘客选择行为实时修正模型，其中，所述乘客选择行为实时修正模型用于对车站客流演化仿真模型中乘客选择行为参数进行动态调整；将乘客选择行为实时修正模型嵌入车站客流演化仿真模型，建立基于强化学习的车站客流实时推演模型
。2.
根据权利要求1所述的方法，其特征在于，所述方法进一步包括：利用所述车站客流实时推演模型进行车站客流实时推演
。3.
根据权利要求1所述的方法，其特征在于，所述基于系统动力学对车站系统结构及各区域间乘客流动因果关系进行识别和判断，根据识别判断结果构建车站客流演化仿真模型具体包括：将所述车站划分为站台
、
站厅和换乘通道三个区域，对三个区域内的客流状态
、
设施以及客流因果关系进行逻辑分析，生成车站系统结构的乘客流动因果关系结构树，基于所述乘客流动因果关系结构树对乘客流动因果关系进行量化，并构建系统动力学方程，基于所述系统动力学方程构建所述车站客流演化仿真模型，其中，所述系统动力学方程具体包括：站厅客流存量变化方程
、
站台客流存量变化方程
、
一般通道客流存量变化方程
、
换乘通道客流存量变化方程
、
站厅内楼扶梯处客流存量变化方程
、
检票处客流变化方程
、
下车客流变化方程以及上车客流变化方程
。4.
根据权利要求1所述的方法，其特征在于，所述以实时监控视频数据为基础，以仿真误差最小为目标，利用强化学习算法对乘客选择行为参数值不断进行学习优化，构建乘客选择行为实时修正模型具体包括：以实时监控视频数据为基础，引入实时视频客流数据，将监控区域处真实客流与仿真客流进行对比验证，将对比验证结果作为乘客选择行为实时修正模型参数的输入，以仿真误差最小为目标，利用强化学习算法
Q
‑
learning
对乘客选择行为参数不断进行学习优化，保持乘客选择行为参数的动态变化，构建乘客选择行为实时修正模型，其中，所述乘客选择行为参数包括路径选择行为和设备设施选择行为
。5.
根据权利要求1所述的方法，其特征在于，所述将乘客选择行为实时修正模型嵌入车站客流演化仿真模型，建立基于强化学习的车站客流实时推演模型具体包括：步骤1：确定时刻
t
＝
T
s
，其中，
T
s
为仿真开始时刻，设置时间步长为
Δ
t
；步骤2：初始化仿真环境并加载数据
,
构建车站客流演化仿真模型，其中，所述加载数据包括：进站客流量
,
下车客流量
,
节点的长宽高
、
最大容量
、
最大安全容量
、
最大流入流出能力
,
节点内乘客最大速度
,
节点间的流入流出关系以及乘客的选择行为参数初始值；步骤3：判断当前时刻
t
是否到达仿真结束时刻
T
q
，如果
t<T
q
，则执行步骤4，否则仿真结束；步骤4：获取实时视频客流数据，嵌入乘客选择行为实时修正模型，计算车站监控节点处仿真客流数据与真实客流数据的误差值；步骤5：建立基于强化学习的车站客流实时推演模型，更新
Q
值和误差值达到终止条件，
其中，所述终止条件为监控节点处仿真客流数据与真实客流数据的误差值是否达到要求的精度或达到系统规定的迭代次数；步骤6：更新选择节点的乘客选择行为参数；步骤7：更新车站列车节点的流入客流量和流出客流量；步骤8：更新车站除列车节点外其他节点的流入客流量和流出客流量；步骤9：更新车站各节点的客流存量；步骤
10
：更新车站各节点在下一时间步长允许流出的客流量；步骤
11
：更新车站各节点的动态属性，其中，所述动态属性包括客流密度
、
客流速度和乘客通过各节点的行走时长；步骤
12
：更新时间步长，使
t
＝
t+
Δ
t
，返回步骤
3。6.
一种基于强化学习的车站...

【专利技术属性】
技术研发人员：王雅观，秦勇，豆飞，魏运，郭建媛，王艳辉，管洋，张惠茹，孙璇，刘宇然，只巍，
申请(专利权)人：北京市地铁运营有限公司技术创新研究院分公司，
类型：发明
国别省市：