一种基于深度强化学习的自反馈客流控制方法及装置制造方法及图纸

本申请提供了一种基于深度强化学习的自反馈客流控制方法以及装置。所述基于深度强化学习的自反馈客流控制方法包括：获取车站的当前时间点的历史时序数据、仿真数据以及短时预测数据；根据所述历史时序数据、仿真数据以及短时预测数据获取客流特征；根据所述客流特征获取车站设施能力负荷度评价；获取客流控制策略，所述客流控制策略包括多种控制行为；根据所述车站设施能力负荷度评价以及所述客流控制策略更新当前的车站客流控制决策方案。本申请根据客流历史时序数据、仿真数据以及短时预测数据对当前时间点的车站设施能力负荷度进行评价，一方面能够了解当前车站关键设施设备能力利用情况，另一方面可以根据当前车站关键设施设备能力利用情况反馈更新智能调整车站客流控制决策方案。

【技术实现步骤摘要】
一种基于深度强化学习的自反馈客流控制方法及装置
本申请属于轨道交通
，特别涉及一种基于深度强化学习的自反馈客流控制方法、基于深度强化学习的自反馈客流控制装置。
技术介绍
我国轨道交通事业正处于快速发展期，既有线及高铁线网规模持续扩张，但轨道站点滞留拥挤现象突出，经常导致站内过度拥挤，导致设计能力不能发挥，也使车站安全和乘客满意度受到严重影响，引起政府、轨道车站公众的极大关注。.目前，运营管理中对于控流站点的选取、控流时间范围及控流强度的设定主要依托管理部门的现场工作经验，缺乏合理的科学解释及验证，当遇到大型活动、异常气候、突发事件引发的突发性大客流时，由于缺乏有效的客流监测手段、客流趋势预测及预警评估技术手段，也缺乏明确妥当的处置策略，容易错失最佳处置时间，增加拥堵和产生客流踩踏风险。因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。
技术实现思路
本申请的目的是提供了一种基于深度强化学习的自反馈客流控制方法，以解决上述至少一方面的问题。在本申请的第一方面，一种基于深度强化学习的自反馈客流控制方法，所述基于深度强化学习的自反馈客流控制方法包括：获取车站的当前时间点的历史时序数据、仿真数据以及短时预测数据；根据所述历史时序数据、仿真数据以及短时预测数据获取客流特征；根据所述客流特征获取车站客流评分；获取客流控制策略，所述客流控制策略包括多种控制行为；根据所述车站客流评分以及所述客流控制策略更新当前时间点的车站客流控制决策方案。可选地，所述获取车站的当前时间点的历史时序数据、仿真数据以及短时预测数据包括：获取车站的当前时间点的历史时序数据；根据所述历史时序数据获取车站的当前时间点的仿真数据；获取车站的当前时间点的前一时间点的反馈处理结果；根据所述仿真数据以及所述反馈处理结果获取车站的当前时间点的短时预测数据。可选地，所述获取车站的当前时间点的历史时序数据包括：获取图像信息；根据图像信息获取行人轨迹信息；根据所述行人轨迹信息统计历史时序数据。可选地，所述根据所述历史时序数据获取车站的当前时间点的仿真数据包括：生成车站模型；生成流程逻辑；根据流程逻辑绘制逻辑流程图；根据所述逻辑流程图生成仿真控制逻辑；根据所述仿真控制逻辑以及所述历史时序数据对所述车站模型进行模拟仿真，从而获取当前时间点的仿真数据。可选地，所述根据所述仿真数据以及所述反馈处理结果获取车站的当前时间点的短时预测数据包括：构建LSTM模型；将所述仿真数据以及所述反馈处理结果输入至所述LSTM模型并获取所述LSTM模型的输出信息作为短时预测数据。可选地，所述根据所述历史时序数据、仿真数据以及短时预测数据获取客流特征包括：通过深度学习网络SAE提取所述历史时序数据、仿真数据以及短时预测数据的特征作为客流特征。可选地，所述根据所述客流特征获取车站客流评分包括：通过如下公式获取车站客流评分：其中，v为评价结果，客流特征值为z，zmax为流量以及流速标准；M为惩罚值。可选地，所述根据所述车站客流评分以及所述客流控制策略获取当前时间点的车站客流控制决策方案包括：获取状态-行动转换概率，所述状态-行动转换概率表示根据当前时间点的车站客流评分进行相应控制行为的概率；获取行动-状态转换概率，所述行动-状态转换概率表示在进行相应控制行为后评分在预定时间变化的概率；生成车站客流控制决策优化策略；根据所述状态-行动转换概率、行动-状态转换概率以及所述车站客流控制决策优化策略更新当前的车站客流控制决策方案。本申请还提供了一种基于深度强化学习的自反馈客流控制装置，所述基于深度强化学习的自反馈客流控制装置包括：数据获取模块，所述数据获取模块用于获取车站的当前时间点的历史时序数据、仿真数据以及短时预测数据；客流特征提取模块，所述客流特征提取模块用于根据所述历史时序数据、仿真数据以及短时预测数据获取客流特征；车站客流评分模块，所述车站客流评分模块用于根据所述客流特征获取车站客流评分；客流控制策略获取模块，所述客流控制策略获取模块用于获取客流控制策略，所述客流控制策略包括多种控制行为；更新模块，所述更新模块用于根据所述车站客流评分以及所述客流控制策略更新当前的车站客流控制决策方案。本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的基于深度强化学习的自反馈客流控制方法。本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的基于深度强化学习的自反馈客流控制方法。本申请至少存在以下有益技术效果：本申请根据历史时序数据、仿真数据以及短时预测数据对当前时间点的车站客流进行评分，一方面能够了解当前车站客流的情况，另一方面可以根据当前车站客流的情况实时智能调整车站客流控制决策方案。附图说明图1是本申请一个实施方式提供的基于深度强化学习的自反馈客流控制方法的流程示意图。图2是能够实现根据本申请一个实施例提供的基于深度强化学习的自反馈客流控制方法的电子设备的示例性结构图。具体实施方式为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。需要说明的是，在本专利技术的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。图1是本申请一个实施方式提供的图像标签获取方法的流程示意图。如图1所示的基于深度强化学习的自反馈客流控制方法包括：步骤1：获取车站的当前时间点的客流历史时序数据、仿真数据以及短时预测数据；步骤2：根据客流历史时序数据、仿真数据以及短时预测数据获取客流特征；步骤3：根据客流特征获取车站设施能力负荷度综合评价；步骤4：获取客流控制策略，客流控制策略包括多种控制行为；步骤5：根据车站车站设施能力负荷度综合评价以及客流控制策略更新当前的车站客流控制决策方案。本申请根据客流历史时序数据、仿真数据以及短时预测数据对当前时间点的车站车站设施能力负荷度进行综合评价，一方面能够了解当前车站关键设施设备能力利用情况，另本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的自反馈客流控制方法，其特征在于，所述基于深度强化学习的自反馈客流控制方法包括：/n获取车站的当前时间点的客流历史时序数据、仿真数据以及短时预测数据；/n根据所述客流历史时序数据、仿真数据以及短时预测数据提取环境特征；/n根据所述环境特征获取车站设施能力负荷度综合评价；/n获取客流控制策略，所述客流控制策略包括多种控制行为；/n根据所述车站设施能力负荷度综合评价以及所述客流控制策略更新当前的车站客流控制决策方案。/n

【技术特征摘要】
1.一种基于深度强化学习的自反馈客流控制方法，其特征在于，所述基于深度强化学习的自反馈客流控制方法包括：
获取车站的当前时间点的客流历史时序数据、仿真数据以及短时预测数据；
根据所述客流历史时序数据、仿真数据以及短时预测数据提取环境特征；
根据所述环境特征获取车站设施能力负荷度综合评价；
获取客流控制策略，所述客流控制策略包括多种控制行为；
根据所述车站设施能力负荷度综合评价以及所述客流控制策略更新当前的车站客流控制决策方案。


2.如权利要求1所述的基于深度强化学习的自反馈客流控制方法，其特征在于，所述获取车站的当前时间点的客流历史时序数据、仿真数据以及短时预测数据包括：
获取车站的当前时间点的客流历史时序数据；
根据所述客流历史时序数据获取车站当前时间点客流仿真数据；
获取车站的当前时间点的前一时间点的客流反馈处理结果；
根据所述客流仿真数据以及所述客流反馈处理结果获取车站当前时间点的客流短时预测数据。


3.如权利要求2所述的基于深度强化学习的自反馈客流控制方法，其特征在于，所述获取车站的当前时间点的客流历史时序数据包括：
获取图像预处理信息；
根据图像预处理信息获取行人轨迹信息；
根据所述行人轨迹信息分析统计获取客流历史时序数据。


4.如权利要求3所述的基于深度强化学习的自反馈客流控制方法，其特征在于，所述根据所述客流历史时序数据获取车站的当前时间点的客流仿真数据包括：
生成车站仿真模型；
设计生成流程逻辑；
设置流程功能实现对象；
根据流程逻辑绘制逻辑流程图；
根据所述逻辑流程图生成仿真控制逻辑；
根据仿真结果设置数据采集与统计；
根据所述仿真控制逻辑以及所述客流历史时序数据对所述车站模型进行模拟客流仿真，从而获取当前时间点的客流仿真数据。


5.如权利要求4所述的基于深度强化学习的自反馈客流控制方法，其特征在于，所述根据所述客流仿真数据以及所述反馈处理结果获取车站的当前时间点的客流短时预测数据包括：
构建LSTM模型；
将所述客流仿真数据以及所述反馈处理结果输入至所述LSTM模型并获取所述LSTM模型的输出信息作为短时预测数据。


6.如权利要求5所述的基于深度强化学习的自反馈客流控制方法，其特征在于，所述根据所述客流历史时序数据、仿真数据以及短时预测数据获取...

【专利技术属性】
技术研发人员：陈琪，王爱丽，窦元辰，张婷婷，郑宣传，高国飞，王子腾，李璐，刘宇，郑汉，
申请(专利权)人：中铁信北京网络技术研究院有限公司，中铁信息工程集团有限公司，深圳市地铁集团有限公司，北京城建设计发展集团股份有限公司，
类型：发明
国别省市：北京;11