一种突发事件下的列车动态调整方法及系统技术方案

本发明专利技术提供了一种突发事件下的列车动态调整方法及系统，包括：记录所有突发事件下的历史调图数据，采集当前突发事件的同时段同方向列车的数据信息，确定列车的运营场景条件，根据数据信息和运营场景条件搭建场景库；根据历史调图数据和马尔科夫决策过程建立基于历史数据集的环境模型；根据场景库和基于历史数据集的环境模型，通过智能体进行深度强化学习，得到列车动态调整模型；通过列车动态调整模型对当前突发事件的同时段同方向的列车的实绩运行图进行在线动态调整。该方法提高了动态调整近似最优可行解的求解速度和质量，解决了突发事件下列车实绩运行图的动态调整问题。

A Method and System of Train Dynamic Adjustment in Emergency

【技术实现步骤摘要】
一种突发事件下的列车动态调整方法及系统
本专利技术涉及铁路运营调度领域，尤其涉及一种突发事件下的列车动态调整方法及系统。
技术介绍
随着“交通强国，铁路先行”战略的提出和庞大运营里程的建设，“八横八纵”的现代化高速铁路网将在2035年实现互联互通。网络化运营条件下的列车运行状态具有非线性、快速演变性和不稳定性等特点，线路上出现的故障若处置不当，线路上的一列列车的延迟将快速传播给本线其他列车以及与该线路相邻接的跨线列车，会直接影响到铁路线路运营能力和列车的运行效率。目前，铁路突发事件下的应急处置仍是以调度员人工处置的方式为主要处置方式，由于其自动化程度较低、人工经验依赖度较高，且调整策略全局最优性难以保证，现有技术中还没有其他自动化程度高的列车调度方法，因此，亟需一种突发事件下高效快速应急处置列车的动态调整方法。
技术实现思路
本专利技术提供了一种突发事件下的列车动态调整方法及系统，以解决突发事件下列车实绩运行图的动态调整问题。为了实现上述目的，本专利技术采取了如下技术方案。本专利技术的一方面提供了一种突发事件下的列车动态调整方法，包括：记录所有突发事件下的历史调图数据，采集当前突发事件的同时段同方向列车的数据信息，确定所述列车的运营场景条件，根据所述数据信息和运营场景条件搭建场景库；调取当前突发事件下对应的的同时段同方向的历史调图数据，根据历史调图数据和马尔科夫决策过程建立基于历史数据集的环境模型；根据所述场景库和所述的基于历史数据集的环境模型建立环境模型，通过智能体对所述环境模型进行学习，得到列车动态调整模型；通过列车动态调整模型对当前突发事件的同时段同方向的列车的实绩运行图进行在线动态调整。进一步地，采集当前突发事件的同时段同方向列车的数据信息，确定所述列车的运营场景条件，包括：所述的列车数据信息包括列车车次、列车时刻表数据和列车状态；所述的列车运营场景条件包括：铁路运营场景线路的基础设施、布局、车站结构和列车作业时间。进一步地，根据历史调图数据和马尔科夫决策过程建立基于历史数据集的环境模型，包括：所述的马尔科夫决策过程的参数表达式为：<S,A,P,R>，其中S,A,P,R分别表示状态空间、动作空间、状态转移概率和奖励函数空间。进一步地，基于历史数据集的环境模型包括通过历史调图数据和马尔科夫决策过程预测的状态转移概率和回报值。进一步地，状态转移概率如下式(1)所示：P(s′|s,a)＝N(s,a,s′)/N(s,a)(1)回报值如下式(2)所示：其中：P(s′|s,a)为当前状态-动作(s,a)转移到下一状态s′的转移概率，N(s,a)表示当前状态s执行动作a的总次数，N(s,a,s′)表示从状态-动作(s,a)转移到下一状态s′的次数；为状态-动作接收的平均回报值为，reward为每一次状态动作转移的奖励函数。进一步地，通过智能体对所述环境模型进行学习，包括：所述智能体通过深度Q学习的方法对所述环境模型进行学习。本专利技术的另一方面提供了一种突发事件下的列车动态调整系统，包括：信息采集模块、数据存储模块、场景库搭建模块、模型训练模块和模型输出模块；信息采集模块，用于采集当前突发事件的同时段同方向列车的数据信息；数据存储模块，用于存储所述信息采集模块采集的数据信息和存储所有突发事件下的历史调图数据，以及列车的运营场景条件；场景库搭建模块，用于调取所述数据存储模块中的信息，进行场景库的搭建；模型训练模块，用于调取所述数据存储模块中的历史调图数据和所述场景库模块搭建的场景库，根据所述历史调图数据建立基于历史数据集的环境模型，并根据所述的场景库和基于历史数据集的环境模型得到环境模型进行离线学习，得到列车动态调整模型；模型输出模块，用于根据所述的模型训练模块得到的列车动态调整模型对当前突发事件的线路进行在线调整。进一步地，信息采集模块，用于采集当前突发事件的同时段同方向列车的数据信息包括列车车次、列车时刻表数据和列车状态信息；数据存储模块，用于存储列车运营场景条件包括：铁路运营场景线路的基础设施、布局、车站结构和列车作业时间。进一步地，模型训练模块，具体用于根据历史调图数据和马尔科夫决策过程建立基于历史数据集的环境模型，所述的马尔科夫决策过程的参数表达式为：<S,A,P,R>，其中S,A,P,R分别表示状态空间、动作空间、状态转移概率和奖励函数空间；所述的模型训练模块建立的基于历史数据集的环境模型包括根据历史调图数据和马尔科夫决策过程预测状态转移概率和回报值；所述的状态转移概率如下式(1)所示：P(s′|s,a)＝N(s,a,s′)/N(s,a)(1)所述的回报值如下式(2)所示：其中：P(s′|s,a)为当前状态-动作(s,a)转移到下一状态s′的转移概率，N(s,a)表示当前状态s执行动作a的总次数，N(s,a,s′)表示从状态-动作(s,a)转移到下一状态s′的次数；为状态-动作接收的平均回报值为，reward为每一次状态动作转移的奖励函数。进一步地，模型训练模块根据所述的场景库和基于历史数据集的环境模型得到的环境模型，通过深度Q学习的方法进行学习，得到列车动态调整模型。由上述本专利技术的突发事件下的列车动态调整方法及系统提供的技术方案可以看出，本专利技术综合强化学习无模型数据训练和基于历史调图数据的双重优势，面对线路上的突发事件，给出最优动态调整策略；基于历史调图数据集预测状态转移概率和回报值进行模型学习的优势，一方面，对状态转移概率进行预测，改进学习模型，提高学习效率；另一方面，对奖励函数的回报值进行预测，辅助数据训练中最优动态调整策略的寻找，从而实现突发事件下列车动态调整方法的智能化、自动化和数字化；基于历史数据集模型的奖励函数的设置明确了列车动态调整的最优化指标，在场景库的有效表征下，提高了动态调整近似最优可行解的求解速度和质量，解决了突发事件下列车实绩运行图的动态调整问题。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1的突发事件下的列车动态调整方法示意图；图2为本专利技术实施例1的同时段的京沪高速线下行线路运行示意图；图3本专利技术实施例1的场景库结构图；图4为基于深度强化学习的列车动态调整方法反馈控制示意图；图5为列车智能体与环境模型的更新规则示意图；图6为本专利技术实施例2的突发事件下的列车动态调整系统示意图；图7为本专利技术实施例3的突发事件下的列车动态调整系统仿真界面示意图。具体实施方式下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存本文档来自技高网...

【技术保护点】
1.一种突发事件下的列车动态调整方法，其特征在于，包括：记录所有突发事件下的历史调图数据，采集当前突发事件的同时段同方向列车的数据信息，确定所述列车的运营场景条件，根据所述数据信息和运营场景条件搭建场景库；调取当前突发事件下对应的的同时段同方向的历史调图数据，根据历史调图数据和马尔科夫决策过程建立基于历史数据集的环境模型；根据所述场景库和所述的基于历史数据集的环境模型建立环境模型，通过智能体对所述环境模型进行学习，得到列车动态调整模型；通过列车动态调整模型对当前突发事件的同时段同方向的列车的实绩运行图进行在线动态调整。

【技术特征摘要】
1.一种突发事件下的列车动态调整方法，其特征在于，包括：记录所有突发事件下的历史调图数据，采集当前突发事件的同时段同方向列车的数据信息，确定所述列车的运营场景条件，根据所述数据信息和运营场景条件搭建场景库；调取当前突发事件下对应的的同时段同方向的历史调图数据，根据历史调图数据和马尔科夫决策过程建立基于历史数据集的环境模型；根据所述场景库和所述的基于历史数据集的环境模型建立环境模型，通过智能体对所述环境模型进行学习，得到列车动态调整模型；通过列车动态调整模型对当前突发事件的同时段同方向的列车的实绩运行图进行在线动态调整。2.根据权利要求1所述的方法，其特征在于，所述的采集当前突发事件的同时段同方向列车的数据信息，确定所述列车的运营场景条件，包括：所述的列车数据信息包括列车车次、列车时刻表数据和列车状态；所述的列车运营场景条件包括：铁路运营场景线路的基础设施、布局、车站结构和列车作业时间。3.根据权利要求1所述的方法，其特征在于，所述的根据历史调图数据和马尔科夫决策过程建立基于历史数据集的环境模型，包括：所述的马尔科夫决策过程的参数表达式为：S,A,P,R，其中S,A,P,R分别表示状态空间、动作空间、状态转移概率和奖励函数空间。4.根据权利要求1所述的方法，其特征在于，所述的基于历史数据集的环境模型包括通过历史调图数据和马尔科夫决策过程预测的状态转移概率和回报值。5.根据权利要求4所述的方法，其特征在于，所述的状态转移概率如下式(1)所示：P(s′|s,a)＝N(s,a,s′)/N(s,a)(1)所述的回报值如下式(2)所示：其中：P(s′|s,a)为当前状态-动作(s,a)转移到下一状态s′的转移概率，N(s,a)表示当前状态s执行动作a的总次数，N(s,a,s′)表示从状态-动作(s,a)转移到下一状态s′的次数；为状态-动作接收的平均回报值为，reward为每一次状态动作转移的奖励函数。6.根据权利要求1所述的方法，其特征在于，所述的通过智能体对所述环境模型进行学习，包括：所述智能体通过深度Q学习的方法对所述环境模型进行学习。7.一种突发事件下的列车动态调整系统，其特征在于，包括：信息采集模块、数据存储模块、...

【专利技术属性】
技术研发人员：董海荣，王荣笙，高士根，乐逸祥，张琦，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京,11