虚拟编组车载日志数据处理方法、平台、设备及存储介质技术

本公开的实施例提供了一种虚拟编组车载日志数据处理方法、平台、设备及存储介质。所述方法包括监控远程网盘，并将上传至远程网盘的原始日志数据存储至分布式文件系统，其中，原始日志数据是用于记录虚拟编组列车运行信息的半结构化文本，原始日志数据包括车组速度信息；将原始日志数据解析为结构化数据并存储至分布式文件系统的目标数据表中；按照业务域对从目标数据表中，获取并处理虚拟编组与业务域对应的结构化数据，以得到虚拟编组与业务域对应的业务数据，其中，虚拟编组中编组两车的对应关系根据编组建立条件和车组速度信息确定。以此方式，可以解决当前对虚拟编组车载日志数据的处理效率较低的技术问题。据的处理效率较低的技术问题。据的处理效率较低的技术问题。

【技术实现步骤摘要】
虚拟编组车载日志数据处理方法、平台、设备及存储介质


[0001]本公开涉及智能轨道交通
，尤其涉及一种虚拟编组车载日志数据处理方法、平台、设备及存储介质。

技术介绍

[0002]随着轨道交通乘客数量的日益增加以及线网规模不断扩大，城市交通体系中客流存在着动态变化，城市轨道交通客流需求时空分布不均衡导致局部区域、不同时段提供的运力与客流需求之间不匹配的矛盾较为突出。虚拟编组旨在实现更好的适应客流
‑
车流的精准匹配，在高峰时段多列车组大编队运行，提高发车频率缩短列车运行间隔，快速缓解客流压力，平峰、低峰时段小编组运行，节约资源，降低运营成本，提升乘客服务。虚拟编组列车在运行过程中会产生大量的运行数据，这些数据都是半结构化的文本数据，信息量非常大并且异构性比较强。当前虚拟编组车载日志的分析，尚且处于初步阶段，基本上都是在远程手动拉取数据然后在本地进行解析，对解析完的数据进行分析再进行手工绘制图表以及制作表格等，对数据的处理效率较低。
[0003]针对当前对虚拟编组车载日志数据的处理效率较低的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本公开提供了一种虚拟编组车载日志数据处理方法、平台、设备及存储介质。
[0005]根据本公开的第一方面，提供了一种虚拟编组车载日志数据处理方法。该方法包括：监控远程网盘，并将上传至远程网盘的原始日志数据存储至分布式文件系统，其中，原始日志数据是用于记录虚拟编组列车运行信息的半结构化文本，原始日志数据包括车组速度信息；将原始日志数据解析为结构化数据并存储至分布式文件系统的目标数据表中；按照业务域对从目标数据表中，获取并处理虚拟编组与业务域对应的结构化数据，以得到虚拟编组与业务域对应的业务数据，其中，虚拟编组中编组两车的对应关系根据编组建立条件和车组速度信息确定。
[0006]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，按照业务域对从目标数据表中，获取并处理虚拟编组与业务域对应的结构化数据，以得到虚拟编组与业务域对应的业务数据，包括：对结构化数据进行数据去重、数据清洗和维度处理，得到明细数据；获取虚拟编组与业务域对应的明细数据，并根据与业务域对应的预设规则对虚拟编组与业务域对应的明细数据进行分析计算，得到虚拟编组与业务域对应的业务数据。
[0007]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在业务域为编组列车区间运行时长的情况下，获取虚拟编组与业务域对应的明细数据，并根据与业务域对应的预设规则对虚拟编组与业务域对应的明细数据进行分析计算，得到虚拟编组与业务域对应的业务数据包括：根据明细数据中的车组速度信息，确定出车组在目标区间的区间终点站停车时刻；将在目标区间的区间终点站台停车时刻之差在指定时长内的两个车组
作为编组两车，其中，编组两车包括前车和后车；根据编组两车中每个车组在目标区间的区间始发站台发车时刻和区间终点站台停车时刻，确定出前车在目标区间内的区间运行时长、后车在目标区间内的区间运行时长。
[0008]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，该方法还包括：根据应用需求获取业务数据，并对业务数据进行加工，以提供应用需求对应的数据服务。
[0009]根据本公开的第二方面，提供了一种虚拟编组车载日志数据处理平台。该平台包括：
[0010]数据总线，用于监控远程网盘，并将上传至远程网盘的原始日志数据存储至分布式文件系统，其中，原始日志数据是用于记录虚拟编组列车运行信息的半结构化文本，原始日志数据包括车组速度信息；
[0011]原始层，用于将原始日志数据解析为结构化数据并存储至分布式文件系统的目标数据表中，其中，结构化数据包括多个字段以及每个字段对应的值；
[0012]统一数仓层，用于按照业务域对从目标数据表中，获取并处理虚拟编组与业务域对应的结构化数据，以得到虚拟编组与业务域对应的业务数据，其中，虚拟编组中编组两车的对应关系根据编组建立条件和车组速度信息确定。
[0013]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，统一数仓层包括：
[0014]明细数据层，用于对结构化数据进行数据去重、数据清洗和维度处理，得到明细数据；
[0015]汇总数据层，用于获取虚拟编组与业务域对应的明细数据，并根据与业务域对应的预设规则对虚拟编组与业务域对应的明细数据进行分析计算，得到虚拟编组与业务域对应的业务数据。
[0016]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，汇总数据层还用于：根据明细数据中的车组速度信息，确定出车组在目标区间的区间终点站停车时刻；将在目标区间的区间终点站台停车时刻之差在指定时长内的两个车组作为编组两车，其中，编组两车包括前车和后车；在业务域为编组列车区间运行时长的情况下，根据编组两车中每个车组在目标区间的区间始发站台发车时刻和区间终点站台停车时刻，确定出前车在目标区间内的区间运行时长、后车在目标区间内的区间运行时长。
[0017]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，数据平台还包括：
[0018]应用层，用于根据应用需求从统一数仓层获取业务数据，并对业务数据进行加工，以提供应用需求对应的数据服务。
[0019]根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
[0020]根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面和/或第二发面的方法。
[0021]本公开通过对上传至远程网盘的原始日志数据进行监控和自动存储，并将原始日志数据解析为结构化数据，按照不同的业务域进行数据处理，实现了虚拟编组车载日志数
据的自动化获取、解析、处理，提高了虚拟编组车载日志数据的处理效率。
[0022]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0023]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0024]图1示出了根据本公开的实施例的虚拟编组车载日志数据处理方法的流程图；
[0025]图2示出了根据本公开的实施例的虚拟编组车载日志数据处理平台的框图；
[0026]图3示出了传统车载日志集成以及解析方案和本公开实施例方案的对比流程图；
[0027]图4示出了根据本公开的实施例的原始半结构化文本数据示意图；
[0028]图5示出了根据本公开的实施例的半结构化文本数据结构化解析后的数据；
[0029]图6示出了根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.虚拟编组车载日志数据处理方法，其特征在于，包括：监控远程网盘，并将上传至所述远程网盘的原始日志数据存储至分布式文件系统，其中，所述原始日志数据是用于记录虚拟编组列车运行信息的半结构化文本，所述原始日志数据包括车组速度信息；将所述原始日志数据解析为结构化数据并存储至所述分布式文件系统的目标数据表中；按照业务域对从所述目标数据表中，获取并处理虚拟编组与业务域对应的结构化数据，以得到所述虚拟编组与业务域对应的业务数据，其中，所述虚拟编组中编组两车的对应关系根据编组建立条件和所述车组速度信息确定。2.根据权利要求1所述的方法，其特征在于，所述按照业务域对从所述目标数据表中，获取并处理虚拟编组与业务域对应的结构化数据，以得到所述虚拟编组与业务域对应的业务数据，包括：对所述结构化数据进行数据去重、数据清洗和维度处理，得到明细数据；获取所述虚拟编组与业务域对应的明细数据，并根据与业务域对应的预设规则对所述虚拟编组与业务域对应的明细数据进行分析计算，得到所述虚拟编组与业务域对应的业务数据。3.根据权利要求2所述的方法，其特征在于，在业务域为编组列车区间运行时长的情况下，所述获取所述虚拟编组与业务域对应的明细数据，并根据与业务域对应的预设规则对所述虚拟编组与业务域对应的明细数据进行分析计算，得到所述虚拟编组与业务域对应的业务数据包括：根据所述明细数据中的车组速度信息，确定出车组在目标区间的区间终点站停车时刻；将在所述目标区间的区间终点站台停车时刻之差在指定时长内的两个车组作为编组两车，其中，所述编组两车包括前车和后车；根据所述编组两车中每个车组在所述目标区间的区间始发站台发车时刻和区间终点站台停车时刻，确定出所述前车在所述目标区间内的区间运行时长、所述后车在所述目标区间内的区间运行时长。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据应用需求获取业务数据，并对所述业务数据进行加工，以提供所述应用需求对应的数据服务。5.一种虚拟编组车载日志数据处理平台，其特征在于，包括：数据总线，用于监控远程网盘，并将上传至所述远程网盘的原始日志数据存储至分布式...

【专利技术属性】
技术研发人员：宋康，简锐锋，
申请(专利权)人：交控科技股份有限公司，
类型：发明
国别省市：