一种铁路列车记录载体的复杂数据处理的方法技术

本发明专利技术提供一种铁路列车记录载体的复杂数据处理的方法，解决了铁路列车大量监控记录载体数据有大量碎片文件和个别巨型文件对传输效率影响较大的问题；本发明专利技术根据记录载体数据文件的复杂类型，通过对下载分块并预设阈值，采集模块判断是否满足文件块阈值进行传输，对不满足文件块阈值的数据移到数据处理模块待处理，通过数据处理模块判断后对大量碎片文件，或个别巨型文件进行处理，最大化利用5G资源，使数据传输平均速率从几十MB/s提高到200MB/s以上；即保证了列车车载传输设备和地面平台站点之间传输文件的速率，又给大数据量传输到地面平台站点提供了基础保障。本发明专利技术适用轨道交通记录载体数据转储。用轨道交通记录载体数据转储。用轨道交通记录载体数据转储。

【技术实现步骤摘要】
一种铁路列车记录载体的复杂数据处理的方法


[0001]本专利技术涉及铁路列车记录载体数据文件转储领域，尤其涉及一种铁路列车记录载体的复杂数据处理的方法。

技术介绍

[0002]在轨道交通行业，列车、动车、地铁、巡检车、综合检测车等移动装备在行车过程中会产生海量数据，单次交路可能会产生10GB到超过100GB的数据需要转储落地。为保障铁路车载数据在有限的转储时间窗内完成转储落地，除了增加转储传输带宽外，通过对数据文件本身的处理，从而提高传输速率也是一种提升数据转储效率的可行办法。
[0003]轨道交通行业铁路列车行驶过程中产生大量的监控数据需要通过车地转储方案落地，且数据种类繁杂多样，文件类型复杂，主要是有大量碎片文件和个别巨型文件对传输效率影响较大。对于碎片化程度高的文件，此类型的数据在一般情况下直接传输速率波动极大，且文件越小传输速率越低，在此状况下，即便在传输时拥有大带宽的资源也是一种浪费。而对于单个巨型文件，在列车每次到达车站的短时间内都难以完成整个文件的传输，导致整个数据落地受影响很大。因此如果对于数据本身不进行处理，在列车到达车站的有限时间内（一般几分钟）就难以实现大量数据快速的上传到地面平台站点。

技术实现思路

[0004]本专利技术提供一种铁路列车记录载体的复杂数据处理的方法，解决了现有技术中数据上传给地面平台站点缓慢的问题，能够在轨道列车停站后的几分钟内，快速将大量复杂文件类型的车载数据转储到地面平台站点，实现了高效率数据转储到地面平台站点的方式。
[0005]本专利技术提供的一种铁路列车记录载体的复杂数据处理的方法，应用于高速缓存装置，如下步骤：步骤1、采集模块下载车载设备上产生的第一目标数据文件，获取下载第一目标数据文件名称、大小和数量；采集模块将第一目标数据下载到该采集模块的下载区目录，并累计下载第一目标数据大小和数量；采集模块发送通知消息给数据处理模块；所述通知消息包括第一目标数据的实际大小和数量；步骤2、数据处理模块接收到采集模块的通知消息后，判断所述第一目标数据文件是否满足预处理条件，若判断结果为满足预处理条件，数据处理模块将第一目标数据文件移到数据处理模块的处理区，并通知采集模块继续下载；数据处理模块是将第一目标数据文件按不同类型数据文件进行判断处理，并生成第二目标数据文件，或第三目标数据文件移到数据处理模块的待传区预分配的第n个blockn目录中， blockn是待传区第n个目录,其中，n是指排序的数字后缀，n≥1；步骤3、数据上传模块接收到数据处理模块发出的上传数据的指令，数据上传模块将待传区的blockn目录中待传输的第二目标数据文件，或第三目标数据文件，按顺序开始
上传给地面平台站点。
[0006]优选地，步骤1中的采集模块发送通知消息给数据处理模块，是指采集模块下载文件满足阈值后，所述采集模块发送通知消息给数据处理模块。
[0007]优选地，判断第一目标数据文件是否满足预处理条件，是指数据处理模块判断第一目标数据文件是否为碎片文件；如果判断结果为碎片文件，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到数据处理模块的待传区的第n个blockn目录中；如果数据处理模块判断第一目标数据文件不是碎片文件，继续判断是否为目标单个大文件，如果判断结果为是，对目标单个大文件进行处理形成第二数据文件，该处理是将目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；第二数据文件的M个文件块依次移到数据处理模块待传区第n个blockn目录中。
[0008]优选地，如果判断结果为是，对目标单个大文件进行处理形成第二数据文件，处理是将目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；是指将待处理目标单个大文件除以预设单个文件块大小的阈值得到拆分后M个文件块数，该文件块的名称为在所述目标单个大文件名后缀加第M块，其中，M为1,2，
……
,M；打开该目标单个大文件，从目标单个大文件起始处开始读取数据写入到M个文件块的第1个文件块，读取数据达到预设的单个文件块大小的阈值后停止，生成第二数据文件的第1个文件块，所述第1个文件块，记：原文件名.part1；然后继续从第1个文件块结束的位置之后继续读取预设的单个文件块大小的阈值的数据生成第2个文件块，记：原文件名.part2，同理以此类推，直到生成第M个文件块结束时，将删除第一目标数据文件。
[0009]优选地，文件块的名称为在目标单个大文件名后缀加第M块，是指第二目标数据文件的第M个文件块，记：原文件名.partM，数据处理模块将第M个文件块移动到待传区/upload/blockn目录中，同时数据处理模块记录所述blockn目录中的文件信息，该文件信息包括文件大小、数量、是否拆分、拆分文件块总块数、当前文件块序号等。
[0010]优选地，如果判断结果为碎片文件，是指碎片文件判断依据是第一目标数据文件的单位大小为1GB内文件数量超过400个，则第一目标数据文件为碎片文件；其中，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到数据处理模块的待传区第n个的blockn目录中；是指碎片文件的处理，使用压缩工具，将第一目标数据文件打包成为一个单独文件生成第三目标数据文件，记：打包文件名.tar，并将生成第三目标数据文件放入上传模块的待传区第n个的blockn目录中；第三目标数据文件存放路经即为：/upload/blockn/打包文件名.tar，该upload为待传区目录。
[0011]优选地，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到待传区第n个的blockn目录中，还包括打包碎片文件生成第三目标数据文件以文件块的形式按顺序存放第n个blockn目录中，如果待传区目录已经存在待上传数据：将第一目标数据文件处理完成的数据形成第三目标数据文件后，数据处理模块在待传区按顺序生成第n个blockn目录，然后将第三目标数据文件移动到第n个blockn目录中；数据上传模块将第n个blockn目录中的数据作为传输单元上传。
[0012]优选地，步骤3中具体是指：数据上传模块在列车到达地面平台站点时，接收到数据处理模块发出的上传文件的指令后，数据上传模块上传第n个blockn目录中的数据，同时
会将第n个blockn目录的统计信息上报到地面平台站点；地面平台站点获取到第n个blockn目录中的数据和统计信息，统计信息包括第一目标数据文件打包处理，或者进行拆分处理；如果统计信息是进行拆分处理，还包括文件的拆分信息、拆分总块数、当前接收文件块序号；地面平台站点接收的blockn目录中的数据为第一目标数据文件拆分处理时，依次全部接收M个文件块的n个blockn目录后，按照M的顺序依次全部以二进制的方式读取文件名为：原文件名.partM，文件内容以二进制的方式写入到所述原文件名文件目录中，全部读写完成后的原文件名为还原的第一目标数据文件的原文件，还原原文件后删除掉第二目标数据文件的M个文件块。
[0013]优选地，数据上传模块接收到数据处理模块发出的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种铁路列车记录载体的复杂数据处理的方法，应用于高速缓存装置，其特征在于，所述方法包括如下步骤：步骤1、采集模块下载车载设备上产生的第一目标数据文件，获取下载所述第一目标数据文件名称、大小和数量；所述采集模块将第一目标数据下载到所述采集模块的下载区目录，并累计下载第一目标数据大小和数量；所述采集模块发送通知消息给数据处理模块；所述通知消息包括第一目标数据的实际大小和数量；步骤2、数据处理模块接收到所述采集模块的通知消息后，判断所述第一目标数据文件是否满足预处理条件，若判断结果为满足预处理条件，所述数据处理模块将所述第一目标数据文件移到所述数据处理模块的处理区，并通知所述采集模块继续下载；所述数据处理模块是将第一目标数据文件按不同类型数据文件进行判断处理，并生成第二目标数据文件，或第三目标数据文件移到所述数据处理模块的待传区预分配的第n个blockn目录中，所述blockn是待传区第n个目录,其中，n是指排序的数字后缀，n≥1；步骤3、数据上传模块接收到数据处理模块发出的上传数据的指令，所述数据上传模块将待传区的blockn目录中待传输的第二目标数据文件，或第三目标数据文件，按照顺序开始上传给地面平台站点。2.根据权利要求1所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述步骤1中的所述采集模块发送通知消息给数据处理模块，是指所述采集模块下载文件满足阈值后，所述采集模块发送通知消息给数据处理模块。3.根据权利要求1所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述步骤2中的所述判断所述第一目标数据文件是否满足预处理条件，具体是指所述数据处理模块判断第一目标数据文件是否为碎片文件；如果判断结果为碎片文件，打包所述碎片文件生成第三目标数据文件，并将第三目标数据文件移到所述数据处理模块的待传区的第n个blockn目录中；如果所述数据处理模块判断第一目标数据文件不是碎片文件，继续判断是否为目标单个大文件；如果判断结果为是，对所述目标单个大文件进行处理，形成第二数据文件；所述处理是将所述目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；所述第二数据文件的M个文件块依次移到所述数据处理模块待传区的第n个blockn目录中。4.根据权利要求3所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述如果判断结果为是，对所述目标单个大文件进行处理，形成第二数据文件；所述处理是将所述目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；具体是指将待处理目标单个大文件除以预设单个文件块大小的阈值得到拆分后M个文件块数，所述文件块的名称为在所述目标单个大文件名后缀加第M块，其中，M为1,2，
……
,M；打开所述目标单个大文件，从所述目标单个大文件起始处开始读取数据写入到M个文件块的第1个文件块，所述读取数据达到预设的单个文件块大小的阈值后停止，生成第二数据文件的第1个文件块，所述第1个文件块，记：原文件名.part1；然后继续从第1个文件块结束的位置之后继续读取预设的单个文件块大小的阈值的数据生成第2个文件块，记：原文件名.part2，同理以此类推，直到生成第M个文件块结束时，将删除第一目标数据文件。5.根据权利要求4所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述文件块的名称为在所述目标单个大文件名后缀加第M块，是指所述第二目标数据文件
的第M个文件块，记：原文件名.partM，数据处理模块将所述第M个文件块移动到待传区的upload/blockn目录中，同时数据处理模块记录所述blockn目录中的文件信息，所述文件信息包括文件大小、数量、是否拆分、拆分文件块总块数、当前文件块序号。6.根据权利要求3所述...

【专利技术属性】
技术研发人员：李宇，王伟，
申请(专利权)人：慧铁科技有限公司，
类型：发明
国别省市：