一种用于列车ATP的数据自动提取与存储系统及方法技术方案

本发明专利技术提供一种用于列车自动防护系统的数据自动提取与存储系统及方法，涉及列车防护系统技术领域。系统包括压缩数据文件自动解压模块、数据自动加载及故障数据自动导出模块、故障数据自动提取与存储模块和日志记录模块，方法为读取压缩数据文件并进行解压提取，存放于创建的独立文件夹，将解压后的记录数据文件逐一加载，定位故障数据点，将故障数据以CSV格式导出，分类插入数据库。本发明专利技术能快速高效地对列车ATP系统的大量TB级历史数据进行解压、加载定位、提取和存储，能极大地减少人为操作所带来的错误，缩短操作时间，提高操作效率，实现对故障数据的高效管理，方便用户对故障数据进行进一步的分析处理和挖掘。

Automatic data extraction and storage system and method for train ATP

The invention provides an automatic data extraction and storage system and a method for an automatic train protection system. The system includes data file compression decompression module, automatic data automatic loading and automatic fault data export module, fault data automatic extraction and storage module and log module, method for reading compressed data file and extract stored in separate files, create the clip will be loaded after extracting the recorded data file, locate the fault point data and the fault data in CSV format, classification into the database. The invention can quickly and efficiently extract, to train a large number of TB ATP system level data loading location, extraction and storage, can greatly reduce the error brought by manual operation, shorten operation time and improve operation efficiency, to achieve efficient management of fault data, convenient for users to make further analysis on the processing and mining fault data.

【技术实现步骤摘要】

：本专利技术涉及列车防护系统
，尤其涉及一种用于列车自动防护系统的数据自动提取与存储系统及方法。
技术介绍
：随着计算机技术、通信技术和控制技术的发展，列车控制系统已经成为了高速列车的重要组成部分，其中列车自动防护系统(Automatic Train Protection，简称ATP)是列车控制系统的重要组成部分，是保证列车安全运行的核心系统，提供列车运行间隔控制、超速防护、实时监控等安全防护功能，保证列车按照规定的速度安全运行。在列车的ATP系统中，需要记录一系列的数据，并且需要对这些记录的数据进行分析处理。在现有ATP系统中，记录数据一般是采用专用硬件设备，通过捕获ATP系统内部各模块之间的CAN(Controller Area Network，局域控制网)通信数据帧，并插入时间信息而形成。ATP系统逻辑复杂，功能繁多，每次列车运行都会记录TB级的历史数据，ATP中的历史数据对高速列车故障的检测、分析、预防及排除有着重要意义。由于没有专门针对ATP海量数据进行自动导出，对故障数据的定位及对数据进行分类存储管理功能的系统，因此对ATP数据的以上操作的传统方法只能是依靠研究人员将数据一一手动查看，定位到故障点进行分析，导致数据分析效率低。
技术实现思路
：针对现有技术的缺陷，本专利技术提供一种用于列车ATP的数据自动提取与存储系统及方法，实现对ATP系统的海量历史压缩数据文件进行自动解压、数据自动加载及故障数据自动导出后，进行故障数据的自动提取与存储，能极大的减少人为操作所带来的错误，并实现对故障数据的高效管理，方便用户对故障数据进行进一步地分析处理和挖掘。一方面，本专利技术提供一种用于列车ATP的数据自动提取与存储系统，包括压缩数据文件自动解压模块、数据自动加载及故障数据自动导出模块、故障数据自动提取与存储模块和日志记录模块。压缩数据文件自动解压模块用于对ATP记录的所有压缩数据文件进行自动解压；数据自动加载及故障数据自动导出模块用于对压缩数据文件自动解压模块解压后的数据文件进行加载，检测出其中的故障数据点，并导出故障数据；故障数据自动提取与存储模块用于将数据自动加载及故障数据自动导出模块中所导出的所有故障数据进行数据提取并保存到数据库；日志记录模块用于记录系统运行过程中的日志信息。压缩数据文件自动解压模块包括压缩文件检测子模块、文件夹创建子模块和压缩文件解压子模块。压缩文件检测子模块用于查找检测当前ATP系统记录的所有压缩数据文件；文件夹创建子模块用于为每一个压缩数据创建解压后存放的文件夹，所述文件夹的名称以所要解压的文件名称命名，并检测该文件夹是否存在，对已存在的文件夹重新进行命名创建；压缩文件解压子模块用于将压缩文件检测子模块检测到的压缩数据文件进行一一解压提取，并将解压后的数据文件存放于文件夹创建子模块创建的文件夹中。数据自动加载及故障数据自动导出模块包括数据文件加载子模块、故障点自动检测定位子模块和故障数据自动加载导出子模块。数据文件加载子模块，用于自动检索压缩数据文件自动解压模块解压出的数据文件，提取出ATP系统记录的每一个数据文件，驱动ATP厂商提供的数据解析工具对ATP系统记录的每一个数据文件进行自动加载，形成详细记录数据文件；故障点自动检测定位子模块，用于自动检索记录数据文件中是否存在故障数据点；故障数据自动加载导出子模块，用于驱动ATP厂商提供的数据解析工具自动定位每一个故障数据点，并将每一个故障数据点的详细内容导出为一个CSV(Comma-Separated Values)格式文件。故障数据自动提取与存储模块包括CSV文件读取子模块与CSV数据导入数据库子模块。CSV文件读取子模块用于依次加载CSV文件，读取CSV文件的每一行数据，并将读取的数据按照信息类别进行分类；CSV数据导入数据库子模块用于将分类后的数据批量插入到数据库中所对应的表格进行存储。日志记录模块包括压缩数据文件自动解压日志记录子模块、数据自动加载及故障数据自动导出日志记录子模块和故障数据自动提取与存储日志记录子模块。压缩数据文件自动解压日志记录子模块用于记录在压缩数据文件自动解压模块进行压缩数据文件的解压提取时，所提取的压缩数据文件信息、提取过程中出现的解压错误信息及重复的文件信息；数据自动加载及故障数据自动导出日志记录子模块用于记录在数据自动加载及故障数据自动导出模块进行加载ATP系统记录数据文件时，所加载的ATP系统记录的每一个数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息；故障数据自动提取与存储日志记录子模块用于记录在故障数据自动提取与存储模块进行CSV文件数据读取时，系统所读取的CSV文件信息。进一步地，所述加载的过程为，设置列车控制系统的类型、车种、编组编号和车号信息，自动提取出ATP系统记录的数据文件中的详细记录数据，并形成详细记录数据文件。进一步地，所述信息类别包括基本信息、报文信息、故障报文信息和版本信息。另一方面，本专利技术还提供一种用于列车ATP的数据自动提取与存储方法，采用上述的用于列车ATP的数据自动提取与存储系统实现，包括如下步骤：步骤1、提取压缩文件中的ATP系统记录数据文件，具体包括以下步骤：步骤1.1、设置ATP系统压缩数据文件解压后的存放路径；步骤1.2、设置提取出的ATP系统记录数据文件存放路径；步骤1.3、检测当前ATP系统在步骤1.1设置路径中记录的所有压缩数据文件，并在步骤1.2设置的路径中为每一个压缩文件解压后的记录数据文件创建存放文件夹，文件夹名称为解压前的压缩文件名称；步骤1.4、检测解压后的存放文件夹是否已存在，若文件夹已存在，则不提取该压缩文件，将该压缩文件的文件名和提示信息写入日志文件，执行步骤1.5；否则，执行步骤1.6；步骤1.5、查看日志文件，如果有压缩文件的文件名重名信息，则在步骤1.2设置的路径中重新创建存放文件夹，返回步骤1.4；步骤1.6、对压缩文件进行解压提取；步骤1.7、检索解压出的各文件，提取出ATP系统记录的每一个记录数据文件，并将提取出的ATP系统记录数据文件存放于步骤1.3和步骤1.5创建的相应文件夹中，并将压缩数据文件信息和提取过程中出现的解压错误信息记录在指定日志文件中；步骤2、利用ATP系统记录数据文件解析工具，加载步骤1中提取的记录数据文件，每次加载一个记录数据文件时，检索定位故障数据位置，加载故障数据，将故障数据保存为CSV格式文件，并存放在指定文件夹下，同时将加载的ATP系统的每一个记录数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息记录在指定日志文件中，具体包括以下步骤：步骤2.1、检测步骤1中是否有提取出的ATP系统记录数据文件，如果有，将加载的ATP系统的每一个记录数据文件信息记录在指定日志文件中，并执行下一步，否则，方法终止；步骤2.2、利用ATP系统记录数据文件解析工具，加载步骤1中所有ATP系统记录数据文件的数据，形成ATP系统详细记录数据文件，将ATP系统所有详细记录数据文件的信息和出现加载错误的信息记录在指定日志文件中；步骤2.3、检测ATP系统详细记录数据文件中是否存在故障数据，如果存在故障数据，执行步骤2.4，否则，再次执行步骤2.3，检测下本文档来自技高网...

【技术保护点】
一种用于列车ATP的数据自动提取与存储系统，其特征在于，该系统包括压缩数据文件自动解压模块(1)、数据自动加载及故障数据自动导出模块(2)、故障数据自动提取与存储模块(3)和日志记录模块(4)；所述压缩数据文件自动解压模块(1)用于对ATP记录的所有压缩数据文件进行自动解压；所述数据自动加载及故障数据自动导出模块(2)用于对所述压缩数据文件自动解压模块(1)解压后的数据文件进行加载，检测出其中的故障数据点，并导出故障数据；所述故障数据自动提取与存储模块(3)用于将所述数据自动加载及故障数据自动导出模块(2)中所导出的所有故障数据进行数据提取并保存到数据库；所述日志记录模块(4)用于记录系统运行过程中的日志信息；所述压缩数据文件自动解压模块(1)包括压缩文件检测子模块、文件夹创建子模块和压缩文件解压子模块；所述压缩文件检测子模块用于查找检测当前ATP系统记录的所有压缩数据文件；所述文件夹创建子模块用于为每一个压缩数据创建解压后存放的文件夹，所述文件夹的名称以所要解压的文件名称命名，并检测该文件夹是否存在，对已存在的文件夹重新进行命名创建；所述压缩文件解压子模块用于将所述压缩文件检测子模块检测到的压缩数据文件进行一一解压提取，并将解压后的数据文件存放于所述文件夹创建子模块创建的文件夹中；所述数据自动加载及故障数据自动导出模块(2)包括数据文件加载子模块、故障点自动检测定位子模块和故障数据自动加载导出子模块；所述数据文件加载子模块，用于自动检索所述压缩数据文件自动解压模块(1)解压出的数据文件，提取出ATP系统记录的每一个数据文件，驱动ATP厂商提供的数据解析工具对ATP系统记录的每一个数据文件进行自动加载，形成详细记录数据文件；所述故障点自动检测定位子模块，用于自动检索所述记录数据文件中是否存在故障数据点；所述故障数据自动加载导出子模块，用于驱动ATP厂商提供的数据解析工具自动定位每一个故障数据点，并将每一个故障数据点的详细内容导出为一个CSV(Comma‑Separated Values)格式文件；所述故障数据自动提取与存储模块(3)包括CSV文件读取子模块与CSV数据导入数据库子模块；所述CSV文件读取子模块用于依次加载CSV文件，读取CSV文件的每一行数据，并将读取的数据按照信息类别进行分类；所述CSV数据导入数据库子模块用于将所述分类后的数据批量插入到数据库中所对应的表格进行存储；所述日志记录模块(4)包括压缩数据文件自动解压日志记录子模块、数据自动加载及故障数据自动导出日志记录子模块和故障数据自动提取与存储日志记录子模块；所述压缩数据文件自动解压日志记录子模块用于记录在所述压缩数据文件自动解压模块(1)进行压缩数据文件的解压提取时，所提取的压缩数据文件信息、提取过程中出现的解压错误信息及重复的文件信息；所述数据自动加载及故障数据自动导出日志记录子模块用于记录在所述数据自动加载及故障数据自动导出模块(2)进行加载ATP系统记录数据文件时，所加载的ATP系统记录的每一个数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息；所述故障数据自动提取与存储日志记录子模块用于记录在所述故障数据自动提取与存储模块(3)进行CSV文件数据读取时，系统所读取的CSV文件信息。...

【技术特征摘要】
1.一种用于列车ATP的数据自动提取与存储系统，其特征在于，该系统包括压缩数据文件自动解压模块(1)、数据自动加载及故障数据自动导出模块(2)、故障数据自动提取与存储模块(3)和日志记录模块(4)；所述压缩数据文件自动解压模块(1)用于对ATP记录的所有压缩数据文件进行自动解压；所述数据自动加载及故障数据自动导出模块(2)用于对所述压缩数据文件自动解压模块(1)解压后的数据文件进行加载，检测出其中的故障数据点，并导出故障数据；所述故障数据自动提取与存储模块(3)用于将所述数据自动加载及故障数据自动导出模块(2)中所导出的所有故障数据进行数据提取并保存到数据库；所述日志记录模块(4)用于记录系统运行过程中的日志信息；所述压缩数据文件自动解压模块(1)包括压缩文件检测子模块、文件夹创建子模块和压缩文件解压子模块；所述压缩文件检测子模块用于查找检测当前ATP系统记录的所有压缩数据文件；所述文件夹创建子模块用于为每一个压缩数据创建解压后存放的文件夹，所述文件夹的名称以所要解压的文件名称命名，并检测该文件夹是否存在，对已存在的文件夹重新进行命名创建；所述压缩文件解压子模块用于将所述压缩文件检测子模块检测到的压缩数据文件进行一一解压提取，并将解压后的数据文件存放于所述文件夹创建子模块创建的文件夹中；所述数据自动加载及故障数据自动导出模块(2)包括数据文件加载子模块、故障点自动检测定位子模块和故障数据自动加载导出子模块；所述数据文件加载子模块，用于自动检索所述压缩数据文件自动解压模块(1)解压出的数据文件，提取出ATP系统记录的每一个数据文件，驱动ATP厂商提供的数据解析工具对ATP系统记录的每一个数据文件进行自动加载，形成详细记录数据文件；所述故障点自动检测定位子模块，用于自动检索所述记录数据文件中是否存在故障数据点；所述故障数据自动加载导出子模块，用于驱动ATP厂商提供的数据解析工具自动定位每一个故障数据点，并将每一个故障数据点的详细内容导出为一个CSV(Comma-Separated Values)格式文件；所述故障数据自动提取与存储模块(3)包括CSV文件读取子模块与CSV数据导入数据库子模块；所述CSV文件读取子模块用于依次加载CSV文件，读取CSV文件的每一行数据，并将读取的数据按照信息类别进行分类；所述CSV数据导入数据库子模块用于将所述分类后的数据批量插入到数据库中所对应的表格进行存储；所述日志记录模块(4)包括压缩数据文件自动解压日志记录子模块、数据自动加载及故障数据自动导出日志记录子模块和故障数据自动提取与存储日志记录子模块；所述压缩数据文件自动解压日志记录子模块用于记录在所述压缩数据文件自动解压模块(1)进行压缩数据文件的解压提取时，所提取的压缩数据文件信息、提取过程中出现的解压错误信息及重复的文件信息；所述数据自动加载及故障数据自动导出日志记录子模块用于记录在所述数据自动加载及故障数据自动导出模块(2)进行加载ATP系统记录数据文件时，所加载的ATP系统记录的每一个数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息；所述故障数据自动提取与存储日志记录子模块用于记录在所述故障数据自动提取与存储模块(3)进行CSV文件数据读取时，系统所读取的CSV文件信息。2.根据权利要求1所述的一种用于列车ATP的数据自动提取与存储系统，其特征在于，所述加载的过程为，设置列车控制系统的类型、车种、编组编号和车号信息，自动提取出ATP系统记录的数据文件中的详细记录数据，并形成详细记录数据文件。3.根据权利要求1所述的一种用于列车ATP的数据自动提取与存储系统，其特征在于，所述信息类别包括基本信息、报文信息、故障报文信息和版本信息。4.一种用于列车ATP的数据自动提取与存储方法，利用权利要求1所述的一种用于列车ATP的数据自动提取与存储系统实现，其特征在于，包括如下步骤：步骤1、提取压缩文件中的ATP系统记录数据文件，...

【专利技术属性】
技术研发人员：徐泉，张鹏，刘文庆，王良勇，崔东亮，许美容，吴志伟，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21