【技术实现步骤摘要】
本专利技术属于轨道交通数据采集，具体涉及一种基于数据结构化的数据采集方法及相关设备。
技术介绍
1、地铁信号设备负责对数据采集并通过计算机网络将数据上送给信号运维系统。由于信号设备厂家种类较多并且业务范围不同，各自的报文定义也有所不同，并且可能存在一些脏数据。当采集各地铁信号设备的数据时，现有技术是通过为厂家设备端提供将报文发送给运维设备的代理服务，代理服务收到数据流后，针对不同的网络字节序和报文定义，编写不同地铁信号设备的解析实现方法并处理业务逻辑。在解析报文时，是根据报文定义字段占用字节数来截取报文数据。同时，基于同在一个字节中的每个比特位都有独立的含义，还需要对比特位进行单独处理。
2、然而，一条地铁线路需要接入十几个地铁信号设备，但上述方法需要去适应不同的厂家设备的报文定义分别编写解析，编写的方法复杂，且每种报文数据解析的正确性需要独立验证，特别是针对报文字段定义较多和复杂的报文，不仅工作量大且效率低。
技术实现思路
1、本专利技术的目的是针对现有技术中对地铁信号设备的数据采集需要去适应不同厂家的报文定义进行解析，解析方式复杂，且需要对每种报文数据独立进行数据解析正确新验证所导致的工作量大且效率低的问题，提出一种基于数据结构化的数据采集方法及相关设备，方法通过在解析以及效验前，先对报文数据进行结构化定义，生成能够统一标准采集的规范结构化数据文件，根据规范结构化数据文件能够编写并调用数据解析脚本进行编译得到数据接口，当接收到不同地铁信号设备的数据流时，只需要根据规
2、第一方面，本专利技术实施例提供一种基于数据结构化的数据采集方法，包括以下步骤：
3、对地铁信号设备的报文数据进行结构化定义，得到规范结构化数据文件；
4、根据所述规范结构化数据文件调用数据解析脚本进行编译，生成数据接口；
5、基于所述数据接口获取数据流，根据所述规范结构化数据文件对所述数据流进行解析及效验；根据效验结果确定是否采集所述数据流。
6、进一步地，所述对地铁信号设备的报文数据进行结构化定义，得到规范结构化数据文件，包括：
7、对地铁信号设备的所述报文数据进行网络字节序定义以及结构化类定义，基于所述网络字节序定义以及所述结构化类定义后，得到所述规范结构化数据文件。
8、进一步地，所述对地铁信号设备的所述报文数据进行网络字节序定义以及结构化类定义，包括：
9、对地铁信号设备的所述报文数据的大端字节序和/或小端字节序进行网络字节序定义；
10、对地铁信号设备的所述报文数据进行数据类型定义以及变量定义，其中，数据类型包括整型类、比特类、数组类及包装类，所述变量定义包括效验条件定义。
11、进一步地，所述根据所述规范结构化数据文件调用数据解析脚本进行编译，生成数据接口，包括：
12、根据所述规范结构化数据文件编写所述数据解析脚本，包括根据所述网络字节序定义确定网络字节序值，以及根据所述结构化类定义确定接口协议采用的数据类型及效验条件；
13、根据所述数据解析脚本通过编译生成对应的所述数据接口。
14、进一步地，所述基于所述数据接口获取数据流，根据所述结构化数据文件对所述数据流进行解析及效验，包括：
15、将网络端口获取到的所述数据流输入所述数据接口，所述数据流中包括完整的待采集报文数据；
16、基于所述数据接口中所述网络字节序定义以及所述结构化类定义，对所述待采集报文数据进行结构化字段解析及效验，得到所述效验结果。
17、进一步地，所述对所述待采集报文数据进行效验，包括：
18、根据所述网络字节序定义的大端字节序对所述待采集报文数据的大端字节序进行效验，或根据所述网络字节序定义的小端字节序对所述待采集报文数据的小端字节序进行效验，或根据所述网络字节序定义的大端字节序以及小端字节序对所述待采集报文数据的大端字节序及小端字节序进行效验。
19、进一步地，所述根据效验结果确定是否采集所述数据流，包括：
20、若所述效验结果表示待采集报文数据验证通过，则判定所述待采集报文数据为有效报文，并对所述待采集报文数据进行采集并输入地铁运维系统；
21、若所述效验结果表示待采集报文数据验证失败，则判定所述待采集报文数据为无效报文，并抛弃所述待采集报文数据，进入下一数据采集过程。
22、第二方面，本专利技术实施例还提供一种基于数据结构化的数据采集装置，所述装置包括：数据结构化定义模块，用于对地铁信号设备的报文数据进行结构化定义，得到规范结构化数据文件；
23、接口生成模块，用于根据所述规范结构化数据文件调用数据解析脚本进行编译，生成数据接口；
24、解析效验模块，用于基于所述数据接口获取数据流，根据所述规范结构化数据文件对所述数据流进行解析及效验；
25、判断模块，用于根据效验结果确定是否采集所述数据流。
26、第三方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例中所述的一种基于数据结构化的数据采集方法的步骤。
27、第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如实施例中所述的一种基于数据结构化的数据采集方法的步骤。
28、本专利技术所达到的有益效果：本专利技术通过在解析以及效验前，先对报文数据进行结构化定义，生成能够通用标准采集的规范结构化数据文件，根据规范结构化数据文件能够调用对应的数据解析脚本进行编译生成数据接口，当接收到不同地铁信号设备的数据流时，只需要根据规范结构化数据文件中统一定义的解析方式与验证方式进行解析及验证即可，无需被动去适应不同厂家设备的报文定义，基于不同厂家设备的报文定义对接收到的数据流进行解析，有利于降低数据接入成本，提高数据采集效率；且预先将报文数据转换为结构化的配置方式，更便于对报文解析的正确性验证，有利于提高数据采集效率。
29、上述
技术实现思路
仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
【技术保护点】
1.一种基于数据结构化的数据采集方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的一种基于数据结构化的数据采集方法，其特征在于，所述对地铁信号设备的报文数据进行结构化定义，得到规范结构化数据文件，包括：
3.根据权利要求2所述的一种基于数据结构化的数据采集方法，其特征在于，所述对地铁信号设备的所述报文数据进行网络字节序定义以及结构化类定义，包括：
4.根据权利要求2所述的一种基于数据结构化的数据采集方法，其特征在于，所述根据所述规范结构化数据文件调用数据解析脚本进行编译，生成数据接口，包括：
5.根据权利要求1所述的一种基于数据结构化的数据采集方法，其特征在于，所述基于所述数据接口获取数据流，根据所述结构化数据文件对所述数据流进行解析及效验，包括：
6.根据权利要求5所述的一种基于数据结构化的数据采集方法，其特征在于，所述对所述待采集报文数据进行效验，包括：
7.根据权利要求1所述的一种基于数据结构化的数据采集方法，其特征在于，所述根据效验结果确定是否采集所述数据流，包括：
8.一种基
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种基于数据结构化的数据采集方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种基于数据结构化的数据采集方法的步骤。
...【技术特征摘要】
1.一种基于数据结构化的数据采集方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的一种基于数据结构化的数据采集方法，其特征在于，所述对地铁信号设备的报文数据进行结构化定义，得到规范结构化数据文件，包括：
3.根据权利要求2所述的一种基于数据结构化的数据采集方法，其特征在于，所述对地铁信号设备的所述报文数据进行网络字节序定义以及结构化类定义，包括：
4.根据权利要求2所述的一种基于数据结构化的数据采集方法，其特征在于，所述根据所述规范结构化数据文件调用数据解析脚本进行编译，生成数据接口，包括：
5.根据权利要求1所述的一种基于数据结构化的数据采集方法，其特征在于，所述基于所述数据接口获取数据流，根据所述结构化数据文件对所述数据流进行解析及效验，包括：
6.根...
【专利技术属性】
技术研发人员：徐锐，侯林林，康福荣，周斌，
申请(专利权)人：众合智行轨道交通技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。