一种数据处理的方法、装置及系统制造方法及图纸

本发明专利技术提供了一种数据处理的方法、装置及系统，其中，该方法包括：预先为轨道车辆中的多种运行系统设置相应的协议解析表；将协议解析表加载至缓存区；获取目标轨道车辆运行时生成的目标运行数据；基于缓存区中的协议解析表对目标运行数据进行解析处理，将目标运行数据转换为结构化数据。通过本发明专利技术实施例提供的数据处理的方法、装置及系统，协议解析表加载在缓存区中，能够提高解析速度，可以实现对海量轨道交通运行数据的快速解析，不同的轨道车辆可以复用该协议解析表，其他的轨道车辆或系统服务中也可以加载该协议解析表，且可以避免重复的业务重新写解析规则以及重复的功能反复写解析规则所产生的无效工作，能够提高开发效率。率。率。

【技术实现步骤摘要】
一种数据处理的方法、装置及系统


[0001]本专利技术涉及轨道交通
，具体而言，涉及一种数据处理的方法、装置及系统。

技术介绍

[0002]在轨道交通行业，轨道车辆运行过程中会产生海量的数据，一般能达到TB级别；且不同的数据来自于不同的运行系统，不同的系统还可能采用不同的协议，例如以太网协议、MVB(多功能车辆总线)数据协议等，为解析这些数据带来了较大的困难。

技术实现思路

[0003]为解决现有存在的技术问题，本专利技术实施例提供一种数据处理的方法、装置及系统。
[0004]第一方面，本专利技术实施例提供了一种数据处理的方法，包括：
[0005]预先为轨道车辆中的多种运行系统设置相应的协议解析表；
[0006]将所述协议解析表加载至缓存区；
[0007]获取目标轨道车辆运行时生成的目标运行数据；
[0008]基于所述缓存区中的所述协议解析表对所述目标运行数据进行解析处理，将所述目标运行数据转换为结构化数据。
[0009]第二方面，本专利技术实施例还提供了一种数据处理的装置，包括：
[0010]预设模块，用于预先为轨道车辆中的多种运行系统设置相应的协议解析表；
[0011]加载模块，用于将所述协议解析表加载至缓存区；
[0012]获取模块，用于获取目标轨道车辆运行时生成的目标运行数据；
[0013]解析模块，用于基于所述缓存区中的所述协议解析表对所述目标运行数据进行解析处理，将所述目标运行数据转换为结构化数据。/>[0014]第三方面，本专利技术实施例提供了一种一种数据处理系统，包括：数据接收系统、消息队列和数据解析系统；
[0015]所述数据接收系统用于接收目标轨道车辆采集的目标运行数据，并将所述目标运行数据发送至所述消息队列；
[0016]所述消息队列用于存储所述目标运行数据；
[0017]所述数据解析系统用于从所述消息队列获取所述目标运行数据，并执行如上所述的数据处理的方法。
[0018]本专利技术实施例提供的数据处理的方法、装置及系统，通过预先设置协议解析表，在需要解析运行数据时可以方便地调用该协议解析表，实现解析处理；该协议解析表加载在缓存区中，能够提高解析速度，可以实现对海量轨道交通运行数据的快速解析。该协议解析表是预先设置的，且与轨道车辆之间是独立的，不同的轨道车辆可以复用该协议解析表，其他的轨道车辆或系统服务中也可以加载该协议解析表，通过找到该协议解析表即可快速准
确地解析运行数据；并且，后期随着运行系统协议的增加，只需为增加的协议录入协议解析表即可，以此避免重复的业务重新写解析规则以及重复的功能反复写解析规则所产生的无效工作，能够提高开发效率。
附图说明
[0019]为了更清楚地说明本专利技术实施例或
技术介绍
中的技术方案，下面将对本专利技术实施例或
技术介绍
中所需要使用的附图进行说明。
[0020]图1示出了本专利技术实施例所提供的一种数据处理的方法的流程图；
[0021]图2示出了本专利技术实施例所提供的一种数据处理的装置的结构示意图；
[0022]图3示出了本专利技术实施例所提供的一种数据处理的系统的结构示意图；
[0023]图4示出了本专利技术实施例所提供的一种用于执行数据处理的方法的电子设备的结构示意图。
具体实施方式
[0024]下面结合本专利技术实施例中的附图对本专利技术实施例进行描述。
[0025]图1示出了本专利技术实施例所提供的一种数据处理的方法的流程图。如图1所示，该方法包括：
[0026]步骤101：预先为轨道车辆中的多种运行系统设置相应的协议解析表。
[0027]本专利技术实施例中，轨道车辆中包含多种运行系统，例如牵引系统、制动系统、车门系统、空调系统等，本实施例基于每种运行系统所用的协议以及运行系统所生成的运行数据包含的内容，预先设置相应的协议解析表。该协议解析表是二维的，其中包含多个解析规则，例如，协议解析表可以是包含多行和多列数据的表格、可以是包含多个数组的数组集合、或者也可以是二维矩阵形式，表格或矩阵的一行对应一个解析规则，或者每个数组对应一个解析规则，本实施例对协议解析表的形式不做限定。
[0028]步骤102：将协议解析表加载至缓存区。
[0029]本专利技术实施例中，在设置好多个运行系统的协议解析表之后，可以将所需的协议解析表加载到缓存区，利用缓存区处理速度快的特点，方便后续能够快速地对待解析的数据进行解析处理。
[0030]其中，若某轨道车辆本身需要解析数据，则该缓存区可以是该轨道车辆中的缓存区；由于不同的轨道车辆可能具有不同的运行系统，故此时可以只将该轨道车辆所具有的运行系统所对应的协议解析表加载至缓存区，由该轨道车辆中的数据解析系统实现解析处理。或者，也可以基于云端的数据解析系统对多个、甚至所有的轨道车辆的数据进行解析，此时该缓存区为该云端的缓存区，此时可以将所有的协议解析表加载到缓存区中。
[0031]步骤103：获取目标轨道车辆运行时生成的目标运行数据。
[0032]步骤104：基于缓存区中的协议解析表对目标运行数据进行解析处理，将目标运行数据转换为结构化数据。
[0033]本专利技术实施例中，若需要对某个轨道车辆运行时生成的运行数据进行解析时，为方便描述，将该轨道车辆称为目标运行车辆，其生成的运行数据称为目标运行数据。其中，由于目标轨道车辆中包含多个运行系统，每个运行系统均会生成相应的目标运行数据；例
如，空调系统每隔一段时间即可生成一组与温度相关的目标运行数据，该目标运行数据中可以包含目标轨道车辆中每节车厢的设定温度、室内实际温度、室外温度、空调控制模式等。
[0034]在获取到该目标运行数据之后，即可利用该协议解析表对目标运行数据进行解析处理，从而能够将目标运行数据转换为结构化数据；其中，对于每种运行系统，基于该运行系统对应的协议解析表来解析该运行系统生成的目标运行数据。本实施例中，结构化数据为后续处理所需的数据，例如，为了方便显示，该结构化数据可以为十进制形式的数据，而运行数据一般为二进制的数据。
[0035]可选地，在上述步骤104“目标运行数据转换为结构化数据”之后，该方法还可以包括：将结构化数据保存至面向列的数据库。
[0036]本专利技术实施例中，在将目标运行数据转换为结构化数据之后，将该结构化数据保存到数据库中，以方便后续对该结构化数据进行处理。其中，由于轨道车辆中的目标运行数据是海量的，故结构化数据也是海量的，逐列的方式来存储数据，适合海量数据分析和统计类的应用需求；海量数据存入面向列的数据库中，也能够提高数据平台整合数据能力。其中，该面向列的数据库具体可以是hbase数据库。
[0037]本专利技术实施例提供的一种数据处理方法，通过预先设置协议解析表，在需要解析运行数据时可以方便地调用该协议解析表，实现解析处理；该协议解析表加载在缓存区中，能够提高解析速度，可以实现对海量轨道交通运行数据的快速解析。该协议解析表是预先设置的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：预先为轨道车辆中的多种运行系统设置相应的协议解析表；将所述协议解析表加载至缓存区；获取目标轨道车辆运行时生成的目标运行数据；基于所述缓存区中的所述协议解析表对所述目标运行数据进行解析处理，将所述目标运行数据转换为结构化数据。2.根据权利要求1所述的方法，其特征在于，所述预先为轨道车辆中的多种运行系统设置相应的协议解析表包括：将所述运行系统生成的运行数据分为具有相同长度的多个数据块，并为每个所述数据块设置相应的解析单元；每个所述数据块对应有至少一个所述解析单元；将所有的所述解析单元依次排列，生成所述运行系统对应的协议解析表。3.根据权利要求2所述的方法，其特征在于，所述数据块的长度为N个字节，N为正整数；所述为每个所述数据块设置相应的解析单元，包括：确定所述数据块的字节起始偏移位置和第一位起始偏移位置；在所述数据块对应一个数据项的情况下，确定所述数据项的解析规则，根据所述字节起始偏移位置、所述第一位起始偏移位置、所述数据项的解析规则生成所述数据项对应的解析单元；在所述数据块对应多个数据项的情况下，确定每个所述数据项的解析规则，并确定除首位数据项之外其他数据项分别对应的第二位起始偏移位置；根据所述字节起始偏移位置、所述第一位起始偏移位置、所述首位数据项的解析规则生成所述首位数据项对应的解析单元，并根据所述字节起始偏移位置、所述其他数据项对应的所述第二位起始偏移位置、所述其他数据项的解析规则分别生成所述其他数据项对应的解析单元。4.根据权利要求3所述的方法，其特征在于，所述为每个所述数据块设置相应的解析单元，还包括：为每个所述数据项对应的所述解析单元增加字节数和位补偿数；所述字节数表示所述数据项所具有的字节数量，且所述字节数小于或等于N，所述位补偿数表示所述数据项除所述字节数的字节之外还具有的位数量。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，在所述所述目标运行数据转换为结构化数据之后，还包括：将所述结构化数据保存至面向列的数据库。6.一种数据处理的装置，其特征在于，包括：预设模块，用于预先为轨道车辆中的多种运行...

【专利技术属性】
技术研发人员：宋会平，王璟轩，郭子豪，丁明辉，魏萌，甘聂荣，
申请(专利权)人：北京轨道交通技术装备集团有限公司，
类型：发明
国别省市：