铁路货车物料管理及核算数据的管理方法、装置及设备制造方法及图纸

本发明专利技术提供一种铁路货车物料管理及核算数据的管理方法、装置及设备，该方法包括：根据待处理的铁路货车物料管理及核算数据建立数据血缘分析任务；确定数据血缘分析任务的任务类型，任务类型包括抽取

【技术实现步骤摘要】
铁路货车物料管理及核算数据的管理方法、装置及设备


[0001]本专利技术实施例涉及数据管理
，具体涉及一种铁路货车物料管理及核算数据的管理方法、装置及设备。

技术介绍

[0002]铁路货车物料管理及核算数据需满足铁路货车所属各级部门对物料进库、使用、出库等过程化管控和精细化管理的需要，需要专业性的统计分析功能及数据的延伸应用，需要对物料消耗费用进行精准核算。因此需要系统的数据管理，从而保障铁路货车物料管理及核算信息业务的高效开展。
[0003]目前常采用数据血缘管理系统来管理铁路货车物料管理及核算数据。数据血缘管理系统主要包括元数据接入模块、数据血缘解析模块、数据血缘处理模块、数据血缘分析模块、数据血缘可视化展示模块和数据血缘质量评价模块。然而现有的数据血缘分析只能针对结构化查询语言(Structured Query Language，SQL)脚本进行对应数据的血缘分析，无法对其他格式脚本进行对应数据的血缘分析，无法满足铁路货车物料管理及核算数据的管理需求。

技术实现思路

[0004]本专利技术实施例提供一种铁路货车物料管理及核算数据的管理方法、装置及设备，用以解决现有方法仅能对SQL脚本进行对应数据管理的问题。
[0005]第一方面，本专利技术实施例提供一种铁路货车物料管理及核算数据的管理方法，包括：
[0006]根据待处理的铁路货车物料管理及核算数据建立数据血缘分析任务；
[0007]确定数据血缘分析任务的任务类型，任务类型包括抽取
‑
转换<br/>‑
加载类血缘分析任务、结构化查询语言类血缘分析任务和非结构化查询语言类血缘分析任务；
[0008]根据数据血缘分析任务的任务类型，采用对应的解析方法处理数据血缘分析任务，生成待处理的铁路货车物料管理及核算数据的数据血缘关系。
[0009]一种实施例中，当数据血缘分析任务的任务类型为抽取
‑
转换
‑
加载类血缘分析任务时，采用对应的解析方法处理数据血缘分析任务包括：
[0010]当采用kettle脚本时，从xml文件格式的kettle脚本中解析出数据库连接信息和输入\输出模块的SQL脚本，并对数据库连接类型及输入\输出模块的SQL脚本进行解析；
[0011]当采用datax脚本时，从json文件格式的datax脚本中解析出数据库连接信息和读缓冲器\写缓冲器的SQL脚本，并对数据库连接类型及读缓冲器\写缓冲器的SQL脚本进行解析。
[0012]一种实施例中，当数据血缘分析任务的任务类型为非结构化查询语言类血缘分析任务时，采用对应的解析方法处理数据血缘分析任务包括：
[0013]根据预置的血缘解析模板，对数据存储、数据同步和加工计算的处理流程以及关
联的数据对象进行解析。
[0014]一种实施例中，当数据血缘分析任务的任务类型为结构化查询语言类血缘分析任务时，采用对应的解析方法处理数据血缘分析任务包括：
[0015]将SQL脚本引入数据血缘分析引擎中，根据AST语法生成解析关系，并对数据血缘分析引擎进行更新。
[0016]一种实施例中，当SQL脚本包括通配符时，方法还包括：
[0017]将SQL脚本转化为树形结构；
[0018]对于不包括通配符的层级进行集合操作的子查询时，进行字段引用映射；
[0019]根据通配符所在层级的下一层级的字段确定通配符包括的目标字段。
[0020]一种实施例中，所述方法还包括：
[0021]根据数据血缘分析的准确率、覆盖率和时效性确定数据血缘分析的可信性和可用性，可信性包括精确性、有效性和唯一性，可用性包括时间性和稳定性。
[0022]一种实施例中，精确性用于表示数据血缘是否与其对应的客观实体的特征相一致；
[0023]有效性用于表示数据血缘是否满足预设条件或者在预设域值范围内；
[0024]唯一性用于表示数据血缘是否存在重复或者不一致性；
[0025]时间性用于表示数据血缘是当前分析数据或者历史分析数据；
[0026]稳定性用于表示数据血缘是否在有效期内。
[0027]第二方面，本专利技术实施例提供一种铁路货车物料管理及核算数据的管理装置，包括：
[0028]分析模块，用于根据待处理的铁路货车物料管理及核算数据建立数据血缘分析任务；
[0029]处理模块，用于确定数据血缘分析任务的任务类型，任务类型包括抽取
‑
转换
‑
加载类血缘分析任务、结构化查询语言类血缘分析任务和非结构化查询语言类血缘分析任务；
[0030]管理模块，用于根据数据血缘分析任务的任务类型，采用对应的解析方法处理数据血缘分析任务，生成待处理的铁路货车物料管理及核算数据的数据血缘关系。
[0031]第三方面，本专利技术实施例提供一种电子设备，包括：
[0032]至少一个处理器和存储器；
[0033]存储器存储计算机执行指令；
[0034]至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项所述的铁路货车物料管理及核算数据的管理方法。
[0035]第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的铁路货车物料管理及核算数据的管理方法。
[0036]本专利技术实施例提供的铁路货车物料管理及核算数据的管理方法、装置及设备，根据待处理的铁路货车物料管理及核算数据建立数据血缘分析任务；确定数据血缘分析任务的任务类型，任务类型包括抽取
‑
转换
‑
加载类血缘分析任务、结构化查询语言类血缘分析任务和非结构化查询语言类血缘分析任务；根据数据血缘分析任务的任务类型，采用对应
的解析方法处理数据血缘分析任务，生成待处理的铁路货车物料管理及核算数据的数据血缘关系。针对抽取
‑
转换
‑
加载类血缘分析任务、结构化查询语言类血缘分析任务和非结构化查询语言类血缘分析任务采用不同的解析策略，有效地解决现有方法仅能对SQL脚本作对应数据的血缘分析的弊端，大大丰富了应用场景。
附图说明
[0037]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0038]图1为本专利技术一实施例提供的铁路货车物料管理及核算数据的管理方法的流程图；
[0039]图2为本专利技术一实施例提供的树形结构代码示意图；
[0040]图3为本专利技术一实施例提供的有向无环图的示意图；
[0041]图4为本专利技术一实施例提供的铁路货车物料管理及核算数据的管理装置的结构示意图；
[0042]图5为本专利技术一实施例提供的电子设备的结构示意图。
[0043]通过上述附图，已示出本专利技术明确的实施例，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种铁路货车物料管理及核算数据的管理方法，其特征在于，包括：根据待处理的铁路货车物料管理及核算数据建立数据血缘分析任务；确定所述数据血缘分析任务的任务类型，所述任务类型包括抽取
‑
转换
‑
加载类血缘分析任务、结构化查询语言类血缘分析任务和非结构化查询语言类血缘分析任务；根据所述数据血缘分析任务的任务类型，采用对应的解析方法处理所述数据血缘分析任务，生成所述待处理的铁路货车物料管理及核算数据的数据血缘关系。2.根据权利要求1所述的方法，其特征在于，当所述数据血缘分析任务的任务类型为抽取
‑
转换
‑
加载类血缘分析任务时，所述采用对应的解析方法处理所述数据血缘分析任务包括：当采用kettle脚本时，从xml文件格式的kettle脚本中解析出数据库连接信息和输入\输出模块的SQL脚本，并对数据库连接类型及所述输入\输出模块的SQL脚本进行解析；当采用datax脚本时，从json文件格式的datax脚本中解析出数据库连接信息和读缓冲器\写缓冲器的SQL脚本，并对数据库连接类型及所述读缓冲器\写缓冲器的SQL脚本进行解析。3.根据权利要求1所述的方法，其特征在于，当所述数据血缘分析任务的任务类型为非结构化查询语言类血缘分析任务时，所述采用对应的解析方法处理所述数据血缘分析任务包括：根据预置的血缘解析模板，对数据存储、数据同步和加工计算的处理流程以及关联的数据对象进行解析。4.根据权利要求1所述的方法，其特征在于，当所述数据血缘分析任务的任务类型为结构化查询语言类血缘分析任务时，所述采用对应的解析方法处理所述数据血缘分析任务包括：将SQL脚本引入数据血缘分析引擎中，根据AST语法生成解析关系，并对所述数据血缘分析引擎进行更新。5.根据权利要求4所述的方法，其特征在于，当所述SQL脚本包括通配符时，所述方法还包括：将所述SQL脚本转化为树形结构；对于不包括通配符的层级...

【专利技术属性】
技术研发人员：丁源，焦杨，徐建喜，王洪昆，边志宏，王蒙，丁颖，王萌，马瑞峰，
申请(专利权)人：国能铁路装备有限责任公司，
类型：发明
国别省市：