跨调度数据作业溯源方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种跨调度数据作业溯源方法、装置和设备。所述方法，可用于金融科技领域或其他相关领域，包括：从多个数据调度系统接收多个数据作业对应的作业信息，并从多个数据作业对应的作业信息中，获取待溯源的第一数据作业对应的作业信息；从第一数据作业对应的作业信息中，获取第一数据作业对应的至少一个第一目标数据表；基于第一目标数据表，得到第一数据作业对应的第一源数据表；将第一源数据表作为第二目标数据表，从多个数据作业中，获取第二目标数据表对应的第二数据作业，并将第二数据作业作为第一数据作业的数据作业溯源结果。采用本方法能够对数据作业进行准确溯源，从而能够在数据跨调度作业时，准确获得数据的血缘关系。关系。关系。

【技术实现步骤摘要】
跨调度数据作业溯源方法、装置、设备和存储介质


[0001]本申请涉及大数据
，特别是涉及一种跨调度数据作业溯源方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着大数据
的发展，出现了数据血缘关系管理技术，该技术通过对单一调度系统内的数据构建数据血缘关系树，来对数据的血缘关系进行管理。
[0003]但是在遇到企业级应用时，数据加工人员以及数据分析人员会自由地组织分析、加工聚合数据，再将结果落成新的数据集，而这类原始数据往往是分别通过多套调度系统复杂加工而来的，这样会导致血缘关系树断裂，使得数据的血缘关系溯源不准确。因此本申请在数据跨调度作业时，通过对跨调度的数据作业进行溯源，来实现数据血缘关系的准确溯源。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够对数据作业进行准确溯源，从而能够在数据跨调度作业时，准确获得数据的血缘关系的跨调度数据作业溯源方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种跨调度数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨调度数据作业溯源方法，其特征在于，所述方法包括：从多个数据调度系统接收多个数据作业对应的作业信息，并从所述多个数据作业对应的作业信息中，获取待溯源的第一数据作业对应的作业信息；从所述第一数据作业对应的作业信息中，获取所述第一数据作业对应的至少一个第一目标数据表；基于所述第一目标数据表，得到所述第一数据作业对应的第一源数据表；将所述第一源数据表作为第二目标数据表，从所述多个数据作业中，获取所述第二目标数据表对应的第二数据作业，并将所述第二数据作业作为所述第一数据作业的数据作业溯源结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标数据表，得到所述第一数据作业对应的第一源数据表，包括：获取预先设定的各个数据作业中目标数据表和源数据表的关联信息；基于所述关联信息，获取所述第一目标数据表对应的所述第一源数据表。3.根据权利要求2所述的方法，其特征在于，所述获取预先设定的各个数据作业中目标数据表和源数据表的关联信息之前，还包括：从所述多个数据作业对应的作业信息中，获取所述各个数据作业对应的目标数据表；基于所述目标数据表，得到所述目标数据表对应的第二源数据表以及临时数据表；根据所述临时数据表，得到所述目标数据表对应的第三源数据表；将所述第二源数据表以及所述第三源数据表，作为所述各个数据作业对应的源数据表，并构建所述各个数据作业中所述目标数据表和所述源数据表的关联信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标数据表，得到目标数据表对应的第二源数据表以及临时数据表，包括：对所述目标数据表进行子查询，得到所述目标数据表对应的子查询结果；基于所述子查询结果，得到所述目标数据对应的所述第二源数据表以及所述临时数据表。5.根据权利要求1所述的方法，其特征在于，各个数据作业的运行次数为多次；所述从所述多个数据作业对应的作业信息中，获取待溯源的第一数据作业对应的作业信息，包括：获取当前数据作业在当次运行时对应的第一数据血缘关系标识；若所述第一数据血缘关系标识，与所述当前数据作业上一次运行时对应的第二数据血缘关系标识不相同，则将所述当前数据作业作为所述...

【专利技术属性】
技术研发人员：沈梦婷，郑凡奇，吴成杰，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：