字段血缘关系解析方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种字段血缘关系解析方法、装置、电子设备及存储介质，涉及大数据技术领域。该方法包括获取待处理任务的逻辑执行计划；遍历逻辑执行计划包括的多个逻辑节点，提取待处理任务中包含的原始表字段、目标表字段和转换过程信息；基于待处理任务的原始表字段、目标表字段和转换过程信息，确定待处理任务中包含的原始表字段与目标表字段之间的字段血缘关系。本公开通过提取原始表字段、目标表字段和转换过程信息来确定字段血缘关系，提高数据血缘解析的准确性和完整性。高数据血缘解析的准确性和完整性。高数据血缘解析的准确性和完整性。

【技术实现步骤摘要】
字段血缘关系解析方法、装置、电子设备及存储介质


[0001]本公开涉及大数据
，尤其涉及一种字段血缘关系解析方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网的发展及大数据技术的普及，越来越多的公司有着自己的大数据平台。随着业务的发展，数据量逐渐累计，为保证公司大数据平台的数据的准确性，数据治理是大数据平台建设过程中不可或缺的一部分。在数据治理中，元数据管理是基础也是最重要的一部分，元数据的范围就包含了表的字段血缘关系。
[0003]然而，相关技术中大数据平台(例如，SparkSQL)仅能获取到原始表字段集合及目标表字段集合，无法直接展现其中的字段血缘关系，当数据发生问题时无法依据字段血缘关系溯源并迅速排障。

技术实现思路

[0004]有鉴于此，本公开提供一种字段血缘关系解析方法、装置、电子设备及存储介质。
[0005]根据本公开的一个方面，提供一种字段血缘关系解析方法，包括：获取待处理任务的逻辑执行计划；遍历逻辑执行计划包括的多个逻辑节点，提取待处理任务中包含的原始表字段、目标表字段和转换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种字段血缘关系解析方法，其特征在于，包括：获取待处理任务的逻辑执行计划；遍历所述逻辑执行计划包括的多个逻辑节点，提取所述待处理任务中包含的原始表字段、目标表字段和转换过程信息；其中，所述原始表字段包括所述待处理任务执行时调用的原始表中的字段，所述目标表字段包括所述待处理任务执行时生成的目标表中的字段，所述转换过程信息包括所述原始表字段与所述目标表字段之间的逻辑关系信息；基于所述待处理任务的原始表字段、目标表字段和转换过程信息，确定所述待处理任务中包含的原始表字段与目标表字段之间的字段血缘关系。2.根据权利要求1所述的字段血缘关系解析方法，其特征在于，所述提取所述待处理任务中包含的原始表字段、目标表字段和转换过程信息，包括：若所述多个逻辑节点中存在包含原始表调用信息的第一逻辑节点，则从所述第一逻辑节点中提取所述待处理任务的原始表字段；若所述多个逻辑节点中存在包含目标表生成信息的第二逻辑节点，则从所述第二逻辑节点中提取所述待处理任务的目标表字段；若所述多个逻辑节点中存在包含逻辑关系信息的第三逻辑节点，则从所述第三逻辑节点中提取所述待处理任务的转换过程信息。3.根据权利要求1所述的字段血缘关系解析方法，其特征在于，针对每个目标表字段，确定字段血缘关系的具体实现方式有：若存在与所述目标表字段相同的原始表字段，则确定所述目标表字段、所述与所述目标表字段相同的原始表字段之间具有字段血缘关系；若不存在与所述目标表字段相同的原始表字段，则基于所述待处理任务的转换过程信息查找与所述目标表字段对应的原始表字段，并确定所述目标表字段、所述与所述目标表字段对应的原始表字段之间具有字段血缘关系。4.根据权利要求1至3任一项所述的字段血缘关系解析方法，其特征在于，在所述基于所述待处理任务的原始表字段、目标表字段和转换过程信息，确定所述待处理任务中的字段血缘关系之...

【专利技术属性】
技术研发人员：肖乾春，刘德华，蒋宁，吴海英，曾琳铖曦，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：