字段血缘关系解析方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种字段血缘关系解析方法、装置、电子设备及存储介质，涉及大数据技术领域。该方法包括获取待处理任务的逻辑执行计划；遍历逻辑执行计划包括的多个逻辑节点，提取待处理任务中包含的原始表字段、目标表字段和转换过程信息；基于待处理任务的原始表字段、目标表字段和转换过程信息，确定待处理任务中包含的原始表字段与目标表字段之间的字段血缘关系。本公开通过提取原始表字段、目标表字段和转换过程信息来确定字段血缘关系，提高数据血缘解析的准确性和完整性。高数据血缘解析的准确性和完整性。高数据血缘解析的准确性和完整性。

【技术实现步骤摘要】
字段血缘关系解析方法、装置、电子设备及存储介质


[0001]本公开涉及大数据
，尤其涉及一种字段血缘关系解析方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网的发展及大数据技术的普及，越来越多的公司有着自己的大数据平台。随着业务的发展，数据量逐渐累计，为保证公司大数据平台的数据的准确性，数据治理是大数据平台建设过程中不可或缺的一部分。在数据治理中，元数据管理是基础也是最重要的一部分，元数据的范围就包含了表的字段血缘关系。
[0003]然而，相关技术中大数据平台(例如，SparkSQL)仅能获取到原始表字段集合及目标表字段集合，无法直接展现其中的字段血缘关系，当数据发生问题时无法依据字段血缘关系溯源并迅速排障。

技术实现思路

[0004]有鉴于此，本公开提供一种字段血缘关系解析方法、装置、电子设备及存储介质。
[0005]根据本公开的一个方面，提供一种字段血缘关系解析方法，包括：获取待处理任务的逻辑执行计划；遍历逻辑执行计划包括的多个逻辑节点，提取待处理任务中包含的原始表字段、目标表字段和转换过程信息；其中，原始表字段包括待处理任务执行时调用的原始表中的字段，目标表字段包括待处理任务执行时生成的目标表中的字段，转换过程信息包括原始表字段与目标表字段之间的逻辑关系信息；基于待处理任务的原始表字段、目标表字段和转换过程信息，确定待处理任务中包含的原始表字段与目标表字段之间的字段血缘关系。
[0006]根据本公开的另一个方面，提供一种字段血缘关系解析装置，包括：获取模块，用于获取待处理任务的逻辑执行计划；提取模块，用于遍历逻辑执行计划包括的多个逻辑节点，提取待处理任务中包含的原始表字段、目标表字段和转换过程信息；其中，原始表字段包括待处理任务执行时调用的原始表中的字段，目标表字段包括待处理任务执行时生成的目标表中的字段，转换过程信息包括原始表字段与目标表字段之间的逻辑关系信息；确定模块，用于基于待处理任务的原始表字段、目标表字段和转换过程信息，确定待处理任务中包含的原始表字段与目标表字段之间的字段血缘关系。
[0007]根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述的字段血缘关系解析方法。
[0008]根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的字段血缘关系解析方法。
[0009]本公开实施例所提供的字段血缘关系解析方法，通过获取待处理任务的逻辑执行计划，随后遍历的逻辑执行计划的多个逻辑节点，通过从逻辑节点中提取原始表字段、目标
表字段和转换过程信息即可确定字段血缘关系。本公开实施例操作逻辑简单快捷，能够避免血缘关系遗漏，进而提高数据血缘解析的准确性和完整性，丰富了数据中台的血缘关系数据类型，并提升了数据中台的数据质量。通过将本公开实施例获得的字段血缘关系发送至消息平台，可供数据中台的元数据服务消费和展示，并使存在上下游依赖关系的任务便于执行和溯源。
附图说明
[0010]图1示出本公开实施例中一种字段血缘关系解析的系统架构示意图。
[0011]图2示出本公开实施例中一种字段血缘关系解析方法的流程示意图。
[0012]图3示出本公开实施例中一种字段信息提取方法的流程示意图。
[0013]图4示出本公开实施例中一种字段血缘关系的发送方法的流程示意图。
[0014]图5示出本公开实施例中一种字段血缘关系解析装置的结构示意图。
[0015]图6示出本公开实施例中一种电子设备的结构框图。
具体实施方式
[0016]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0017]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0018]为了便于理解，下面首先对本公开涉及到的几个名词进行解释如下。
[0019]数据血缘，即数据的来龙去脉，主要包含数据的来源、数据的加工方式、映射关系以及数据出口，从数据角度来看其包含的维度有数据库、表、字段、系统和应用程序等。数据血缘属于元数据的一部分，清晰的数据血缘是数据平台维持稳定的基础，更有利于数据变更分析以及数据问题排查。
[0020]字段血缘，也称作列血缘，是指在数据处理的计算链中，一个表中的列，与其上游表或者下游表的列的关联关系。
[0021]随着大数据技术的普及，在数据的处理过程中，从数据源头到最终的数据生成，每个环节都可能会出现数据质量问题。例如，数据源本身数据质量不高，在后续的处理环节中如果没有进行数据质量的检测和处理，那么这个数据信息最终流转到目标表，它的数据质量也是不高的。又例如，在某个环节的数据处理中，对数据进行了一些不恰当的处理，导致后续环节的数据质量变得糟糕。因此，在出现数据质量问题时，明确的数据血缘关系对于提升数据质量有着重大意义。
[0022]然而，相关技术中仅能获得数据处理任务的原始表字段集合和目标表字段集合，无法获得其中的字段血缘关系，当数据发生问题时无法依据字段血缘关系溯源并迅速排
障。
[0023]本公开提供的方案，通过获取待处理任务的逻辑执行计划，随后遍历的逻辑执行计划的多个逻辑节点，提取待处理任务的原始表字段、目标表字段和转换过程信息，并基于待处理任务的原始表字段、目标表字段和转换过程信息，从而确定待处理任务中的字段血缘关系。
[0024]本公开实施例提供的方案可以通过从逻辑节点中提取字段和信息来确定字段血缘关系，操作逻辑简单快捷，能够避免血缘关系遗漏，进而提高数据血缘解析的准确性和完整性，丰富了数据中台的血缘关系数据类型，并提升了数据中台的数据质量。通过将本公开实施例获得的字段血缘关系发送至消息平台，可供数据中台的元数据服务消费和展示，并使存在上下游依赖关系的任务便于执行和溯源。
[0025]图1示出了可以应用于本公开实施例的字段血缘关系解析方法或字段血缘关系解析装置的示例性系统架构示意图。
[0026]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。
[0027]网络104可以在终端设备101、102、103和服务器105之间提供通信链路的介质，例如可以传输通过本公开提供的字段血缘关系解析方法获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种字段血缘关系解析方法，其特征在于，包括：获取待处理任务的逻辑执行计划；遍历所述逻辑执行计划包括的多个逻辑节点，提取所述待处理任务中包含的原始表字段、目标表字段和转换过程信息；其中，所述原始表字段包括所述待处理任务执行时调用的原始表中的字段，所述目标表字段包括所述待处理任务执行时生成的目标表中的字段，所述转换过程信息包括所述原始表字段与所述目标表字段之间的逻辑关系信息；基于所述待处理任务的原始表字段、目标表字段和转换过程信息，确定所述待处理任务中包含的原始表字段与目标表字段之间的字段血缘关系。2.根据权利要求1所述的字段血缘关系解析方法，其特征在于，所述提取所述待处理任务中包含的原始表字段、目标表字段和转换过程信息，包括：若所述多个逻辑节点中存在包含原始表调用信息的第一逻辑节点，则从所述第一逻辑节点中提取所述待处理任务的原始表字段；若所述多个逻辑节点中存在包含目标表生成信息的第二逻辑节点，则从所述第二逻辑节点中提取所述待处理任务的目标表字段；若所述多个逻辑节点中存在包含逻辑关系信息的第三逻辑节点，则从所述第三逻辑节点中提取所述待处理任务的转换过程信息。3.根据权利要求1所述的字段血缘关系解析方法，其特征在于，针对每个目标表字段，确定字段血缘关系的具体实现方式有：若存在与所述目标表字段相同的原始表字段，则确定所述目标表字段、所述与所述目标表字段相同的原始表字段之间具有字段血缘关系；若不存在与所述目标表字段相同的原始表字段，则基于所述待处理任务的转换过程信息查找与所述目标表字段对应的原始表字段，并确定所述目标表字段、所述与所述目标表字段对应的原始表字段之间具有字段血缘关系。4.根据权利要求1至3任一项所述的字段血缘关系解析方法，其特征在于，在所述基于所述待处理任务的原始表字段、目标表字段和转换过程信息，确定所述待处理任务中的字段血缘关系之...

【专利技术属性】
技术研发人员：肖乾春，刘德华，蒋宁，吴海英，曾琳铖曦，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：