生成脚本间血缘关系图的方法、装置、设备及存储介质制造方法及图纸

本公开提供一种生成脚本间血缘关系图的方法、装置、设备及存储介质，涉及数据管理及处理、大数据等技术领域。该方法包括：首先确定脚本数据集对应的血缘数据集，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息，之后根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。由此，基于处于闭环路径中的依赖关系的时间信息，对血缘关系图中的部分边进行更新，最终生成目标血缘关系图，从而避免了血缘关系图中依赖关系的自循环，直观地展示了全局脚本血缘关系。脚本血缘关系。脚本血缘关系。

【技术实现步骤摘要】
生成脚本间血缘关系图的方法、装置、设备及存储介质


[0001]本公开涉及到数据管理、数据处理、大数据等
，尤其涉及一种生成脚本间血缘关系图的方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机技术及数据处理技术的发展，基于数据血缘关系，来判断系统上下游脚本关系的应用范围日趋广泛。但是，现有的数据血缘关系梳理方法是基于正则匹配脚本语句段落去梳理脚本血缘，这种方法需要对脚本语句进行深度解析，带入大量专家规则，易出错，同时提高了开发复杂度，降低了运行效率。

技术实现思路

[0003]本公开提供了一种生成脚本间血缘关系图的方法、装置、设备及存储介质，用以解决如何降低数据血缘梳理时规则的复杂度以及提高运行效率的问题。
[0004]根据本公开的一方面，提供了一种生成脚本间血缘关系图的方法，包括：
[0005]确定脚本数据集对应的血缘数据集，其中，每个所述血缘数据中包含一个目标表及所述目标表依赖的至少一个来源表；
[0006]根据所述血缘数据集，确定所述脚本数据集中各脚本间的参考血缘关系图，其中，所述血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；
[0007]在所述参考血缘关系图中包含至少一个闭环路径的情况下，确定所述至少一个闭环路径中每个依赖关系对应的时间信息；
[0008]根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，以获取所述脚本数据集对应的目标血缘关系图。
[0009]根据本公开的另一方面，提供了一种生成脚本间血缘关系图的装置，包括：
[0010]第一确定模块，用于确定脚本数据集对应的血缘数据集，其中，每个所述血缘数据中包含一个目标表及所述目标表依赖的至少一个来源表；
[0011]第二确定模块，用于根据所述血缘数据集，确定所述脚本数据集中各脚本间的参考血缘关系图，其中，所述血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；
[0012]第三确定模块，用于在所述参考血缘关系图中包含至少一个闭环路径的情况下，确定所述至少一个闭环路径中每个依赖关系对应的时间信息；
[0013]更新模块，用于根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，以获取所述脚本数据集对应的目标血缘关系图。
[0014]根据本公开的另一方面，提供了一种电子设备，包括：
[0015]至少一个处理器；
[0016]以及，与至少一个处理器通信连接的存储器；
[0017]其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执
行，以使至少一个处理器能够执行上述实施例的方法。
[0018]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据上述实施例的方法。
[0019]本公开提供的一种生成脚本间血缘关系图的方法、装置、设备及存储介质。首先确定脚本数据集对应的血缘数据集，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，在参考血缘关系图中包含至少一个闭环路径的情况下，确定至少一个闭环路径中每个依赖关系对应的时间信息，之后根据对应不同时间信息的依赖关系的总数量，将参考血缘关系图中的部分边进行更新，以获取脚本数据集对应的目标血缘关系图。由此，基于处于闭环路径中的依赖关系的时间信息，对血缘关系图中的部分边进行更新，最终生成目标血缘关系图，从而避免了血缘关系图中依赖关系的自循环，直观地展示了全局脚本血缘关系。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0021]图1为本公开实施例提供的一种生成脚本间血缘关系图的方法的流程示意图；
[0022]图2为本公开提出的一种具有闭环路径的血缘关系示意图；
[0023]图3为本公开提供的更新后的血缘关系示意图；
[0024]图4为本公开实施例提供的一种生成脚本间血缘关系图的方法的流程示意图；
[0025]图5为本公开实施例提供的一种生成脚本间血缘关系图的装置的结构示意图；
[0026]图6为本公开实施例提供的一种电子设备的结构示意图。
[0027]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0028]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0029]下面参考附图，对本公开实施例的生成脚本间血缘关系图的方法进行详细说明。
[0030]需要说明的是，本公开实施的生成脚本间血缘关系图的方法可由任意电子设备执行。
[0031]其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(Personal Computer，简称PC)、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
[0032]图1为本公开实施例提供的一种生成脚本间血缘关系图的方法的流程示意图。如图1所示，该方法包括：
[0033]步骤101，确定脚本数据集对应的血缘数据集，其中，每个血缘数据中包含一个目
标表及目标表依赖的至少一个来源表。
[0034]在一些可能的实现形式中，可以通过对脚本数据集中的每个脚本数据的名称进行解析，以获取每个脚本数据对应的血缘数据。
[0035]本公开中，可以首先规定脚本命名规则并形成规范，之后，就可以通过对每个脚本数据的名称进行解析，来获取每个脚本对应的血缘数据。比如，通过后缀匹配的方式扫描脚本数据集中的每个脚本数据的名称，结合实际情况，找出符合后缀规则的脚本，例如使用Python进行开发时，则扫描脚本名称为*.py文件。然后对扫描出来的文件进行解析，通过正则语句对脚本中的血缘数据进行匹配，得到每个血缘数据对应的一个目标表及目标表依赖的至少一个来源表，形成来源表列表与目标表列表，并处理成<来源表，目标表>的键值对格式的血缘数据。以此，对每个扫描出来的脚本数据的名称进行解析，就可以确定脚本数据集对应的血缘数据集。
[0036]步骤102，根据血缘数据集，确定脚本数据集中各脚本间的参考血缘关系图，其中，血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系。
[0037]其中，参考血缘关系图，为基于血缘数据集生成的，用来表示脚本数据集中各脚本间的血缘关系的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成脚本间血缘关系图的方法，其特征在于，包括：确定脚本数据集对应的血缘数据集，其中，每个所述血缘数据中包含一个目标表及所述目标表依赖的至少一个来源表；根据所述血缘数据集，确定所述脚本数据集中各脚本间的参考血缘关系图，其中，所述血缘关系图中的节点用于表征数据表，节点间的边表征节点间具有依赖关系；在所述参考血缘关系图中包含至少一个闭环路径的情况下，确定所述至少一个闭环路径中每个依赖关系对应的时间信息；根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，以获取所述脚本数据集对应的目标血缘关系图。2.如权利要求1所述的方法，其特征在于，所述确定脚本数据集对应的血缘数据集，包括：对所述脚本数据集中的每个脚本数据的名称进行解析，以获取每个所述脚本数据对应的血缘数据。3.如权利要求1所述的方法，其特征在于，所述确定所述至少一个闭环路径中每个依赖关系对应的时间信息，包括：确定所述至少一个闭环路径中每个依赖关系对应的血缘数据；根据所述血缘数据中目标表及来源表分别对应的时间标签，确定所述依赖关系对应的时间信息。4.如权利要求1
‑
3任一所述的方法，其特征在于，所述根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，包括：在对应第一时间信息的第一依赖关系的第一数量，小于对应第二时间信息的第二依赖关系的第二数量的情况下，断开所述第一依赖关系，并在所述第一依赖关系指示的目标表处增加所述目标表依赖的来源表标识及所述第一时间信息，以获取所述脚本数据集对应的目标血缘关系图。5.如权利要求4所述的方法，其特征在于，在所述断开所述第一依赖关系之前，还包括：确定所述第一数量小于第一阈值。6.如权利要求4所述的方法，其特征在于，所述根据对应不同时间信息的依赖关系的总数量，将所述参考血缘关系图中的部分边进行更新，包括：在所述第一数量与所述第二数量间的差值小于第二阈值的情况下，获取所述参考血缘关系图除所述至少一个闭环路径外的其他依赖关系对应的第三时间信息；在所述第三时间信息，与所述第...

【专利技术属性】
技术研发人员：刘明锋，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：