数据处理方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种数据处理方法、装置和电子设备。其中，该方法应用于元数据搜索引擎，该方法包括：响应血缘关系查询操作，确定血缘关系查询操作对应的目标数据表；基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系。该方式中，可以基于建表语句或血缘表查询目标数据表的血缘关系，相比于常见的自动解析方法和系统追踪方法，该方式无需解析SQL语句，解析血缘关系的方式较为简单，可以降低获取数据血缘关系的成本，可以获取所有数据的血缘关系，提高数据的覆盖率，还没有信息泄露的风险。还没有信息泄露的风险。还没有信息泄露的风险。

【技术实现步骤摘要】
数据处理方法、装置和电子设备


[0001]本专利技术涉及数据处理的
，尤其是涉及一种数据处理方法、装置和电子设备。

技术介绍

[0002]数据从产生、加工融合、流转流通到最终消亡，在数据之间自然会形成一种关系。可以借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。数据的血缘关系是元数据的组成部分之一。通过数据的血缘关系可以分析表和字段从数据源到当前表的血缘路径，以及血缘字段之间存在的关系是否满足，可以评判数据的一致性以及表设计的合理性，可以用于分析上游数据发生变化给下游数据带来的影响，在下游数据发生变化时可以追踪上游问题的源头，帮助我们更好地去理解数据。
[0003]一般来说，可以通过自动解析或系统追踪的方式去获取数据的血缘关系。其中，自动解析方法是当前获取数据的血缘关系的主要方法，其具体做法就是解析数据的SQL(Structured Query Language，结构化查询语言)语句、存储过程、ETL(Extract
‑
Transform
‑
Load，抽取、转换、加载)过程等文件，以确定数据的血缘关系。系统跟踪方法是通过数据加工流动过程中，由数据处理程序负责发送数据血缘信息，例如：在数据的注解部分增加对血缘的描述等。
[0004]然而，对于自动解析方法，由于数据的复杂代码和应用环境等原因，根据国际厂商的经验，自动解析方法可以仅覆盖到企业数据的70
‑
95％，目前无法做到100％，数据的覆盖不够全面。对于系统跟踪方法，由于调度引擎的种类比较多，导致分析成本交过。获取SQL执行日志比较困难，就算获取到SQL执行日志，也需要长时间追踪和分析，还可能带来数据安全的问题，并且也只能覆盖一部分数据。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种数据处理方法、装置和电子设备，以降低获取数据血缘关系的成本，提高数据的覆盖率。
[0006]第一方面，本专利技术实施例提供了一种数据处理方法，应用于元数据搜索引擎，方法包括：响应血缘关系查询操作，确定血缘关系查询操作对应的目标数据表；基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系。
[0007]在本专利技术较佳的实施例中，上述方法还包括：在创建目标数据表的过程中确定目标数据表的血缘关系；将目标数据表的血缘关系写入目标数据表的建表语句中；或者，将目标数据表的血缘关系写入目标数据表对应的血缘表中。
[0008]在本专利技术较佳的实施例中，上述将目标数据表的血缘关系写入目标数据表的建表语句中的步骤，包括：将目标数据表的血缘关系写入目标数据表中的指定字段内。
[0009]在本专利技术较佳的实施例中，上述基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系的步骤，包括：解析目标数据表中的指定字段，确定
目标数据表的血缘关系。
[0010]在本专利技术较佳的实施例中，上述目标数据表设置于数据库中，数据库包括多个数据表和一个血缘表；上述将目标数据表的血缘关系写入目标数据表对应的血缘表中的步骤，包括：将目标数据表的血缘关系写入数据库的血缘表中，以使血缘表记录数据库中的各个数据表的血缘关系。
[0011]在本专利技术较佳的实施例中，上述基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系的步骤，包括：从数据库的血缘表中查找目标数据表的血缘关系。
[0012]在本专利技术较佳的实施例中，上述基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系的步骤之后，方法还包括：基于目标数据表的血缘关系生成目标数据表的血缘关系图。
[0013]在本专利技术较佳的实施例中，上述方法还包括：将目标数据表的血缘关系或血缘关系图发送至与元数据搜索引擎通信连接的终端设备中。
[0014]第二方面，本专利技术实施例还提供一种数据处理装置，应用于元数据搜索引擎，装置包括：目标数据表确定模块，用于响应血缘关系查询操作，确定血缘关系查询操作对应的目标数据表；血缘关系确定模块，用于基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系。
[0015]第三方面，本专利技术实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的数据处理方法的步骤。
[0016]第四方面，本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的数据处理方法的步骤。
[0017]本专利技术实施例带来了以下有益效果：
[0018]本专利技术实施例提供的一种数据处理方法、装置和电子设备，可以响应用户的血缘关系查询操作，基于血缘关系查询操作对应的目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系。该方式中，可以基于建表语句或血缘表查询目标数据表的血缘关系，相比于常见的自动解析方法和系统追踪方法，该方式无需解析SQL语句，解析血缘关系的方式较为简单，可以降低获取数据血缘关系的成本，可以获取所有数据的血缘关系，提高数据的覆盖率，还没有信息泄露的风险。
[0019]本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
[0020]为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0021]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
[0022]图1为本专利技术实施例提供的一种数据处理方法的流程图；
[0023]图2为本专利技术实施例提供的另一种数据处理方法的流程图；
[0024]图3为本专利技术实施例提供的一种数据处理方法的总体架构的示意图；
[0025]图4为本专利技术实施例提供的一种数据处理装置的结构示意图；
[0026]图5为本专利技术实施例提供的另一种数据处理装置的结构示意图；
[0027]图6为本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0028]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]目前，数据从产生、加工融合、流转流通到最终消亡，在数据之间自然会形成一种关系。可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于元数据搜索引擎，所述方法包括：响应血缘关系查询操作，确定所述血缘关系查询操作对应的目标数据表；基于所述目标数据表的建表语句或者所述目标数据表对应的血缘表，确定所述目标数据表的血缘关系。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在创建所述目标数据表的过程中确定所述目标数据表的血缘关系；将所述目标数据表的血缘关系写入所述目标数据表的建表语句中；或者，将所述目标数据表的血缘关系写入所述目标数据表对应的血缘表中。3.根据权利要求2所述的方法，其特征在于，将所述目标数据表的血缘关系写入所述目标数据表的建表语句中的步骤，包括：将所述目标数据表的血缘关系写入所述目标数据表中的指定字段内。4.根据权利要求3所述的方法，其特征在于，基于所述目标数据表的建表语句或者所述目标数据表对应的血缘表，确定所述目标数据表的血缘关系的步骤，包括：解析所述目标数据表中的所述指定字段，确定所述目标数据表的血缘关系。5.根据权利要求2所述的方法，其特征在于，所述目标数据表设置于数据库中，所述数据库包括多个数据表和一个血缘表；将所述目标数据表的血缘关系写入所述目标数据表对应的血缘表中的步骤，包括：将所述目标数据表的血缘关系写入所述数据库的血缘表中，以使所述血缘表记录所述数据库中的各个所述数据表的血缘关系。6.根据权利要求5所述的方法，其特征在于，基于所述目标数据表的建表语句或者所述目标数据表对应的血缘...

【专利技术属性】
技术研发人员：孙成虎，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：