本发明专利技术提供了一种数据血缘关系的确定方法及装置、存储介质、电子装置，上述方法包括：获取抽取转换加载ETL任务的元数据，其中，元数据包括以下至少之一：数据库，数据表，数据字段；对元数据进行分析处理，以将ETL任务的元数据，元数据的包含关系以及元数据之间的映射关系保存在图数据库中，其中，包含关系用于指示数据库，数据表和数据字段之间的两两包含关系，映射关系用于指示数据库，数据表和数据字段之间的两两映射关系；响应目标数据的数据查询请求，通过图数据库确定目标数据的数据血缘关系，即将ETL任务的元数据，元数据的包含关系以及元数据之间的映射关系保存在图数据库中，进而通过图数据库确定目标数据的数据血缘关系。系。系。
【技术实现步骤摘要】
数据血缘关系的确定方法及装置、存储介质、电子装置
[0001]本专利技术主要涉及通信领域，具体而言，涉及一种数据血缘关系的确定方法及装置、存储介质、电子装置。
技术介绍
[0002]随着信息化和互联网技术的高速发展，“信息爆炸”的时代已然来临。不管是政府还是企业，电子信息化成为自身发展必然趋势，而各种信息化系统中的数据不仅数据量巨大，并且存储介质和格式多种多样，因此消除“数据孤岛”，做好数据整合、共享和对整合后的数据进行挖掘分析越来越重要。
[0003]在解决“数据孤岛”的方法中，数据仓库技术是一种最佳实践。数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。而ETL(Extract
‑
Transform
‑
Load，抽取
‑
转换
‑
加载)是构建数据仓库的关键环节。而通过ETL进行数据交换和共享的过程，其数据流动的记录和分析也具有较大的实际意义，比如数据溯源、评估数据价值、数据质量评估和数据归档及销毁的参考等。
[0004]在相关技术中，基于关系型数据库的数据血缘关系分析方法，模型创建、存储效率以及复杂情况下的查询效率都无法满足复杂情景下的需求。传统关系型数据库针对数据血缘关系建模较为复杂，需要涉及多张关联数据表并且概念较多不易于开发人员理解；存储时需要多表存入，代码逻辑较为复杂；查询速度局限于关联数据库多表查询，特别是对于数据血缘关系链路较长和复杂时，性能问题尤其明显。
[0005]针对相关技术中，基于关系型数据库的数据血缘关系分析方法，模型建立、数据存数以及查询数据血缘关系都较为复杂等问题，尚未提出有效的技术方案。
技术实现思路
[0006]本专利技术实施例提供了一种数据血缘关系的确定方法及装置、存储介质、电子装置，以至少解决相关技术中，基于关系型数据库的数据血缘关系分析方法，模型建立、数据存数以及查询数据血缘关系都较为复杂等问题。
[0007]本专利技术实施例提供了一种数据血缘关系的确定方法，包括：获取抽取转换加载ETL任务的元数据，其中，所述元数据包括以下至少之一：数据库，数据表，数据字段；对所述元数据进行分析处理，以将所述ETL任务的元数据，所述元数据的包含关系以及所述元数据之间的映射关系保存在图数据库中，其中，所述包含关系用于指示所述数据库，数据表和数据字段之间的两两包含关系，所述映射关系用于指示所述数据库，数据表和数据字段之间的两两映射关系；响应目标数据的数据查询请求，通过所述图数据库确定目标数据的数据血缘关系。
[0008]可选地，对所述元数据进行分析处理，以将所述ETL任务的元数据保存在图数据库中，包括：获取所述ETL任务的数据源端的元数据和所述ETL任务的数据目的端的元数据；根据所述图数据库提供的元数据类型确定所述数据源端的元数据的第一元数据类型以及所
述数据目的端的元数据的第二元数据类型；将所述数据源端的元数据按照所述第一元数据类型保存在所述图数据库中，以及将所述数据目的端的元数据按照所述第二元数据类型保存在所述图数据库中。
[0009]可选地，对所述元数据进行分析处理，以将所述元数据的包含关系保存在图数据库中，包括：确定所述数据库，数据表和数据字段之间的两两包含关系；按照所述图数据库提供的对象创建方式对所述两两包含关系进行创建，并将创建后的两两包含关系保存在所述图数据库中。
[0010]可选地，对所述元数据进行分析处理，以将所述元数据之间的映射关系保存在图数据库中，包括：在所述图数据库中创建ETL任务元数据类型，其中，所述ETL任务元数据类型包含：输入输出列表，所述元数据的映射关系，所述输入输出列表属性用于存储所述数据源端的元数据以及所述数据目的端的元数据；获取所述元数据之间的映射关系，并将所述映射关系保存在创建的ETL任务元数据类型中，以将所述元数据之间的映射关系保存在图数据库中。
[0011]可选地，响应目标数据的数据查询请求，通过所述图数据库确定目标数据的数据血缘关系，包括：响应所述数据查询请求，在所述输入输出列表中，通过所述图数据库的遍历语言进行遍历查询，以确定所述目标数据的数据血缘关系。
[0012]可选地，在所述输入输出列表中，通过所述图数据库的遍历语言进行遍历查询，以确定所述目标数据的数据血缘关系，包括：在所述输入输出列表中，按照输入方向和/或输出方向通过所述遍历语言进行遍历查询，以确定所述目标数据的数据血缘关系。
[0013]根据本专利技术的另一个实施例，还提供了一种数据血缘关系的确定装置，包括：获取模块，用于获取抽取转换加载ETL任务的元数据，其中，所述元数据包括以下至少之一：数据库，数据表，数据字段；处理模块，用于对所述元数据进行分析处理，以将所述ETL任务的元数据，所述元数据的包含关系以及所述元数据之间的映射关系保存在图数据库中，其中，所述包含关系用于指示所述数据库，数据表和数据字段之间的两两包含关系，所述映射关系用于指示所述数据库，数据表和数据字段之间的两两映射关系；响应模块，用于响应目标数据的数据查询请求，通过所述图数据库确定目标数据的数据血缘关系。
[0014]可选地，所述处理模块，还用于获取所述ETL任务的数据源端的元数据和所述ETL任务的数据目的端的元数据；根据所述图数据库提供的元数据类型确定所述数据源端的元数据的第一元数据类型以及所述数据目的端的元数据的第二元数据类型；将所述数据源端的元数据按照所述第一元数据类型保存在所述图数据库中，以及将所述数据目的端的元数据按照所述第二元数据类型保存在所述图数据库中。
[0015]根据本专利技术的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0016]根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0017]通过上述技术方案，获取抽取转换加载ETL任务的元数据，其中，元数据包括以下至少之一：数据库，数据表，数据字段；对元数据进行分析处理，以将ETL任务的元数据，元数
据的包含关系以及元数据之间的映射关系保存在图数据库中，其中，包含关系用于指示数据库，数据表和数据字段之间的两两包含关系，映射关系用于指示数据库，数据表和数据字段之间的两两映射关系；响应目标数据的数据查询请求，通过图数据库确定目标数据的数据血缘关系，即将ETL任务的元数据，元数据的包含关系以及元数据之间的映射关系保存在图数据库中，进而通过图数据库确定目标数据的数据血缘关系，采用上述技术方案，解决了相关技术中，基于关系型数据库的数据血缘关系分析方法，模型建立、数据存数以及查询数据血缘关系都较为复杂等问题，基于图数据库的数据血缘关系的确定方法，使得模型建立、数据存数以及查询数据血缘关系更加简单和高效。
附图说明
[0018]此处所说明的附图用来提供对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据血缘关系的确定方法，其特征在于，包括：获取抽取转换加载ETL任务的元数据，其中，所述元数据包括以下至少之一：数据库，数据表，数据字段；对所述元数据进行分析处理，以将所述ETL任务的元数据、所述元数据的包含关系以及所述元数据之间的映射关系保存在图数据库中，其中，所述包含关系用于指示所述数据库，数据表和数据字段之间的两两包含关系，所述映射关系用于指示所述数据库，数据表和数据字段之间的两两映射关系；响应目标数据的数据查询请求，通过所述图数据库确定目标数据的数据血缘关系。2.根据权利要求1所述的方法，其特征在于，对所述元数据进行分析处理，以将所述ETL任务的元数据保存在图数据库中，包括：获取所述ETL任务的数据源端的元数据和所述ETL任务的数据目的端的元数据；根据所述图数据库提供的元数据类型确定所述数据源端的元数据的第一元数据类型以及所述数据目的端的元数据的第二元数据类型；将所述数据源端的元数据按照所述第一元数据类型保存在所述图数据库中，以及将所述数据目的端的元数据按照所述第二元数据类型保存在所述图数据库中。3.根据权利要求1所述的方法，其特征在于，对所述元数据进行分析处理，以将所述元数据的包含关系保存在图数据库中，包括：确定所述数据库，数据表和数据字段之间的两两包含关系；按照所述图数据库提供的对象创建方式对所述两两包含关系进行创建，并将创建后的两两包含关系保存在所述图数据库中。4.根据权利要求1所述的方法，其特征在于，对所述元数据进行分析处理，以将所述元数据之间的映射关系保存在图数据库中，包括：在所述图数据库中创建ETL任务元数据类型，其中，所述ETL任务元数据类型包含：输入输出列表，所述元数据的映射关系，所述输入输出列表属性用于存储所述数据源端的元数据以及所述数据目的端的元数据；获取所述元数据之间的映射关系，并将所述映射关系保存在创建的ETL任务元数据类型中，以将所述元数据之间的映射关系保存在图数据库中。5.根据权利要求1所述的方法，其特征在于，响应目标数...
【专利技术属性】
技术研发人员：韩林，侯春华，申光，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。