一种数据关系关联方法及装置制造方法及图纸

在本申请实施例提供的数据关系关联方法及装置中，包括：获取至少一个处理过程元数据；根据关键字与括号格式，将所述至少一个处理过程元数据中的每个处理过程元数据解析成预设格式的模型文本；根据所述至少一个模型文本，建立第一结构数据与第二结构数据的关联关系，其中，所述第一结构数据为源数据库的结构数据，所述第二结构数据为目标数据库的结构数据；展示所述处理过程元数据、第一结构数据、第二结构数据共同组成的关联关系图。由于本申请可以将不同格式的处理过程元数据均解析成规范的模型文本，然后再对模型文本进行处理，使得本方法可以适配众多的大数据集成工具。

A Data Relation Association Method and Device

The data relationship association method and device provided in the embodiment of this application includes: acquiring at least one process metadata; parsing each process metadata in the at least one process metadata into a model text in a preset format according to the keyword and bracket format; and establishing the first structure data and the second structure number according to the at least one model text. According to the association relationship, the first structural data is the structural data of the source database, the second structural data is the structural data of the target database, and the association diagram composed of the metadata of the processing process, the first structural data and the second structural data is displayed. Because this application can parse process metadata in different formats into standard model text, and then process model text, this method can be adapted to many large data integration tools.

【技术实现步骤摘要】
一种数据关系关联方法及装置
本申请涉及数据处理领域，具体而言，涉及一种数据关系关联方法及装置。
技术介绍
大数据环境下，各行业都积累了丰富的数据，通过数据仓库的构建，将分布在各系统中的原始数据进行整合，为领导决策分析提供了数据依据。但随着数据仓库接入的表和建立的模型越来越多，数据之间的关系也越来越复杂，如何能自动化的、清晰的、准确的展现数据的来源和数据的流向，在元数据管理中尤为重要。传统的方式是依靠手工维护，一旦处理过程脚本发生变化，手工维护遗漏或不及时的话，就会造成关系不准确。而大部分的数据关联分析技术主要是通过SQL解析实现数据关联的分析，而SQL解析过程主要是通过对语法树中select、from、where、groupby、insert等关键字的捕捉、按照一定的顺序对SQL语义解析，得到数据的关联关系，一旦SQL语句复杂且嵌套层数多，写法不规范，则无法准确的解析出数据之间的关系。随着大数据技术的广泛应用，传统写SQL脚本的数据处理方式已远远不能满足大数据量的处理要求，更多的厂家已采用ETL技术，通过组件化的方式实现大量的离线数据和实时数据的接入和处理。如何对众多的ETL工具统一本文档来自技高网...

【技术保护点】
1.一种数据关系关联方法，其特征在于，所述方法包括：获取至少一个处理过程元数据；根据关键字与括号格式，将所述至少一个处理过程元数据中的每个处理过程元数据解析成预设格式的模型文本；根据所述至少一个模型文本，建立第一结构数据与第二结构数据的关联关系，其中，所述第一结构数据为源数据库的结构数据，所述第二结构数据为目标数据库的结构数据；展示所述处理过程元数据、第一结构数据、第二结构数据共同组成的关联关系图。

【技术特征摘要】
1.一种数据关系关联方法，其特征在于，所述方法包括：获取至少一个处理过程元数据；根据关键字与括号格式，将所述至少一个处理过程元数据中的每个处理过程元数据解析成预设格式的模型文本；根据所述至少一个模型文本，建立第一结构数据与第二结构数据的关联关系，其中，所述第一结构数据为源数据库的结构数据，所述第二结构数据为目标数据库的结构数据；展示所述处理过程元数据、第一结构数据、第二结构数据共同组成的关联关系图。2.根据权利要求1所述的方法，其特征在于，所述结构数据包括表结构和字段结构，所述根据所述至少一个模型文本，建立第一结构数据与第二结构数据的关联关系，包括：根据所述至少一个模型文本，建立所述源数据库的字段结构与所述目标数据库的字段结构之间的关联关系；根据所述源数据库的字段结构与所述目标数据库的字段结构之间的关联关系、字段结构与表结构之间的包含关系，建立所述源数据库的表结构与所述目标数据库的表结构之间的关联关系。3.根据权利要求1所述的方法，其特征在于，在所述获取至少一个处理过程元数据之前，所述方法还包括：每间隔第一时间段，从所述源数据库获得第一结构数据；每间隔第二时间段，从所述目标数据库获得第二结构数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：每间隔第三时间段，获取新的至少一个处理过程元数据；判断获得的处理过程元数据与第三时间段前获得的处理过程元数据是否不同，或判断第一结构数据与第一时间段前获得的第一结构数据是否不同，或判断第二结构数据与第二时间段前获得的第二结构数据是否不同；若获得的处理过程元数据与所述第三时间段前获得的处理过程元数据不同，或第一结构数据与第一时间段前获得的第一结构数据不同，或第二结构数据与第二时间段前获得的第二结构数据不同，更新所述第一结构数据与所述第二结构数据的关联关系。5.根据权利要求4所述的方法，其特征在于，所述更新所述第一结构数据与所述第二结构数据的关联关系之后，包括：更新所述处理过程元数据、第一结构数据、第二结构数据共同组成的关联关系图。6.一种数据关系关联装置，其特征在于，所述装...

【专利技术属性】
技术研发人员：李岳璘，刘俊良，王双，王怡君，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51