一种数据关系捕获及大数据关系树构建方法技术

本发明专利技术公开了一种数据关系捕获及大数据关系树构建方法，涉及大数据处理领域，其技术要点是：将关系性数据和非关系性数据集成获取数据血缘的元数据，对元数据进行定义，基于定义的元数据创建实体；执行SQL语言触发变更组件进行元数据实体变更，捕获钩子自动捕获变更信息生成元数据变更细节，对元数据变更细节进行解析生成单系统的数据血缘谱系图；将数据血缘谱系图存储至图数据库，并通过私钥进行加密，将加密数据通过消息队列同步到数据血缘交换空间，进而构建跨系统的大数据血缘关系树。本发明专利技术从单应用系统数据血缘同步上报到跨系统血缘最终同步下发，形成血缘关系树从数据获取、跨应用系统血缘计算、血缘树构建到下发的完整闭环。完整闭环。完整闭环。

【技术实现步骤摘要】
一种数据关系捕获及大数据关系树构建方法


[0001]本专利技术涉及大数据处理领域，更具体地说，它涉及一种数据关系捕获及大数据关系树构建方法。

技术介绍

[0002]数据血缘揭示了数据的生命周期——旨在展示数据从产生到结束的完整链路。数据血缘记录了数据产生、加工、流转、最终消亡的过程。包括数据在此过程中经历的所有转换——如何转换、发生了什么变化以及原因。
[0003]在现在大数据的环境下，许多数据之间的血缘关系是不清楚，而且即使有血缘，也只是系统内部的，未对数据之间的血缘关系进行自动捕获，未实现系统与系统之间的数据血缘关系。
[0004]因此，如何研究设计跨系统的数据血缘关系树是目前亟需解决的问题。

技术实现思路

[0005]本专利技术所解决的技术问题是未对数据之间的血缘关系进行自动铺获，未实现系统与系统之间的数据血缘关系，本专利技术的目的是提供一种数据关系捕获及大数据关系树构建方法，本专利技术在执行过程通过捕获钩子自动捕获数据之间的血缘关系。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据关系捕获及大数据关系树构建方法，其特征在于，包括以下步骤：将关系性数据和非关系性数据集成获取数据血缘的元数据，对元数据进行定义，基于定义的元数据创建实体；执行SQL语言触发变更组件进行元数据实体变更，捕获钩子自动捕获变更信息生成元数据变更细节，对所述元数据变更细节进行解析生成单系统的数据血缘谱系图；将数据血缘谱系图存储至图数据库，并通过私钥进行加密，将加密数据通过消息队列同步到数据血缘交换空间，进而构建跨系统的大数据血缘关系树。2.根据权利要求1所述的一种数据关系捕获及大数据关系树构建方法，其特征在于，元数据定义包括对元数据进行别名、分类及标签，其中，通过别名生成元数据的类型，通过标签与分类将元数据相互关联或将元数据和数据资产关联，按不同的分类对元数据进行管理，按分类的层次表达元数据的业务范围，通过标签和分类传播数据血缘依赖。3.根据权利要求2所述的一种数据关系捕获及大数据关系树构建方法，其特征在于，元数据根据类型进行建模并表示为实体，类型通过“name”唯一标识，每个类型有一个元类型，实体是类型的特定值或特定列，实体由唯一标识符标识。4.根据权利要求1所述的一种数据关系捕获及大数据关系树构建方法，其特征在于，元数据实体变更包括对元数据进行创建/变更/删除操作对元数据实体进行变更。5.根据权利要求4所述的一种数据关系捕获及大数据关系树构建方法，其特征在于，通过不同类型的捕获钩子自动捕获元数据的创建/更新/删除操作生成元数据变更细节的输出列和一组输入列或输入表，将输出列和一组输入列或输入表相关联生成数据血缘依赖谱系图，并将元数据变更细节信息内容推送至消息队列进...

【专利技术属性】
技术研发人员：方佩，李国民，全威，蔡希，杨凯，曾学俊，
申请(专利权)人：中通服创立信息科技有限责任公司，
类型：发明
国别省市：