【技术实现步骤摘要】
本说明书涉及数据治理领域，尤其是基于数仓链路的血缘数据管理方法、装置及计算机设备。
技术介绍
1、当前业界的数据血缘采集方案主要有两类：基于开源apache atlas，atlas提供元数据管理和治理的服务，企业可以对自己hadoop生态的数据资产构建目录，进行分类和治理，主要功能：元数据分类、元数据检索、血缘依赖(表到表、字段到字段)。
2、各大互联网公司也提供了很多对应数据治理，数据血缘的方案和产品，然而由于各家公司采用的基础技术架构各有不同，但一般根据各自数据中台的技术栈有针对性开发，很难形成一套通用的数据血缘系统。当前业界常用的apache atlas是通过被动式监听技术实现hivesql的血缘采集，这种抓取方式存在一定的误差，比如日常测试记录也会被采集进去，而且atlas无法实现doris、flink、mysql、kafka等其他数仓实例的血缘采集，更不能建立不同类型数仓之间的血缘，如hive表与doris表、bi看板、api接口之间的血缘关系。
技术实现思路
1、为...
【技术保护点】
1.一种基于数仓链路的血缘数据管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于数仓链路的血缘数据管理方法，其特征在于，使用同步工具将业务数据从源实例同步至目标实例中包括：
3.根据权利要求2所述的基于数仓链路的血缘数据管理方法，其特征在于，采集各实例的基础元数据还包括：
4.根据权利要求3所述的基于数仓链路的血缘数据管理方法，其特征在于，根据所述基础信息，从源实例的基础元数据中匹配目标表的详细信息包括：
5.根据权利要求4所述的基于数仓链路的血缘数据管理方法，其特征在于，所述同步配置信息进一步包括：第一...
【技术特征摘要】
1.一种基于数仓链路的血缘数据管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于数仓链路的血缘数据管理方法，其特征在于，使用同步工具将业务数据从源实例同步至目标实例中包括：
3.根据权利要求2所述的基于数仓链路的血缘数据管理方法，其特征在于，采集各实例的基础元数据还包括：
4.根据权利要求3所述的基于数仓链路的血缘数据管理方法，其特征在于，根据所述基础信息，从源实例的基础元数据中匹配目标表的详细信息包括：
5.根据权利要求4所述的基于数仓链路的血缘数据管理方法，其特征在于，所述同步配置信息进一步包括：第一目标实例中配置的第一目标表的基础信息，及源实例、目标实例及第一目标实例的映射关系，根据所述映射关系、所述源实例的基础元数据及所述目标表的详细信息，建立业务端与目标实例之间...
【专利技术属性】
技术研发人员：彭秀晓，赵福强，冯朝阳，李金山，罗超华，
申请(专利权)人：北京量子之歌科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。