【技术实现步骤摘要】
本申请涉及大数据和ai，特别涉及一种基于快照的数据溯源方法及系统。
技术介绍
1、在大数据数仓作业开发与调度过程中，存在确认数据获取源头及计算口径的诉求。为了获取数据的生成过程，需要获取数据来源、去向和处理过程等信息，一般需要通过阅读多份在线代码来推导。而在实际的大数据生产环境中，可能源端系统存在交错复杂的数据关系、在线代码维护多个版本、多人协同开发代码风格不一等问题，溯源过程困难且效率低下。因此，若有一套解决方案能够关联不同数据脚本的血缘关系，将可以在需求开发、异常发现、影响分析、资源优化方面获得收益。
技术实现思路
1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的一个目的在于提出一种基于快照的数据溯源方法、系统、电子设备以及可读存储介质，本申请在多人协同开发、代码多版本维护、复杂源端数据关系的环境下，可以提供数据变更的追溯、更新、查询的能力，降低溯源难度。
2、本申请公开的第一个方面，如图4所示，提供一种基于快照的数据溯源方法，(a)为表追溯路径，...
【技术保护点】
1.一种基于快照的数据溯源方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于快照的数据溯源方法，其特征在于，所述捕获表和任务的修改，任务快照脚本中提取数据血缘的步骤，包括：
3.根据权利要求2所述一种基于快照的数据溯源方法，其特征在于，所述提取待更新任务脚本的输出目标表的步骤，包括：
4.根据权利要求2所述一种基于快照的数据溯源方法，其特征在于，所述提取输出目标表的依赖上游表的步骤，包括：
5.根据权利要求1所述一种基于快照的数据溯源方法，其特征在于，所述更新数据血缘的步骤，包括：
6.根据权利...
【技术特征摘要】
1.一种基于快照的数据溯源方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于快照的数据溯源方法，其特征在于，所述捕获表和任务的修改，任务快照脚本中提取数据血缘的步骤，包括：
3.根据权利要求2所述一种基于快照的数据溯源方法，其特征在于，所述提取待更新任务脚本的输出目标表的步骤，包括：
4.根据权利要求2所述一种基于快照的数据溯源方法，其特征在于，所述提取输出目标表的依赖上游表的步骤，包括：
5.根据权利要求1所述一种基于快照的数据溯源方法，其特征在于，所述更新数据血缘的步骤，包括：
6.根据权利要求5所述一种基于快照的数据溯源方法，其特征在于，所述刷...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。