一种数据血缘的构建方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据血缘的构建方法、装置、终端设备及存储介质，所述方法，在获取SQL脚本后，对SQL脚本中的SQL语句进行解析，生成SQL语句对应的抽象语法树，然后根据抽象语法树中各节点之间的关系，构建用于表征各个节点之间的血缘关系的血缘二叉树，接着对血缘二叉树中的各表类型节点进行解析，获取各表类型节点所对应的字段，在遍历过程中将解析的字段逐层上浮至对应的连接符类型节点，以构建出多层字段级血缘。通过实施本发明专利技术，可以免去传统由人工手动配置数据血缘的方式，面对庞大的数据量和复杂调度依赖关系，可以更快速的对数据进行追根溯源，降低数据血缘关系的构建难度，提高数据血缘构建的工作效率。

【技术实现步骤摘要】

本专利技术涉及数据库，尤其涉及一种数据血缘的构建方法、装置、终端设备及存储介质。

技术介绍

1、在大数据时代中的数据产生、处理、加工、融合、流转、消亡等过程中，数据之间的关系非常复杂，急需一种数据血缘技术，对数据在全生命周期过程中自动记录数据血缘，可以随时当前数据（表、字段、标签）从哪里来、到哪里去，帮助数据生产者以及消费者更好对数据进行追根溯源，提升数据运维、数据治理的效率。随着业务扩张、数仓不断完善，数据中台的各种业务数据的数据量和元数据数量持续增长，面对日益复杂的调度依赖关系，当出现问题时需要快速追溯数据链路，所以需要一种方法高效输出血缘关系，保证血缘的时效性，帮助用户更好进行数据治理。

2、然而，目前常用的获取血缘关系方法是通过用户手动配置各个表和字段之间的依赖关系，用户手动配置血缘关系工作量大，面对庞大的数据量和复杂调度依赖关系，工作难度大，用户需要投入大量的时间和精力，工作效率低下。

技术实现思路

1、本专利技术提供了一种数据血缘的构建方法、装置、终端设备及存储介质，可以免去传统由人工本文档来自技高网...

【技术保护点】

1.一种数据血缘的构建方法，其特征在于，包括：

2.如权利要求1所述的数据血缘的构建方法，其特征在于，所述对所述SQL脚本中的SQL语句进行解析，生成所述SQL语句所对应的抽象语法树，包括：

3.如权利要求1所述的数据血缘的构建方法，其特征在于，所述遍历所述血缘二叉树中的各个节点，对遍历到的表类型节点进行解析，获取每一表类型节点的字段，包括：

4.如权利要求3所述的数据血缘的构建方法，其特征在于，所述表类型节点的字段类型包括：case when类型、cast类型、group_concat类型、concat类型、自定义函数类型以及括号类型；

...

【技术特征摘要】

1.一种数据血缘的构建方法，其特征在于，包括：

2.如权利要求1所述的数据血缘的构建方法，其特征在于，所述对所述sql脚本中的sql语句进行解析，生成所述sql语句所对应的抽象语法树，包括：

3.如权利要求1所述的数据血缘的构建方法，其特征在于，所述遍历所述血缘二叉树中的各个节点，对遍历到的表类型节点进行解析，获取每一表类型节点的字段，包括：

4.如权利要求3所述的数据血缘的构建方法，其特征在于，所述表类型节点的字段类型包括：case when类型、cast类型、group_concat类型、concat类型、自定义函数类型以及括号类型；

5.如权利要求4所述的数据血缘的构建方法，其特征在于，所述将获取的各个表类型节点的字段...

【专利技术属性】
技术研发人员：张南锋，林文俊，王兵，林昂，张毅，黄丹，周铎鸿，李哲弘，谢铭敏，陈斌彬，陈佳，蒋新彦，
申请(专利权)人：广东航宇卫星科技有限公司，
类型：发明
国别省市：