基于SQL脚本的数据关系分析方法和装置制造方法及图纸

本发明专利技术提供了基于SQL脚本的数据关系分析方法和装置，应用于服务器，包括：接收客户端发送的SQL脚本；将SQL脚本进行解析，得到血缘模型；将血缘模型进行转换，得到图模型，其中，图模型为有向标签属性图，图模型包括库、表、SQL Process、字段和字段血缘Process；将图模型存储至图数据库中；通过Gremlin图遍历语句调用图数据库中的图模型，并进行计算，得到血缘关系图；将血缘关系图发送给客户端，以使客户端显示血缘关系图；通过数据血缘解析多种数据库SQL脚本中表、字段两种粒度的血缘关系，通过图形可视化提供跨数据库、自动化的数据血缘分析，帮助用户全面了解数据资产之间的数据流向和依赖性。

【技术实现步骤摘要】

本专利技术涉及大数据的数据治理，尤其是涉及基于sql脚本的数据关系分析方法和装置。

技术介绍

1、随着各类数据的需求越来越多，比如实时业绩、监管报送等场景均需要开发人员更好地认识表之间的数据流向，理解业务，并且在需要做数据变更时去做影响分析。在任务调度时，也可以通过字段级别的血缘关系，反过来去审查、诊断、优化任务级别依赖关系的配置。以上工作需要分析大量不同类型数据库sql脚本产生的数据血缘关系。

2、目前，对于数据血缘关系的获取方式，主要采用的技术为：sql解析引擎jsqlparser，java专业sql解析工具，但这种方式只能获取到查询语句的结果字段集合和来源表集合，不能构建结果字段来源于哪些表的哪些字段；数据治理和元数据管理工具atlas，不能直接解析sql语句，而是依赖于hooks对元数据信息的捕获。另外，还可以采用人工维护，但对人员专业技术要求较高，人力、时间成本高。

技术实现思路

1、有鉴于此，本专利技术的目的在于提供基于sql脚本的数据关系分析方法和装置，通过数据血缘解析多种数据库sq本文档来自技高网...

【技术保护点】

1.一种基于SQL脚本的数据关系分析方法，其特征在于，应用于服务器，所述方法包括：

2.根据权利要求1所述的基于SQL脚本的数据关系分析方法，其特征在于，将所述SQL脚本进行解析，得到血缘模型，包括：

3.根据权利要求2所述的基于SQL脚本的数据关系分析方法，其特征在于，遍历所述抽象语法树递归解析不同的SQL句法，得到字段血缘树，包括：

4.根据权利要求3所述的基于SQL脚本的数据关系分析方法，其特征在于，判断selectitem是否作为孩子节点加入所述字段血缘树，包括：

5.根据权利要求3所述的基于SQL脚本的数据关系分析方法，其特征在于...

【技术特征摘要】

1.一种基于sql脚本的数据关系分析方法，其特征在于，应用于服务器，所述方法包括：

2.根据权利要求1所述的基于sql脚本的数据关系分析方法，其特征在于，将所述sql脚本进行解析，得到血缘模型，包括：

3.根据权利要求2所述的基于sql脚本的数据关系分析方法，其特征在于，遍历所述抽象语法树递归解析不同的sql句法，得到字段血缘树，包括：

4.根据权利要求3所述的基于sql脚本的数据关系分析方法，其特征在于，判断selectitem是否作为孩子节点加入所述字段血缘树，包括：

5.根据权利要求3所述的基于sql脚本的数据关系分析方法，其特征在于，当所述select item加入所述字段血缘树的情况下，根据目标字段是否为聚合字段和select所处位置判断where、group by、having或join条件是否也加入，包括：

6.根...

【专利技术属性】
技术研发人员：宋丽娟，冷英英，邢宇强，张凯恒，李瑞，
申请(专利权)人：阳光人寿保险股份有限公司，
类型：发明
国别省市：