【技术实现步骤摘要】
一种数据血缘关系的处理方法、装置、服务器及介质
[0001]本申请涉及数据处理
，尤其涉及一种数据血缘关系的处理方法、装置、服务器及介质。
技术介绍
[0002]现代大型企业的大数据架构越来越复杂，数据的采集、加工、使用以及废止链路环节明显增多，构建数据血缘关系采集及分析系统可提升大规模多源异构数据的治理能力。
[0003]现有技术中，主要采用的方法是开发Hive结构化查询语句(Structured Query Language；简称SQL)语法解析器或者以爬虫的方式获取SQL语句，直接解析SQL语句获取血缘关系数据。
[0004]但是，该方法难以解析非典型和非标准的SQL语句，从而导致获取的血缘关系数据的准确度和效率均较低的技术问题。
技术实现思路
[0005]本申请提供一种数据血缘关系的处理方法、装置、服务器及介质，用以解决获取的血缘关系数据的准确度低、效率差的技术问题。
[0006]一方面，本申请提供一种数据血缘关系的处理方法，包括：
[0007]监测数据系统，在所...
【技术保护点】
【技术特征摘要】
1.一种数据血缘关系的处理方法，其特征在于，包括：监测数据系统，在所述数据系统每执行一条时，获取已执行的SQL语句对应的原始数据血缘信息，并将所述原始数据血缘信息存储至Redis数据库中；根据预设时间，从所述Redis数据库中，获取已存储的原始数据血缘信息；对于每条原始数据血缘信息，获取所述原始数据血缘信息对应的操作类型，并根据获取的所述操作类型对应的解析函数，对所述原始数据血缘信息进行解析，以获取血缘关系数据，并将所述血缘关系数据按照图数据库的接收格式存储到图数据库中。2.根据权利要求1所述的数据血缘关系的处理方法，其特征在于，在所述操作类型属于新建类时，则所述血缘关系数据包括如下一种或者几种的组合：库表之间的血缘关系信息；作为输入的不同来源实体、字段之间的血缘关系；提交操作的用户；Hive协议地址；库表所在集群；数据表所处的业务线和层级；数据表的字段、分区和存储位置；或者，在所述操作类型属于修改类时，则所述血缘关系数据包括如下一种或者几种组合：对数据库、数据表、字段或分区的修改操作，以及基于所述修改操作而产生的血缘关系数据；或者，在所述操作类型属于删除类时，则所述血缘关系数据包括如下一种或者几种组合：被删除的库表，以及因此产生的血缘关系数据；或者，在所述操作类型属于查询类时，则所述血缘关系数据包括如下一种或者几种组合：数据库之间、数据表之间或字段之间的查询信息，及因此产生的血缘关系数据；或者，在所述操作类型属于其他类时，则所述血缘关系数据包括如下一种或者几种组合：库表间操作的血缘关系数据、从HDFS文件导入到数据表或从数据表导入到HDFS文件操作的血缘关系数据。3.根据权利要求2所述的数据血缘关系的处理方法，其特征在于，所述将所述原始数据血缘信息存储至Redis数据库中，包括：对所述原始数据血缘信息进行JSON封装处理，以将封装后的原始数据血缘信息存储至所述Redis数据库中。4.根据权利要求2所述的数据血缘关系的处理方法，其特征在于，所述根据预设时间，从所述Redis数据库中，获取已存储的原始数据血缘信息，包括：根据所述预设时间，采用预配置的多线程并行任务，从所述Redis数据库中，扫描获取已存储的原始数据血缘信息。5.根据权利要求1至4任一所述的数据血缘关系的处理方法，其特征在于，还包括：通过图计算平台对所述血缘关系数据进行可视化展示。6.根据权利要求1至4任一所述的数据血缘关系的处理方法，其特征在于，还包括：通过图结构化查询语言对所述血缘关系数据进行进一步数据挖掘和分析，以获取更新后的血缘关系数据。
7.一种数据血缘关系的处理装置，其特征在于，包括：监测数据系统，用于在所述数据系统每执行一条SQL语句时，获取已执行的SQL语句对应的原始数据血缘信息，并将所述原始数据血缘信息存储至Redi...
【专利技术属性】
技术研发人员：孙萌，杨波，冯翰斌，李硕，胡博文，闫龙，宋雨伦，李大中，
申请(专利权)人：联通数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。