一种数据血缘追溯方法、装置、设备及介质制造方法及图纸

本申请涉及数据识别领域，具体涉及一种数据血缘追溯方法、装置、设备及介质，方法包括：获取数据库操作语句，并对数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对数据库操作语句进行划分，以确定数据库操作语句对应的处理逻辑部分；将处理逻辑部分转化为抽象语法树，并基于抽象语法树，将数据库操作语句中的源字段与目标字段建立映射关系；根据映射关系，生成字段级血缘管理链路以及血缘图谱，并将血缘图谱通过前端页面进行展示。通过血缘工具分析并形成的数据血缘图谱，在开展监管报送工作时，可迅速定位不满足报送要求数据的上游来源，协助进一步提升数据报送质量。质量。质量。

【技术实现步骤摘要】
一种数据血缘追溯方法、装置、设备及介质


[0001]本申请涉及数据识别领域，具体涉及一种数据血缘追溯方法、装置、设备及介质。

技术介绍

[0002]当前用于数据血缘分析的技术主要为Apache Atlas，但是数据血缘追溯只是Atlas的功能之一，Atlas还有元数据管理、数据治理、数据资产目录分类及管理等大量功能，容易与现有数据资产管理平台功能重叠，而且Atlas的功能丰富即意味着定制开发的难度较大，难以快速迭代实现数据血缘追溯的核心功能，另外Atlas需要与Hbase、Solr配合使用，软件体量较大，与目前市面上产品设计快速灵活、敏捷迭代的思路不符。

技术实现思路

[0003]为了解决上述问题，本申请提出了一种数据血缘追溯方法、装置、设备及介质，其中方法包括：获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据血缘追溯方法，其特征在于，包括：获取数据库操作语句，并对所述数据库操作语句进行规范判断，以对不符合规范的语句进行错误提示；对所述数据库操作语句进行划分，以确定所述数据库操作语句对应的处理逻辑部分；将所述处理逻辑部分转化为抽象语法树，并基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系；根据所述映射关系，生成字段级血缘管理链路以及血缘图谱，并将所述血缘图谱通过前端页面进行展示。2.根据权利要求1所述的方法，其特征在于，所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系，具体包括：对所述抽象语法树进行语法解析，以得到所述数据库操作语句中的创建声明字段、插入声明字段以及查询声明字段；对所述创建声明字段、插入声明字段中的源字段以及所述查询声明字段中的目标字段进行映射关系分析，以确定所述映射关系。3.根据权利要求1所述的方法，其特征在于，所述获取数据库操作语句之前，所述方法还包括：接收来自于前端页面的多个脚本文件；生成所述多个脚本文件对应的解析任务，并将所述解析任务的执行进度展示于所述前端页面上；解析所述多个脚本文件，以在所述多个脚本文件中选取可用的数据库操作语句；所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系之后，根据所述映射关系，更新所述执行进度。4.根据权利要求1所述的方法，其特征在于，所述基于所述抽象语法树，将所述数据库操作语句中的源字段与目标字段建立映射关系之后，所述方法还包括：通过前端页面获取查询条件，并根据所述查询条件，确定查询字段；根据所述查询字段对应的映射关系，生成所述查询条件对应的查询表格；将所述查询表格通过所述前端页面进行展示；所述查询条件中的关键词长度低于预设阈值。5.根据权利要求4所述的方法，其特征在于，所述将所述血缘图谱通过前端页面进行展示，具体包括：后端将所述查询表格发送至前端页面；通过所述前端对所述查询表格进行图形化处理，以得到血缘图谱；通过所述前端页面展示所述血缘图谱。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过前端页面上传以及系统间服务调用的方式，获取待处理源数据库表字段以及目标数据库表字段的元数据信息；通过所述元数据信息...

【专利技术属性】
技术研发人员：孙巨洋，徐彤，缪海斌，邱蓉蓉，余弘铠，孙明玥，
申请(专利权)人：恒丰银行股份有限公司，
类型：发明
国别省市：