一种元数据全链路分析的方法技术

本发明专利技术特别涉及一种元数据全链路分析的方法。该元数据全链路分析的方法，首先处理存储过程，去掉其中的无关信息；然后找出可能影响数据流向的sql，根据类型分别做预处理；最后进行数据流向查找。该元数据全链路分析的方法，通过服务接口的形式，对sql语句、存储过程语句进行分析，获取其中的表与表之间的字段全链路关系，从而实现了对数据流向全自动、彻底的分析，达到了梳理数据仓库中的数据流向的目的，极大地节省了时间和人力，为数据挖掘做好了准备。

【技术实现步骤摘要】
一种元数据全链路分析的方法
本专利技术涉及数据流向分析
，特别涉及一种元数据全链路分析的方法。
技术介绍
随着大数据的兴起，数据仓库、数据流向成了非常重要的分析信息。其中，数据流向主要从sql，存储过程，ETL等工具进行分析。ETL可以根据配置信息进行快速分析，而sql和存储过程分析起来比较麻烦，目前的分析都是不彻底或者需要人工干预，不能全自动、彻底的分析其中的流向关系。针对上述问题，本专利技术提出了一种元数据全链路分析的方法。
技术实现思路
本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的元数据全链路分析的方法。本专利技术是通过如下技术方案实现的：一种元数据全链路分析的方法，其特征在于，包括以下步骤：（1）处理存储过程，去掉其中的无关信息；（2）找出可能影响数据流向的sql，根据类型分别做预处理；（3）进行数据流向查找。所述步骤（1）中，首先获取存储过程文本内容，以一行为单位存储；解析文本内容，去掉文本中/**/和//注释的部分；并在行与行之间加空格合并成一行数据，然后去掉数据中包括换行在内的其他无关字符，并将连在一起的多空格合并成一个，进而得到了一个完整、规范、干净的存储本文档来自技高网...

【技术保护点】
1.一种元数据全链路分析的方法，其特征在于，包括以下步骤：（1）处理存储过程，去掉其中的无关信息；（2）找出可能影响数据流向的sql，根据类型分别做预处理；（3）进行数据流向查找。

【技术特征摘要】
1.一种元数据全链路分析的方法，其特征在于，包括以下步骤：（1）处理存储过程，去掉其中的无关信息；（2）找出可能影响数据流向的sql，根据类型分别做预处理；（3）进行数据流向查找。2.根据权利要求1所述的元数据全链路分析的方法，其特征在于：所述步骤（1）中，首先获取存储过程文本内容，以一行为单位存储；解析文本内容，去掉文本中/**/和//注释的部分；并在行与行之间加空格合并成一行数据，然后去掉数据中包括换行在内的其他无关字符，并将连在一起的多空格合并成一个，进而得到了一个完整、规范、干净的存储过程内容。3.根据权利要求1所述的元数据全链路分析的方法，其特征在于：所述步骤（2）中，解析获取的存储过程文本内容，采用分号;切割文本，得到单条sql内容；并从中筛选出可能通过表改变另一张表的sql单条语句；对筛选出的单条sql语句进行逐一分析，如果是executeimmediate开头的，则先将其中包含的sql提取出来；如果不是executeimmediate开头的，则分别对可能通过表改变另一张表的sql单条语句进行处理。4.根据权利要求3所述的元数据全链路分析的方法，其特征在于：可能通过表改变另一张表的sql单条语句包括insert语句，create语句，update语句和merge语句。5.根据权利要求4所述的元数据全链路分析的方法，其特征在于：当可能通过表改变另一张表的sql单条语句为create语句时，解析方法为拆分出其中的insert部分和update部分，分别根据insert语句和update语句进行解析处理。6.根据权利要求4所述的元数据全链路分析的方法，其特征在于，当可能通过表改变另一张表的sql单条语句为update语句时，解析方法包括以下步骤：根据文本拆分出set后面的语句，并根据逗号,拆成多条，逐条进行分析；判断是否存在select语句，如果存在，进入下一步，否则舍弃；对于存在select语句的sql获取等号=前后内容，等号=前面内容则为目标字段，根据顺序提取目标字段，采用解析ins...

【专利技术属性】
技术研发人员：肖庆超，王培元，程林，杨培强，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东,37