构建应用系统的数据管理方法技术方案

技术编号:39331528 阅读:33 留言:0更新日期:2023-11-12 16:07
本发明专利技术提供一种构建应用系统的数据管理方法,属于数据分析技术领域,本发明专利技术通过数据源梳理、数据加工代码统一管理、通过数据依赖或流程依赖方式使数据分析或报表加工应用通过前后置依赖完成其任务定时处理;引入git代码管理工具存放其数据加工代码,通过自研发的python语义拆分工具把对应的表与字段进行拆分,获取其数据源表及目标表,并构建其血缘图,方便问题定位;通过git代码管理的任务对期任务前后置血缘进行构建,通过任务身日志了解其执行情况,方便后续的调优工作。方便后续的调优工作。方便后续的调优工作。

【技术实现步骤摘要】
构建应用系统的数据管理方法


[0001]本专利技术涉及数据分析
,尤其涉及一种构建应用系统的数据管理方法。

技术介绍

[0002]在各应用系统建设完毕投入使用后,系统需要为管理人员提供很多的系统数据统计报表,由于口径或处理时间等问题带来些数据上表的差异,尤其是使用这些报表考核时,由于不同人使用与处理的维度不同会造成诸多的数据对比,原因分析,当系统中数据较复杂后,很多报的依赖关系或数据未生成或生成一半时被下游直接做为数据源使用,会造成数据错误,定位与分析会耗费很多的时间精力。

技术实现思路

[0003]为了解决以上技术问题,本专利技术提供了一种构建应用系统的数据管理方法,主要应用于带有统计分析类的业务系统或统计分析系统,可极大提高运维效率、降低人员交替时系统的交接难度。
[0004]本专利技术的技术方案是:
[0005]构建应用系统的数据管理方法,包括:
[0006]使用git做流程代码管理、统计数据代码管理;
[0007]使用python编写语义解析获取sql语句中前后置表的依赖关系;...

【技术保护点】

【技术特征摘要】
1.构建应用系统的数据管理方法,其特征在于,包括:使用git做流程代码管理、统计数据代码管理;使用python编写语义解析获取sql语句中前后置表的依赖关系;使用python应用生成表、流程的前后依关系;使用DOT+graphviz生成其流程依赖图及表的血缘图谱。2.根据权利要求1所述的方法,其特征在于,通过数据源梳理、数据加工代码统一管理、通过数据依赖或流程依赖方式使数据分析或报表加工应用通过前后置依赖完成其任务定时处理。3.根据权利要求1所述的方法,其特征在于,引入git代码管理工具存放其数据加工代码。4.根据权利要求1所述的方法,其特征在于,通过python语义拆分工具把对应的表与字段进行拆分,获取其数据源表及目标表,并构建其血缘图。5....

【专利技术属性】
技术研发人员:姜世杰
申请(专利权)人:浪潮通信信息系统有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1