一种数据应用全链路管控方法及系统技术方案

技术编号:30332079 阅读:28 留言:0更新日期:2021-10-10 00:44
本发明专利技术公开了一种数据应用全链路管控方法及系统,该方法包括:采集业务系统中的数据作业流程,获得数据作业节点;根据所述数据作业节点,对数据应用节点进行链接从而生成链路;读取、解析监控设置参数,获得对数据质量、数据安全的监控配置参数;根据所有所述链路的相关数据与所述监控配置参数,对全链路进行实时监控,并输出监控结果数据。该方法可对所有数据作业流程或应用的运行状态进行监控,同时,能针对单一应用、单一链路或重点应用开展可视化监控,有效保障数据应用的运行和数据的质量,提高数据运营效率和收益,最终实现数据应用的全链路管控。应用的全链路管控。应用的全链路管控。

【技术实现步骤摘要】
一种数据应用全链路管控方法及系统


[0001]本专利技术涉及计算机数据
,特别涉及一种数据应用全链路管控方法及系统。

技术介绍

[0002]数据资产包含企业在日常生产、经营、管理过程中由本身产生的或从企业外部得到的有意义的数据资源。数据资产管理的含义即是通过收集并开发将数据有效的利用、将数据进行资产化定位,使得相关数据资产得到有效的安全保障,从而更好地被相关企业利用达到经济上的效益。
[0003]资产应用是数据资产管理的一个重要的方向,资产应用通过全链路实现端到端打通,评估应用投入产出比,并进行安全的检测管控。在数据资产管理的过程中,对数据的调用、加工、分析,需要针对资源分配、稳定性、及时性、错误定位等问题,对数据应用进行全链路监控,这种监控的目的是为了对业务流程的健康状况了然于胸,对于数据加工的全局和各个加工流程的上下游中出现的问题能快速发现、定位。
[0004]以电网行业为例,随着电网行业业务的拓展和技术的发展,单靠传统的“监控大盘”模式已经越来越不能满足监控需求,主要表现在以下几个方面:
[0005]“监控大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据应用全链路管控方法,其特征在于,包括:采集业务系统中的数据作业流程,获得数据作业节点;根据所述数据作业节点,对数据应用节点进行链接从而生成链路;读取、解析监控设置参数,获得对数据质量、数据安全的监控配置参数;根据所有所述链路的相关数据与所述监控配置参数,对全链路进行实时监控,并输出监控结果数据。2.如权利要求1所述的一种数据应用全链路管控方法,其特征在于,还包括:解析所述监控结果数据,对监控结果数据进行处理,并输出处理后的数据;对处理后的数据进行解析并可视化展示。3.如权利要求1所述的一种数据应用全链路管控方法,其特征在于,所述数据作业节点,包括以下多种作业流程:数据采集、数据传输、数据加工、数据存储、数据供给和数据应用;以及包括所有所述作业流程的输入、输出数据库表。4.如权利要求1所述的一种数据应用全链路管控方法,其特征在于,所述监控配置参数包括:监控过程执行的规则脚本、监控的时间节点、脚本执行的时间节点、规则脚本的等级。5.如权利要求3所述的一种数据应用全链路管控方法,其特征在于,根据所述数据作业节点,对数据应用节点进行链接从而生成链路,包括:根据所有所述作业流程的输入、输出数据库表,获得所有数据表的来源与去向;根据同一个数据表的来源与去向,获得两个数据作业节点的节点关系;根据所述节点关系,自动生成两个数据作业节点间的链路...

【专利技术属性】
技术研发人员:梁盈威江疆杨秋勇冯歆尧
申请(专利权)人:广东电网有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1