一种数据应用全链路管控方法及系统技术方案

本发明专利技术公开了一种数据应用全链路管控方法及系统，该方法包括：采集业务系统中的数据作业流程，获得数据作业节点；根据所述数据作业节点，对数据应用节点进行链接从而生成链路；读取、解析监控设置参数，获得对数据质量、数据安全的监控配置参数；根据所有所述链路的相关数据与所述监控配置参数，对全链路进行实时监控，并输出监控结果数据。该方法可对所有数据作业流程或应用的运行状态进行监控，同时，能针对单一应用、单一链路或重点应用开展可视化监控，有效保障数据应用的运行和数据的质量，提高数据运营效率和收益，最终实现数据应用的全链路管控。应用的全链路管控。应用的全链路管控。

【技术实现步骤摘要】
一种数据应用全链路管控方法及系统


[0001]本专利技术涉及计算机数据
，特别涉及一种数据应用全链路管控方法及系统。

技术介绍

[0002]数据资产包含企业在日常生产、经营、管理过程中由本身产生的或从企业外部得到的有意义的数据资源。数据资产管理的含义即是通过收集并开发将数据有效的利用、将数据进行资产化定位，使得相关数据资产得到有效的安全保障，从而更好地被相关企业利用达到经济上的效益。
[0003]资产应用是数据资产管理的一个重要的方向，资产应用通过全链路实现端到端打通，评估应用投入产出比，并进行安全的检测管控。在数据资产管理的过程中，对数据的调用、加工、分析，需要针对资源分配、稳定性、及时性、错误定位等问题，对数据应用进行全链路监控，这种监控的目的是为了对业务流程的健康状况了然于胸，对于数据加工的全局和各个加工流程的上下游中出现的问题能快速发现、定位。
[0004]以电网行业为例，随着电网行业业务的拓展和技术的发展，单靠传统的“监控大盘”模式已经越来越不能满足监控需求，主要表现在以下几个方面：
[0005]“监控大盘”主要反映的是单个业务或应用的运行状态，缺少全局的业务视角能反应整个“业务域”的上下游整体的运行情况。
[0006]“业务监控”一直都是由“开发人员”纯手工打造，需要经过日志埋点、监控配置、报警阈值设置，整个过程费时费力，缺乏自动化、智能化监控的手段，这也是造成各系统监控能力参差不齐的重要原因，一些新业务因为无力投入大量精力配置监控，导致业务监控能力缺失。
[0007]因此，如何实现对整个“业务域”相关数据的监控，成为同行从业人员急需解决的问题。

技术实现思路

[0008]本专利技术的目的在于提供一种数据应用全链路管控方法及系统，该方法可实现对整个业务域相关数据的管控，可解决业务监控能力缺失的问题。
[0009]本专利技术实施例提供一种数据应用全链路管控方法，包括：采集业务系统中的数据作业流程，获得数据作业节点；
[0010]根据所述数据作业节点，对数据应用节点进行链接从而生成链路；
[0011]读取、解析监控设置参数，获得对数据质量、数据安全的监控配置参数；
[0012]根据所有所述链路的相关数据与所述监控配置参数，对全链路进行实时监控，并输出监控结果数据。
[0013]在一个实施例中，还包括：
[0014]解析所述监控结果数据，对监控结果数据进行处理，并输出处理后的数据；
[0015]对处理后的数据进行解析并可视化展示。
[0016]在一个实施例中，所述数据作业节点，包括以下多种作业流程：数据采集、数据传输、数据加工、数据存储、数据供给和数据应用；以及包括所有所述作业流程的输入、输出数据库表。
[0017]在一个实施例中，所述监控配置参数包括：监控过程执行的规则脚本、监控的时间节点、脚本执行的时间节点、规则脚本的等级。
[0018]在一个实施例中，根据所述数据作业节点，对数据应用节点进行链接从而生成链路，包括：
[0019]根据所有所述作业流程的输入、输出数据库表，获得所有数据表的来源与去向；
[0020]根据同一个数据表的来源与去向，获得两个数据作业节点的节点关系；
[0021]根据所述节点关系，自动生成两个数据作业节点间的链路；
[0022]将所有的作业流程所包含的节点进行连接，从而生成全链路。
[0023]在一个实施例中，对监控结果数据进行处理，包括：
[0024]对通用的、简单的、确定的数据问题、节点故障问题，根据设定的规则或历史处理信息进行纠正。
[0025]在一个实施例中，所述处理后的数据，包括：
[0026]业务系统数据的操作指令、数据链路监控的结果数据；所述数据链路监控的结果数据包括：应用数据的数据质量、数据安全的评级、处理优先级、相应的数据应用节点、解决方法建议信息。
[0027]第二方面，本专利技术实施例还提供一种应用如上述任一项所实施例所述数据应用全链路管控方法的数据应用全链路管控系统，包括：数据层和采集层；还包括：持久层、逻辑层和展现层；所述数据层、采集层、持久层、逻辑层和展现层依次连接；
[0028]其中，所述数据层包括源系统数据和数据库组件；
[0029]所述采集层采集所述源系统数据和数据库组件中存储的指标数据、日志数据、元数据、任务数据；
[0030]所述持久层对所述采集层采集的数据进行过滤、清洗、转换和装载操作；
[0031]所述逻辑层对所述持久层处理的数据，使用关系分析、数据汇总分析、事件计算；分别进行自动化链路梳理、实时监控和状态分析；
[0032]所述展现层对所述逻辑层的分析结果进行展示；展示内容包括血缘展示、告警信息、处理方案推荐、实时监控信息。
[0033]本专利技术实施例提供的一种数据应用全链路管控方法，针对数据资产从源业务系统到数据中心再到数据应用的全链路过程，开展链路建立和过程监控，对数据采集、数据传输、数据加工、数据供给、数据存储、数据应用、数据访问各环节复杂多类的作业调度任务进行采集、融合；并根据前端开发统一组件图形模型，通过组件和规则的配置，形成统一的可视化可维护链路监控，对链路监控过程发现的问题进行告警，提供工单问题闭环处理，进行监控统计，实现数据应用的全链路管控。
[0034](1)自动化手段对数据应用节点进行链接，完成对完整全链路的组织，对所有数据作业流程或应用的运行状态进行监控。同时，能针对单一应用、单一链路或重点应用开展可视化监控，有效保障数据应用的运行和数据的质量，提高数据运营效率和收益。
[0035](2)监控完整的系统数据作业流程的健康状况，无需多个系统切换，直观看到全局和上下游，方便快速发现、定位问题。
[0036]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0037]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0038]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0039]图1为本专利技术实施例提供的数据应用全链路管控方法的流程图。
[0040]图2为本专利技术实施例提供的数据应用全链路管控方法的原理图。
[0041]图3为本专利技术实施例提供的数据应用全链路管控系统的架构图。
具体实施方式
[0042]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据应用全链路管控方法，其特征在于，包括：采集业务系统中的数据作业流程，获得数据作业节点；根据所述数据作业节点，对数据应用节点进行链接从而生成链路；读取、解析监控设置参数，获得对数据质量、数据安全的监控配置参数；根据所有所述链路的相关数据与所述监控配置参数，对全链路进行实时监控，并输出监控结果数据。2.如权利要求1所述的一种数据应用全链路管控方法，其特征在于，还包括：解析所述监控结果数据，对监控结果数据进行处理，并输出处理后的数据；对处理后的数据进行解析并可视化展示。3.如权利要求1所述的一种数据应用全链路管控方法，其特征在于，所述数据作业节点，包括以下多种作业流程：数据采集、数据传输、数据加工、数据存储、数据供给和数据应用；以及包括所有所述作业流程的输入、输出数据库表。4.如权利要求1所述的一种数据应用全链路管控方法，其特征在于，所述监控配置参数包括：监控过程执行的规则脚本、监控的时间节点、脚本执行的时间节点、规则脚本的等级。5.如权利要求3所述的一种数据应用全链路管控方法，其特征在于，根据所述数据作业节点，对数据应用节点进行链接从而生成链路，包括：根据所有所述作业流程的输入、输出数据库表，获得所有数据表的来源与去向；根据同一个数据表的来源与去向，获得两个数据作业节点的节点关系；根据所述节点关系，自动生成两个数据作业节点间的链路...

【专利技术属性】
技术研发人员：梁盈威，江疆，杨秋勇，冯歆尧，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：