基于图的调度作业监控方法及装置制造方法及图纸

本发明专利技术公开了一种基于图的调度作业监控方法及装置，该方法包括：获得目标大数据系统上的调度作业数据，所述调度作业数据包括所有调度作业的属性数据；将所有调度作业转化为节点列表中的节点，将所有调度作业之间的依赖关系转化为节点边列表中的节点边；根据节点列表和节点边列表，构建调度作业有向图；根据调度作业有向图中各节点的度，确定调度作业有向图中的关键节点；在获得问题节点后，根据调度作业有向图，构建所述问题节点对应的反向子图；确定反向子图中的最大链路和该最大链路上的关键节点、最耗时链路和该最耗时链路上的关键节点。本发明专利技术可以实现对目标大数据系统上的调度作业进行高效监控。度作业进行高效监控。度作业进行高效监控。

【技术实现步骤摘要】
基于图的调度作业监控方法及装置


[0001]本专利技术涉及大数据
，尤其涉及基于图的调度作业监控方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]银行场景下的调度作业特指各类数据加工流转过程当中运行的SQL脚本。大数据运维调度平台作为当前银行内最重要的系统之一，其所管理维护下的海量调度作业脚本为银行各业务条线的日常运转提供着后台数据支持。随着银行各系统数字化转型的不断推进，大数据运维调度平台的脚本间作业依赖越来越复杂，通常包含多层级、多链路相互依赖，使得传统的管理查询方式难以有效快速的检索和定位问题脚本、计算问题链路的相关信息，复杂链路的问题定位常常需要小时级的问题查找时间，给日常的作业调度监控与问题优化带来挑战。
[0004]因此，目前需要一种更优化的调度作业监控的方案。

技术实现思路

[0005]本专利技术实施例提供一种基于图的调度作业监控方法，用以实现对目标大数据系统上的调度作业进行高效监控本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图的调度作业监控方法，其特征在于，包括：获得目标大数据系统上的调度作业数据，所述调度作业数据包括所有调度作业的属性数据；将所有调度作业转化为节点列表中的节点，将所有调度作业之间的依赖关系转化为节点边列表中的节点边；根据节点列表和节点边列表，构建调度作业有向图；根据调度作业有向图中各节点的度，确定调度作业有向图中的关键节点；在获得问题节点后，根据调度作业有向图，构建所述问题节点对应的反向子图；确定反向子图中的最大链路和该最大链路上的关键节点、最耗时链路和该最耗时链路上的关键节点。2.如权利要求1所述的方法，其特征在于，在获得目标大数据系统上的调度作业数据之后，还包括：对调度作业数据中的异常数据进行清理。3.如权利要求1所述的方法，其特征在于，将所有调度作业转化为节点列表中的节点，将所有调度作业之间的依赖关系转化为节点边列表中的节点边，包括：将调度作业的标识转化为节点列表中的节点；将调度作业除标识之外的属性数据转化为以节点为键值的字典结构；使用各调度作业的标识和父级作业标识抽取调度作业之间的依赖关系；将所有调度作业之间的依赖关系转化为节点边列表中的节点边。4.如权利要求1所述的方法，其特征在于，还包括：计算调度作业有向图中各节点的度，将每个节点的度作为该节点对应的作业的重要级别；根据每个节点对应的作业的重要级别，确定调度作业有向图中的关键节点。5.如权利要求4所述的方法，其特征在于，计算调度作业有向图中各节点的度，包括：计算各个节点的出度和入度，得出各个节点的度中心性值；计算各个节点的介数中心度；计算各个节点的接近中心度；分别根据各个节点的度中心性值及对应的权重、介数中心度及对应的权重和接近中心度及对应的权重，得出各个节点的关键中心性数值。6.如权利要求1所述的方法，其特征在于，根据调度作业有向图...

【专利技术属性】
技术研发人员：杨雪啸，
申请(专利权)人：山景智能北京科技有限公司，
类型：发明
国别省市：