数字化指标作业的监控方法、系统及相关装置制造方法及图纸

本发明专利技术公开数字化指标作业的监控方法、系统及相关装置，可以通过当监测到发生集群切换的情况时，作业管控平台根据预先针对各批处理作业建立的数据库表信息，生成目标数字化指标的作业链路和作业层级信息；针对任一作业链路，均执行：作业管控平台根据作业标识，获取P9调度平台的调度日志和鲁班调度平台的调度日志；作业管控平台根据各调度日志，分别确定作业链路的各批处理作业的作业运行状态；作业管控平台根据作业链路的各批处理作业的作业标识、作业运行状态和作业层级信息，生成目标数字化指标的作业监控信息。本发明专利技术可以针对重要的批处理作业及数据线场景(如数字化指标)进行作业链路层面的监控，监控较为全面和可靠。监控较为全面和可靠。监控较为全面和可靠。

【技术实现步骤摘要】
数字化指标作业的监控方法、系统及相关装置


[0001]本专利技术涉及大数据领域，特别涉及一种数字化指标作业的监控方法、系统及相关装置。

技术介绍

[0002]目前企业在进行批处理作业管理时，经常将多种调度方式结合起来，共同形成批处理作业调度策略，对批处理作业形成有序的管控。这些调度方式如下：
[0003](1)Crontab命令。在linux、Unix、AIX等系统中，Crontab是用于设置周期性执行的命令，控制程序或脚本按照所设置的周期性、时间窗口运行。可定义星期、月份、日期、时、分等属性。在实际应用中，通过Crontab对批量作业按照指定的时间点及周期进行调度，但由于Crontab不能管理多个批处理作业间的依赖关系，因此仅作为任务的触发工具。
[0004](2)数据仓库技术ETL产品的调度组件。ETL工具在IT系统建设中使用的愈发广泛，常用的ETL工具有IBM的DataStage、Informatica的Powercenter、SAP的DataService、开源的kettle等。另外，现在大数据产品、报表产品、数据库产品自带的工具也非常丰富。在实际的系统开发过程中，ETL工具的调度模块主要用来组建任务流程，实现批处理作业运行的流程控制，满足作业的前后依赖关系的管理。
[0005]现有作业监控仅支持作业维度和作业流维度监控，监控不够全面。

技术实现思路

[0006]鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的数字化指标作业的监控方法、系统及相关装置。
[0007]第一方面，一种数字化指标作业的监控方法，应用于一种数字化指标作业的监控系统，所述系统至少包括：SOD集群、MPP集群和作业管控平台，其中，所述作业管控平台搭载有P9调度平台和鲁班调度平台，所述P9调度平台与所述SOD集群通信连接，所述鲁班调度平台与所述MPP集群通信连接；
[0008]所述监控方法，包括：
[0009]当监测到发生集群切换的情况时，所述作业管控平台根据预先针对各批处理作业建立的数据库表信息，生成目标数字化指标的作业链路和作业层级信息，其中，所述作业链路包括多个所述批处理作业，所述作业层级信息表征所述作业链路的各批处理作业分别与其他批处理作业之间的依赖层级关系，相同批处理作业在所述P9调度平台和所述鲁班调度平台中配置的作业标识相同；
[0010]针对任一所述作业链路，均执行：所述作业管控平台根据作业标识，获取所述P9调度平台针对所述作业链路的各批处理作业的调度日志和获取所述鲁班调度平台针对所述作业链路的各批处理作业的调度日志；
[0011]所述作业管控平台根据各所述调度日志，分别确定所述作业链路的各批处理作业的作业运行状态，其中，所述作业运行状态表征相应批处理作业的当前运行情况；
[0012]所述作业管控平台根据所述作业链路的各批处理作业的作业标识、作业运行状态和作业层级信息，生成所述目标数字化指标的作业监控信息。
[0013]结合第一方面，在某些可选的实施方式中，在当监测到发生集群切换的情况时之前，所述方法还包括：
[0014]若所述SOD集群故障使得所述作业管控平台切换至所述MPP集群，则所述作业管控平台将在所述SOD集群中运行的各作业流进行挂起，并记录被挂起的各批处理作业的当前业务日期，其中，所述作业流包括多个所述批处理作业；
[0015]针对任一被挂起的所述作业流，均执行：所述作业管控平台启用所述MPP集群中对应的作业流；
[0016]针对任一被挂起的所述批处理作业，均执行：所述作业管控平台将所述MPP集群中对应批处理作业的业务日期设置为相应被挂起的批处理作业的当前业务日期，以便于在所述当前业务日期到达时，运行所述MPP集群中相应的批处理作业。
[0017]结合第一方面，在某些可选的实施方式中，在当监测到发生集群切换的情况时之前，所述方法还包括：
[0018]若所述MPP集群故障使得所述作业管控平台切换至所述SOD集群，则所述作业管控平台将在所述MPP集群中运行的各作业流进行挂起，并记录被挂起的各批处理作业的当前业务日期，其中，所述作业流包括多个所述批处理作业；
[0019]针对任一被挂起的所述作业流，均执行：所述作业管控平台启用所述SOD集群中对应的作业流；
[0020]针对任一被挂起的所述批处理作业，均执行：所述作业管控平台将所述SOD集群中对应批处理作业的业务日期设置为相应被挂起的批处理作业的当前业务日期，以便于在所述当前业务日期到达时，运行所述SOD集群中相应的批处理作业。
[0021]可选的，在某些可选的实施方式中，所述作业管控平台根据所述作业链路的各批处理作业的作业标识、作业运行状态和作业层级信息，生成所述目标数字化指标的作业监控信息，包括：
[0022]所述作业管控平台根据所述作业链路的各批处理作业的作业标识、作业运行状态、所述作业层级信息和所述当前业务日期，生成所述目标数字化指标的作业监控信息。
[0023]结合第一方面，在某些可选的实施方式中，在所述生成目标数字化指标的作业链路和作业层级信息之后，所述方法还包括：
[0024]若批处理作业运行出现异常，则所述作业管控平台根据相应的所述作业层级信息，确定异常点。
[0025]第二方面，一种数字化指标作业的监控系统，包括：SOD集群、MPP集群和作业管控平台，其中，所述作业管控平台搭载有P9调度平台和鲁班调度平台，所述P9调度平台与所述SOD集群通信连接，所述鲁班调度平台与所述MPP集群通信连接；
[0026]所述作业管控平台，包括：数据库表信息单元、日志获得单元、运行状态确定单元和监控信息生成单元；
[0027]所述数据库表信息单元，用于当监测到发生集群切换的情况时，根据预先针对各批处理作业建立的数据库表信息，生成目标数字化指标的作业链路和作业层级信息，其中，所述作业链路包括多个所述批处理作业，所述作业层级信息表征所述作业链路的各批处理
作业分别与其他批处理作业之间的依赖层级关系，相同批处理作业在所述P9调度平台和所述鲁班调度平台中配置的作业标识相同；
[0028]所述日志获得单元，用于针对任一所述作业链路，均执行：根据作业标识，获取所述P9调度平台针对所述作业链路的各批处理作业的调度日志和获取所述鲁班调度平台针对所述作业链路的各批处理作业的调度日志；
[0029]所述运行状态确定单元，用于根据各所述调度日志，分别确定所述作业链路的各批处理作业的作业运行状态，其中，所述作业运行状态表征相应批处理作业的当前运行情况；
[0030]所述监控信息生成单元，用于根据所述作业链路的各批处理作业的作业标识、作业运行状态和作业层级信息，生成所述目标数字化指标的作业监控信息。
[0031]结合第二方面，在某些可选的实施方式中，所述作业管控平台还包括：第一挂起单元、第一启用单元和第一日期设置单元；
[0032]所述第一挂起单元，用于在当监测到发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字化指标作业的监控方法，其特征在于，应用于一种数字化指标作业的监控系统，所述系统至少包括：SOD集群、MPP集群和作业管控平台，其中，所述作业管控平台搭载有P9调度平台和鲁班调度平台，所述P9调度平台与所述SOD集群通信连接，所述鲁班调度平台与所述MPP集群通信连接；所述监控方法，包括：当监测到发生集群切换的情况时，所述作业管控平台根据预先针对各批处理作业建立的数据库表信息，生成目标数字化指标的作业链路和作业层级信息，其中，所述作业链路包括多个所述批处理作业，所述作业层级信息表征所述作业链路的各批处理作业分别与其他批处理作业之间的依赖层级关系，相同批处理作业在所述P9调度平台和所述鲁班调度平台中配置的作业标识相同；针对任一所述作业链路，均执行：所述作业管控平台根据作业标识，获取所述P9调度平台针对所述作业链路的各批处理作业的调度日志和获取所述鲁班调度平台针对所述作业链路的各批处理作业的调度日志；所述作业管控平台根据各所述调度日志，分别确定所述作业链路的各批处理作业的作业运行状态，其中，所述作业运行状态表征相应批处理作业的当前运行情况；所述作业管控平台根据所述作业链路的各批处理作业的作业标识、所述作业运行状态和所述作业层级信息，生成所述目标数字化指标的作业监控信息。2.根据权利要求1所述的方法，其特征在于，在所述当监测到发生集群切换的情况时之前，所述方法还包括：若所述SOD集群故障使得所述作业管控平台切换至所述MPP集群，则所述作业管控平台将在所述SOD集群中运行的各作业流进行挂起，并记录被挂起的各批处理作业的当前业务日期，其中，所述作业流包括多个所述批处理作业；针对任一被挂起的所述作业流，均执行：所述作业管控平台启用所述MPP集群中对应的作业流；针对任一被挂起的所述批处理作业，均执行：所述作业管控平台将所述MPP集群中对应批处理作业的业务日期设置为相应被挂起的批处理作业的当前业务日期，以便于在所述当前业务日期到达时，运行所述MPP集群中相应的批处理作业。3.根据权利要求1所述的方法，其特征在于，在所述当监测到发生集群切换的情况时之前，所述方法还包括：若所述MPP集群故障使得所述作业管控平台切换至所述SOD集群，则所述作业管控平台将在所述MPP集群中运行的各作业流进行挂起，并记录被挂起的各批处理作业的当前业务日期，其中，所述作业流包括多个所述批处理作业；针对任一被挂起的所述作业流，均执行：所述作业管控平台启用所述SOD集群中对应的作业流；针对任一被挂起的所述批处理作业，均执行：所述作业管控平台将所述SOD集群中对应批处理作业的业务日期设置为相应被挂起的批处理作业的当前业务日期，以便于在所述当前业务日期到达时，运行所述SOD集群中相应的批处理作业。4.根据权利要求2或者3所述的方法，其特征在于，所述作业管控平台根据所述作业链路的各批处理作业的作业标识、所述作业运行状态和所述作业层级信息，生成所述目标数
字化指标的作业监控信息，包括：所述作业管控平台根据所述作业链路的各批处理作业的作业标识、所述作业运行状态、所述作业层级信息和所述当前业务日期，生成所述目标数字化指标的作业监控信息。5.根据权利要求1所述的方法，其特征在于，在所述生成目标数字化指标的作业链路和作业层级信息之后，所述方法还包括：若批处理作业运行出现异常，则所述作业管控平台根据相应的所述作业层级信息，确定异常点。6.一种数字化指标作业的监控系统，其特征在于，...

【专利技术属性】
技术研发人员：刘珂，李颢，陈洁，郭玉章，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：