大数据批量作业任务调度方法及装置制造方法及图纸

本发明专利技术公开了一种大数据批量作业任务调度方法及装置，其中该方法包括：定义对大数据执行批处理的批量作业，批量作业中包含：多个任务；配置批量作业的批量参数信息；根据配置的批量参数信息，执行批量作业中的各个任务；监控批量作业的作业执行状态和批量作业中各个任务的任务执行状态；根据监控结果，对批量作业的各个任务进行调度。本发明专利技术能够实现基于Java技术开发的大数据批量作业任务调度机制，以实现对MPP数据库的批处理任务进行调度。

【技术实现步骤摘要】
大数据批量作业任务调度方法及装置
本专利技术涉及大数据批处理领域，尤其涉及一种大数据批量作业任务调度方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。大规模并行分析(AnalyticalMassivelyParallelProcessing，MPP)架构能够将任务并行分散到多个节点上，在每个节点上计算完成后，再将各自部分的结果汇总在一起得到最终的结果。采用MPP架构的数据库称为MPP数据库。由于MPP数据库具有很强的并行数据计算能力和海量数据存储能力，非常适用于大数据分析和计算，目前已被很广泛用作各大银行的大数据管理平台，以应对银行系统中呈现爆发式增长的海量数据。大数据分析离不开任务调度，任务调度在大数据平台架构中扮演十分重要的角色。目前，各大银行的大数据管理平台，尚未出现基于Java技术的大数据批量作业任务调度机制，以负责调起和控制MPP数据库的批处理调度任务。
技术实现思路
本专利技术实施例中提供了一种大数据批量作业任务调度方法，用以解决现有技术中尚未出现基于Java开发的大数据批量作业任务调度机制的技术问题，该方法包括：定义对大数据执行批处理的批量作业，批量作业中包含：多个任务；配置批量作业的批量参数信息；根据配置的批量参数信息，执行批量作业中的各个任务；监控批量作业的作业执行状态和批量作业中各个任务的任务执行状态；根据监控结果，对批量作业的各个任务进行调度。本专利技术实施例中还提供了一种大数据批量作业任务调度装置，用以解决现有技术中尚未出现基于Java开发的大数据批量作业任务调度机制的技术问题，该装置包括：批量作业定义模块，用于定义对大数据执行批处理的批量作业，批量作业中包含：多个任务；批量参数配置模块，用于配置批量作业的批量参数信息；批量任务执行模块，用于根据配置的批量参数信息，执行批量作业中的各个任务；执行状态监控模块，用于监控批量作业的作业执行状态和批量作业中各个任务的任务执行状态；任务调度模块，用于根据监控结果，对批量作业的各个任务进行调度。本专利技术实施例中还提供了一种计算机设备，用以解决现有技术中尚未出现基于Java开发的大数据批量作业任务调度机制的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述大数据批量作业任务调度方法。本专利技术实施例中还提供了一种计算机可读存储介质，用以解决现有技术中尚未出现基于Java开发的大数据批量作业任务调度机制的技术问题，该计算机可读存储介质存储有执行上述大数据批量作业任务调度方法的计算机程序。本专利技术实施例中，通过定义对大数据执行批处理的包含多个任务的批量作业，在配置该批量作业的批量参数信息后，根据配置的批量参数信息，执行该批量作业中的各个任务，通过监控批量作业的作业执行状态和批量作业中各个任务的任务执行状态，进而根据监控结果，对批量作业的各个任务进行调度，能够实现基于Java技术开发的大数据批量作业任务调度机制，以实现对MPP数据库的批处理任务进行调度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中提供的一种大数据批量作业任务调度方法流程图；图2为本专利技术实施例中提供的一种可选的大数据批量作业任务调度方法流程图；图3为本专利技术实施例中提供的一种可选的大数据批量作业任务调度方法流程图；图4为本专利技术实施例中提供的一种可选的大数据批量作业任务调度方法流程图；图5为本专利技术实施例中提供的一种批量作业的任务关系示意图；图6为本专利技术实施例中提供的一种批量调度应用的监控画面示意图；图7为本专利技术实施例中提供的一种大数据批量作业任务调度装置示意图；图8为本专利技术实施例中提供的一种可选的大数据批量作业任务调度装置示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。本专利技术实施例中提供了一种大数据批量作业任务调度方法，图1为本专利技术实施例中提供的一种大数据批量作业任务调度方法流程图，如图1所示，该方法包括如下步骤：S101，定义对大数据执行批处理的批量作业，批量作业中包含：多个任务。在具体实施时，上述S101中，根据对大数据执行的批处理操作，可以定义一个或多个批量作业，各个批量作业之间的执行互补干扰。每个批量作业中包含的任务类型可以包括：开始任务、过程任务和结束任务三种，其中，开始任务为批量作业中仅具有后继任务的任务，过程任务为批量作业中同时具有前驱任务和后继任务的任务，结束任务为批量作业中仅具有前驱任务的任务。可选地，本专利技术实施例中提供的大数据批量作业任务调度方法可以应用但不限于对大规模并行分析MPP数据库的批处理任务进行调度。S102，配置批量作业的批量参数信息。需要说明的是，上述S102配置的批量参数信息不仅包括控制批量作业执行的参数信息，而且包括控制批量作业中各个任务执行的参数信息。需要注意的是，本专利技术实例中，针对不同数据的不同批量处理，需要配置的批量参数信息也不同，当本专利技术实施例中定义的批量作业是对银行MPP数据库GBASE8a执行批处理的批量作业的情况下，配置的批量参数信息可以包括但不限于：工作日、受限日、省机构号、条线、流量控制。S103，根据配置的批量参数信息，执行批量作业中的各个任务。在具体实施时，根据批量作业执行的参数信息，启动批量作业；进而在启动批量作业后，根据批量作业中各个任务执行的参数信息，控制各个任务执行。S104，监控批量作业的作业执行状态和批量作业中各个任务的任务执行状态。在具体实施时，在根据批量作业执行的参数信息和批量作业中各个任务执行的参数信息，控制批量作业中各个任务执行的过程中，可以监控各个任务的任务执行状态，进而确定批量作业的作业状态。需要注意的是，本专利技术实施例中在定义对大数据执行批处理的批量作业后，还需要预先定义批量作业执行过程中的多个作业执行状态，以及批量作业中各个任务执行过程中的多个任务执行状态。例如，定义每个任务具有6种状态：0-空闲状态，1-正在执行状态，2-成功完成状态，3-警告状态，4-失败状态，5-准备就绪状态；定义每个批量作业具有5种状态：0-空闲状态，1-正在执行状态，2-成功完成状态，3-警告状态，4-失败状态。S105，根据监控结果，对批量作业的各个任务进行调度。在具体实施时，上述S105可以通过如下步骤来实现：重新启动批量作业；和/或，跳过批量作业中的本文档来自技高网...

【技术保护点】
1.一种大数据批量作业任务调度方法，其特征在于，包括：/n定义对大数据执行批处理的批量作业，所述批量作业中包含：多个任务；/n配置所述批量作业的批量参数信息；/n根据配置的批量参数信息，执行所述批量作业中的各个任务；/n监控所述批量作业的作业执行状态和所述批量作业中各个任务的任务执行状态；/n根据监控结果，对所述批量作业的各个任务进行调度。/n

【技术特征摘要】
1.一种大数据批量作业任务调度方法，其特征在于，包括：
定义对大数据执行批处理的批量作业，所述批量作业中包含：多个任务；
配置所述批量作业的批量参数信息；
根据配置的批量参数信息，执行所述批量作业中的各个任务；
监控所述批量作业的作业执行状态和所述批量作业中各个任务的任务执行状态；
根据监控结果，对所述批量作业的各个任务进行调度。


2.如权利要求1所述的方法，其特征在于，所述批量作业中包含的任务类型包括：开始任务、过程任务和结束任务，所述开始任务为所述批量作业中仅具有后继任务的任务，所述过程任务为所述批量作业中同时具有前驱任务和后继任务的任务，所述结束任务为所述批量作业中仅具有前驱任务的任务。


3.如权利要求1所述的方法，其特征在于，所述方法还包括：
定义所述批量作业的作业执行状态和所述批量作业中各个任务的任务执行状态。


4.如权利要求1所述的方法，其特征在于，根据监控结果，对所述批量作业的各个任务进行调度，包括：
重新启动所述批量作业；
跳过所述批量作业中的执行完成的任务，继续执行所述批量作业。


5.如权利要求1所述的方法，其特征在于，在根据配置的批量参数信息，执行所述批量作业中的各个任务之后，所述方法还包括：
记录所述批量作业在执行过程中的日志信息；
对记录的日志信息进行分类存储。


6.如权利要求5所述的方法，其特征在于，在记录所述批量作业在执行过程中的日志信息之后，所述方法还包括：
记录报错日志的错误码；
根据报错日志的错误码，提取报错日志的日志信息；
输出报错日志的日志信息。


7.如权利要求1所述的方法，其特征在于，在根据配置的批量参数信息，执行所述批量作业中的各个任务之后，所述方法还包括：
采集所述批量作业在执行过程中的系统资源使用信息；
输出采集的系统资源使用信息。


8.如权利要求1所述的方法，其特征在于，在监控所述批量作业的作业执行状态和所述批量作业中各个任务的任务...

【专利技术属性】
技术研发人员：杨晓晓，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11