批量作业调度处理系统、方法、装置和存储介质制造方法及图纸

本发明专利技术提供一种批量作业调度处理系统，其特征在于，所述系统包括：管理服务器，用于维护批量作业的参数配置、运行监控、任务重跑以及支持人工干预处理；调度服务器，用于根据所述管理服务器的参数配置对所述批量作业进行调度处理；作业分发模块，用于根据预定义的作业分发处理规则，将所述批量作业分发到不同的批量服务器分别执行作业任务；以及警告发送模块，用于根据所述管理服务器监控的任务失败信息发出警告通知。本发明专利技术通过批量作业调度处理方式，以更加灵活的参数化设置和调度策略，实现批量作业的实时监控并将不同的批量作业分散到不同的批量服务器执行，用以缓解批量作业集中执行时对批量服务器资源的消耗压力。

Batch Job Scheduling Processing System, Method, Device and Storage Media

The invention provides a batch job scheduling and processing system, which is characterized by: a management server for maintaining parameter configuration, operation monitoring, task re-run and supporting manual intervention processing of batch jobs; a scheduling server for scheduling and processing batch jobs according to the parameter configuration of the management server; and a job distribution module for maintenance of batch jobs. According to the predefined job distribution processing rules, the batch jobs are distributed to different batch servers to perform job tasks separately, and the warning sending module is used to issue warning notifications according to the task failure information monitored by the management server. The invention realizes real-time monitoring of batch jobs and disperses different batch jobs to different batch servers through batch job scheduling processing mode, with more flexible parametric setting and scheduling strategy, so as to alleviate the consumption pressure of batch server resources when batch jobs are centrally executed.

【技术实现步骤摘要】
批量作业调度处理系统、方法、装置和存储介质
本专利技术涉及数据处理领域，具体而言，涉及一种批量作业调度处理系统、方法、装置和存储介质。
技术介绍
随着银行电子银行业务的快速发展，网上银行、手机银行APP等电子渠道功能的日趋完善，人们可以随时随地享受银行的优质服务，电子银行给人们提供便捷服务的背后，是许多大型在线交易系统支撑电子银行的稳定高效运行，这些交易系统存在大量批量作业用以处理银行后台DB的海量数据。目前是个大数据时代，数据是银行一个重要资产，处理这些数据的批量作业高效稳定运行，在安全至上的银行业是个重要的事项。然而，现有技术中的处理方式很难实现实时监控和自动处理，为了更好的管理维护批量作业的安全稳定运行，需要个统一的批量调度平台来调度监控批量作业的运行。
技术实现思路
为解决上述技术问题，本专利技术提供了一种批量作业调度处理系统、方法、装置和存储介质，解决当前批量作业处理方式很难实现实时监控和自动处理的问题。根据本专利技术实施例的第一方面，提供了一种批量作业调度处理系统，所述系统包括：管理服务器，用于维护批量作业的参数配置、运行监控、任务重跑以及支持人工干预处理；调度服务器，用于根据所述管理服务器的参数配置对所述批量作业进行调度处理；作业分发模块，用于根据预定义的作业分发处理规则，将所述批量作业分发到不同的批量服务器分别执行作业任务；以及警告发送模块，用于根据所述管理服务器监控的任务失败信息发出警告通知。根据本专利技术实施例的第二方面，提供一种批量作业调度处理方法，所述方法包括：管理服务器维护批量作业的参数配置、运行监控、任务重跑以及支持人工干预处理；调度服务器根据所述管理服务器的参数配置对所述批量作业进行调度处理；作业分发模块根据预定义的作业分发处理规则，将所述批量作业分发到不同的批量服务器分别执行作业任务；以及警告发送模块根据所述管理服务器监控的任务失败信息发出警告通知。根据本专利技术实施例的第三方面，提供一种计算机可读存储介质，所述计算机存储介质包含有计算机程序，其中，所述计算机程序在被一个或多个计算机执行时使得所述一个或多个计算机执行如下操作：所述操作包括如上中任一项所述的批量作业调度处理方法所包含的步骤。根据本专利技术实施例的第四方面，提供一种批量作业调度处理装置，所述装置包括：存储器，存储有计算机可读指令；处理器，执行所述计算机可读指令以执行如上所述的批量作业调度处理方法所包含的步骤。实施本专利技术实施例提供的一种批量作业调度处理系统、方法、装置和存储介质，具有以下优点：通过一种在批量作业调度处理方式，以更加灵活的参数化设置和调度策略，实现批量作业的实时监控并将不同的批量作业分散到不同的批量服务器执行，用以缓解批量作业集中执行时对批量服务器资源的消耗压力。附图说明图1是本专利技术实施例的一种批量作业调度处理系统1的结构示意图；图2是本专利技术实施例所述系统1中所述管理服务器100的结构示意图；图3是本专利技术实施例的一种批量作业调度处理方法的流程图。具体实施方式为使本专利技术的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。图1是本专利技术实施例的一种批量作业调度处理系统1的结构示意图，参见图1，所述系统1包括：管理服务器100，用于维护批量作业的参数配置、运行监控、任务重跑以及支持人工干预处理；调度服务器200，用于根据所述管理服务器的参数配置对所述批量作业进行调度处理；作业分发模块300，用于根据预定义的作业分发处理规则，将所述批量作业分发到不同的批量服务器分别执行作业任务；以及警告发送模块400，用于根据所述管理服务器监控的任务失败信息发出警告通知。在本专利技术的实施方式中，所述预定义的作业分发处理规则包括：自定义作业分发处理优先级控制规则。在本专利技术的实施方式中，所述人工干预处理包括：对所述批量作业人工执行作业断点重跑处理、启动禁用作业处理和中止作业处理。本专利技术中，批量作业的处理模式一般分为实时批量、准实时异步批量以及日终批量，联机小批量由联机交易驱动实时响应客户的需求，但更多的大数据相关的批量是准实时异步批量和日终批量，准实时异步批量在接收到客户的交易请求后，按固定周期统一跑批执行批量作业，还有日终批量作业在晚上系统空闲时间，用于处理交易系统产生的海量数据，这些作业支撑着银行业务的安全稳定执行。银行在线交易系统作为个7*24小时的系统，系统的安全稳定执行是第一要素，对于大量批量作业管理要求也越来越高，批量作业控制台为批量作业进行统一的自动化调度管理，并提供方便灵活的参数化作业设置，大大提高可支持批量作业不同周期的调度，在批量控制的统一调度下，作业可以在分散在不同的批量服务器执行，降低批量作业集中执行时对系统资源的消耗，完善的批量作业运行监控告警机制，大大避免了因故障处理不及时而影响系统的正常稳定运行。本专利技术针对大型在线交易平台大量批量作业，提供了统一调度的批量作业调度处理系统(批量作业控制台)，该批量控制台具有灵活的参数化配置，完善的调度控制策略，可实时监控批量的执行情况，当批量任务执行失败时，在向运维支持人员发出失败告警短信的同时，也可自动发起重跑作业，保证作业的顺利执行。在批量控制台的统一调度下，可将不同的批量作业分散到不同的批量服务器执行，用以缓解批量作业集中执行时对批量服务器资源的消耗压力。批量控制台分为管理服务器、调度服务器、作业分发以及告警监控发送模块，管理服务器维护批量作业的参数配置、运行监控、监控失败任务并发起重跑，并支持人工干预，包括作业断点重跑，启用禁用作业，中止作业等功能。本专利技术通过批量作业调度处理方式，以更加灵活的参数化设置和调度策略，实现批量作业的实时监控并将不同的批量作业分散到不同的批量服务器执行，用以缓解批量作业集中执行时对批量服务器资源的消耗压力。通过统一调度管理的批量控制台，批量作业可通过控制台自动调度执行，并可随时监控批量作业的执行情况并反馈给运维人员，是批量作业安全、有序的执行。图2是本专利技术实施例所述系统1中所述管理服务器100的结构示意图，参见图2，所述管理服务器100包括：参数配置单元110，用于维护和管理所述批量作业的参数配置；运行监控单元120，用于对所述批量作业的正常运行进行实时监控；失败重跑单元130，用于当实时批量作业执行失败时，对所述执行失败的批量作业进行自动重跑处理；以及手工干预单元140，用于支持人工干预处理。本专利技术的实施方式采用完善的调度控制策略，批量控制台的管理服务器提供简洁的用户界面，方便运维人员设置批量作业的执行参数，提供作业按不同周期、不同执行频率的灵活设置，跑批周期可设置按每日固定时间或每天执行的频率控制，也可按周、月、季以及年的频率来调度；支持作业的优先级控制，对于高优先级的核心批量优先处理；对于存在依赖关系的作业，可设置作业的依赖关系，保证存在依赖关系的作业顺序执行。本专利技术的实施方式采用执行状态监控机制，批量控制台可针对批量作业执行状态进行监控并反馈给运维人员，方便运维人员随时掌握作业执行情况，对执行超时的批量通过短信通知告知运维人员，批量的超时时间可在控制台调整告警阀值，执行失败的批量，可将执行失败的相关信息短信通知运维人员，方便运维人员及时排查失败批量的执行情况。本专利技术的实施方式采用失败作业自动重跑方式，批量本文档来自技高网...

【技术保护点】
1.一种批量作业调度处理系统，其特征在于，所述系统包括：管理服务器，用于维护批量作业的参数配置、运行监控、任务重跑以及支持人工干预处理；调度服务器，用于根据所述管理服务器的参数配置对所述批量作业进行调度处理；作业分发模块，用于根据预定义的作业分发处理规则，将所述批量作业分发到不同的批量服务器分别执行作业任务；以及警告发送模块，用于根据所述管理服务器监控的任务失败信息发出警告通知。

【技术特征摘要】
1.一种批量作业调度处理系统，其特征在于，所述系统包括：管理服务器，用于维护批量作业的参数配置、运行监控、任务重跑以及支持人工干预处理；调度服务器，用于根据所述管理服务器的参数配置对所述批量作业进行调度处理；作业分发模块，用于根据预定义的作业分发处理规则，将所述批量作业分发到不同的批量服务器分别执行作业任务；以及警告发送模块，用于根据所述管理服务器监控的任务失败信息发出警告通知。2.如权利要求1所述系统，其特征在于，所述管理服务器包括：参数配置单元，用于维护和管理所述批量作业的参数配置；运行监控单元，用于对所述批量作业的正常运行进行实时监控；失败重跑单元，用于当实时批量作业执行失败时，对所述执行失败的批量作业进行自动重跑处理；以及手工干预单元，用于支持人工干预处理。3.如权利要求1所述系统，其特征在于，所述预定义的作业分发处理规则包括：自定义作业分发处理优先级控制规则。4.如权利要求1-3任一项所述系统，其特征在于，所述人工干预处理包括：对所述批量作业人工执行作业断点重跑处理、启动禁用作业处理和中止作业处理。5.一种批量作业调度处理方法，其特征在于，所述方法包括：管理服务器维护批量作业的参数配置、运行监控、任务重跑以及支持人工干预处理；调度服务器根据所述管理服务器的参数配置对所述批量作业进行调度处...

【专利技术属性】
技术研发人员：彭李超，王康椿，陈大平，李长斌，黄冲，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京,11