一种系统批量任务分段并行及动态调度方法及存储介质技术方案

本发明专利技术公开了一种系统批量任务分段并行及动态调度方法及存储介质，本系统批量任务分段并行及动态调度方法基于oracle存储过程实施，本发明专利技术方法包括在批量任务调度系统发起批量处理指令后，自动根据所有需要处理的批量任务，分析每一个批量任务的数据量以及任务之间的依赖关系，自动根据每一个批量任务的分段配置将每一个批量任务分为多段，并且按照依赖关系对批量任务做排序，根据每一分段创建oracle的异步处理job，由异步处理job去处理每一个分段的批量任务。同时，批量性能监控程序实时监控批处理中，系统资源的使用情况，根据当前资源的使用率(例如CPU，内存，IO等)，动态调整后续批处理任务的分段数量。从而提高银行业务系统批量任务效率，减少批量任务执行时间。减少批量任务执行时间。减少批量任务执行时间。

【技术实现步骤摘要】
一种系统批量任务分段并行及动态调度方法及存储介质


[0001]本专利技术属于基于oracle存储过程开发的银行系统领域中，尤其涉及一种系统批量任务分段并行及动态调度方法及存储介质。

技术介绍

[0002]随着互联网金融发展，传统的基于存储过程实现的银行业务系统的数据量越来越大，大部分基于存储过程技术栈开发的银行业务系统目前都是单一的处理线程处理批量任务，单一线程的方式造成已经无法满足现在大数据量的处理，效率极低。
[0003]而目前未发现有基于存储过程去实现批量任务分段并行、动态调度相关的技术。为了解决该技术痛点，亟需一种系统批量任务分段并行及动态调度方法，能够将批量任务并行处理，动态调度，实现批量处理任务间多任务并行处理，批量处理任务内多段并行处理，提高银行业务系统批量任务效率。

技术实现思路

[0004]本专利技术的目的在于，为克服现有技术缺陷，提供了一种系统批量任务分段并行及动态调度方法，实现银行业务系统批量任务分段并行，根据可用资源量动态调整分段，从而提高银行业务系统批量任务效率，减少批量任务执行时间。
[0005]本专利技术目的通过下述技术方案来实现：
[0006]一种系统批量任务分段并行及动态调度方法，本系统批量任务分段并行及动态调度方法基于oracle存储过程实施，所示系统批量任务分段并行及动态调度方法包括：S1：发起批量处理指令至系统的批量调度器；S2：所述批量调度器基于批量处理指令筛选准备本次待处理的批量任务，并启动系统的批量监控器实时检测批量任务执行处理期间，系统资源的使用情况；S3：批量调度器调起分段器，分段器基于待处理的批量任务所需处理的数据以及各个任务的分段参数将各个任务进行分段；S4：批量调度器查询已经分段好的未处理的分段任务，并基于任务间的逻辑关系，将当前可执行的分段任务筛选出来，逐一创建异步工作任务处理每一个分段任务；S5：批量调度器轮询到当前是否存在待处理或者处理异常的批量任务，若存在未处理或者处理失败的批量任务，则新发起异步工作任务处理每一个分段任务；S6：待处理的各批量分段任务均已成功处理完成后，批量任务完成。
[0007]根据一个优选的实施方式，所示系统批量任务分段并行及动态调度方法还包括：批量监控器实时检测系统资源步骤；
[0008]根据检测结果，判断当前系统资源使用率是否超过上限阈值，以完成对后续批量任务的分段任务数的调节。
[0009]根据一个优选的实施方式，批量监控器实时检测系统资源步骤中，批量监控器判断当前系统资源使用率超过上限阈值时，则将后续批量任务的分段任务数调低。
[0010]根据一个优选的实施方式，批量监控器实时检测系统资源步骤中，批量监控器判断当前系统资源使用率未到达最优阈值，则将后续批量任务的分段任务数调高。
[0011]根据一个优选的实施方式，步骤S3具体包括：S31:分段器扫描需要处理的批量任务，根据每一个批量任务，查找分段配置，确认分段依据字段以及初始化分段参数；S32：分段器根据分段依据，统计每个批量任务需处理的数据总量，再基于初始化分段参数配置，确认每段处理的数据量；S33：分段器根据批量任务每段处理的数据量以及数据总量，确认批量任务分段依据字段每个分段的起始值以及终止值，记录分段任务表中。
[0012]根据一个优选的实施方式，步骤S5中，批量调度器轮询终止条件为需要处理的所有批量分段任务均已成功处理完成。
[0013]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的系统批量任务分段并行及动态调度方法。
[0014]前述本专利技术主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本专利技术可采用并要求保护的方案。本领域技术人员在了解本专利技术方案后根据现有技术和公知常识可明了有多种组合，均为本专利技术所要保护的技术方案，在此不做穷举。
[0015]本专利技术的有益效果：
[0016]本专利技术主要用于基于Oracle存储过程开发的银行业务系统，用于解决银行业务系统批量处理任务效率问题，实现批量处理任务间多任务并行处理，批量处理任务内多段并行处理。
[0017]在批量任务调度系统发起批量处理指令后，自动根据所有需要处理的批量任务，分析每一个批量任务的数据量以及任务之间的依赖关系，自动根据每一个批量任务的分段配置将每一个批量任务分为多段，并且按照依赖关系对批量任务做排序，根据每一分段创建oracle的异步处理job，由异步处理job去处理每一个分段的批量任务。
[0018]同时，批量性能监控程序实时监控批处理中，系统资源的使用情况，根据当前资源的使用率(例如CPU，内存，IO等)，动态调整后续批处理任务的分段数量。
[0019]从而，通过本专利技术的系统批量任务分段并行及动态调度方法，实现了银行业务系统批量任务分段并行，根据可用资源量动态调整分段，从而提高银行业务系统批量任务效率，减少批量任务执行时间。
附图说明
[0020]图1是本专利技术方法的流程示意图；
[0021]图2是本专利技术方法中分段任务示意图；
[0022]图3是本专利技术方法中批处理依赖关系示意图。
具体实施方式
[0023]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0024]需要说明的是，为使本专利技术实施例的目的、技术方案和优点更加清楚，下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施
例，而不是全部的实施例。
[0025]本专利技术公开了一种系统批量任务分段并行及动态调度方法，本系统批量任务分段并行及动态调度方法基于oracle存储过程实施。
[0026]本专利技术中多任务并行是利用oracle创建异步任务机制，即基于已将批处理任务分段完成的基础上，扫描分段任务表，使用dbms_job.submit方法给每一个分段任务过程的数据处理创建异步处理Job，异步处理job在此主创建流程中只做创建动作，异步job的执行是另起进程(类似于Java的新开启线程)，并不占用主创建流程的时间，从而可以实现快速将所有分段任务调起，异步执行，达到多任务并行的目的。
[0027]参考图1所示，本专利技术所述系统批量任务分段并行及动态调度方法包括：
[0028]步骤S1：批量任务调度系统发起批量处理指令至银行业务系统批量调度器dispatcher。
[0029]步骤S2：dispatcher根据指令筛选准备本次批量任务需要处理的批量任务(任务1，任务2，任务3
……
)，同时启动业务系统批量监控器monitor，实时检测批量任务执行期间，系统资源使用情况。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统批量任务分段并行及动态调度方法，其特征在于，本系统批量任务分段并行及动态调度方法基于oracle存储过程实施，所示系统批量任务分段并行及动态调度方法包括：S1：发起批量处理指令至系统的批量调度器；S2：所述批量调度器基于批量处理指令筛选准备本次待处理的批量任务，并启动系统的批量监控器实时检测批量任务执行处理期间，系统资源的使用情况；S3：批量调度器调起分段器，分段器基于待处理的批量任务以及各个任务的分段参数将各个任务进行分段；S4：批量调度器查询已经分段好的未处理的分段任务，并基于任务间的逻辑关系，将当前可执行的分段任务筛选出来，逐一创建异步工作任务处理每一个分段任务；S5：批量调度器轮询到当前是否存在待处理或者处理异常的批量任务，若存在未处理或者处理失败的批量任务，则新发起异步工作任务处理每一个分段任务；S6：待处理的各批量分段任务均已成功处理完成后，批量任务完成。2.如权利要求1所述的系统批量任务分段并行及动态调度方法，其特征在于，所示系统批量任务分段并行及动态调度方法还包括：批量监控器实时检测系统资源步骤；根据检测结果，判断当前系统资源使用率是否超过上限阈值，以完成对后续批量任务的分段任务数的调节。3.如权利要求2所述的系统批量任务分段并行及动...

【专利技术属性】
技术研发人员：刘强，钱思先，杨强，倪振心，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：