批处理性能优化方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及批处理性能优化方法、装置、计算机设备及存储介质，该方法包括定义存储业务数据对象的任务，以得到待判定任务；判断所述待判定任务所存储的内容容量是否小于预设临界值；若所述待判定任务所存储的内容容量不小于预设临界值，则将所述待判定任务内所存储的内容分割为若干个业务数据子对象，以得到目标数据对象；将目标数据对象组装至多个所述任务中，将所述待判定任务更新为所述任务，并执行所述判断所述待判定任务所存储的内容容量是否小于预设临界值。本发明专利技术控制线程数达到最佳效率，实现对批处理性能优化，提高多线程处理数据的效率。

Batch processing performance optimization methods, devices, computer equipment and storage media

【技术实现步骤摘要】
批处理性能优化方法、装置、计算机设备及存储介质
本专利技术涉及计算机，更具体地说是指批处理性能优化方法、装置、计算机设备及存储介质。
技术介绍
企业信息系统都有着重要的数据批量处理业务，比如对账是典型的批处理业务处理场景，还有贷后业务数据批量处理，也就是系统内存在众多的任务需要进行批量处理。随着业务发展数据越来越庞大，任务批量处理的性能急需优化，基于springbatch框架的批处理提供了多线程方式并行处理，提高性能，springbatch框架是一个大数据量的并行处理框架，通常用于数据的离线迁移和数据处理、主持事务、并发、流程、监控、纵向和横向扩展，提供统一的接口管理和任务管理。springbatch框架的多线程实际上是对批处理的每个任务作业进行拆分,拆分为多个子步骤对应一个执行上下文ExecutionContext组装起来，组装过程是查询出对应任务作业所有的批处理数据再组装到执行上下文ExecutionContext,然后多子步骤在多线程并发处理，但是每个任务作业都需要做拆分逻辑的代码开发,封装性不够好，作业拆分组装执行上下文ExecutionContext也是需要一定的处理时间，效率低下。因此，有必要设计一种新的方法，实现对批处理性能优化，提高多线程处理数据的效率。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供批处理性能优化方法、装置、计算机设备及存储介质。为实现上述目的，本专利技术采用以下技术方案：批处理性能优化方法，包括：定义存储业务数据对象的任务，以得到待判定任务；判断所述待判定任务所存储的内容容量是否小于预设临界值；若所述待判定任务所存储的内容容量不小于预设临界值，则将所述待判定任务内所存储的内容分割为若干个业务数据子对象，以得到目标数据对象；将目标数据对象组装至多个所述任务中，将所述待判定任务更新为所述任务，并执行所述判断所述待判定任务所存储的内容容量是否小于预设临界值。其进一步技术方案为：所述判断所述待判定任务所存储的内容容量是否小于预设临界值之后，还包括：若所述待判定数组容量小于预设临界值，则执行所述待判定任务内所存储的内容。其进一步技术方案为：所述待判定任务内所存储的内容包括业务数据对象或业务数据子对象。其进一步技术方案为：所述定义存储业务数据对象的任务，以得到待判定任务，包括：自定义任务；对所述任务进行封装用于存储业务数据对象的泛型对象数组，以得到待判定任务。其进一步技术方案为：所述预设临界值通过业务数据对象的数量以及处理时间设定。本专利技术还提供了批处理性能优化装置，包括：定义单元，用于定义存储业务数据对象的任务，以得到待判定任务；判断单元，用于判断所述待判定任务所存储的内容容量是否小于预设临界值；分割单元，用于若所述待判定任务所存储的内容容量不小于预设临界值，则将所述待判定任务内所存储的内容分割为若干个业务数据子对象，以得到目标数据对象；组装单元，用于将目标数据对象组装至多个所述任务中，将所述待判定任务更新为所述任务，并执行所述判断所述待判定任务所存储的内容容量是否小于预设临界值。其进一步技术方案为：还包括：执行单元，用于若所述待判定数组容量小于预设临界值，则执行所述待判定任务内所存储的内容。其进一步技术方案为：所述定义单元包括：自定义子单元，用于自定义任务；封装子单元，用于对所述任务进行封装用于存储业务数据对象的泛型对象数组，以得到待判定任务。本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。本专利技术与现有技术相比的有益效果是：本专利技术通过设定待判定任务以及预设临界值，对于待判定任务内的业务数据对象大小进行判定，当该大小不小于预设临界值时，进行对象拆分并组装至多个任务内，以形成多个待判定任务，并行处理多个待判定任务，以控制线程数达到最佳效率，实现对批处理性能优化，提高多线程处理数据的效率。下面结合附图和具体实施例对本专利技术作进一步描述。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的批处理性能优化方法的应用场景示意图；图2为本专利技术实施例提供的批处理性能优化方法的流程示意图；图3为本专利技术实施例提供的批处理性能优化方法的子流程示意图；图4为本专利技术实施例提供的批处理性能优化装置的示意性框图；图5为本专利技术实施例提供的批处理性能优化装置的定义单元的示意性框图；图6为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1和图2，图1为本专利技术实施例提供的批处理性能优化方法的应用场景示意图。图2为本专利技术实施例提供的批处理性能优化方法的示意性流程图。该批处理性能优化方法应用于服务器中。该服务器与若干个执行器进行数据交互，服务器进行批处理后，由执行器进行执行任务。图2是本专利技术实施例提供的批处理性能优化方法的流程示意图。如图2所示，该方法包括以下步骤S110至S150。S110、定义存储业务数据对象的任务，以得到待判定任务。在本实施例中，待判定任务是指用于进行业务数据对象处理的任务。在一实施例中，请参阅图3，上述的步骤S110可包括步骤S111～S112。S111、自定义任务。在本实施例中，该自定义的任务是用于存储业务数据对象的。S112、对所述任务进行封装用于存储业务数据对象的泛型对象数组，以得本文档来自技高网...

【技术保护点】
1.批处理性能优化方法，其特征在于，包括：/n定义存储业务数据对象的任务，以得到待判定任务；/n判断所述待判定任务所存储的内容容量是否小于预设临界值；/n若所述待判定任务所存储的内容容量不小于预设临界值，则将所述待判定任务内所存储的内容分割为若干个业务数据子对象，以得到目标数据对象；/n将目标数据对象组装至多个所述任务中，将所述待判定任务更新为所述任务，并执行所述判断所述待判定任务所存储的内容容量是否小于预设临界值。/n

【技术特征摘要】
1.批处理性能优化方法，其特征在于，包括：
定义存储业务数据对象的任务，以得到待判定任务；
判断所述待判定任务所存储的内容容量是否小于预设临界值；
若所述待判定任务所存储的内容容量不小于预设临界值，则将所述待判定任务内所存储的内容分割为若干个业务数据子对象，以得到目标数据对象；
将目标数据对象组装至多个所述任务中，将所述待判定任务更新为所述任务，并执行所述判断所述待判定任务所存储的内容容量是否小于预设临界值。


2.根据权利要求1所述的批处理性能优化方法，其特征在于，所述判断所述待判定任务所存储的内容容量是否小于预设临界值之后，还包括：
若所述待判定数组容量小于预设临界值，则执行所述待判定任务内所存储的内容。


3.根据权利要求1所述的批处理性能优化方法，其特征在于，所述待判定任务内所存储的内容包括业务数据对象或业务数据子对象。


4.根据权利要求1所述的批处理性能优化方法，其特征在于，所述定义存储业务数据对象的任务，以得到待判定任务，包括：
自定义任务；
对所述任务进行封装用于存储业务数据对象的泛型对象数组，以得到待判定任务。


5.根据权利要求1所述的批处理性能优化方法，其特征在于，所述预设临界值通过业务数据对象的数量以及处理时间设定。


6.批处理性能优化装置，...

【专利技术属性】
技术研发人员：李伟业，吴东洋，王伟，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：广东;44