批量任务处理方法和装置制造方法及图纸

本申请提供了一种批量任务处理方法和装置，所述方法包括：针对批处理任务创建流水线作业；基于当前CPU的剩余使用率和所述批处理任务的任务量使用预设决策树为所述流水线作业分配资源量；基于为所述流水线作业分配的资源量执行所述流水线业务；其中，所述预设决策树的生成，包括：获取训练数据；其中，所述训练数据包括：批处理任务量、处理时间和处理任务时的CPU使用率；使用所述训练数据生成预设决策树。该方法在资源利用率尽可能允许的前提下能够避免任务量积压，并提高资源使用率。并提高资源使用率。并提高资源使用率。

【技术实现步骤摘要】
批量任务处理方法和装置


[0001]本专利技术涉及信息处理
，特别涉及一种批量任务处理方法和装置。

技术介绍

[0002]目前，系统的开发基本上离不开任务，通常一个任务的执行要经过：取任务作业、报文解析作业和任务处理作业三部分。
[0003]在实现本申请的过程中，专利技术人发现用定时器来进行任务的调度，会启用多线程来进行任务的执行，当任务量大的时候，就会出现任务积压问题。

技术实现思路

[0004]有鉴于此，本申请提供一种批量任务处理方法和装置，在资源利用率尽可能允许的前提下能够避免任务量积压，并提高资源使用率。
[0005]为解决上述技术问题，本申请的技术方案是这样实现的：
[0006]在一个实施例中，提供了一种批量任务处理方法，所述方法包括：
[0007]针对批处理任务创建流水线作业；
[0008]基于当前CPU的剩余使用率和所述批处理任务的任务量使用预设决策树为所述流水线作业分配资源量；
[0009]基于为所述流水线作业分配的资源量执行所述流水线业务；
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量任务处理方法，其特征在于，所述方法包括：针对批处理任务创建流水线作业；基于当前中央处理器CPU的剩余使用率和所述批处理任务的任务量使用预设决策树为所述流水线作业分配资源量；基于为所述流水线作业分配的资源量执行所述流水线业务；其中，所述预设决策树的生成，包括：获取训练数据；其中，所述训练数据包括：批处理任务量、处理时间和处理任务时的CPU使用率；使用所述训练数据生成预设决策树。2.根据权利要求1所述的方法，其特征在于，所述流水线作业包括：取任务作业、报文解析作业和任务处理作业；所述预设决策树包括：针对取任务作业的第一决策树、针对报文解析作业的第二决策树和针对任务处理作业的第三决策树；其中，所述第一决策树对应的训练数据中的所述处理时间为执行取任务作业的时间，所述处理任务时的CPU使用率为执行所述取业务作业时的CPU使用率；所述第二决策树对应的训练数据中的所述处理时间为执行报文解析作业的时间，所述处理任务时的CPU使用率为执行报文解析作业时的CPU使用率；所述第三决策树对应的训练数据中的所述处理时间为执行任务处理作业的时间，所述处理任务时的CPU使用率为执行任务处理作业时的CPU使用率。3.根据权利要求2所述的方法，其特征在于，所述基于当前CPU的使用率和所述批处理任务的任务量使用预设决策树为所述流水线作业分配资源量，包括：基于当前CPU的剩余使用率和所述批处理任务的任务量使用所述第一决策树为所述取任务作业分配资源量；基于当前CPU的剩余使用率和所述批处理任务的任务量使用所述第二决策树为所述报文解析作业分配资源量；基于当前CPU的剩余使用率和所述批处理任务的任务量使用所述第三决策树为所述任务处理作业分配资源量。4.根据权利要求3所述的方法，其特征在于，所述基于当前CPU的剩余使用率和所述批处理任务的任务量使用所述第一决策树为所述取任务作业分配资源量，包括：根据所述批处理任务的任务量在所述第一决策树中查找到对应的分支，再根据所述当前CPU的剩余使用率在对应的分支中查找到所属CPU使用率范围的分支中；在所属CPU使用率范围的分支中选择执行时间最少的分支对应的资源量，分配给所述取任务作业；所述基于当前CPU的剩余使用率和所述批处理任务的任务量使用所述第二决策树为所述报文解析作业分配资源量，包括：根据所述批处理任务的任务量在所述第二决策树中查找到对应的分支，再根据所述当前CPU的剩余使用率在对应的分支中查找到所属CPU使用率范围的分支中；在所属CPU使用率范围的分支中选择执行时间最少的分支对应的资源量，分配给所述报文解析作业；所述基于当前CPU的剩余使用率和所述批处理任务的任务量使用所述第三决策树为所
述任务处理作业分配资源量，包括：根据所述批处理任务的任务量在所述第三决策树中查找到对应的分支，再根据所述当前CPU的剩余使用率在对应的分支中查找到所属CPU使用率范围的分支中；在所属CPU使用率范围的分支中选择执行时间最少的分支对应的资源量，分配给所述任务处理作业。5.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：基于为所述流水线作业分配的资源量执行所述流水线业务中的取任务作业时，记录执行所述取任务作业的执行时间和CPU使用率；基于为所述流水线作业分配的资源量执行所述流水线业务中的报文解析作业时，记录执行所述报文解析作业的执行时间和CPU使用率；基于为所述流水线作业分配的资源量执行所述流水线业务中的任务处理作业时，并记录执行所述任务处理作业的执行时间和CPU使用率；其中，CPU使用率为执行过程中值最大的CPU使用率。6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：将针对取任务作业记录的执行时间和CPU使用率，以及对应的批处理任务量，作为训练所述第一决策树的训练数据，训练所述第一决策树；将针对报文解析作业记录的执行时间和CPU使用率，以及对应的批处理任务量，作为训练所述第二决策树的训练数据，训练所述第二决策树；将针对任务处理作业记录的执行时间和CPU使用率，以及对应的批处理任务量，作为训练所述第三决策树的训练数据，训练所述第三决策树。7.一种批量任务处理装置，其特征在于，所述装置包括：训练单元、创建单元、分配单元和执行单元；所...

【专利技术属性】
技术研发人员：韩金魁，岳晓敏，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：