【技术实现步骤摘要】
本专利技术涉及云计算，更具体地涉及一种作业任务分配方法、装置、系统、电子设备和介质。
技术介绍
1、现有批量执行器是在系统启动后，有固定个数，每个执行器分配固定实例id。批量作业在发布时会指定批量执行器个数，即在作业定义的时候指定作业需要有几个执行器执行，并指定在哪个批量执行器节点上执行。
2、然而，这种预先指定批量执行器个数以及任务在哪些批量执行器节点上执行器的方法，适用于处理稳定数据量情况，如果数据量每天波动很大，或业务量增长较快的场景下，可能导致日终批量处理时长不可控，需要系统不断调整部署配置和作业的定义。
技术实现思路
1、鉴于上述问题，根据本专利技术的第一方面，提供了一种作业任务分配方法，所述方法包括：获取多个待处理作业，分析每一个待处理作业的任务特性，得到分析结果；基于所述分析结果和所述多个待处理作业的总记录数，计算在指定时间窗口内serverless批量执行器节点的启动数量；基于所述启动数量，对相应数量的serverless批量执行器节点进行启动；以及向启动后的所述serverless批量执行器节点分别下发作业调度指令，以进行作业任务的分配。
2、根据一些示例性实施例，所述任务特性包括数据类型、数据大小、算法复杂度和/或依赖关系；所述分析结果包括任务复杂度的识别结果；所述基于所述分析结果和所述待处理作业的总记录数，计算在指定时间窗口内批量执行器的启动数量，具体包括：基于所述分析结果，计算所述每一个待处理作业的平均处理时间；获取单个serverl
3、根据一些示例性实施例，所述计算所述每一个待处理作业的平均处理时间，具体包括：获取作业历史执行记录，所述作业历史执行记录包括任务复杂度特征和历史处理时长；将所述作业历史执行记录基于所述任务复杂度特征进行分类，获得历史任务类型；基于所述历史任务类型和所述分析结果，将每一个待处理作业的对应历史任务类型，获得任务类型；以及基于所述任务类型，计算对应的历史处理时长的平均值，获得平均处理时间。
4、根据一些示例性实施例，在所述获取单个serverless批量执行器节点的执行性能指标之后，所述方法还包括：基于所述分析结果，为每个任务类型确定复杂度因子；基于所述复杂度因子，对所述执行性能指标进行调整；以及利用所述平均处理时间、所述待处理作业的总记录数和调整后的执行性能指标，计算在指定时间窗口内serverless批量执行器节点的启动数量。
5、根据一些示例性实施例，所述获取单个serverless批量执行器节点的执行性能指标，具体包括：基于单个serverless批量执行器节点在单位时间内处理的记录数量和性能波动因素，获取所述执行性能指标。
6、根据一些示例性实施例，所述方法还包括：各serverless批量执行器节点执行分配的作业任务，执行完成后，将执行记录进行反馈；以及基于反馈的执行记录，对对应的serverless批量执行器节点进行执行性能评估。
7、根据一些示例性实施例，所述基于反馈的执行记录，对对应的serverless批量执行器节点进行执行性能评估，具体包括：统计在预设时间间隔内和目标配置下的serverless批量执行器节点的执行记录；以及基于所述执行记录，计算单个serverless批量执行器节点在单位时间内处理的记录数量作为执行性能评估结果。
8、根据本专利技术的第二方面，提出了一种作业任务分配装置，所述装置包括：分析模块，用于：获取多个待处理作业，分析每一个待处理作业的任务特性，得到分析结果；计算模块，用于：基于所述分析结果和所述多个待处理作业的总记录数，计算在指定时间窗口内serverless批量执行器节点的启动数量；启动模块，用于：基于所述启动数量，对相应数量的serverless批量执行器节点进行启动；以及分配模块，用于：向启动后的所述serverless批量执行器节点分别下发作业调度指令，以进行作业任务的分配。
9、根据一些示例性实施例，所述作业任务分配装置还包括评估模块，用于：基于各serverless批量执行器节点反馈的执行记录，对对应的serverless批量执行器节点进行执行性能评估。
10、根据一些示例性实施例，所述计算模块可以包括平均处理时间计算模块、执行性能指标获取模块和启动数量计算单元。
11、根据一些示例性实施例，所述平均处理时间计算模块可以用于基于所述分析结果，计算所述每一个待处理作业的平均处理时间。
12、根据一些示例性实施例，所述执行性能指标获取模块可以用于获取单个serverless批量执行器节点的执行性能指标。
13、根据一些示例性实施例，所述启动数量计算单元可以用于利用所述平均处理时间、所述待处理作业的总记录数和所述执行性能指标，计算在指定时间窗口内serverless批量执行器节点的启动数量。
14、根据一些示例性实施例，所述平均处理时间计算模块可以包括作业历史执行记录获取单元、历史任务类型获取单元、任务类型获取单元和平均处理时间获取单元。
15、根据一些示例性实施例，所述作业历史执行记录获取单元可以用于获取作业历史执行记录，所述作业历史执行记录包括任务复杂度特征和历史处理时长。
16、根据一些示例性实施例，所述历史任务类型获取单元可以用于将所述作业历史执行记录基于所述任务复杂度特征进行分类，获得历史任务类型。
17、根据一些示例性实施例，所述任务类型获取单元可以用于基于所述历史任务类型和所述分析结果，将每一个待处理作业的对应历史任务类型，获得任务类型。
18、根据一些示例性实施例，所述平均处理时间获取单元可以用于基于所述对应的历史任务类型，计算对应的历史处理时长的平均值，获得平均处理时间。
19、根据一些示例性实施例，所述执行性能指标获取模块可以包括人脸执行性能指标获取单元。
20、根据一些示例性实施例，所述执行性能指标获取单元可以用于基于单个serverless批量执行器节点在单位时间内处理的记录数量和性能波动因素，获取所述执行性能指标。
21、根据一些示例性实施例，所述计算模块还可以包括执行性能指标调整模块。
22、根据一些示例性实施例，所述执行性能指标调整模块可以包括复杂度因子确定单元和指标调整单元。
23、根据一些示例性实施例，所述复杂度因子确定单元可以用于基于所述分析结果，为每个任务类型确定复杂度因子。
24、根据一些示例性实施例，所述指标调整单元可以用于基于所述复杂度因子，对所述执行性能指标进行调整。
25、根据一些示例性实施例，所述作业任务分配装置还可以包括反馈和评估模块。
26、根据一些示例性实施例，所述反馈和评估模块可以包括本文档来自技高网...
【技术保护点】
1.一种作业任务分配方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述任务特性包括数据类型、数据大小、算法复杂度和/或依赖关系；所述分析结果包括任务复杂度的识别结果；
3.根据权利要求2所述的方法，其特征在于，所述计算所述每一个待处理作业的平均处理时间，具体包括：
4.根据权利要求3所述的方法，其特征在于，在所述获取单个Serverless批量执行器节点的执行性能指标之后，所述方法还包括：
5.根据权利要求2或3或4所述的方法，其特征在于，所述获取单个Serverless批量执行器节点的执行性能指标，具体包括：
6.根据权利要求1～4任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述基于反馈的执行记录，对对应的Serverless批量执行器节点进行执行性能评估，具体包括：
8.一种作业任务分配装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，所述作业任务分配装置还包括评估模块，用于：基于
10.一种电子设备，包括：
11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。
12.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。
...【技术特征摘要】
1.一种作业任务分配方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述任务特性包括数据类型、数据大小、算法复杂度和/或依赖关系；所述分析结果包括任务复杂度的识别结果；
3.根据权利要求2所述的方法，其特征在于，所述计算所述每一个待处理作业的平均处理时间，具体包括：
4.根据权利要求3所述的方法，其特征在于，在所述获取单个serverless批量执行器节点的执行性能指标之后，所述方法还包括：
5.根据权利要求2或3或4所述的方法，其特征在于，所述获取单个serverless批量执行器节点的执行性能指标，具体包括：
6.根据权利要求1～4任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要...
【专利技术属性】
技术研发人员：廖宸，陆杨芳，魏普，王军星，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。