资源调度方法、设备、平台、存储介质及程序技术

本申请提供一种资源调度方法、设备、平台、存储介质及程序。该方法中，对资源弹性伸缩与跑批业务进行了解耦，通过将跑批业务封装成任务，将资源的弹性伸缩与应用平台上的任务分片数量进行了耦合。因此，任务调度系统可以将当前调度应用平台执行的任务的分片数量上报给指标采集系统，以通过指标采集系统将该分片数量反馈给资源调度系统，从而可以使资源任务调度系统在应用平台的任务分片数量发生变化时，即业务量发生变化时，自适应地对应用平台的实例数量进行弹性伸缩，从而提升应用平台的资源弹性伸缩的及时性。弹性伸缩的及时性。弹性伸缩的及时性。

【技术实现步骤摘要】
资源调度方法、设备、平台、存储介质及程序


[0001]本申请涉及资源调度
，尤其涉及一种资源调度方法、设备、平台、存储介质及程序。

技术介绍

[0002]跑批也叫批量处理，是指单次执行即可处理大量数据。目前，跑批业务通常是由业务方的应用平台来定时执行。其中，应用平台上用于处理跑批业务的实例(即应用平台的资源)数量由资源调度系统负责调度。
[0003]目前，资源调度系统在应用平台执行跑批业务时，通常使用基于定时的弹性伸缩解决方案，或，基于性能指标的弹性伸缩解决方案，对应用平台上的实例进行弹性伸缩。然而，上述弹性伸缩的解决方案存在弹性伸缩不及时的问题。

技术实现思路

[0004]本申请提供一种资源调度方法、设备、平台、存储介质及程序，用以解决现有技术中弹性伸缩的解决方案存在弹性伸缩不及时的问题。
[0005]第一方面，本申请提供一种资源调度方法，包括：
[0006]指标采集系统接收任务调度系统上报的第一任务分片数量；所述第一任务分片数量为任务调度系统当前调度应用平台执行的任务的分片数量；
[0007]所述指标采集系统向资源调度系统发送所述第一任务分片数量，所述第一任务分片数量用于所述资源调度系统确定是否对所述应用平台的资源进行弹性伸缩。
[0008]第二方面，本申请提供另一种资源调度方法，包括：
[0009]任务调度系统获取第一任务分片数量；所述第一任务分片数量为所述任务调度系统当前调度应用平台执行的任务的分片数量；
[0010]所述任务调度系统向指标采集系统上报所述第一任务分片数量，所述第一任务分片数量用于确定是否对所述应用平台的资源进行弹性伸缩。
[0011]可选地，所述任务调度系统获取第一任务分片数量，包括：
[0012]所述任务调度系统获取所述应用平台的第一实例上报的第一任务的第一分片数量；
[0013]所述任务调度系统根据所述第一分片数量，以及，M个第二任务的至少一个分片数量，得到所述第一任务分片数量，所述第二任务为所述任务调度系统调度所述应用平台正在执行的其他任务；所述M为大于或等于0的整数。
[0014]可选地，所述任务调度系统获取所述应用平台的第一实例上报的第一任务的第一分片数量，包括：
[0015]所述任务调度系统确定待调度所述应用平台执行的所述第一任务；
[0016]所述任务调度系统调度所述应用平台的第一实例执行目标操作，以获取所述第一分片数量，所述目标操作包括：对所述第一任务进行任务分片，并上报分片数量。
[0017]可选地，所述第一分片数量为在执行所述第一任务的分片的过程中对分片再次分片得到的分片数量；
[0018]所述任务调度系统根据所述第一分片数量，以及，M个第二任务的至少一个分片数量，得到所述第一任务分片数量，包括：
[0019]所述任务调度系统根据所述第一分片数量，所述第一任务的至少一个第二分片数量，以及，至少一个第二任务的至少一个分片数量，得到所述第一任务分片数量；
[0020]其中，一个所述第二分片数量为所述任务调度系统调度所述应用平台执行所述第一任务的过程中，所述应用平台上报的对第一任务一次分片得到的分片数量。
[0021]可选地，所述第二任务的至少一个分片数量包括：对所述第二任务初次分片得到的分片数量，以及，在执行所述第二任务的分片的过程中对分片再次分片得到的分片数量。
[0022]可选地，所述目标操作还包括：将所述第一任务的分片分发给所述应用平台的多个实例执行。
[0023]可选地，所述任务调度系统向所述指标采集系统上报所述第一任务分片数量，包括：
[0024]所述任务调度系统在所述第一任务分片数量与第二任务分片数量不同时，向所述指标采集系统上报所述第一任务分片数量；所述第二任务分片数量为所述任务调度系统上一次上报的、调度所述应用平台执行的任务的分片数量。
[0025]第三方面，本申请提供再一种资源调度方法，包括：
[0026]资源调度系统接收指标采集系统发送的所述第一任务分片数量；所述第一任务分片数量为任务调度系统当前调度应用平台执行的任务分片的数量；
[0027]所述资源调度系统根据所述第一任务分片数量，以及，基于任务分片数量的资源弹性伸缩规则，确定所述应用平台执行所述第一任务分片数量对应的任务的分片所需的目标实例数量；
[0028]所述资源调度系统在所述目标实例数量与当前实例数量不同时，将所述应用平台的实例数量调整至所述目标实例数量。
[0029]可选地，所述基于任务分片数量的资源弹性伸缩规则包括：任务分片数量与实例数量的映射关系。
[0030]可选地，所述资源调度系统根据所述第一任务分片数量，以及，基于任务分片数量的资源弹性伸缩规则，确定所述应用平台执行所述第一任务分片数量对应的任务的分片所需的目标实例数量，包括：
[0031]所述资源调度系统在所述第一任务分片数量与第二任务分片数量不同时，根据所述第一任务分片数量，以及，基于任务分片数量的资源弹性伸缩规则，确定所述应用平台执行所述第一任务分片数量对应的任务的分片所需的目标实例数量；所述第二任务分片数量为所述任务调度系统上一次上报的、调度所述应用平台执行的任务的分片数量。
[0032]第四方面，本申请提供一种指标采集系统，所述指标采集系统包括：
[0033]接收模块，用于接收任务调度系统上报的第一任务分片数量；所述第一任务分片数量为任务调度系统当前调度应用平台执行的任务的分片数量；
[0034]发送模块，用于向资源调度系统发送所述第一任务分片数量，所述第一任务分片数量用于所述资源调度系统确定是否对所述应用平台的资源进行弹性伸缩。
[0035]第五方面，本申请提供一种任务调度系统，所述任务调度系统包括：
[0036]获取模块，用于获取第一任务分片数量；所述第一任务分片数量为所述任务调度系统当前调度应用平台执行的任务的分片数量；
[0037]发送模块，用于向指标采集系统上报所述第一任务分片数量，所述第一任务分片数量用于确定是否对所述应用平台的资源进行弹性伸缩。
[0038]第六方面，本申请提供一种资源调度系统，所述资源调度系统包括：
[0039]接收模块，用于接收指标采集系统发送的所述第一任务分片数量；所述第一任务分片数量为任务调度系统当前调度应用平台执行的任务分片的数量；
[0040]确认模块，用于根据所述第一任务分片数量，以及，基于任务分片数量的资源弹性伸缩规则，确定所述应用平台执行所述第一任务分片数量对应的任务的分片所需的目标实例数量；
[0041]调度模块，用于在所述目标实例数量与当前实例数量不同时，将所述应用平台的实例数量调整至所述目标实例数量。
[0042]第七方面，本申请提供一种计算设备，包括：处理器、通信接口，以及存储器；所述处理器分别与所述通信接口和所述存储器通信连接；
[0043]所述存储器存储计算机执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：指标采集系统接收任务调度系统上报的第一任务分片数量；所述第一任务分片数量为任务调度系统当前调度应用平台执行的任务的分片数量；所述指标采集系统向资源调度系统发送所述第一任务分片数量，所述第一任务分片数量用于所述资源调度系统确定是否对所述应用平台的资源进行弹性伸缩。2.一种资源调度方法，其特征在于，所述方法包括：任务调度系统获取第一任务分片数量；所述第一任务分片数量为所述任务调度系统当前调度应用平台执行的任务的分片数量；所述任务调度系统向指标采集系统上报所述第一任务分片数量，所述第一任务分片数量用于确定是否对所述应用平台的资源进行弹性伸缩。3.根据权利要求2所述的方法，其特征在于，所述任务调度系统获取第一任务分片数量，包括：所述任务调度系统获取所述应用平台的第一实例上报的第一任务的第一分片数量；所述任务调度系统根据所述第一分片数量，以及，M个第二任务的至少一个分片数量，得到所述第一任务分片数量，所述第二任务为所述任务调度系统调度所述应用平台正在执行的其他任务；所述M为大于或等于0的整数。4.根据权利要求3所述的方法，其特征在于，所述任务调度系统获取所述应用平台的第一实例上报的第一任务的第一分片数量，包括：所述任务调度系统确定待调度所述应用平台执行的所述第一任务；所述任务调度系统调度所述应用平台的第一实例执行目标操作，以获取所述第一分片数量，所述目标操作包括：对所述第一任务进行任务分片，并上报分片数量；或者，所述第一分片数量为在执行所述第一任务的分片的过程中对分片再次分片得到的分片数量；所述任务调度系统根据所述第一分片数量，以及，M个第二任务的至少一个分片数量，得到所述第一任务分片数量，包括：所述任务调度系统根据所述第一分片数量，所述第一任务的至少一个第二分片数量，以及，至少一个第二任务的至少一个分片数量，得到所述第一任务分片数量；其中，一个所述第二分片数量为所述任务调度系统调度所述应用平台执行所述第一任务的过程中，所述应用平台上报的对第一任务一次分片得到的分片数量。5.根据权利要求4所述的方法，其特征在于，所述第二任务的至少一个分片数量包括：对所述第二任务初次分片得到的分片数量，以及，在执行所述第二任务的分片的过程中对分片再次分片得到的分片数量。6.根据权利要求4或5所述的方法，其特征在于，所述目标操作还包括：将所述第一任务的分片分发给所述应用平台的多个实例执行。7.一种资源调度方法，其特征在于，所述方法包括：资源调度系统接收指标采集系统发送的第一任务分片数量；所述第一任务分片数量为任务调度系统当前调度应用平台执行的任务分片的数量；所述...

【专利技术属性】
技术研发人员：黄晓萌，李颜良，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：