计算资源分配方法及装置制造方法及图纸

本申请公开了一种计算资源分配方法及装置，该方法涉及计算机技术领域。包括：获取待处理任务以及所述待处理任务的优先级；根据所述待处理任务的优先级确定所述待处理任务的最大计算资源；根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源。该方案在确定待处理任务的实际计算资源时，会参考待处理任务的优先级别对应的最大计算资源和历史数据量，并不是根据固定的参数来确定，对于不同的待处理任务，当优先级和历史数据量不同时，得到的计算资源也不同，从而能够更加合理地为每个待处理任务分配计算资源，进而提升集群的计算资源利用率和集群的任务吞吐量。

Computing resource allocation method and device

The invention discloses a method and a device for allocating computing resources, which relate to the field of computer technology. Including obtaining the pending tasks and the pending task priority; according to the calculated maximum resource of the pending task priority determines the pending task; according to the actual data of the history of computing resources to handle the task and the maximum computational resources determine the pending tasks. This scheme in the actual computing resources to determine the processing tasks, the maximum amount of historical data and computing resources will be the priority level corresponding to the reference of pending tasks, and not according to the fixed parameters, for different tasks to be processed, when the priority and the amount of historical data and computing resources are also different, so it is more reasonable to be processed for each task allocation of computing resources, and improve the utilization rate of task throughput and cluster computing resources cluster.

【技术实现步骤摘要】
计算资源分配方法及装置
本申请涉及计算机
，尤其涉及一种计算资源分配方法及装置。
技术介绍
随着网络技术的飞速发展，越来越多的用户通过网络获取信息，网站需要处理的数据量也越来越大，当今已然进入大数据时代。目前，很多网站的服务端采用大型计算集群来处理数据，如何合理分配计算资源，从而保证集群的计算资源利用率、提升集群的任务吞吐量变得非常重要。一个大型计算集群每天都会运行大量的任务，按照现有的计算资源分配方法，通常会根据固定的参数为每个待处理任务分配计算资源，例如，若计算资源包括中央处理器(CenteralProcessingUnit，CPU)占用量、内存占用量和并发度，那么，为每个待处理任务分配相同的CPU占用量和内存占用量，每个待处理任务的并发度会用对应待处理任务的数据量除以固定值来确定，从而得到每个待处理任务的计算资源。上述方法仅仅根据固定的参数来为每个待处理任务分配计算资源，分配方法过于简单，容易造成计算资源分配不合理，影响集群的计算资源利用率和集群的任务吞吐量。继续沿用上例进行说明，在实际应用中，每个待处理任务的数据量差别很大，对于数据量大的待处理任务和数据量小的待处理任务分配相同的CPU占用量和内存占用量，这就会造成数据量大的待处理任务计算资源不足、以及数据量小的待处理任务计算资源闲置，从而无法充分利用集群所有的计算资源，影响集群的计算资源利用率和集群的任务吞吐量。
技术实现思路
本申请实施例提供一种计算资源分配方法及装置，用以解决相关技术中存在的计算资源分配方法过于简单导致的计算资源分配不合理，影响集群的计算资源利用率和集群的任务吞吐量的问题。根据本申请实施例，提供一种计算资源分配方法，包括：获取待处理任务以及所述待处理任务的优先级；根据所述待处理任务的优先级确定所述待处理任务的最大计算资源；根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源。具体的，根据所述待处理任务的优先级确定所述待处理任务的最大计算资源，具体包括：获取优先级与最大计算资源的对应关系；从所述对应关系中查找包括所述待处理任务的优先级的表项；获取查找到的表项中包括的最大计算资源，得到所述待处理任务的最大计算资源。可选的，根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源之前，还包括：获取所述待处理任务在第一历史时段内的运行次数；确定所述待处理任务在所述第一历史时段内的运行次数是否超过设定阈值；若所述待处理任务在所述第一历史时段内的运行次数超过所述设定阈值，则执行根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源的步骤。具体的，获取所述待处理任务在第一历史时段内的运行次数，具体包括：计算所述待处理任务的特征信息；以及，计算在所述第一历史时段内运行过的所有任务的特征信息，得到历史特征信息集合；统计所述待处理任务的特征信息在所述历史特征信息集合中出现的次数，得到所述待处理任务在所述第一历史时段内的运行次数。可选的，还包括：若所述待处理任务在所述第一历史时段内的运行次数未超过所述设定阈值，则将所述待处理任务的最大计算资源作为所述待处理任务的实际计算资源。具体的，若计算资源包括中央处理器CPU占用量、内存占用量和/或并发度，则根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源，具体包括：获取第二历史时段内的CPU利用率，根据所述第二历史时段内的CPU利用率确定所述待处理任务的候选CPU占用量；获取所述待处理任务在所述第二历史时段内的历史数据量、执行时间和操作类型；根据所述待处理任务在所述第二历史时段内的历史数据量、执行时间和操作类型确定所述待处理任务的候选内存占用量；根据所述待处理任务在所述第二历史时段内的历史数据量确定所述待处理任务的候选并发度；将所述待处理任务的候选CPU占用量、候选内存占用量和候选并发度分别与所述最大计算资源中的最大CPU占用量、最大内存占用量和最大并发度进行比较；将所述待处理任务的候选CPU占用量与最大CPU占用量中的较小者作为所述待处理任务的实际CPU占用量，将所述待处理任务的候选内存占用量与最大内存占用量中的较小者作为所述待处理任务的实际内存占用量，将所述待处理任务的候选并发度与最大并发度中的较小者作为所述待处理任务的实际并发度；将所述待处理任务的实际CPU占用量、实际内存占用量和/或实际并发度作为所述待处理任务的实际计算资源。具体的，根据所述待处理任务在所述第二历史时段内的历史数据量确定所述待处理任务的候选并发度，具体包括：获取预设的数据量与并发度的函数关系；将所述待处理任务在所述第二历史时段内的历史数据量带入所述函数关系中，得到所述待处理任务的候选并发度。可选的，还包括：将所述待处理任务在所述第二历史时段内的历史数据量除以所述第二历史时段的时长，得到所述待处理任务在所述第二历史时段内的平均处理速度；确定所述平均处理速度是否小于设定速度；若所述平均处理速度小于所述设定速度，则将所述待处理任务的候选并发度乘以所述平均处理速度的倒数。根据本申请实施例，还提供一种计算资源分配装置，包括：获取单元，用于获取待处理任务以及所述待处理任务的优先级；第一确定单元，用于根据所述待处理任务的优先级确定所述待处理任务的最大计算资源；第二确定单元，用于根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源。具体的，所述第一确定单元，用于根据所述待处理任务的优先级确定所述待处理任务的最大计算资源，具体用于：获取优先级与最大计算资源的对应关系；从所述对应关系中查找包括所述待处理任务的优先级的表项；获取查找到的表项中包括的最大计算资源，得到所述待处理任务的最大计算资源。可选的，所述第二确定单元，还用于：获取所述待处理任务在第一历史时段内的运行次数；确定所述待处理任务在所述第一历史时段内的运行次数是否超过设定阈值；若所述待处理任务在所述第一历史时段内的运行次数超过所述设定阈值，则根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源。具体的，所述第二确定单元，用于获取所述待处理任务在第一历史时段内的运行次数，具体用于：计算所述待处理任务的特征信息；以及，计算在所述第一历史时段内运行过的所有任务的特征信息，得到历史特征信息集合；统计所述待处理任务的特征信息在所述历史特征信息集合中出现的次数，得到所述待处理任务在所述第一历史时段内的运行次数。可选的，所述第二确定单元，还用于：若所述待处理任务在所述第一历史时段内的运行次数未超过所述设定阈值，则将所述待处理任务的最大计算资源作为所述待处理任务的实际计算资源。具体的，若所述计算资源包括中央处理器CPU占用量、内存占用量和/或并发度，则所述第二确定单元，用于根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源，具体用于：获取第二历史时段内的CPU利用率，根据所述第二历史时段内的CPU利用率确定所述待处理任务的候选CPU占用量；获取所述待处理任务在所述第二历史时段内的历史数据量、执行时间和操作类型；根据所述待处理任务在所述第二历史时段内的历史数据量、执行时间和操作类型确定所述待处理任务的候选内存占用本文档来自技高网...

【技术保护点】
一种计算资源分配方法，其特征在于，包括：获取待处理任务以及所述待处理任务的优先级；根据所述待处理任务的优先级确定所述待处理任务的最大计算资源；根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源。

【技术特征摘要】
1.一种计算资源分配方法，其特征在于，包括：获取待处理任务以及所述待处理任务的优先级；根据所述待处理任务的优先级确定所述待处理任务的最大计算资源；根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源。2.如权利要求1所述的方法，其特征在于，根据所述待处理任务的优先级确定所述待处理任务的最大计算资源，具体包括：获取优先级与最大计算资源的对应关系；从所述对应关系中查找包括所述待处理任务的优先级的表项；获取查找到的表项中包括的最大计算资源，得到所述待处理任务的最大计算资源。3.如权利要求1所述的方法，其特征在于，根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源之前，还包括：获取所述待处理任务在第一历史时段内的运行次数；确定所述待处理任务在所述第一历史时段内的运行次数是否超过设定阈值；若所述待处理任务在所述第一历史时段内的运行次数超过所述设定阈值，则执行根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源的步骤。4.如权利要求3所述的方法，其特征在于，获取所述待处理任务在第一历史时段内的运行次数，具体包括：计算所述待处理任务的特征信息；以及，计算在所述第一历史时段内运行过的所有任务的特征信息，得到历史特征信息集合；统计所述待处理任务的特征信息在所述历史特征信息集合中出现的次数，得到所述待处理任务在所述第一历史时段内的运行次数。5.如权利要求3所述的方法，其特征在于，还包括：若所述待处理任务在所述第一历史时段内的运行次数未超过所述设定阈值，则将所述待处理任务的最大计算资源作为所述待处理任务的实际计算资源。6.如权利要求1-5任一所述的方法，其特征在于，若计算资源包括中央处理器CPU占用量、内存占用量和/或并发度，则根据所述待处理任务的历史数据量和最大计算资源确定所述待处理任务的实际计算资源，具体包括：获取第二历史时段内的CPU利用率，根据所述第二历史时段内的CPU利用率确定所述待处理任务的候选CPU占用量；获取所述待处理任务在所述第二历史时段内的历史数据量、执行时间和操作类型；根据所述待处理任务在所述第二历史时段内的历史数据量、执行时间和操作类型确定所述待处理任务的候选内存占用量；根据所述待处理任务在所述第二历史时段内的历史数据量确定所述待处理任务的候选并发度；将所述待处理任务的候选CPU占用量、候选内存占用量和候选并发度分别与所述最大计算资源中的最大CPU占用量、最大内存占用量和最大并发度进行比较；将所述待处理任务的候选CPU占用量与最大CPU占用量中的较小者作为所述待处理任务的实际CPU占用量，将所述待处理任务的候选内存占用量与最大内存占用量中的较小者作为所述待处理任务的实际内存占用量，将所述待处理任务的候选并发度与最大并发度中的较小者作为所述待处理任务的实际并发度；将所述待处理任务的实际CPU占用量、实际内存占用量和/或实际并发度作为所述待处理任务的实际计算资源。7.如权利要求6所述的方法，其特征在于，根据所述待处理任务在所述第二历史时段内的历史数据量确定所述待处理任务的候选并发度，具体包括：获取预设的数据量与并发度的函数关系；将所述待处理任务在所述第二历史时段内的历史数据量带入所述函数关系中，得到所述待处理任务的候选并发度。8.如权利要求7所述的方法，其特征在于，还包括：将所述待处理任务在所述第二历史时段内的历史数据量除以所述第二历史时段的时长，得到所述待处理任务在所述第二历史时段内的平均处理速度；确定所述平均处理速度是否小于设定速度；若所述平均处理速度小于所述设定速度，则将所述待处理任务的候选并发度乘以所述平均处理速度的倒数。9.一种计算资源分配装置，其特征在于，包括：获取单元，用...

【专利技术属性】
技术研发人员：孙伟光，贾元乔，王伟，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY