一种用于在集群中调度计算任务的方法与设备技术

本申请的目的是提供一种用于在集群中调度计算任务的方法与设备；获取集群中待调度的多个计算任务；根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各任务子集分别对应于所述集群中一个集群节点。与现有技术相比，本申请通过基于集群中待调度的多个计算任务对应的任务负荷信息，将每个所述计算任务都划分到一个对应于某个集群节点的任务子集中，从而，为所述集群中待调度的多个计算任务找到了最佳匹配组合，从而最大化利用整个集群的资源，实现更加合理的系统资源调度策略。

【技术实现步骤摘要】

本申请涉及计算机领域，尤其涉及一种用于在集群中调度计算任务的技术。
技术介绍
利用互联网实现云计算的过程中，在每一个云服务节点上存在多个计算任务，需要针对所述计算任务进行资源隔离，进而，相互隔离的计算任务基于所述云服务节点调用整个集群分配的各种资源。目前，该领域采用的方案有：一是绝对控制方法。即对每一个云服务节点对应的多个计算任务，可以依据所述云服务节点自身的资源总量进行资源量的分配，每个计算任务最多可以使用的资源量为确定数值。此种方法，在每个计算任务实际需要的资源量大于其所分配到的资源量的确定数值时，所述计算任务的需求得不到满足；而当所述计算任务需要的资源量大大小于所分配到的资源量的确定数值时，又会带来资源的浪费。二是相对控制方法。即对每一个云服务节点对应的多个计算任务，可以依据所述云服务节点自身的资源总量、对每个计算任务按照一定比例进行资源量的分配，此时，若某个计算任务压力过大时，若所对应的云服务节点按照权重切割，则会由于该计算任务的异常情况影响到其他计算任务的顺利进行。
技术实现思路
本申请的目的是提供一种用于在集群中调度计算任务的方法与设备。根据本申请的一个方面，提供了一种用于在集群中调度计算任务的方法，包括：获取集群中待调度的多个计算任务；根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各任务子集分别对应于所述集群中一个集群节点。根据本申请的另一方面，还提供了一种用于在集群中调度计算任务的设备，包括：第一装置，用于获取集群中待调度的多个计算任务；第二装置，用于根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各任务子集分别对应于所述集群中一个集群节点。与现有技术相比，本申请通过基于集群中待调度的多个计算任务对应的任务负荷信息，将每个所述计算任务都划分到一个对应于某个集群节点的任务子集中，从而，为所述集群中待调度的多个计算任务找到了最佳划分组合，从而最大化利用整个集群的资源，实现更加合理的系统资源调度策略。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个方面的一种用于在集群中调度计算任务的设备示意图；图2示出根据本申请另一个方面的一种用于在集群中调度计算任务的方法流程图；图3示出根据本申请一个优选实施例的集群节点M调度前的计算任务负荷示意图；图4示出根据本申请一个优选实施例的集群节点N调度前的计算任务负荷示意图；图5示出根据本申请一个优选实施例的集群节点M调度后的计算任务负荷示意图；图6示出根据本申请一个优选实施例的集群节点N调度后的计算任务负荷示意图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。图1示出根据本申请一个方面的一种用于在集群中调度计算任务的设备示意图。所述用于在集群中调度计算任务的设备1包括第一装置101和第二装置102。其中，第一装置101获取集群中待调度的多个计算任务；第二装置102用于根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各任务子集分别对应于所述集群中一个集群节点。具体地，所述设备1的第一装置101获取集群中待调度的多个计算任务。在此，所述的集群，优选地为基于互联网用于进行云计算的多台服务器组成的集群。每一台所述服务器都是为用户提供云计算等服务的集群节点。在所述每一台服务器上都有若干个正在进行的计算任务。所述的计算任务包括在集群节点上的进程服务、线程服务等。本方案需要对集群中多个集群节点下的多个计算任务进行重新调度划分，从而优化集群资源的分配，所以首先需要确定等待调度安排的多个计算任务。在本方案中，资源池越大，确定获取的待调度的计算任务越多，调度对于系统的匹配度就会越高，进而调度精确度就会越好，集群资源分配的优化效果就越显著。此外，所述每一个计算任务在所述集群中，例如在云资源系统中，都有与之对应的的备份计算任务，从而使得所述计算任务对应的数据信息得以被保存，进一步，所述计算任务和与之对应的备份计算任务之间通过同步机制保障数据信息的一致性。在此，通过对计算任务进行灾备安排，可以避免由于数据信息的损毁、灭失等突发状况带来的损失。在此，本领域技术人员应该能够理解，所述第一装置获取的集群中待调度的多个计算任务也可以来自于所述设备1之外的第三方设备。即从第三方设备中收集待调度的多个计算任务，再由所述设备1进行相应的信息处理、任务调度的生成并执行等操作。接着，所述设备1的第二装置102根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各任务子集分别对应于所述集群中一个集群节点。在此，若要为多个不同的计算任务进行最佳划分，以便使得集群资源利用最大化，首先要获得等待调度的多个计算任务的任务负荷信息。所述的任务负荷信息包括所述计算任务对应的各种可度量指标数据信息，包括但不限于CPU使用率、内存使用率、网络使用、内存使用、网卡流量等与所述本文档来自技高网...

【技术保护点】
一种用于在集群中调度计算任务的方法，包括：获取集群中待调度的多个计算任务；根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各任务子集分别对应于所述集群中一个集群节点。

【技术特征摘要】
1.一种用于在集群中调度计算任务的方法，包括：
获取集群中待调度的多个计算任务；
根据所述计算任务所对应的任务负荷信息将所述多个计算任务划分
为多个任务子集，其中，各任务子集分别对应于所述集群中一个集群节点。
2.根据权利要求1所述的方法，其中，该方法还包括：
将所述任务子集分配至对应的所述集群节点，并在所述集群节点中执
行所述任务子集中的所述计算任务。
3.根据权利要求1或2所述的方法，其中，所述根据所述计算任务所
对应的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各
任务子集分别对应于所述集群中一个集群节点包括：
根据所述计算任务所对应的任务负荷信息，并结合所述集群对应的节
点资源阈值信息，将所述多个计算任务划分为多个任务子集，其中，各任
务子集分别对应于所述集群中一个集群节点。
4.根据权利要求3所述的方法，其中，所述根据所述计算任务所对应
的任务负荷信息将所述多个计算任务划分为多个任务子集，其中，各任务
子集分别对应于所述集群中一个集群节点包括：
根据所述计算任务所对应的任务负荷信息，并结合所述集群对应的节
点资源阈值信息，执行划分操作直至将所述多个计算任务划分为多个任务
子集，其中，各任务子集分别对应于所述集群中一个集群节点；
其中，所述划分操作包括：
在所述多个计算任务中取一待划分的所述计算任务作为第一计算任
务；
确定一个或多个候选任务子集，其中，所述候选任务子集包括所述第
一计算任务及所述多个计算任务中至少一个其他待划分的所述计算任务，
所述候选任务子集中各所述计算任务的任务负荷信息的累计信息满足所
述节点资源阈值信息；
从所述一个或多个候选任务子集中优选确定所述任务子集。
5.根据权利要求4所述的方法，其中，所述从所述一个或多个候选任
务子集中优选确定所述任务子集包括：
确定所述候选任务子集的子集相关信息；
根据所述子集相关信息从所述一个或多个候选任务子集中优选确定
所述任务子集。
6.根据权利要求4或5所述的方法，其中，所述候选任务子集中各所
述计算任务的任务负荷信息的累计信息满足所述节点资源阈值信息包括：
所述候选任务子集中各所述计算任务的任务负荷信息的累计信息按
维度分别满足所述节点资源阈值信息。
7.根据权利要求1至6中任一项所述的方法，其中，所述根据所述计
算任务所对应的任务负荷信息将所述多个计算任务划分为多个任务子集，
其中，各任务子集分别对应于所述集群中一个集群节点还包括：
根据所述集群的任务计算日志信息，确定多个历史计算任务的任务销
信息；
根据所述多个历史计算任务的任务开销信息确定所述计算任务的任
务负荷信息。
8.根据权利要求7所述的方法，其中，根据所述多个历史计算任务的
任务开销信息确定所述计算任务的任务负荷信息包括：
根据所述计算任务的任务相关信息，从所述多个历史计算任务中筛选
与所述计算任务相匹配的优选历史计算任务；
根据所述优选历史计算任务的任务开销信息确定所述计算任务的任
务负荷信息。
9.根据权利要求7所述的方法，其中，根据所述多个历史计算任务的
任务开销信息确定所述计算任务的任务负荷信息包括：
通过根据所述多个历史计算任务的任务相关信息对所述多个历史计
算任务进行聚类处理，确定每个计算任务聚类所对应的任务开销信息；
根据所述计算任务的任务相关信息，确定...

【专利技术属性】
技术研发人员：王奎，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY