一种集群中的任务执行方法及装置制造方法及图纸

本申请公开了一种集群中的任务执行方法及装置，该方法获取待执行任务，根据所述待执行任务的指定属性，在预先划分的各集群资源集合中，确定所述待执行任务对应的集群资源集合，利用确定出的集群资源集合中包含的集群资源，执行所述待执行任务。通过上述方法，不同的待执行任务可能对应着不同集群资源集合，任一个待执行任务可以只占用该待执行任务对应的集群资源集合包含的集群资源，而不会占有集群的全部集群资源，因此，即使某个待执行任务长时间的占用该待执行任务对应的集群资源集合包含的全部集群资源，集群仍然可以利用其它集群资源集合包含的集群资源，及时地执行所述其它集群资源集合对应的其他待执行任务。

【技术实现步骤摘要】

本申请涉及计算机
，尤其涉及一种集群中的任务执行方法及装置。
技术介绍
在一个繁忙的大型集群中，每天都可能接收到大量的任务。其中，所述集群可以是用于提供云计算、大数据处理等服务的集群。在现有技术中，集群一般可以根据获取到任务的时间，按照时间顺序，利用集群资源，依次执行各任务。各任务的数据量可能不同，可以将数据量较大的任务称为大任务，将数据量不大的任务称为中小任务。其中，区分大任务和中小任务的数据量阈值可以由集群设定。但是，集群在执行大任务的过程中，可能需要长时间地占用全部集群资源，这样的话，可能有大量的中小任务由于无法抢到集群资源而长期等待，直至集群将大任务执行完毕后，大任务占用的集群资源得到释放，集群才可以执行等待的中小任务。因此，采用现有技术中集群执行任务的方式执行任务时，可能会导致当诸如上述的大任务之类的某个任务长时间占据着全部的集群资源时，集群无法及时执行其他任务的问题。
技术实现思路
本申请实施例提供一种集群中的任务执行方法及装置，用以解决采用现有技术中集群执行任务的方式执行任务时，可能会导致当某个任务长时间占据着全部的集群资源时，集群无法及时执行其他任务的问题。本申请实施例提供的一种集群中的任务执行方法，包括：获取待执行任务；根据所述待执行任务的指定属性，在预先划分的各集群资源集合中，确定所述待执行任务对应的集群资源集合；利用确定出的集群资源集合中包含的集群资源，执行所述待执行任务。本申请实施例提供的一种集群中的任务执行装置，包括：获取模块，用于获取待执行任务；确定模块，用于根据所述待执行任务的指定属性，在预先划分的各集群资源集合中，确定所述待执行任务对应的集群资源集合；执行模块，用于利用确定出的集群资源集合中包含的集群资源，执行所述待执行任务。本申请实施例通过上述至少一种技术方案，不同的待执行任务可能对应着不同集群资源集合，任一个待执行任务可以只占用该待执行任务对应的集群资源集合包含的集群资源，而不会占有集群的全部集群资源，因此，即使某个待执行任务长时间的占用该待执行任务对应的集群资源集合包含的全部集群资源，集群仍然可以利用其它集群资源集合包含的集群资源，及时地执行所述其它集群资源集合对应的其他待执行任务。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的集群中的任务执行过程的示意图；图2为一种在实际应用中可以实现本申请提供的集群中的任务执行方法的集群架构；图3为本申请实施例提供的图2中集群的任务执行过程的示意图；图4为本申请实施例提供的集群中的任务执行装置结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请实施例提供的集群中的任务执行过程，具体包括以下步骤：S101：获取待执行任务。本申请实施例提供的集群中的任务执行方法的执行主体可以是集群，所述集群可以是Hadoop集群，或者基于其他分布式架构的集群等，在实际应用中，所述集群可以用于提供云计算、大数据处理等服务。所述任务执行方法中的每个步骤具体可以由所述集群中的一台或多台机器执行，所述机器可以是集群中的任务调度机和/或任务执行机。在本申请实施例中，用户可以通过集群对应的客户端，向集群提交待执行任务，则集群可以获取到该待执行任务。所述待执行任务可以是请求所述集群执行的、针对指定数据的指定操作。例如，假定用户想要查询某个技术名词(称为技术名词a)在某个论文数据库中的全部论文中出现的总次数，则可以向集群提交查询任务。该查询任务中可以包含查询的关键词，以及所述全部论文的相关信息，如所述全部论文的地址索引等。集群根据该查询任务中包含的信息，可以确定该查询任务的数据量，所述数据量可以是存储有所述全部论文的文件的大小。在这种情况下，前文所述的指定数据，在此例中是指存储了所述全部论文的文件；而前文所述的指定操作，在此例中则是指查询技术名词a出现的总次数。当然，除了上例中的查询操作以外，所述指定操作还可以是删除、修改、创建、授权等操作，本申请对所述待执行任务涉及的指定操作的操作方式和操作内容并不做限定。在本申请实施例中，集群可以同时获取到多个待执行任务，也可以基于任务队列等方式，依次获取任务队列中的每个待执行任务。对于上述步骤S101，当集群获取到不止一个待执行任务时，可以针对获取到的每个待执行任务，分别执行后续步骤。为了便于描述，在后续步骤中提及的待执行任务可以指：集群获取的各待执行任务中的任一待执行任务。S102：根据所述待执行任务的指定属性，在预先划分的各集群资源集合中，确定所述待执行任务对应的集群资源集合。在本申请实施例中，集群资源可以是执行待执行任务时所使用的计算资源。所述集群资源可以以不同的单位进行度量，包括但不限于以下三种单位：第一种，机器的台数。在这种情况下，集群中的任一台机器都可以作为一个单位的集群资源。对于划分出的集群资源集合，所述集群资源集合中可以包含设定台数的机器。第二种，中央处理器(CentralProcessingUnit，CPU)的个数。在这种情况下，集群中的任一台机器中的任一个CPU(多核机器中可以有多个CPU)都可以作为一个单位的集群资源。对于划分出的集群资源集合，所述集群资源集合中可以包含第一设定数量的CPU。第三种，用于执行任务的进程的数量。在这种情况下，集群中的任一台机器中的任一个用于执行任务的进程(操作系统会为该进程分配CPU时间片、内存等计算资源)都可以作为一个单位的集群资源。对于划分出的集群资源集合，所述集群资源集合中可以包含第二设定数量的用于执行任务的进程。以上是对本申请中所述的集群资源的说明。在本申请实施例中，可以预先将集群中包含的所有集群资源划分为至少两个集群资源集合，每个集群资源集合中包含的集群资源均可以作为集群的利用对象，使得集群实现利用集群资源集合中包含的集群资源，执行与集群资源集合对应的待执行任务。例如，在划分出的各集群资源集合中，其中一个集群资源集合(或其中多个集群资源集合)可以用于集群执行大任务，另外一个集群资源集合(或另外多个集群资源集合)可以用于集群执行中小任务。这样的话，在执行大任务的过程不会占用执行中小任务所需的集群资源，因此，可以提高执行中小任务的效率。对于上例，在上述步骤S102中所述指定属性可以包括数据量。一般的，待执行任务的数据量可以反映任务的大小程度。当待执行任务的数据量不大于设定的数据量阈值时，可以认为该待执行任务为中小任务，当待执行任务的数据量大于设定的数据量阈值时，可以认为该待执行任务为中小任务。当然，在实际应用中，可以设定多个数据量阈值，由所述多个数据量阈值可以划分出多个数据量区间，对应的数据量落在同一个数据量区间的各待执行任务可以对应于相同的集群资源集合。进一步的，所述指定属性还可以是任务执行方式、任务优先级本文档来自技高网...

【技术保护点】
一种集群中的任务执行方法，其特征在于，包括：获取待执行任务；根据所述待执行任务的指定属性，在预先划分的各集群资源集合中，确定所述待执行任务对应的集群资源集合；利用确定出的集群资源集合中包含的集群资源，执行所述待执行任务。

【技术特征摘要】
1.一种集群中的任务执行方法，其特征在于，包括：获取待执行任务；根据所述待执行任务的指定属性，在预先划分的各集群资源集合中，确定所述待执行任务对应的集群资源集合；利用确定出的集群资源集合中包含的集群资源，执行所述待执行任务。2.如权利要求1所述的方法，其特征在于，所述各集群资源集合至少包括：为在线执行任务提供集群资源的集群资源集合、为离线执行任务提供集群资源的集群资源集合。3.如权利要求2所述的方法，其特征在于，当所述指定属性包括数据量时，确定所述待执行任务对应的集群资源集合，具体包括：判断所述待执行任务的数据量是否不大于数据量阈值；若是，则将为在线执行任务提供集群资源的集群资源集合，确定为所述待执行任务对应的集群资源集合；否则，将为离线执行任务提供集群资源的集群资源集合，确定为所述待执行任务对应的集群资源集合。4.如权利要求2所述的方法，其特征在于，当所述指定属性包括从所述待执行任务中分解出的任务实例的数量时，确定所述待执行任务对应的集群资源集合，具体包括：判断从所述待执行任务中分解出的任务实例的数量是否不大于实例数阈值；若是，则将为在线执行任务提供集群资源的集群资源集合，确定为所述待执行任务对应的集群资源集合；否则，将为离线执行任务提供集群资源的集群资源集合，确定为所述待执行任务对应的集群资源集合。5.如权利要求2所述的方法，其特征在于，当确定出的集群资源集合是为在线执行任务提供集群资源的集群资源集合时，执行所述待执行任务，具体包括：在线执行所述待执行任务；当确定出的集群资源集合是为离线执行任务提供集群资源的集群资源集合时，执行所述待执行任务，具体包括：离线执行所述待执行任务。6.如权利要求5所述的方法，其特征在于，当执行所述待执行任务具体包括在线执行所述待执行任务时，所述方法还包括：对所述待执行任务的在线执行时长进行计时；当计时时长大于时长阈值时，停止在线执行所述待执行任务，并释放所述待执行任务占用的集群资源；利用为离线执行任务提供集群资源的集群资源集合，离线执行所述待执行任务。7.一种集群中的任务执行装置，其特征在于，包括：...

【专利技术属性】
技术研发人员：夏晨，徐常亮，张严明，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY