任务调度方法和装置制造方法及图纸

本发明专利技术提供了任务调度方法和装置，通过确定任务的默认集群与空闲的目标集群之间的网络资源之后，根据所确定出的网络资源，对该任务进行调度。其中，默认集群为存储有所述任务运行所需的任务数据的集群，由于基于集群负载情况对任务进行调度时，所出现的带宽占用过高的情况主要是由于任务尽管调度至目标集群运行，但仍需要从默认集群读取运行所需的任务数据而产生的，因此，采用只在目标集群和默认集群之间的网络资源情况较好的情况下，将任务调度至目标集群的方式，解决了现有技术中集群间的带宽占用过高的情况。

【技术实现步骤摘要】
任务调度方法和装置
本专利技术涉及计算机技术，尤其涉及一种任务调度方法和装置。
技术介绍
为了提高系统的稳定性和网络中心的数据处理能力及服务能力，通常采用集群技术。集群技术的出现，能够使得服务器相互连接在一起，构成一个集群，多个集群相互连接构成一个分布式系统，该分布式系统内的各个集群运行一系列共同的应用程序。在分布式系统内部，将应用程序划分为多个任务，每个任务分配一个集群进行运行，将所分配的集群作为该任务的默认集群，并在默认集群上运行该任务，以及存储任务运行所需的任务数据。可见，在这种情况下，当任务所需的运行能力会与集群的运行能力不匹配时，从而出现各个集群负载不均衡的情况。为了提高各个集群的运行效率，从而使得分布式系统的运行效率最大化，分布式系统可以基于各集群负载情况对计算任务进行调度，由所调度至的集群运行计算任务。但在实际运行过程中，往往会出现集群间的带宽占用过高的情况。
技术实现思路
本专利技术提供一种任务调度方法和装置，用于解决现有技术中集群间的带宽占用过高的情况。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面，提供了一种任务调度方法，确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；根据所述网络资源，对所述任务进行调度。第二方面，提供了一种任务调度装置，包括：确定模块，用于确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；调度模块，用于根据所述网络资源，对所述任务进行调度。本专利技术实施例提供的任务调度方法和装置，通过确定任务的默认集群与空闲的目标集群之间的网络资源之后，根据所确定出的网络资源，对所述任务进行调度。其中，默认集群为存储有所述任务运行所需的任务数据的集群，由于基于集群负载情况对任务进行调度时，所出现的带宽占用过高的情况主要是由于任务尽管调度至目标集群运行，但仍需要从默认集群读取运行所需的任务数据而产生的，因此，采用只在目标集群和默认集群之间的网络资源情况较好的情况下，将任务调度至目标集群的方式，解决了现有技术中集群间的带宽占用过高的情况。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术实施例一提供的一种任务调度方法的流程示意图；图2为一种网络的结构示意图；图3为本专利技术实施例二提供的一种任务调度方法的流程示意图；图4为本专利技术实施例三提供的一种任务调度装置的结构示意图；图5为本专利技术实施例三提供的另一种任务调度装置的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。下面结合附图对本专利技术实施例提供的任务调度方法和装置进行详细描述。实施例一图1为本专利技术实施例一提供的一种任务调度方法的流程示意图，本实施例所提供的方法，可以由分布式系统中的任务管理器执行，如图1所示，方法包括：步骤101、确定任务的默认集群与空闲的目标集群之间的网络资源。其中，默认集群为存储有该任务运行所需的任务数据的集群，网络资源包括：网络带宽和网络带宽时延积中的至少一个。具体的，可以建立起一套网络模型，该网络模型用于区分不同集群之间的网络结构关系，这里所说的网络结构关系可以包括同核心交换机、同地域和异地。其中，同核心交换机是指两集群属于同一个核心交换机，同地域是指两集群属于同一个地域，异地是指两集群分属于不同的地域。首先，可以基于负载均衡确定空闲的目标集群，若默认集群与目标集群之间为同核心交换机，确定网络资源的级别为第一等级，如优等；若默认集群与目标集群之间为同地域，确定网络资源的级别为第二等级，如一般；若默认集群与目标集群之间为异地，确定网络资源的级别为第三等级，如差等。进一步，在所建立起的网络模型中，还可以采用集群间距离表示集群间的网络结构关系，距离越近则网络结构关系越紧密，距离越远则网络结构关系越疏远，例如：集群间距离为20时，集群间为同核心交换机；集群间距离为21时，集群间为同地域；集群间距离为22时，集群间为异地。例如：图2为一种网络的结构示意图，针对如图2所示的网络结构，集群1和集群2同属于一个核心交换机，集群3和集群4分属于不同交换机，同时，集群1、集群2、集群3和集群4同属于地域1，另外，集群5属于地域2，与集群1-4为异地。因此，所建立的集群1为默认集群时的网络模型为：集群1和集群2之间为同核心交换机，网络距离为1；集群1和集群3之间为同地域，网络距离为2；集群1和集群4之间为同地域，网络距离为2；集群1和集群5之间为异地，网络距离为4。需要说明的是，这里所说的地域不是指行政区域上的地域，而是网络中的地域。网络距离可以采用2n的方式进行计算，同核心交换机时n＝0，，同地域时n＝1，异地时n＝2。步骤102、根据所确定出的网络资源，对该任务进行调度。具体的，按照所述网络资源由多至少的顺序，优先将任务调度至默认集群和目标集群之间的网络资源最多的目标集群。由于基于集群负载情况对任务进行调度时，所出现的带宽占用过高的情况主要是由于任务尽管调度至目标集群运行，但仍需要从默认集群读取运行所需的任务数据而产生的，因此，采用只在目标集群和默认集群之间的网络资源情况较好的情况下，从而使得目标集群和默认集群之间的网络资源能够满足任务所需，才将任务调度至目标集群的方式，解决了现有技术中集群间的带宽占用过高的情况。作为一种可能的实现方式，在优先将任务调度至默认集群和目标集群之间的网络资源最多的目标集群的基础上，还可以将网络资源划分为各个级别。在对任务进行调度之前，判断当前网络资源最多的目标集群的网络资源的级别，若当前网络资源最多的目标集群的网络资源的级别为优等，将任务调度至该目标集群；若网络资源的级别为一般，根据对任务进行调度的网络资源占用情况确定是否将任务调度至目标集群；若网络资源的级别为差等，将任务调度至默认集群，而不将该任务调度至当前网络资源最多的目标集群，除非该任务需要从该目标集群读取依赖数据。其中，依赖数据是该任务运行所需的其他任务生成的运行结果数据。通过这种方式，避免了当前网络资源最多的目标集群不能满足任务所需的网络资源的情况下，例如：当前网络资源最多的目标集群与默认集群之间为跨地域时，将任务调度至该目标集群所导致的网络资源占用过多的情况。实施例二图3为本专利技术实施例二提供的一种任务调度方法的流程示意图，如图3所示，包括：步骤201、查询任务的默认集群的负载是否空闲，如果空闲则执行步骤202，否则执行步骤203。具体的，获取到待调度的任务后，首先查询任务的默认集群的负载是否空闲，若空闲则由默认集群运本文档来自技高网...

【技术保护点】
一种任务调度方法，其特征在于，包括：确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；根据所述网络资源，对所述任务进行调度。

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；根据所述网络资源，对所述任务进行调度。2.根据权利要求1所述的任务调度方法，其特征在于，所述根据所述网络资源，对所述任务进行调度，包括：将所述任务调度至所述网络资源最多的目标集群。3.根据权利要求1所述的任务调度方法，其特征在于，所述确定任务的默认集群与空闲的目标集群之间的网络资源，包括：确定所述默认集群与所述目标集群之间的网络结构关系；根据所述网络结构关系，确定所述网络资源。4.根据权利要求3所述的任务调度方法，其特征在于，所述网络结构关系包括同核心交换机、同地域和异地；所述根据所述网络结构关系，确定所述网络资源包括：若所述默认集群与所述目标集群之间为同核心交换机，确定所述网络资源的级别为第一等级；若所述默认集群与所述目标集群之间为同地域，确定所述网络资源的级别为第二等级；若所述默认集群与所述目标集群之间为异地，确定所述网络资源的级别为第三等级。5.根据权利要求4所述的任务调度方法，其特征在于，所述根据所述网络资源，对所述任务进行调度，包括：若所述默认集群与所述目标集群之间的网络资源的级别为第一等级，将所述任务调度至所述目标集群；若所述默认集群与所述目标集群之间的网络资源的级别为第二等级，根据对所述任务进行调度的网络资源占用情况确定将所述任务调度至所述默认集群或所述目标集群；若所述默认集群与所述目标集群之间的网络资源的级别为第三等级，将所述任务调度至所述默认集群。6.根据权利要求5所述的任务调度方法，其特征在于，所述网络资源为网络带宽，所述根据对所述任务进行调度的网络资源占用情况确定将所述任务调度至所述默认集群或所述目标集群，包括：从历史记录中获得所述任务单次读取所述任务数据的时间长度；计算所述任务数据的数据量与所述时间长度之比，获得所述任务的网络开销；若所述任务的网络开销小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述目标集群；若所述任务的网络开销不小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述默认集群。7.根据权利要求1所述的任务调度方法，其特征在于，所述确定任务的默认集群与空闲的目标集群之间的网络资源之前，还包括：若所述默认集群处于超负荷状态，则基于负载均衡方式，确定所述目标集群。8.根据权利要求1-5任一项所述的任务调度方法，其特征在于，所述网络资源包括...

【专利技术属性】
技术研发人员：何乐，黄俨，史英杰，张杰，张辰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY