任务调度方法、装置及系统制造方法及图纸

本发明专利技术提供一种任务调度方法、装置及系统。所述方法包括：调度器接收路由器分配的任务；所述调度器将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；所述调度器将所述空闲处理器队列中的首个处理器ID移除。本发明专利技术能够在大规模服务器集群和高负载系统环境下更加高效地进行任务调度，合理利用系统资源，响应时间较短。

Task scheduling method, device and system

The present invention provides a task scheduling method, device and system. The method includes: receiving router task scheduler; the scheduler of the task assigned to the idle processor, corresponding to the first processor of ID processor idle in the queue in which the idle processor queue including the idle processor to processor ID; the scheduler of the idle processor in the queue the first processor ID removed. The invention can perform task scheduling more efficiently in large-scale server cluster and high load system environment, and make rational use of system resources and short response time.

【技术实现步骤摘要】
任务调度方法、装置及系统
本专利技术涉及计算机应用
，尤其涉及一种任务调度方法、装置及系统。
技术介绍
在传统的服务器集群系统中，通常由中央调度器(中央调度器是指服务器集群的任务调度器，是单独的一个硬件调度器)使用JSQ(最短队列优先)算法将任务分配到具有最短任务队列的处理器中。同时中央调度器管理所有到达的任务分配，所以可以自行追踪各个处理器上的任务队列，不需要额外的通讯开销。随着所需计算服务越来越多，传统的服务器集群处理能力需要进行大规模扩展才能满足现今计算能力需求。但是，对于大规模的服务器集群数据中心，中央调度器已不再适用于做任务调度。当服务器集群规模达到上千台设备时，此时所需要的中央调度器价格昂贵并且增加了扩展粒度(扩展粒度是指调度器可以挂载服务器的台数，)大小。对于中央调度器，在实际应用中还有以下缺点：当系统处于低使用率时，要求关闭部分前端服务器，而此时还需要对中央硬件调度器进行重新配置；单个中央硬件调度器容易造成服务器系统的单点失败，丧失系统健壮性。因此，中央调度器已在服务器集群系统中失去了竞争力，迫切需要一种新的技术来取代它。因此，使用分布式调度器是必然的发展趋势。但是在分布式调度器系统中，单个调度器只知道部分流经自身的任务，而对于JSQ算法，在任务调度前，需要知道全局的系统任务分配情况，JSQ算法不再适用分布式调度器系统。目前，适用于分布式调度器系统的算法有PoN(n)(随机N负载均衡)算法和WS(WorkStealing&WorkSharing，任务窃取和任务共享)算法。对于PoN(n)算法，在任务到来时，随机选取n个处理器，分析他们的任务队列，将任务交给n个处理器中任务队列最短的处理器处理。PoN(n)算法相对朴素随机算法大大提高了响应时间并减小了通讯开销，但是PoN(n)算法性能却比JSQ算法差很多。而且在任务到达时还是需要调度器和处理器直接的通讯开销，更主要的是这个通讯开销处于响应时间的关键路径之上。对于WS算法，空闲的处理器会随机选取其他处理器，并接过其任务队列中的任务来处理；同时一个重度负载的处理器会随机选取其他处理器，将自己任务队列中的任务交给其他处理器来处理。但是，多核共享内存结构和服务器集群的任务到达和调度方式不一样。在多核系统中，新的任务线程在每个核心上独立生成；而在分布式调度器中，任务是从外部网络到达调度器。对于分布式调度器，在将每个任务分配到处理器之后，如果在允许处理器直接再次重新根据整个系统和各个核心的负载情况调度任务的情形下，又会引入新的额外开销；而且在多核系统中迁移一个线程是相对容易的，但是在面向网络的任务迁移时，还需要迁移TCP连接以及一些子任务的同步问题。因此，WS算法还不能直接移植到云服务器集群中使用。在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下技术问题：在大规模服务器集群和高负载系统环境下，现有的任务调度方法的效率较低，响应时间较长。
技术实现思路
本专利技术提供的任务调度方法、装置及系统，能够在大规模服务器集群和高负载系统环境下更加高效地进行任务调度，合理利用系统资源，响应时间较短。第一方面，本专利技术提供一种任务调度方法，包括：调度器接收路由器分配的任务；所述调度器将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；所述调度器将所述空闲处理器队列中的首个处理器ID移除。可选地，在所述调度器接收路由器分配的任务之前，所述方法还包括：所述调度器接收空闲处理器上报的处理器ID；所述调度器根据空闲处理器上报处理器ID的先后顺序，将处理器ID从前到后依次排列，建立空闲处理器队列。可选地，所述方法还包括：当所有调度器的空闲处理器队列均为空时，所述调度器接收任务队列长度低于预定阈值的低负载处理器上报的处理器ID；所述调度器将所述低负载处理器上报的处理器ID添加到所述空闲处理器队列中；当所述调度器接收到路由器分配的任务时，将所述任务分配到所述空闲处理器队列中的处理器ID对应的低负载处理器。第二方面，本专利技术提供一种任务调度装置，所述任务调度装置位于调度器中，所述装置包括：第一接收单元，用于接收路由器分配的任务；分配单元，用于将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；移除单元，用于将所述空闲处理器队列中的首个处理器ID移除。可选地，所述装置还包括：第二接收单元，用于在所述第一接收单元接收路由器分配的任务之前，接收空闲处理器上报的处理器ID；建立单元，用于根据空闲处理器上报处理器ID的先后顺序，将处理器ID从前到后依次排列，建立空闲处理器队列。可选地，所述装置还包括：第三接收单元，用于当所有调度器的空闲处理器队列均为空时，接收任务队列长度低于预定阈值的低负载处理器上报的处理器ID；添加单元，用于将所述低负载处理器上报的处理器ID添加到所述空闲处理器队列中；所述分配单元，用于当所述第一接收单元接收到路由器分配的任务时，将所述任务分配到所述空闲处理器队列中的处理器ID对应的低负载处理器。第三方面，本专利技术提供一种任务调度系统，所述系统包括路由器、多个调度器和多个空闲处理器，其中，所述路由器，用于将任务分配给其中一个调度器；所述调度器，用于接收所述路由器分配的任务，将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，将所述空闲处理器队列中的首个处理器ID移除，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；所述空闲处理器，用于处理所述调度器分配的任务。可选地，所述调度器，还用于在接收路由器分配的任务之前，接收空闲处理器上报的处理器ID，根据空闲处理器上报处理器ID的先后顺序，将处理器ID从前到后依次排列，建立空闲处理器队列。可选地，所述调度器，还用于当所有调度器的空闲处理器队列均为空时，接收任务队列长度低于预定阈值的低负载处理器上报的处理器ID，将所述低负载处理器上报的处理器ID添加到所述空闲处理器队列中，以及当接收到路由器分配的任务时，将所述任务分配到所述空闲处理器队列中的处理器ID对应的低负载处理器。本专利技术实施例提供的任务调度方法、装置及系统，调度器接收路由器分配的任务，将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，并将所述空闲处理器队列中的首个处理器ID移除，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID。与现有技术相比，本专利技术能够在大规模服务器集群和高负载系统环境下更加高效地进行任务调度，合理利用系统资源，响应时间较短。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的任务调度方法的流程图；图2为本专利技术实施例提供的任务调度方法的部署示意图；图3为在r＝10的情况下不同的IPQF算法的空IPQ的百分比的示意图；图4为在r＝10的时候IPQF在逆向负载均衡算法上使用朴素随机算法和本文档来自技高网...

【技术保护点】
一种任务调度方法，其特征在于，包括：调度器接收路由器分配的任务；所述调度器将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；所述调度器将所述空闲处理器队列中的首个处理器ID移除。

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：调度器接收路由器分配的任务；所述调度器将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；所述调度器将所述空闲处理器队列中的首个处理器ID移除。2.根据权利要求1所述的方法，其特征在于，在所述调度器接收路由器分配的任务之前，所述方法还包括：所述调度器接收空闲处理器上报的处理器ID；所述调度器根据空闲处理器上报处理器ID的先后顺序，将处理器ID从前到后依次排列，建立空闲处理器队列。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所有调度器的空闲处理器队列均为空时，所述调度器接收任务队列长度低于预定阈值的低负载处理器上报的处理器ID；所述调度器将所述低负载处理器上报的处理器ID添加到所述空闲处理器队列中；当所述调度器接收到路由器分配的任务时，将所述任务分配到所述空闲处理器队列中的处理器ID对应的低负载处理器。4.一种任务调度装置，其特征在于，所述任务调度装置位于调度器中，所述装置包括：第一接收单元，用于接收路由器分配的任务；分配单元，用于将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；移除单元，用于将所述空闲处理器队列中的首个处理器ID移除。5.根据权利要求4所述的装置，其特征在于，所述装置还包括：第二接收单元，用于在所述第一接收单元接收路由器分配的任务之前，接收空闲处理器上报的处理器ID；建立单元，用于根据空闲处理器上报处理器ID的...

【专利技术属性】
技术研发人员：徐逸尘，王玉章，方小明，
申请(专利权)人：研祥智能科技股份有限公司，
类型：发明
国别省市：广东,44