一种共享集群的任务调度方法及装置制造方法及图纸

本发明专利技术公开了一种共享集群的任务调度方法及装置包括：确定共享集群中的资源与调度参数；定时检查是否需要设置检查点；当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；当有新任务到达时，更新正在运行的任务与混合等待队列；当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列。本发明专利技术能够缩短低优先级任务的响应时间、提高资源利用率，进而提高云端的整体性能。

Task scheduling method and device for shared cluster

The invention discloses a shared task scheduling method and device comprising: determining the cluster resource sharing and scheduling parameters in the cluster; regularly check whether need to set the check point; when the need to set up checkpoints, determine the need for checkpointing and task checkpointing; when a new task arrives, update the running task and mixed queue; when the shared cluster resource usage changes, update the running task and mixed queue. The invention can shorten the response time of the low priority task and improve the resource utilization rate, thereby improving the overall performance of the cloud.

【技术实现步骤摘要】
一种共享集群的任务调度方法及装置
本专利技术涉及信息处理领域，特别是指一种共享集群的任务调度方法及装置。
技术介绍
随着现代数据中心的发展，云计算技术正在变得越来越便捷、有影响力。多个商业云平台可以为消费者提供现购现付方式，消费者们不用考虑云的架构就可以直接将程序部署在云平台上。这种方式对消费者来说确实很便利，但它同时也为云服务提供商带来了一些管理难题。共享集群使得云计算平台变为现实。值得注意的是包括谷歌和微软在内的大多数商业云平台都使用了先占式任务调度方法来解决集群中发生的资源不足的问题。一般地说，任务在提交到云端时的附带属性中包含了该任务的优先级，而不同的优先级与用户购买的不同等级的服务相关。这意味着当系统中资源紧张时(系统负载较重)，高优先级的任务将不顾低优先级任务的执行进展，中断其执行过程，从而优先执行。当前采用的先占式任务调度机制为简单地终止低优先级任务运行，并在资源充足时重新开始运行。这种传统的先占式任务调度可以保证高优先级任务尽快完成。然而它会使低优先级任务付出极大的代价。这种基于终止的先占式调度方法不仅增加了低优先级任务特别是需要长时间运行的低优先级任务的响应时间，而且消耗了大量的资源、极大地削弱了整个云端的效能。针对现有技术中低优先级任务响应时间长、资源消耗大、云端工作效率低的问题，目前尚未提出有效的技术方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种共享集群的任务调度方法及装置，能够缩短低优先级任务的响应时间、提高资源利用率，进而提高云端的整体性能。基于上述目的本专利技术实施例提供的共享集群的任务调度方法，包括：确定共享集群中的资源与调度参数；定时检查是否需要设置检查点；当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；当有新任务到达时，更新正在运行的任务与混合等待队列；当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列。其中，共享集群中的资源与调度参数包括：确定共享集群中资源的种类数量与各类资源的总量；根据共享集群的负载波动确定检查点设置阈值；确定每两次检查之间的检查点设置间隔。并且，定时检查是否需要设置检查点包括：获取当前各类资源的占用率；根据当前各类资源的占用率中的最大值确定当前共享集群的占用率；将当前共享集群的占用率与检查点设置阈值进行比对，大于检查点设置阈值判定为需要设置检查点，否则判定为不需要设置检查点；等待检查点设置间隔长度的时间后重复上述步骤进行下一次检查。同时，确定需要设置检查点的任务包括：获取每个正在运行的任务的优先级，并将所有正在运行的任务按照优先级由高到低排列；获取每个正在运行的任务当前对各类资源的占用率；从队列中依次取出任务，并将被取出任务当前对各类资源的占用率进行累加，直到各类资源的占用率均超过检查点设置阈值为止；选取占用率最先超过检查点设置阈值的资源所对应的任务，将该任务与队列中位于该任务之后的全部任务确定为需要设置检查点的任务。同时，当有新任务到达时，更新正在运行的任务与混合等待队列包括：获取新到达任务对各类资源的占用率，当共享集群各类可用资源不足以处理新到达任务时继续下一步骤，否则开始运行；获取新到达任务的优先级，当新到达任务优先级处于两个正在运行的任务之间时继续下一步骤，否则进入混合等待队列；判断所有优先级低于新到达任务的正在运行的任务当前对各类资源的占用率、与共享集群各类可用资源之和是否足够运行新到达任务，是则中止所有优先级低于新到达任务的正在运行的任务并转移到可用队列中并运行新到达任务，否则新到达任务进入混合等待队列。同时，当共享集群的资源使用状况发生变化时，为有任务完成时或共享集群各类可用资源增加时。并且，当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列包括：将被完成的任务从正在运行的任务中删除并释放其占用的各类资源；获取每个混合等待队列的任务的优先级，并将所有混合等待队列的任务按照优先级由高到低排列；从队列中依次取出任务，并将被取出任务当前对各类资源的占用率进行累加，直到各类资源的占用率与所有正在运行的任务当前对各类资源的占用率之和均超过总量为止；选取占用率最先超过总量的资源所对应的任务，运行队列中位于该任务之前的全部任务。并且，运行队列中位于该任务之前的全部任务包括：对于设置了检查点的任务，从最后一个检查点开始运行；对于未设置检查点的任务，从头开始运行。上述步骤中，当多个被比较的任务具有相同优先级时，将多个任务中到达时间较早的视为优先级较高的进行处理。从上面所述可以看出，本专利技术实施例提供的共享集群的任务调度方法及装置，通过使用定时检查是否需要设置检查点、确定需要设置检查点的任务，并当有新任务到达或共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列的技术手段，缩短低优先级任务的响应时间、提高资源利用率，进而提高云端的整体性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的共享集群的任务调度方法的第一个实施例的流程示意图；图2为本专利技术提供的共享集群的任务调度方法的第二个实施例中，集群在某确定时刻的状况模型示意图；图3为本专利技术提供的共享集群的任务调度方法的第二个实施例中，根据集群状态不同采用的不同调度策略示意图；图4为本专利技术提供的执行共享集群的任务调度方法的电子设备的一个实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种能够针对不同用户或不同类型的用户进行共享集群的任务调度的共享集群的任务调度方法的第一个实施例。如图1所示，为本专利技术提供的共享集群的任务调度方法的第一个实施例的流程示意图。所述共享集群的任务调度方法，可选的，应用于服务器，包括：步骤S101，确定共享集群中的资源与调度参数；步骤S103，定时检查是否需要设置检查点；步骤S105，当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；步骤S107，当有新任务到达时，更新正在运行的任务与混合等待队列；步骤S109，当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列。其中，共享集群中的资源与调度参数包括：确定共享集群中资源的种类数量与各类资源的总量；根据共享集群的负载波动确定检查点设置阈值；确定每两次检查之间的检查点设置间隔。并且，定时检查是否需要设置检查点包括：获取当前各类资源的占用率；根据当前各类资源的占用率中的最大值确定当前共享集群的占用率；将当前共享集群的占用率与检查点设置阈值进行比对，大于检查点设置阈值判定为需要设置检查点，否则判定为不需要设置检查点；等待检查点设置间隔长度的时间后重复本文档来自技高网...

【技术保护点】
一种共享集群的任务调度方法，其特征在于，包括：确定共享集群中的资源与调度参数；定时检查是否需要设置检查点；当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；当有新任务到达时，更新正在运行的任务与混合等待队列；当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列。

【技术特征摘要】
1.一种共享集群的任务调度方法，其特征在于，包括：确定共享集群中的资源与调度参数；定时检查是否需要设置检查点；当需要设置检查点时，确定需要设置检查点的任务，并为之设置检查点；当有新任务到达时，更新正在运行的任务与混合等待队列；当共享集群的资源使用状况发生变化时，更新正在运行的任务与混合等待队列。2.根据权利要求1所述的方法，其特征在于，共享集群中的资源与调度参数包括：确定共享集群中资源的种类数量与各类资源的总量；根据共享集群的负载波动确定检查点设置阈值；确定每两次检查之间的检查点设置间隔。3.根据权利要求2所述的方法，其特征在于，定时检查是否需要设置检查点包括：获取当前各类资源的占用率；根据当前各类资源的占用率中的最大值确定当前共享集群的占用率；将当前共享集群的占用率与检查点设置阈值进行比对，大于检查点设置阈值判定为需要设置检查点，否则判定为不需要设置检查点；等待检查点设置间隔长度的时间后重复上述步骤进行下一次检查。4.根据权利要求2所述的方法，其特征在于，确定需要设置检查点的任务包括：获取每个正在运行的任务的优先级，并将所有正在运行的任务按照优先级由高到低排列；获取每个正在运行的任务当前对各类资源的占用率；从队列中依次取出任务，并将被取出任务当前对各类资源的占用率进行累加，直到各类资源的占用率均超过检查点设置阈值为止；选取占用率最先超过检查点设置阈值的资源所对应的任务，将该任务与队列中位于该任务之后的全部任务确定为需要设置检查点的任务。5.根据权利要求2所述的方法，其特征在于，当有新任务到达时，更新正在运行的任务与混合等待队列包括：获取新到达任务对各类资源的占用率，当共享集群各类可用资源不足以处理新到达任务时继续下一步骤，否则开始运行；获取新到达任务的优先...

【专利技术属性】
技术研发人员：包卫东，朱晓敏，邵屹杨，肖文华，王吉，陈黄科，陈超，刘桂鹏，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南,43