一种基于混合负载的云计算任务调度方法及系统技术方案

本发明专利技术提供了一种基于混合负载的云计算任务调度方法及系统，包括：步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；本发明专利技术通过此调度算法分配任务到相应的虚拟机上，提高云计算服务质量，降低云服务成本，解决云计算集群存在的性能瓶颈。

【技术实现步骤摘要】
一种基于混合负载的云计算任务调度方法及系统
本专利技术涉及云计算以及任务调度领域，具体地，涉及一种基于混合负载的云计算任务调度方法及系统，更为具体地，涉及一种混合负载下的云计算任务高效调度算法。
技术介绍
随着云计算服务客户数量的不断增多，快速高效且低成本地对任务进行调度从而提高云计算资源利用率是目前云计算领域一个重要的研究课题。由于云计算服务业的蓬勃发展，客户需求的云服务种类越来越多，不同的服务对计算资源需求又各有千秋，有些任务对延迟要求比较高，不能等待过于长的时间，比如网站服务访问等等；有些任务对吞吐量要求比较高，它们希望在单位时间内完成的任务数量越多越好，比如大数据批处理分析任务等等。这就要求云计算服务提供商要更多地关注客户云服务的需求，比如有云服务总计完成时间、总成本、可靠性等等。所以云服务提供商要在满足客户云服务需求的基础之上，提高云计算集群整体资源利用率并且降低云计算平台机器成本开销。任务调度是将任务分配映射到计算资源上的过程。一种合理且有效的任务调度策略就是不仅能满足客户服务需求，还可以降低服务提供商的成本。目前大多数云计算平台的任务调度策略没有考虑混合任务负载下的云计算资源调度，即延迟敏感任务与吞吐量敏感任务的混合调度，因而就会导致调度过程中有大量的小型延迟敏感任务出现超时的现象，这在实际应用场景中对于用户来说是难以接受的。因此，研究出一种混合任务负载的云计算资源调度机制对于云服务客户和云服务提供商两方面都具有十分重要的意义和利用价值。现有的云计算独立任务调度算法如遗传算法、粒子群算法等通常都面临着无法处理混合负载下的任务调度问题，因而就会导致调度过程中有大量的小型延迟敏感任务出现超时的现象，这在实际应用场景中会难以保证云计算的服务质量。因此，在复杂的云环境中，如何设计一种支持混合任务负载的云计算资源调度机制对于云平台性能的优化至关重要。专利文献CN110502323A(申请号：201910651299.X)公开了一种云计算任务实时调度方法，包括以下步骤：A)建立服务器节点列表S，建立通信耗时表T，负荷率表L；B)确定服务器节点算力Csi，设置性能评分Psi；C)根据新任务的数据量以及任务类型，确定其所需的总算力Ca；D)选取服务器节点集合D；E)将新任务划分为若干个子任务，分配给集合D中的服务器节点，使子任务基本同时完成；F)更新服务器性能评分Psi，重复步骤C-E。专利文献CN108108225B(申请号：201711340244.4)公开了一种面向云计算平台的任务调度方法，包括：遍历DAG图中的所有任务结点，依次计算得到每个结点任务的静态优先级；按照静态优先级降序排列任务，将任务依次放入任务优先级队列中；对于任务优先级队列中各个任务，只要能够提前当前任务的开始执行时间，且已经被调度的任务不被延迟的情况下，就复制当前任务的父任务，而不仅仅复制当前任务的关键父任务。相对于传统算法，提前了任务复制的开始阶段，先任务复制，然后再选择虚拟机，使任务能在使它完成最快的虚拟机上执行，使虚拟机的选择更加合理。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于混合负载的云计算任务调度方法及系统。根据本专利技术提供的一种基于混合负载的云计算任务调度方法，包括：步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；所述延迟敏感任务是不能承受超时现象的任务；所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。优选地，所述步骤M3中延迟敏感任务优先调度策略包括：延迟敏感任务优先调度策略步骤A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；延迟敏感任务优先调度策略步骤A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。优选地，所述步骤M3中吞吐量敏感任务优先调度策略包括：吞吐量敏感任务优先调度策略步骤B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；吞吐量敏感任务优先调度策略步骤B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；吞吐量敏感任务优先调度策略步骤B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。优选地，所述步骤M3中概率p包括：其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数。优选地，所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度。优选地，所述吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中随机选取计算任务并调用。根据本专利技术提供的一种基于混合负载的云计算任务调度系统，包括：模块M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；模块M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；模块M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；所述延迟敏感任务是不能承受超时现象的任务；所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。优选地，所述模块M3中延迟敏感任务优先调度策略包括：延迟敏感任务优先调度策略模块A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；延迟敏感任务优先调度策略模块A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。优选地，所述模块M3中吞吐量敏感任务优先调度策略包括：吞吐量敏感任务优先调度策略模块B.1：当延迟敏感任务队本文档来自技高网...

【技术保护点】
1.一种基于混合负载的云计算任务调度方法，其特征在于，包括：/n步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；/n步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；/n步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；/n所述延迟敏感任务是不能承受超时现象的任务；/n所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。/n

【技术特征摘要】
1.一种基于混合负载的云计算任务调度方法，其特征在于，包括：
步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；
步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；
步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；
所述延迟敏感任务是不能承受超时现象的任务；
所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。


2.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述步骤M3中延迟敏感任务优先调度策略包括：
延迟敏感任务优先调度策略步骤A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；
延迟敏感任务优先调度策略步骤A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。


3.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述步骤M3中吞吐量敏感任务优先调度策略包括：
吞吐量敏感任务优先调度策略步骤B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。


4.根据权利要求2或3所述的基于混合负载的云计算任务调度方法，其特征在于，所述步骤M3中概率p包括：



其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数。


5.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度。


6.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述...

【专利技术属性】
技术研发人员：姚建国，华逸君，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31