一种任务调度方法、装置及存储介质制造方法及图纸

本发明专利技术实施例公开了一种任务调度方法，所述方法包括：基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；调度所述目标节点运行所述第一任务。本发明专利技术实施例还公开了一种任务调度装置及存储介质。

A task scheduling method, device and storage medium

【技术实现步骤摘要】
一种任务调度方法、装置及存储介质
本专利技术涉及通信
，尤其涉及一种任务调度方法、装置及存储介质。
技术介绍
云计算技术的革新使得分布式集群系统大规模地投入企业生产使用，而云环境下对集群资源管理及任务调度等基础能力需要重点提升。尤其是，企业级应用软件引入到集群系统中，如何对资源高效、合理的使用成为关注对象。但是，现有技术中一般仅能够对集群各节点当前可使用资源进行分配，未能使资源得到最大化利用。
技术实现思路
有鉴于此，本专利技术实施例提供了一种任务调度的方法、装置及存储介质。本专利技术的技术方案是这样实现的：一种任务调度方法，所述方法包括：基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；调度所述目标节点运行所述第一任务。上述方案中，所述根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务，包括：根据所述历史任务的运行成功概率，从所述第一类任务选择出大于第一概率阈值的所述运行成功概率对应的所述第一任务。上述方案中，所述方法还包括：若所述目标节点未运行过与所述第一类任务同类型的历史任务，将所述第一类任务视为所述第一任务。上述方案中，所述方法还包括：获取所述备选任务运行所需的主导资源的资源使用参数；基于所述资源使用参数，确定所述备选任务的优先级顺序；基于包含所述目标节点的集群的剩余资源以及所述优先级顺序，形成所述预调度队列。上述方案中，所述基于所述资源使用参数，确定所述备选任务的优先级顺序，包括：基于所述主导资源的资源使用量和/或使用时长，确定所述备选任务的优先级顺序。上述方案中，所述主导资源包括：中央处理器CPU使用量、网络带宽使用量、磁盘I/O使用量、内存使用量。上述方案中，所述基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务，包括：获取预调度队列中所述备选任务的预分配的主导资源的总量；若所述目标节点的资源信息中对应的主导资源的总量大于或等于所述备选任务的主导资源的总量，则确定所述备选任务能在所述目标节点中运行；其中，能够在目标节点运行的备选任务为所述第一类任务。上述方案中，所述基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务，包括：根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备选任务时的预期负载率是否大于所述目标节点的平均历史负载率；若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一类任务。上述方案中，所述根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备选任务时的预期负载率是否大于所述目标节点的平均历史负载率，包括：根据所述备选任务运行所需的线程数和CPU个数，确定所述目标节点运行所述备选任务时的预期负载率。上述方案中，所述调度所述目标节点运行所述第一任务，包括：根据分配策略，调度所述目标节点运行所述第一任务；其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业优先调度策略。上述方案中，所述方法还包括：更新第二类任务在预调度队列的位置；其中，所述第二类任务为所述第一类任务以外的备选任务；更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二类任务的调度优先级。一种任务调度装置，所述装置包括：第一确定单元，用于基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；第二确定单元，用于根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；第一处理单元，用于调度所述目标节点运行所述第一任务。上述方案中，所述第二确定单元，用于根据所述历史任务的运行成功概率，从所述第一类任务选择出大于第一概率阈值的所述运行成功概率对应的所述第一任务。上述方案中，所述第二确定单元，还用于若所述目标节点未运行过与所述第一类任务同类型的历史任务，将所述第一类任务视为所述第一任务。上述方案中，所述装置，还包括：获取单元、第三确定单元、第二处理单元；所述获取单元，用于获取所述备选任务运行所需的主导资源的资源使用参数；其中，所述第三确定单元，用于基于所述资源使用参数，确定所述备选任务的优先级顺序；所述第二处理单元，用于基于包含所述目标节点的集群的剩余资源以及所述优先级顺序，形成所述预调度队列。上述方案中，所述第三确定单元，还用于基于所述主导资源的资源使用量和/或使用时长，确定所述备选任务的优先级顺序。上述方案中，所述主导资源包括：中央处理器CPU使用量、网络带宽使用量、磁盘I/O使用量、内存使用量。上述方案中，所述第一确定单元，用于获取预调度队列中所述备选任务的预分配的主导资源的总量；若所述目标节点的资源信息中对应的主导资源的总量大于或等于所述备选任务的主导资源的总量，则确定所述备选任务能在所述目标节点中运行；其中，能够在目标节点运行的备选任务为所述第一类任务。上述方案中，所述第一确定单元，还用于根据所述备选任务运行所需的主导资源使用量，确定所述目标节点运行备选任务时的预期负载率是否大于所述目标节点的平均历史负载率；若所述预期负载率小于所述平均历史负载率，则确定所述备选任务为第一类任务。上述方案中，所述第一确定单元，还用于根据所述备选任务运行所需的线程数和CPU个数，确定所述目标节点运行所述备选任务时的预期负载率。上述方案中，所述第一处理模块，还用于根据分配策略，调度所述目标节点运行所述第一任务；其中，所述分配策略包括：先进先出策略、主导资源公平性策略、短作业优先调度策略。上述方案中，所述装置，还包括：第三处理模块；所述第三处理单元，用于更新第二类任务在预调度队列的位置；其中，所述第二类任务为所述第一类任务以外的备选任务；更新后的所述预调度队列中，所述第一类任务的调度优先级高于所述第二类任务的调度优先级。本专利技术实施例还提供了一种计算机存储介质，所述存储介质中有计算机可执行指令，所述计算机可执行指令被处理器执行实现本专利技术实施例任一项所述任务调度方法。本专利技术实施例提供的任务调度方法、装置及存储介质，通过基于目标节点的资源信息，确定包括多个备选任务的与调度队列中能在所述目标节点运行的第一类任务，因而可以通过目标节点当前的资源情况来确定预调度队列中的备选任务是否可以在所述目标节点中运行，若从第一类任务中选择任务由目标节点运行，相对于忽略目标节点的资源信息随机分配任务，第一类任务是有更高的概率在目标节点中运行成功的，故提升了调度后的任务在目标节点中运行成功的概率；与此同时，进一步会根本文档来自技高网...

【技术保护点】
1.一种任务调度方法，其特征在于，所述方法包括：/n基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；/n根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；/n调度所述目标节点运行所述第一任务。/n

【技术特征摘要】
1.一种任务调度方法，其特征在于，所述方法包括：
基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务；
根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务；
调度所述目标节点运行所述第一任务。


2.根据权利要求1所述的方法，其特征在于，
所述根据与所述第一类任务同类型的历史任务的作业质量，从所述第一类任务选择出第一任务，包括：
根据所述历史任务的运行成功概率，从所述第一类任务选择出大于第一概率阈值的所述运行成功概率对应的所述第一任务。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述目标节点未运行过与所述第一类任务同类型的历史任务，将所述第一类任务视为所述第一任务。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述备选任务运行所需的主导资源的资源使用参数；
基于所述资源使用参数，确定所述备选任务的优先级顺序；
基于包含所述目标节点的集群的剩余资源以及所述优先级顺序，形成所述预调度队列。


5.根据权利要求4所述的方法，其特征在于，
所述基于所述资源使用参数，确定所述备选任务的优先级顺序，包括：
基于所述主导资源的资源使用量和/或使用时长，确定所述备选任务的优先级顺序。


6.根据权利要求4所述的方法，其特征在于，
所述主导资源包括：中央处理器CPU使用量、网络带宽使用量、磁盘I/O使用量、内存使用量。


7.根据权利要求1或6所述的方法，其特征在于，
所述基于目标节点的资源信息，确定包括多个备选任务的预调度队列中能在所述目标节点中运行的第一类任务，包括：
获取预调度队列中所述备选任务的预分配的主导资源的总量；
若所述目标节点的资源信息中对应的主导资源的总量大于或等于所述备选任务的主导资源的总量，则确定所述备选任务能在所述目标节点中运行；
其中，能够在...

【专利技术属性】
技术研发人员：刘芳，赵洪松，孙芳杰，
申请(专利权)人：中国移动通信集团有限公司，中国移动通信集团黑龙江有限公司，
类型：发明
国别省市：北京;11