一种确定计算任务的调度方案的方法及装置制造方法及图纸

本申请公开了一种确定计算任务的调度方案的方法及装置，用于解决现有计算任务的调度方案无法稳定计算任务的运行时长的问题。该方法包括：获取目标计算任务的历史执行信息；获取目标计算任务的预定义信息和目标计算任务的集群资源信息；根据目标计算任务的历史执行信息、目标计算任务的预定义信息以及目标计算任务的集群资源信息确定目标计算任务的第一模拟调度方案；实施第一模拟调度方案；若第一模拟调度方案的实施结果满足预设条件，则将第一模拟调度方案确定为目标计算任务的目标调度方案。

Method and device for determining scheduling task of calculation task

This application discloses a method and device for determining a scheduling scheme of a computing task, which is used to solve the problem that the existing scheduling scheme of a computing task can not stabilize the running time of the computing task. The method includes: acquiring the historical execution information of the target computing task; acquiring the predefined information of the target computing task and the cluster resource information of the target computing task; determining the target according to the historical execution information of the target computing task, the predefined information of the target computing task and the cluster resource information of the target computing task. The first simulated scheduling scheme for computing tasks; the first simulated scheduling scheme; if the implementation results of the first simulated scheduling scheme satisfy the preset conditions, the first simulated scheduling scheme is determined as the target scheduling scheme for computing tasks.

【技术实现步骤摘要】
一种确定计算任务的调度方案的方法及装置
本申请涉及计算机领域，具体涉及一种确定计算任务的调度方案的方法及装置。
技术介绍
在大规模集群上，运行着众多的计算任务。通过计算任务的调度方案以确定每个计算任务在某个时间被分配资源，例如，中央处理器(CentralProcessingUnit，CPU)、内存、网络带宽等。计算任务的调度方案直接影响集群资源的利用率，进而影响计算任务的进程。假定每个计算任务的运行时长是预设的，同时简化计算任务的资源消耗。在这一假设下，计算任务的调度问题就可以抽象成约束最优化问题，即在满足计算任务依赖关系、计算任务运行时长、计算任务完成截止时间等约束的情况下最大化集群资源利用率，可利用优化求解引擎求解得到计算任务的调度方案。但是，这个假设在实践中是不成立的。计算任务的运行时长是不稳定的并且受到众多因素的影响。另外，简化了计算任务的资源消耗，导致计算任务无法被合理分配资源，进而导致计算任务的运行时长更加难以稳定。
技术实现思路
本申请提供了一种确定计算任务的调度方案的方法及装置，用于解决现有计算任务的调度方案无法稳定计算任务的运行时长的问题。第一方面提供一种确定计算任务调本文档来自技高网...

【技术保护点】
1.一种确定计算任务的调度方案的方法，其特征在于，包括：获取目标计算任务的历史执行信息，其中，所述目标计算任务为从计算任务日志中进行过滤后的计算任务，所述目标计算任务的历史执行信息包括所述目标计算任务的运行时长信息和所述目标计算任务的资源消耗信息；获取所述目标计算任务的预定义信息和所述目标计算任务的集群资源信息；根据所述目标计算任务的历史执行信息、所述目标计算任务的预定义信息以及所述目标计算任务的集群资源信息确定所述目标计算任务的第一模拟调度方案；实施所述第一模拟调度方案；若所述第一模拟调度方案的实施结果满足预设条件，则将所述第一模拟调度方案确定为所述目标计算任务的目标调度方案。

【技术特征摘要】
1.一种确定计算任务的调度方案的方法，其特征在于，包括：获取目标计算任务的历史执行信息，其中，所述目标计算任务为从计算任务日志中进行过滤后的计算任务，所述目标计算任务的历史执行信息包括所述目标计算任务的运行时长信息和所述目标计算任务的资源消耗信息；获取所述目标计算任务的预定义信息和所述目标计算任务的集群资源信息；根据所述目标计算任务的历史执行信息、所述目标计算任务的预定义信息以及所述目标计算任务的集群资源信息确定所述目标计算任务的第一模拟调度方案；实施所述第一模拟调度方案；若所述第一模拟调度方案的实施结果满足预设条件，则将所述第一模拟调度方案确定为所述目标计算任务的目标调度方案。2.根据权利要求1所述的方法，其特征在于，所述获取目标计算任务的历史执行信息包括：从计算任务日志中过滤掉所述目标计算任务的异常数据以获取所述目标计算任务的历史执行信息，其中，所述异常数据包括所述目标计算任务的异常运行时长信息和所述目标计算任务的异常资源消耗信息。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标计算任务的历史执行信息、所述目标计算任务的预定义信息以及所述目标计算任务的集群资源信息确定所述目标计算任务的第一模拟调度方案包括：根据所述目标计算任务的历史执行信息、所述目标计算任务的预定义信息以及所述目标计算任务的集群资源信息生成所述目标计算任务的调度优化模型；利用优化求解引擎求解所述调度优化模型以确定所述目标计算任务的第一模拟调度方案。4.根据权利要求1所述的方法，其特征在于，所述第一模拟调度方案的实施结果满足预设条件包括以下至少一个内容：所述目标计算任务的完成截止时间在预设时间范围内；实施所述第一模拟调度方案产生的所述目标计算任务的新执行信息与所述目标计算任务的历史执行信息的差值在预设差值范围内。5.根据权利要求4所述的方法，其特征在于，若所述第一模拟调度方案的实施结果不满足预设条件，根据所述目标计算任务的新执行信息、所述目标计算任务的预定义信息以及所述目标计算任务的集群资源信息确定所述目标计算任务的第二模拟调度方...

【专利技术属性】
技术研发人员：林灯，车文彬，
申请(专利权)人：华为软件技术有限公司，
类型：发明
国别省市：江苏,32