一种计算任务调度方法、装置、系统及存储介质制造方法及图纸

本发明专利技术公开了一种计算任务调度方法、装置、系统及计算机可读存储介质，该方法包括：当接收到计算执行器发送的任务完成请求时，查询计算执行器的资源信息以及任务信息；将资源信息以及任务信息发送给资源调度装置，以使其根据资源信息以及任务信息，确定是否允许计算执行器复用；若接收到允许计算执行器复用的指令，则接收资源控制装置下发的任务，并将任务发送给计算执行器，以使计算执行器执行任务；该方法在已经创建的计算执行器执行完任务后，直接向该计算执行器继续发送需要执行的任务；通过复用计算执行器期间，不需要重复创建和回收计算执行器，减少了任务运行期间计算执行器创建和销毁的耗时，进而提升整个计算任务调度的灵活性。的灵活性。的灵活性。

【技术实现步骤摘要】
一种计算任务调度方法、装置、系统及存储介质


[0001]本专利技术涉及通信
，特别涉及一种计算任务调度方法、装置、系统及计算机可读存储介质。

技术介绍

[0002]在大数据时代，计算任务调度系统应用越来越广泛。目前最成熟、最常见的调度器yarn被广泛使用，其中，yarn属于双层调度范式，资源调度器是yarn中最核心的组件之一，用于实现所需的调度逻辑。例如，在分布式系统中，yarn能够轻松的将计算任务调度到适合它的最优节点上执行，并且支持多种调度策略。yarn通过创建一个个的container(计算执行器，由一系列资源组成的进行任务计算)去执行计算任务，并在执行完计算任务后将container销毁回收。
[0003]目前，当存在计算任务被挂起时，需要等待其他container撤消回收对应的资源之后，再次创建一个新的container并调用其执行对应的计算任务，且在执行完计算任务后将该container销毁回收。在该过程中container的创建回收，再创建再回收降低了整个计算任务调度系统的灵活性，且container的创建和回收也会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算任务调度方法，其特征在于，包括：当接收到计算执行器发送的任务完成请求时，查询所述计算执行器的资源信息以及任务信息；将所述资源信息以及所述任务信息发送给资源调度装置，以使所述资源调度装置根据所述资源信息以及所述任务信息，确定是否允许所述计算执行器复用；若接收到允许所述计算执行器复用的指令，则接收资源控制装置下发的任务，并将所述任务发送给所述计算执行器，以使所述计算执行器执行所述任务。2.根据权利要求1所述的计算任务调度方法，其特征在于，所述查询所述计算执行器的资源信息以及任务信息，包括：查询元数据存储器中所述计算执行器的资源信息以及任务信息；其中，所述资源信息包含所述计算执行器所在节点，所述任务信息包含任务类型。3.根据权利要求2所述的计算任务调度方法，其特征在于，所述资源调度装置根据所述资源信息以及所述任务信息，确定是否允许所述计算执行器复用，包括：所述资源调度装置判断所述计算执行器所在节点是否存在具有相同所述任务类型的未执行任务；若存在，则允许所述计算执行器复用；若不存在，则不允许所述计算执行器复用。4.根据权利要求3所述的计算任务调度方法，其特征在于，当确定不允许所述计算执行器复用时，包括：所述资源调度装置回收所述计算执行器。5.根据权利要求1至4任一项所述的计算任务调度方法，其特征在于，当接收到计算执行器发送的任务完成请求之前，还包括：所述资源控制装置向所述资源调度装置申请任务所需资源；所述资源调度装置根据最优策略确定最优调度节点，并通知所述最优调度节点创建计算执行器；任务控制装置接收所述资源控制装置下发的任务，并将所述任务下发到所述计算执行器中，以便所述计算执行器执行所述任务；并接收所述计算执行器按照预设周期汇报的当前任务处理情况；所述任务控制装置记录所述计算执行器的所述...

【专利技术属性】
技术研发人员：丁增强，袁博，
申请(专利权)人：北京浪潮数据技术有限公司，
类型：发明
国别省市：