容器调度方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了容器调度方法、装置、设备及存储介质。其中，该方法包括：确定本地任务状态为待调度状态的第一任务的第一工作组，并创建第一工作组对应的第一容器单元，其中，工作组中包含多个工作者，每个工作者对应一个容器单元，在从容器集群中成功确定出所有第一容器单元分别对应的第一节点的情况下，尝试将第一容器单元分配至对应的第一节点，在确定第一工作组中的所有第一容器单元均已成功分配至对应的第一节点后，将第一任务的本地任务状态设置为运行状态，并对容器集群中的第一任务的远端任务状态进行更新。通过采用上述技术方案，在利用容器集群执行批处理任务时，可以保证任务中不同工作者同时投入启动，满足容器调度需求。度需求。度需求。

【技术实现步骤摘要】
容器调度方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机
，尤其涉及容器调度方法、装置、设备及存储介质。

技术介绍

[0002]在计算机科学中，Gang调度是一种并行系统中将不同线程或者进程调度到不同处理器(可以在同一计算设备，或者不同计算设备)上同时运行的调度算法。Gang调度的典型应用场景是人工智能计算任务和大数据计算任务，这些批处理任务可能会有一组相同角色(或功能)的工作者(worker)，称为工作组，还可能会有多组工作组，同一计算任务的worker需要一起投入启动，一起结束。
[0003]另一方面，随着虚拟机技术的启动慢、占用空间大以及不易迁移等缺点日渐凸显，容器化技术应运而生，可以通过启动容器来创建服务，许多容器管理工具已得到广泛应用，如Kubernetes(K8S)等，基于容器管理工具实现的集群可称为容器集群，如K8S集群，可将容器分配到容器集群中的节点上。随着容器管理工具的蓬勃发展，越来越多用户想要将人工智能计算和大数据计算的框架迁移到容器集群上。然而容器管理工具最初是面向常驻型服务设计的，其调度器是以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种容器调度方法，其特征在于，应用于容器集群对应的调度器，所述容器集群中包含多个节点，所述方法包括：确定第一任务的待调度的第一工作组，并创建所述第一工作组对应的第一容器单元，其中，所述第一任务的本地任务状态为待调度状态，所述第一工作组的数量为至少一个，单个所述第一工作组中包含多个第一工作者，每个所述第一工作者对应一个第一容器单元；在从所述容器集群中成功确定出所有第一容器单元分别对应的第一节点的情况下，尝试将所述第一容器单元分配至对应的第一节点；在确定所有第一工作组中的所有第一容器单元均已成功分配至对应的第一节点后，将所述第一任务的本地任务状态设置为运行状态，并对所述容器集群中的所述第一任务的远端任务状态进行更新。2.根据权利要求1所述的方法，其特征在于，所述确定第一任务的待调度的第一工作组，包括：确定第一任务对应的第一预设调度规格的工作组，并针对所述第一预设调度规格的工作组进行预调度处理；若预调度失败，则确定所述第一任务对应的第二预设调度规格的工作组，其中，所述第二预设调度规格的工作组所占用的资源少于所述第一预设调度规格的工作组所占用的资源；针对所述第二预设调度规格的工作组进行预调度处理，若预调度成功，则将所述第二预设调度规格的工作组确定为所述第一任务的待调度的第一工作组。3.根据权利要求1所述的方法，其特征在于，通过以下方式确定当前第一容器单元对应的第一节点：获取当前第一容器单元的资源申请信息，其中，所述资源申请信息包括资源申请类型和资源申请量；根据所述资源申请信息与所述容器集群中的各候选节点的剩余资源信息的相似度，确定所述当前第一容器单元对应的第一节点。4.根据权利要求3所述的方法，其特征在于，所述根据所述资源申请信息与所述容器集群中的各候选节点的剩余资源信息的相似度，确定所述当前第一容器单元对应的第一节点，包括：获取所述容器集群内与各资源申请类型分别对应的集群资源剩余量，以及获取各候选节点中与各资源申请类型分别对应的节点资源剩余量；根据所述资源申请量和所述集群资源剩余量确定第一向量，其中，所述第一向量中的各第一元素依据预设顺序依次对应不同的资源申请类型，所述第一元素的取值根据资源申请量与集群资源剩余量的比值确定；根据所述节点资源剩余量和所述集群资源剩余量分别确定各候选节点对应的第二向量，其中，所述第二向量中的各第二元素依据所述预设顺序依次对应不同的资源申请类型，所述第二元素的取值根据节点资源剩余量与集群资源剩余量的比值确定；针对各候选节点，分别计算所述第一向量和对应的第二向量的内积，得到对应候选节点的节点评分；将所述节点评分最高的候选节点确定为当前第一...

【专利技术属性】
技术研发人员：陈家振，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：