管理任务处理集群的方法、执行任务的方法及容器集群技术

本说明书实施例提供管理任务处理集群的方法、执行任务的方法及容器集群，其中所述管理任务处理集群的方法包括：响应于用户提交任务处理集群创建请求，根据所述任务处理集群创建请求确定待创建任务处理集群的信息；利用所述待创建任务处理集群的信息和任务处理集群的资源定义，生成所述任务处理集群的管理节点的配置信息和计算节点的配置信息；基于包含任务执行环境的容器镜像、所述管理节点的配置信息和所述计算节点的配置信息,在所述容器集群的工作节点上，创建用作所述管理节点的容器组和用作所述计算节点的容器组，得到任务处理集群。群。群。

【技术实现步骤摘要】
管理任务处理集群的方法、执行任务的方法及容器集群


[0001]本说明书实施例涉及计算机
，特别涉及管理任务处理集群的方法。

技术介绍

[0002]任务处理集群，包含可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统，被世界范围内的超级计算机和计算集群广泛采用。任务处理集群的集群管理器和作业调度系统，作为典型HPC(High Performance Comput ing,高性能计算机群)环境的默认调度程序，适用于管理基于批处理的分布式工作负载。
[0003]虽然目前的任务处理集群拥有出色的任务调度能力，但创建方式仍然存在不合理之处，无法充分利用资源，无法让用户通过简便的操作按需灵活创建和扩展任务处理集群。因此，如何充分利用资源，让用户能够通过简便的操作，按需灵活扩展任务处理集群，成为亟需要解决的问题。

技术实现思路

[0004]有鉴于此，本说明书实施例提供了管理任务处理集群的方法。本说明书一个或者多个实施例同时涉及管理任务处理集群的装置，执行任务的方法，执行任务的装置，容器集群，计算设备，计算机可读存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管理任务处理集群的方法，包括：响应于用户提交任务处理集群创建请求，根据所述任务处理集群创建请求确定待创建任务处理集群的信息；利用所述待创建任务处理集群的信息和任务处理集群的资源定义，生成所述任务处理集群的管理节点的配置信息和计算节点的配置信息；基于包含任务执行环境的容器镜像、所述管理节点的配置信息和所述计算节点的配置信息,在所述容器集群的工作节点上，创建用作所述管理节点的容器组和用作所述计算节点的容器组，得到任务处理集群。2.根据权利要求1所述的方法，还包括：监听用户提交对任务处理集群的操作请求，所述操作请求包括任务处理集群的创建请求、更新请求或删除请求；当监听到用户提交对任务处理集群的操作请求时，将所述操作请求放入任务队列；基于容器集群的多线程，从所述任务队列获取对任务处理集群的操作请求；根据获取的所述操作请求，启动所述操作请求对应的处理。3.根据权利要求2所述的方法，还包括：当启动任务处理集群的更新请求或删除请求对应的处理时，根据所述更新请求或删除请求，对所述任务处理集群进行更新或删除。4.根据权利要求1所述的方法，还包括：预先将任务处理集群的资源定义注册到容器集群的资源注册表，所述资源定义包括：至少一个管理节点的资源定义和多个计算节点的资源定义。5.根据权利要求1所述的方法，所述利用所述待创建任务处理集群的信息和任务处理集群的资源定义，生成所述任务处理集群的管理节点的配置信息和所述计算节点的配置信息，包括：基于任务处理集群的资源定义，确定所述任务处理集群的管理节点的初始化配置文件和计算节点的初始化配置文件，所述初始化配置文件中至少包括：节点名称字段、节点IP字段和端口字段；利用所述待创建任务处理集群的信息，获取所述配置文件中的字段对应的字段值，所述待创建任务处理集群的信息包括待创建任务处理集群的集群名称、管理节点和计算节点的节点名称和节点数量；将所述字段值写入所述初始化配置文件中的对应字段；生成所述初始化配置文件对应的配置文件实例。6.根据权利要求5所述的方法，所述生成所述初始化配置文件对应的配置文件实例，包括：当待创建任务处理集群为多个时，生成多个待创建任务处理集群各自的配置文件实例；所述基于包含任务执行环境的容器镜像、所述管理节点的配置信息和所述计算节点的配置信息,在所述容器集群的工作节点上，创建用作所述管理节点的容器组和用作所述计算节点的容器组，得到任务处理集群，包括：分别针对所述多个待创建任务处理集群，基于包含任务执行环境的容器镜像、所针对
的待创建任务处理集群的配置文件实例,在所述容器集群的工作节点上，创建用作所述管理节点的容器组和用作所述计算节点的容器组，得到多个任务处理集群。7.根据权利要求1所述的方法，所述基于...

【专利技术属性】
技术研发人员：尹雷，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：