任务调度处理方法、装置、集群系统及可读存储介质制造方法及图纸

本申请提供一种任务调度处理方法、装置、集群系统及可读存储介质，涉及集群任务处理技术领域。方法包括：获取集群系统中的调度节点发送的作业任务，作业任务为集群系统中的提交节点根据任务参数生成的HPC任务或AI任务；根据作业任务中的表征任务类型的标识，确定作业任务的任务类型；调用与任务类型对应的前处理组件，初始化任务环境，得到用于执行HPC任务或AI任务的运行环境；根据作业任务的任务内容，通过运行环境执行作业任务，得到执行结果，能够改善计算节点执行的任务类型单一，硬件资源利用率低的问题。

【技术实现步骤摘要】
任务调度处理方法、装置、集群系统及可读存储介质
本专利技术涉及集群任务处理
，具体而言，涉及一种任务调度处理方法、装置、集群系统及可读存储介质。
技术介绍
随着计算机集群处理技术的发展，超级计算机性能越来越高。集群系统通常需要支持高性能计算(HighPerformanceComputing，HPC)任务的计算，还要支持人工智能(ArtificialIntelligence，AI)任务的计算。目前，通常是将集群系统的硬件资源划分成面向不同领域的小集群或计算节点。每个小集群或计算节点执行的任务类型单一。例如，用于执行HPC任务的小集群便无法执行AI任务，从而使得集群的硬件资源的利用率低。
技术实现思路
本申请提供一种任务调度处理方法、装置、集群系统及可读存储介质，能够改善集群中计算节点执行的任务类型单一，硬件资源利用率低的问题。为了实现上述目的，本申请实施例所提供的技术方案如下所示：第一方面，本申请实施例提供一种任务调度处理方法，应用于集群系统中的计算节点，所述方法包括：获取所述集群系统中的调度节点发送的作业任务，所述作业任务为所述集群系统中的提交节点根据任务参数生成的HPC任务或AI任务；根据所述作业任务中的表征任务类型的标识，确定所述作业任务的任务类型；调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境；根据所述作业任务的任务内容，通过所述运行环境执行所述作业任务，得到执行结果。在上述的实施方式中，计算节点可以根据任务类型，对任务环境进行前处理，以得到用于执行HPC任务或AI任务的运行环境，然后便可以基于得到的运行环境执行HPC任务或AI任务，从而改善计算节点执行的任务类型单一，硬件资源利用率低的问题。结合第一方面，在一些可选的实施方式中，调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境，包括：当所述作业任务为HPC任务时，调用与所述HPC任务对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务的运行环境；当所述作业任务为AI任务时，调用与所述AI任务对应的前处理组件，初始化任务环境，得到用于执行所述AI任务的运行环境。在上述的实施方式中，针对HPC任务、AI任务，通过分别对任务环境进行前处理，得到相应的运行环境，使得计算节点能够执行不同任务类型的作业任务。结合第一方面，在一些可选的实施方式中，所述前处理组件包括通用处理组件、AI框架处理组件，调用与所述AI任务对应的前处理组件，初始化任务环境，得到用于执行所述AI任务的运行环境，包括：调用所述通用处理组件，选择与所述AI任务中的子任务对应的目标硬件资源；调用所述AI框架处理组件，选择与所述AI任务对应的处理框架、加速器；根据所述目标硬件资源、所述处理框架、所述加速器，创建用于执行所述子任务的容器，得到用于执行所述AI任务的运行环境。在上述的实施方式中，通过创建用于执行AI任务的容器与运行环境，使得计算节点能够执行AI任务。结合第一方面，在一些可选的实施方式中，所述处理框架包括DL框架。结合第一方面，在一些可选的实施方式中，所述方法还包括：清除与所述作业任务对应的目标硬件资源的关联关系、所述容器。在上述的实施方式中，在得到执行结果后，通过删除关联关系、容器等，有利于计算节点对新任务的执行，避免当前的作业任务的运行环境影响新任务的执行。结合第一方面，在一些可选的实施方式中，获取所述集群系统中的调度节点发送的作业任务，包括：获取所述集群系统中通过所述调度节点的HPC调度器发送的作业任务。在上述的实施方式中，HPC调度器可以对AI任务及HPC任务进行调度，改善HPC调度器仅能对HPC任务调度的问题。第二方面，本申请实施例还提供一种任务调度处理方法，应用于集群系统，所述集群系统包括提交节点、调度节点及多个计算节点，所述方法包括：所述提交节点，根据任务参数生成作业任务，所述作业任务包括HPC任务或AI任务；所述调度节点，从所述提交节点获取所述作业任务；所述调度节点，从多个计算节点中确定与所述作业任务的任务参数匹配的计算节点为目标计算节点；所述目标计算节点，根据所述作业任务中的表征任务类型的标识，确定所述作业任务的任务类型；所述目标计算节点，调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境；所述目标计算节点，根据所述作业任务的任务内容，通过所述运行环境执行所述作业任务，得到执行结果。第三方面，本申请实施例还提供一种任务调度处理装置，应用于集群系统中的计算节点，所述装置包括：获取单元，获取所述集群系统中的调度节点发送的作业任务，所述作业任务为所述集群系统中的提交节点根据任务参数生成的HPC任务或AI任务；确定单元，用于根据所述作业任务中的表征任务类型的标识，确定所述作业任务的任务类型；前处理单元，用于调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境；执行单元，用于根据所述作业任务的任务内容，通过所述运行环境执行所述作业任务，得到执行结果。第四方面，本申请实施例还提供一种服务器，所述服务器包括相互耦合的存储器、处理器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述服务器执行上述的方法。第五方面，本申请实施例还提供一种集群系统，所述集群系统包括提交节点、调度节点及多个计算节点，其中：所述提交节点，用于根据任务参数生成作业任务，所述作业任务包括HPC任务或AI任务；所述调度节点，用于从所述提交节点获取所述作业任务；所述调度节点，还用于从多个计算节点中确定与所述作业任务的任务参数匹配的计算节点为目标计算节点；所述目标计算节点，用于根据所述作业任务中的表征任务类型的标识，确定所述作业任务的任务类型；所述目标计算节点，还用于调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境；所述目标计算节点，还用于根据所述作业任务的任务内容，通过所述运行环境执行所述作业任务，得到执行结果。第六方面，本申请实施例还提供一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的集群系统的通信连接示意图。图2为本申请实本文档来自技高网...

【技术保护点】
1.一种任务调度处理方法，其特征在于，应用于集群系统中的计算节点，所述方法包括：/n获取所述集群系统中的调度节点发送的作业任务，所述作业任务为所述集群系统中的提交节点根据任务参数生成的HPC任务或AI任务；/n根据所述作业任务中的表征任务类型的标识，确定所述作业任务的任务类型；/n调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境；/n根据所述作业任务的任务内容，通过所述运行环境执行所述作业任务，得到执行结果。/n

【技术特征摘要】
1.一种任务调度处理方法，其特征在于，应用于集群系统中的计算节点，所述方法包括：
获取所述集群系统中的调度节点发送的作业任务，所述作业任务为所述集群系统中的提交节点根据任务参数生成的HPC任务或AI任务；
根据所述作业任务中的表征任务类型的标识，确定所述作业任务的任务类型；
调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境；
根据所述作业任务的任务内容，通过所述运行环境执行所述作业任务，得到执行结果。


2.根据权利要求1所述的方法，其特征在于，调用与所述任务类型对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务或AI任务的运行环境，包括：
当所述作业任务为HPC任务时，调用与所述HPC任务对应的前处理组件，初始化任务环境，得到用于执行所述HPC任务的运行环境；
当所述作业任务为AI任务时，调用与所述AI任务对应的前处理组件，初始化任务环境，得到用于执行所述AI任务的运行环境。


3.根据权利要求2所述的方法，其特征在于，所述前处理组件包括通用处理组件、AI框架处理组件，调用与所述AI任务对应的前处理组件，初始化任务环境，得到用于执行所述AI任务的运行环境，包括：
调用所述通用处理组件，选择与所述AI任务中的子任务对应的目标硬件资源；
调用所述AI框架处理组件，选择与所述AI任务对应的处理框架、加速器；
根据所述目标硬件资源、所述处理框架、所述加速器，创建用于执行所述子任务的容器，得到用于执行所述AI任务的运行环境。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
清除与所述作业任务对应的目标硬件资源的关联关系、所述容器。


5.根据权利要求1所述的方法，其特征在于，获取所述集群系统中的调度节点发送的作业任务，包括：
获取所述集群系统中通过所述调度节点的HPC调度器发送的作业任务。


6.一种任务调度处理方法，其特征在于，应用于集群系统，所述集群系统包括提交节点、调度节点及多个计算节点，所述方法包括：
所述提交节点，根据任务参数生成作业任务，所述作业任务包括HPC任务或AI任务；
所述调度节点，从所述提交节点获取所述作业任务；
所述调度节点，从多个计算...

【专利技术属性】
技术研发人员：原帅，郝文静，张涛，王家尧，吕灼恒，李斌，沙超群，历军，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京;11