作业处理方法、装置、计算机设备及可读存储介质制造方法及图纸

本申请涉及一种作业处理方法、装置、计算机设备及可读存储介质。该方法包括：获取待处理计算作业的作业类型和当前计算集群中各节点的节点画像数据，根据作业类型和各节点的节点画像数据，从各节点中确定作业处理节点，并将待处理计算作业分配至作业处理节点进行处理。上述方法可以根据待处理计算作业的作业类型和当前计算集群中各节点的节点画像数据，将待处理计算作业分配至具有处理待处理计算作业能力的节点处理，该过程能够尽可能的避免将待处理计算作业分配至处理过程中可能会出现问题的节点处理，以及将待处理计算作业分配至不具有处理待处理计算作业能力的节点处理的问题，从而能够在极大程度上提高计算集群处理待处理计算作业的效率。待处理计算作业的效率。待处理计算作业的效率。

【技术实现步骤摘要】
作业处理方法、装置、计算机设备及可读存储介质


[0001]本申请涉及计算机
，特别是涉及一种作业处理方法、装置、计算机设备及可读存储介质。

技术介绍

[0002]随着人工智能、大数据和云计算技术的发展，例如，高性能计算(High Performance Computing，HPC)集群的应用范围越来越广，在实际应用中，HPC集群主要是用于处理大规模HPC作业。
[0003]相关技术中，在HPC集群运行HPC作业前，采用检查脚本会检查HPC集群中各节点的健康状态，并通过HPC集群中健康的节点处理HPC作业。然而，采用相关技术运行HPC作业时，会存在作业处理效率低的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种作业处理方法、装置、计算机设备及可读存储介质，能够提高作业的处理效率。
[0005]第一方面，本申请实施例提供了一种作业处理方法，该方法包括：
[0006]获取待处理计算作业的作业类型和当前计算集群中各节点的节点画像数据；节点画像数据包括每个节点可处理的作业类型；...

【技术保护点】

【技术特征摘要】
1.一种作业处理方法，其特征在于，所述方法包括：获取待处理计算作业的作业类型和当前计算集群中各节点的节点画像数据；所述节点画像数据包括每个节点可处理的作业类型；根据所述作业类型和各所述节点的节点画像数据，从各所述节点中确定作业处理节点；所述作业处理节点表示与所述作业类型相匹配的节点；将所述待处理计算作业分配至所述作业处理节点进行处理。2.根据权利要求1所述的方法，其特征在于，获取所述当前计算集群中各节点的节点画像数据，包括：获取所述当前计算集群中各所述节点的节点画像；根据预设的节点画像评定规则和各所述节点的节点画像，确定所述当前计算集群中各所述节点的节点画像数据；其中，所述节点画像评定规则是根据各所述节点的历史运行数据构建的。3.根据权利要求2所述的方法，其特征在于，所述节点画像评定规则包括不同节点的节点画像的偏向衡量指标和各所述偏向衡量指标的量化值；所述根据预设的节点画像评定规则和各所述节点的节点画像，确定当前所述计算集群中各所述节点的节点画像数据，包括：对于任一节点的节点画像，根据所述节点的节点画像的偏向衡量指标和所述偏向衡量指标的量化值，对所述节点的节点画像进行量化处理，得到所述节点画像的节点画像数据。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述根据所述作业类型和各所述节点的节点画像数据，从各所述节点中确定作业处理节点，包括：根据各所述节点的节点画像，将各所述节点和各所述节点的节点画像数据分别添加至不同类型的节点队列中；根据所述待处理计算作业的作业类型，从各所述节点队列中确定与所述待处理计算作业的作业类型相匹配的目标节点队列；根据所述目标节点队列中的各节点的节点画像数据，确定所述作业处...

【专利技术属性】
技术研发人员：解文龙，吕灼恒，张晋锋，王家尧，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：