作业处理的方法、装置、计算机设备以及存储介质制造方法及图纸

一种作业处理的方法，本方法由高性能计算系统中的调度节点在接收到待处理的作业后，根据作业的类别，预测该作业执行过程中实时消耗的资源量，由于同一类别的作业在执行过程中实时消耗的资源量比较接近，因此，相比指定资源量，预测出的资源量更接近作业的实际消耗资源量，则调度节点根据预测出的资源量，调度高性能计算系统中的计算节点执行该作业的过程中，能够提高计算节点中资源的有效利用率，提高作业处理的效率。业处理的效率。业处理的效率。

【技术实现步骤摘要】
作业处理的方法、装置、计算机设备以及存储介质
[0001]本申请要求于2021年06月30日提交的申请号为202110739273.8、专利技术名称为“动态调整作业诉求的调度方法和电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及作业调度
，特别涉及一种作业处理的方法、装置、计算机设备以及存储介质。

技术介绍

[0003]高性能计算(high performance computing，HPC)是跨行业、跨应用领域的计算学科，广泛应用于大规模科学问题的计算和海量数据的处理，如气象预报、汽车仿真、生物制药、基因测序、核爆模拟，以及芯片设计制造等。有能力提供HPC服务的计算机集群，可以称为HPC系统，HPC系统凭借HPC性能，能够处理大量用户提交的作业，以完成各个用户的计算业务。
[0004]目前，作业处理的过程可以是：HPC系统中的调度节点支持多用户同时向HPC系统提交作业，每个用户在提交各自的作业时，还会指定各自的作业在执行过程中实时所需求的资源量。对于用户提交的某一作业，调度节点可以根据用户指定的该作业所需资源量，将该作业分配给HPC系统中具有充足空闲资源的计算节点，由该计算节点执行该作业。但是，一个作业的执行过程中所消耗资源量可能不断变化，而用户指定的该作业所需资源量往往是所消耗资源量的最大值(也可以称为峰值资源量)，但是，作业在执行过程中实际消耗资源量不会一直达到峰值资源量，从而导致该计算节点的资源未被充分利用，有效利用率低的问题。因此，如何，提供一种更高效的作业处理方法成为亟待解决的技术问题。

技术实现思路

[0005]本申请提供了一种作业处理的方法、装置、计算机设备以及存储介质，处理高性能计算系统中的作业的过程中，能够提高计算节点中资源的有效利用率，提高作业处理的效率。该技术方案如下：
[0006]第一方面，提供了一种作业处理的方法，该方法可以由高性能计算系统中的调度节点执行，在接收到高性能计算系统待处理的作业后，调度节点先确定作业的类别，然后再根据作业的类别预测作业的预测资源量，其中，预测资源量为预测的作业执行过程中实时消耗的资源量，之后，调度节点根据作业的预测资源量，调度高性能计算系统中的计算节点执行作业。
[0007]在本法中，由高性能计算系统中的调度节点在接收到待处理的作业后，根据作业的类别，预测该作业执行过程中实时消耗的资源量，由于同一类别的作业在执行过程中实时消耗的资源量比较接近，因此，相比指定资源量，预测出的资源量更接近作业的实际消耗资源量，则调度节点根据预测出的资源量，调度高性能计算系统中的计算节点执行该作业
的过程中，能够提高计算节点中资源的有效利用率，提高作业处理的效率。
[0008]在一种可能的实现方式中，调度节点根据作业的类别预测作业的预测资源量包括：调度节点根据作业的类别对应的参考资源量，对作业执行过程中实时消耗的资源量进行预测，得到预测资源量，其中，该参考资源量基于该类别的历史作业的实际消耗资源量得到。
[0009]基于上述可能的实现方式，调度节点在根据作业的类别，预测该作业执行过程中实时消耗的资源量时，可以根据该类别对应的参考资源量，对该作业执行过程中实时消耗的资源量进行预测，由于参考资源量由该类别中历史作业的实际消耗资源量得到，因此，根据该类别对应的参考资源量所预测出的预测资源量更接近作业的实际消耗资源量，则调度节点在基于预测资源量，调度高性能计算系统中的计算节点执行作业时，能够进一步提高计算节点中资源的有效利用率。
[0010]在一种可能的实现方式中，调度节点在确定作业的类别之前，所述方法还包括：调度节点接收模式调整指令，根据模式调整指令，开启预测模式，其中，模式调整指令用于指示开启预测模式，在预测模式下提供预测作业所需资源量的功能。
[0011]相应地，调度节点根据作业的类别对应的参考资源量，对作业执行过程中实时消耗的资源量进行预测，包括：在预测模式下，调度节点根据作业的类别对应的参考资源量，对作业执行过程中实时消耗的资源量进行预测。
[0012]基于上述可能的实现方式，预测模式为调度节点的一种工作模式，调度节点可以根据模式调整指令调整自己的工作模式，从而技术人员可以通过向调度节点下达模式调整指令，触发调度节点调整工作模式，以适应不同的应用场景。
[0013]在一种可能的实现方式中，在预测模式下，调度节点根据作业的类别对应的参考资源量，对作业执行过程中实时消耗的资源量进行预测，包括：在预测模式下，调度节点先获取作业的类别的历史作业个数，若该类别的历史作业个数大于或等于个数阈值，则调度节点再根据该类别对应的参考资源量，对该作业执行过程中实时消耗的资源量进行预测。
[0014]基于上述可能的实现方式，由于该类别的历史作业执行过程中所需的实时资源量是该类别的样本数据，而该类别对应的参考资源量是由该类别中的历史作业的实际消耗资源量来决定，那么，若该类别的历史作业个数大于或等于个数阈值，说明此时该类别的样本(即历史作业个数)数量足够，则认为此时该类别对应的参考资源量与该作业的实际消耗资源量之间的误差比较小，相应地，该调度节点根据该类别对应的参考资源量，预测出的该作业的预测资源量与该作业的实际消耗资源量误差比较小，从而进一步提高了该作业的预测资源量的精确度。
[0015]在一种可能的实现方式中，作业包括作业的指定资源量，调度节点根据作业的类别对应的参考资源量，对作业执行过程中实时消耗的资源量进行预测，包括：调度节点基于作业的指定资源量、该类别对应的参考资源量以及该类别的历史作业个数，对该类别的各个作业执行过程中实时消耗的平均资源量进行预测。
[0016]基于上述可能的实现方式，由于作业的指定资源量是用户根据经验，预测的作业在执行过程中实时需要的资源量，且参考资源量由该类别中历史作业的实际消耗资源量得到，因此，基于指定资源量、该类别对应的参考资源量以及该类别的历史作业个数所预测出的预测资源量更接近作业的实际消耗资源量，则调度节点在基于预测资源量，调度高性能
计算系统中的计算节点执行作业时，能够进一步提高计算节点中资源的有效利用率。
[0017]在一种可能的实现方式中，调度节点根据作业的类别预测述作业的预测资源量之前，所述方法还包括：调度节点将该类别的历史作业的实际消耗资源量的平均值，获取为该类别的参考资源量；并记录该类别与该类别的参考资源量之间的对应关系。
[0018]基于上述可能的实现方式，通过提前存储该类别与参考资源量之间的对应关系，以便在后续接收到该类别的作业后，在预测作业的预测资源量时，能够根据该对应关系，快速查询到该类别的对应的参考资源量，无需根据该类别的历史作业的实际消耗资源量，实时计算该类别对应的参考资源量，提高了参考资源量的获取效率。
[0019]在一种可能的实现方式中，作业包括作业的作业属性，作业属性指示作业的属性；调度节点确定作业的类别，包括：调度节点基于作业的作业属性，从多个类别中确定该作业的类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业处理的方法，其特征在于，所述方法由高性能计算系统中的调度节点执行，所述方法包括：接收所述高性能计算系统待处理的作业；确定所述作业的类别；根据所述类别预测所述作业的预测资源量，所述预测资源量为预测的所述作业执行过程中实时消耗的资源量；根据所述预测资源量，调度所述高性能计算系统中的计算节点执行所述作业。2.根据权利要求1所述的方法，其特征在于，所述根据所述类别预测所述作业的预测资源量，包括：根据所述类别对应的参考资源量，对所述作业执行过程中实时消耗的资源量进行预测，得到所述预测资源量，所述参考资源量基于所述类别的历史作业的实际消耗资源量得到。3.根据权利要求2所述的方法，其特征在于，所述确定所述作业的类别之前，所述方法还包括：接收模式调整指令，所述模式调整指令用于指示开启预测模式，在所述预测模式下提供预测作业所需资源量的功能；根据所述模式调整指令，开启所述预测模式；所述根据所述类别对应的参考资源量，对所述作业执行过程中实时消耗的资源量进行预测，包括：在所述预测模式下，根据所述类别对应的参考资源量，对所述作业执行过程中实时消耗的资源量进行预测。4.根据权利要求3所述的方法，其特征在于，所述在所述预测模式下，根据所述类别对应的参考资源量，对所述作业执行过程中实时消耗的资源量进行预测，包括：在所述预测模式下，获取所述类别的历史作业个数；若所述类别的历史作业个数大于或等于个数阈值，则根据所述类别对应的参考资源量，对所述作业执行过程中实时消耗的资源量进行预测。5.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述作业包括所述作业的指定资源量，所述根据所述类别对应的参考资源量，对所述作业执行过程中实时消耗的资源量进行预测，包括：基于所述指定资源量、所述类别对应的参考资源量以及所述类别的历史作业个数，对所述类别的各个作业执行过程中实时消耗的平均资源量进行预测。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述根据所述类别预测所述作业的预测资源量之前，所述方法还包括：将所述类别的历史作业的实际消耗资源量的平均值，获取为所述类别的参考资源量；记录所述类别与所述类别的参考资源量之间的对应关系。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述作业包括所述作业的作业属性，所述作业属性指示所述作业的属性；所述确定所述作业的类别，包括：基于所述作业的作业属性，从多个类别中确定所述作业的类别，同一类别的各个作业的至少一个属性相同。
8.根据权利要求7所述的方法，其特征在于，所述作业属性包括所述作业所属用户的用户类型以及所述作业所在作业队列的队列标识；所述基于所述作业的作业属性，从多个类别中确定所述作业的类别包括：基于所述多个类别与作业属性之间的对应关系，将所述多个类别中与所述作业属性对应的类别，确定为所述作业的类别，所述多个类别中的每个类别分别对应一个作业属性。9.根据权利要求2
‑
8中任一项所述的方法，其特征在于，所述根据所述预测资源量，调度所述高性能计算系统中的计算节点执行所述作业之后，所述方法还包括：从所述计算节点接收所述作业的实际消耗资源量；基于所述实际消耗资源量以及所述类别的历史作业个数，对所述参考资源量进行更新；记录更新后的所述参考资源量与所述类别之间的对应关系。10.一种作业处理的装置，其特征在于，所述装置被配置为高性能计算系统中的调度节点，所述装置包括：接收单元，用于接收所述高性能计算系统待处理的作业；确定单元，用于确定...

【专利技术属性】
技术研发人员：胡守峰，朱波，郭晋，董栋，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：